算法和应用的深度整合加速智能视频分析的应用

文/李云栋

传统视频监控系统，无论是模拟系统、模拟数字混合系统还是数字系统，其数据流遵循的是采集、传输、显示、存储的流程。显然中间只有信息的获取，并没有对获取的信息进行理解。传统的视频监控系统是依靠值班人员盯住视频画面，发现异常并处理的。这对值班人员是个挑战，特别是监控系统的规模日益庞大，实时发现异常并报警变的越来越不可能，只能事后通过录像进行追溯。智能视频分析正是为解决这个问题而出现的先进技术。智能视频监控系统相比传统监控系统最大的不同在于增加了对信息的理解和分析环节，并根据预设的规则产生联动报警，从而实现实时报警和主动报警。

智能视频分析技术的应用现状

上世纪90年代，由美国国防高级研究项目署主导的视觉监控重大项目VSAM(Visual Surveillance Monitoring)吸引了众多高校科研机构的参与，从而拉开了智能视频分析技术研究与应用的序幕。至今，智能视频分析技术已经有近20年的应用，世界范围内已经部署了很多智能分析系统在运行。但是应该看到过去的智能视频分析应用基本属于集中式应用，大多是基于PC机的应用。直到近2、3年来随着网络视频监控系统的部署和众多大型监控项目的上马，基于嵌入式设备的智能分析系统才开始得到更多关注和应用。

智能分析的高层应用主要包括区域防范、行为理解、物体识别、烟雾火焰识别、PTZ跟踪、交通管理等。目前市场上智能分析的应用大多局限于区域防范，包括入侵检测、绊线检测等，其它更复杂的工程应用还不多见。一方面我们认为智能分析是视频监控发展的重要方向之一，另一方面也应该看到智能分析的工程实践还面临很多问题。

究其原因，首先是技术方面的原因，智能分析是技术而绝对不是科学，它的成功实施需要多方面的配合，而智能分析技术也处于发展过程中；其次国内企业在技术积累方面做的不够，大多数OEM国外公司的算法，真正掌握核心算法的国内企业没有几家，很难针对具体场景做出算法上的调整。

智能分析技术可以根据底层建模和高层建模两部分进行划分。底层建模包括背景建模、目标检测、目标跟踪、特征提取等基本算法，高层建模则是根据预设规则进行判断，生成分析结果。

智能视频分析最理想的搭载平台

当前，国内智能视频监控系统刚刚开始实施，还没有相关标准可以依据。再加上智能分析本来也没有标准算法，没有标准指标，所以项目的实施大多根据设计人员的经验和业主的需求，系统实施更是见仁见智。

智能视频监控系统相对于传统监控的最本质不同在于增加了信息理解和分析环节。理论上信息理解和分析可以发生在数据流的各个阶段，也就形成了不同的智能分析解决方案。信息理解和分析在前端采集单元执行，赋予摄像机以智能，形成智能摄像机，包括模拟摄像机和网络摄像机；信息理解和分析在中间单元执行，形成智能DVR设备；信息理解和分析当然也可以在后端服务器执行，形成集中式智能监控系统。

不同解决方案有不同的特点，对系统设计的要求也不尽同。相对于中、后端的集中式部署，我们认为前端处理、分布式处理更具有竞争优势，原因如下：首先是处理器处理能力的问题。智能分析需要对图像像素逐点分析，运算量巨大，当输入视频路数较多时采用集中式处理处理器的带宽无法支撑。分布式处理虽然单个处理器能力并不强大，但是仅处理一路带宽还是足够的。

其次是网络带宽问题，集中式处理需要所有视频数据都传输到服务器，而分布式处理则可以根据分析结果选择性传输。

最后是成本问题，分布式处理可以在原来硬件的基础上不增加成本或者仅增加很少成本即可实现智能分析，相同视频路数显然集中式处理增加的成本更多。

综上所述，网络摄像机是智能视频分析最理想的搭载平台。

智能视频监控系统的设计

Emvideo是全球著名DSP供应商ADI公司的第三方和紧密合作伙伴，专注于提供基于Blackfin DSP的视频解决方案。Emvideo可以提供处理器级、板级和系统级的三种智能分析解决方案，分别对应于新设备研发和老设备的改造。下面分别从这三方面阐述智能分析技术的整合。

智能分析的处理器级整合

处理器级的智能整合是指智能分析算法直接运行于网络摄像机的主处理器之中，是最彻底且成本最低的整合方法，但是对处理器的运算能力要求较高。目前，市场上主流的网络摄像机方案包括TI Davinci系列、ADI Blackfin系列、Hisilicon 351x系列、Grain FIC81xx系列等。通常SOC处理器缺乏足够的灵活性和编程优化能力来满足智能分析算法带来的挑战，而DSP处理器良好的可扩展性、指令优化能力可以满足智能分析复杂的算法。Emvideo智能视频解决方案正是基于ADI Blackfin DSP处理器将智能分析算法移植到网络摄像机的处理器中，实现了算法和应用的深度整合。

Emvideo作为ADI的全球IPCamera合作伙伴，早在两年多前已经推出网络摄像机解决方案并已经协助客户量产。随后公司敏锐的把握到智能视频分析的市场机会，及时组织研发力量在高校多年研究成果的基础之上推出智能分析算法并内嵌到网络摄像机处理器平台中。利用原来网络摄像机中的Blackfin DSP强大的处理能力实现智能分析，而未增加硬件成本，这是Emvideo方案的一大特色。Emvideo CA3100智能网络摄像机方案的硬件组成结构如图1所示。

图1：Emvideo智能网络摄像机方案硬件框图

如图1所示，本方案的核心是2颗DSP处理器――BF536和BF561，其中BF561处理器是主频600MHz的双核处理器，作为协处理器实现H.264/MPEG-4编码算法。BF536是主频300MHz的单核处理器，作为主处理器完成IPCamera的基本功能，包括用户管理、网络协议、数据传输等。除去运行这些功能，BF536的处理能力还剩余80%-90%，这使得在BF536运行智能分析算法成为可能。系统工作原理是这样的：模拟视频信号经ADV7180解码后的ITU656格式的信号分别进入BF536和BF561处理器，分别完成视频编码和智能分析工作，智能分析的结果和视频编码后的码流数据组合在一起，通过网络发送出去。如果使用CMOS图像传感器，则跳过ADV7180解码，传感器输出的ITU601格式的数据直接进入2颗DSP处理器。

智能分析的板级整合

对于广大设备厂商已有的IPC、DVS或者DVR设备，板级整合是一个比较有效的途径。已有设备或是因为处理器能力受限，或是因为开发不方便，无法做到处理器级别的整合。Emvideo可以提供智能分析模块实现这些设备的改造。Emvideo提供的模块基于BF536处理器，体积小巧，用户可以方便的嵌入到自己的设备中。用户可以把智能分析模块看作是一个黑匣子，只需要关注模块的输入、输出接口，而毋须关注内部的工作原理。Emvideo智能分析模块如图2所示。

图2：智能分析的板级整合

如图2所示，智能分析模块的工作原理如下：首先模拟视频信号或者ITU656/601数字信号进入模块，规则和各种参数通过UART或者Ethernet设置到模块，然后模块接受启动命令开始进行分析，最后分析结果经过UART或者Ethernet发送到IPC/DVS/DVR主板。

智能分析的系统级整合

系统级的整合是更高层次的应用层面的整合。Emvideo提供智能分析仪产品实现系统级的整合。其工作原理是智能分析仪和IPC/DVS/DVR设备接入同一局域网，共享同一视频源，二者具有不同的IP地址。客户端通过分析仪厂家提供的SDK接口对智能分析仪进行设置，并接收分析结果，然后，将分析结果和视频监控软件集成，或者直接使用分析仪厂家提供的客户端软件进行操作。智能分析仪市场上同类产品较多，其工作原理这里不再赘述。

智能视频监控系统的硬件选型

前面已经提到智能视频分析的最佳载体是嵌入式设备，是网络摄像机。目前市场上主流的网络摄像机硬件平台包括DSP和SOC两大阵营。DSP包括TI Davinci 6446（ARM+DSP，也可认为是SOC）、ADI Blackfin系列、NXP系列等。SOC主要包括TI DM355、Hisilicon 3510/3511/3512、Grain FIC8120/8161/8180等。这几款方案各有其特点，都可以满足普通网络摄像机的要求。但对于搭载智能分析算法的智能网络摄像机而言，并不是所有的方案都能够满足要求。究其原因，还是智能网络摄像机对硬件平台有更高的要求。笔者认为一个理想的智能网络摄像机硬件平台应该满足以下几方面的要求：

运算能力强

智能分析过程包括背景建模、连通计算、形态学处理等过程，基本都是对像素逐点进行运算，而且要保证每秒10帧以上的处理能力，运算量非常之大。所以强大的处理能力是智能网络摄像机硬件平台的基本要求。在这一点上DSP明显优于SOC处理器。目前SOC多是ARM架构的，ARM处理器的特点是低功耗和体积小，指令优化能力有限。DSP处理器一般具有较强的指令并行处理能力，同时针对像素字节运算具有专门的指令。充分利用DSP的并行处理能力、专用视频指令和高速片上内存以及合理安排DMA操作，可以大大提高算法运算效率。

编程灵活性好

现阶段智能视频分析技术处于发展过程中，同时智能视频监控系统的实施依赖于具体场景。智能视频分析没有标准的算法，更多的是多算法的融合和对特定场景的调整。因此良好的可编程性是处理器必须具备的条件。

支持先进的视频编码方式

H.264视频编码以其码率低、标准统一逐渐成为安防监控领域的标准。D1分辨率也是目前编码器的主流配置。双码流的支持会成为智能网络摄像机的发展方向。

更低的成本

成本控制始终是需要重视的问题。智能视频分析功能的实现最好是在原有平台基础上增加很少硬件成本甚至是不增加硬件成本。

综上所述，Emvideo智能网络摄像机硬件平台选择ADI Blackfin DSP处理器，原因如下：

1、Blackfin处理器基于ADI与Intel联合开发的MSA架构，集RISC处理器与DSP的优点于一身，既适合密集性运算，又适合做控制使用。Blackfin处理器具有较强的并行处理能力，同时具有专门的视频操作指令，配合片上SRAM和DMA操作，大大提高算法运行效率。

2、Emvideo方案采用的双DSP架构，相比ARM+DSP的双处理器架构，开发工具统一，代码兼容性好，更加方便开发工作。

3、Blackfin处理器支持uClinux操作系统，使得应用程序的开发更加方便简洁。

模拟摄像机的智能化与现有系统的升级改造

尽管视频监控系统的发展方向是数字化和智能化，但是，毋庸置疑的是模拟摄像机在相当长的时间内会和数字监控系统共存。因此，如何推进模拟摄像机的智能化也是不可回避的话题。

在GDSF2009研讨会暨展览会上已经可以看到此类的产品。松下公司展出一种内嵌智能分析的模拟摄像机，可以通过菜单设置工作参数，报警结果是通过开关量动作实现的。模拟摄像机由于缺乏友好的人机界面，无法进行复杂的规则设置，比较适于实现区域入侵检测、绊线检测等基本的智能分析功能。

另一方面，现有视频监控系统包括模拟系统、模拟数字混合系统、数字系统，如何对数量众多的现有系统进行智能化改造，是考验设计人员智慧的工作。

针对老系统的改造工作，笔者有以下几点建议：

选择合适的切入点

系统的智能化改造是仁者见仁智者见智的工作，智能化可以在前端、中间或者后端实现。用户要根据自己系统的实际情况，权衡改造的难度、成本、可靠性等因素选择合适的改造方案，既要最大限度的保护已有的投资又能融合新技术的功能。

选择合适的产品

目前市场上智能分析功能较多，而且很多功能属于智能分析的不同扩展应用，名称虽然不同，其实有可能是实现同样的功能。用户弄清楚这些功能的使用范围，选择适合自己需求的功能。同时用户对智能分析要有清醒的认识，既不能一味贬低，也不能期望过高。在项目实施中要充分利用先验知识，灵活运用才能收到好的效果。

智能分析要为监控服务

不能为分析而分析，分析是有针对性的，智能分析的结果要有机的整合到视频监控平台软件中，要实现报警联动功能。目前市场上很多智能分析产品仅是提供一个简单的客户端，有的甚至连录像等基本功能都没有，还需要安装专业视频监控软件，这是需要注意的问题。

结束语

视频监控系统经过多年的发展逐步迈入数字化、网络化、智能化的阶段。得益于市场需求与技术发展的良性互动，智能分析技术开始进入安防领域，并且从集中式应用逐渐向嵌入式、分布式应用过渡。智能分析技术的应用可以大大提高安防监控领域的自动化水平，实现主动报警和实时报警。目前智能分析的应用还存在一些不足，尚需广大研发机构、设备商、系统集成商通力合作，深度整合各种资源，抓住市场机会，推进智能分析应用，创造更多的社会效益和经济效益。