智能视频分析系统设计与实现

何英高，郑学洪

（无锡工艺职业技术学院 江苏无锡 214221）

智能视频分析系统设计与实现

何英高，郑学洪

（无锡工艺职业技术学院 江苏无锡 214221）

针对当前嵌入式智能视频分析系统图像易抖动、漏报和误报率高、检测规则少等现状，提出了通过在视频服务器端应用视频稳定模块、采用多高斯分布的算法和引入规则引擎等方法的嵌入式智能视频分析系统设计方案。并通过交通流量检测实践结果验证该设计方案提高了视频图像防抖能力，降低了漏报和误报率，方便用户实现检测规则的灵活设置。

嵌入式系统；智能视频分析；视频监控

从上世纪90年代智能视频分析技术诞生到现在，在近20年的时间里，智能视频分析技术一直都在不断的发展，随着商业化的逐步应用正日益受到人们的普遍重视[1-3]，并且成长为视频监控的关键部分和重要卖点。国内的嵌入式智能视频分析技术起步较晚，许多厂家通过购买ObjectVideo和ioimage等国外的技术授权快速地实现了智能视频分析服务器量产上市。由于嵌入式智能视频分析产品具备较少的后端硬件、更低的耗电以及更小的产品尺寸等优点，使得整个智能监控产品正在由基于PC的架构转向嵌入式架构[4]。随着移动互联网高速发展，基于B/S架构的智能视频分析产品已经成为智能安防监控产品主流。文中基于多高斯分布运动目标检测与跟踪算法，提出了采用B/S软件架构、视频稳定模块和引入检测规则引擎等方法实现嵌入式智能视频分析系统，提高了智能视频分析系统防抖能力，降低漏报和误报率，实现检测规则灵活配置。

1　智能视频分析系统硬件设计

目前智能视频分析硬件多采用TI公司芯片[5-6]，本系统的硬件系统基于TI公司达芬奇（Davinci）芯片，总体设计框图如图1所示。硬件系统采用模块化设计，系统由多个模块组成，根据功能的不同主要有视频输入模块、处理器模块、视频输出模块、报警外设模块（音频模块和ATA硬盘模块）、存储模块（NOR、NAND、SRAM等）、UART模块 （RS232和RS485）、10／100M自适应以太网物理层电路模块和USB接口模块等模块组成。实时视频图像由图像采集设备（CCD/CMOS）采集得到，采集的视频信号经过视频解码芯片转换为数字视频信号传入DM6446的视频处理前端 （VFPE），然后由VPSS处理后存入DDR2SDRAM，或者通过外部显示设备输出；DSP子系统从DDR2SDRAM中读入视频图像数据，根据检测规则调用相关应用程序对其进行处理、分析判断和入侵检测，最后将检测结果传给ARM子系统，由ARM子系统来控制外围接口输出报警信息并将入侵视频存储到ATA硬盘模块。

图1　系统硬件结构

2　智能视频分析系统软件设计

本项目所采用的智能视频分析系统的原理如图2。

图2　智能视频分析原理

2.1视频稳定模块

视频稳定模块是为了消除摄像机抖动对跟踪结果的影响，避免不必要的误报。视频稳定是通过对背景特征的筛选和匹配，得出水平/垂直方向的位移，对视频进行实时的补偿。

2.2背景提取

智能视频分析运动目标检测主要算法有3种：帧间差分法、背景差分法和光流法[7-9]。背景提取是基于在一定时间t内对固定像素的观察得出的统计可能性（statistical likelihood），建立一个基于像素点的场景模型。我们采用的背景提取方法是基于Stauffer和Grimson的多高斯分布的方法（mixture of Gaussians，MOG）.背景提取算法分为两个步骤：用当前图像和背景模型相结来得出图像差异，以及用当前图像来更新背景模型，如图3所示。

图3　背景提取方法

背景模型的建立是基于多高斯分布的。传统的方式是用多高斯分布 （每个高斯分布都有自己的均值μ和标准差σ）来对每个像素点的亮度进行建模，因为每个独立的像素点都有可能是动态背景的一部分。例如交通灯里面闪烁的黄灯，相应的像素会从黄色便成黑色，这种情况就不能用单一的高斯分布来建模，而只能用多高斯分布。

2.3图像形态学操作

对于生成的图像差异进行二值化，就可以得到大概的图像前景轮廓图 （blobs）。但是我们还需要对这一轮廓图进行进一步的“清理”，例如移除那些独立的像素（噪声），以及把那些临近的像素连接起来。这些都可以通过图像闭运算操作来完成，闭运算操作就是对图像先膨胀后腐蚀。图4给出了图像形态学操作前后的例子：

2.4连通区域

连通区域是用来将所有相邻的像素连接起来并标记的算法。常用的有4方向连通（上下左右）见图5和8方向连通（再加上4个对角）见图6：

图4　图像形态学操作

图5　4方向连通

图6　8方向连通

所有连通的区域包括标记，位址，大小等等，都会被传给跟踪算法做进一步处理。

2.5多假设跟踪算法

多假设跟踪的算法的目的在于将t时刻的二值化前景和t-1时刻的二值化前景建立起对应的关系。这是一个很基本的数据关联问题，在这里我们将使用多种特征来建立这种对应关系。

2.6目标匹配

采用了以下几种特征的组合作为匹配的标准：

blob的中心位置 （x，y）

blob的像素面积

blob所对应像素（灰度）的归一化直方图（16 bins）

下面给出了blob和已跟踪的物体 （tracker）之间的距离的公式：

在上式（1）中，最后一项其实就是计算了blob直方图和tracker直方图之间的Bhattacharyya距离。

根据上面的公式，我们可以计算出每个blob和tracker之间的距离，从而生成一个匹配矩阵。根据这个矩阵，会有4种可能的匹配结果：

blob找不到相匹配的tracker（新的tracker出现）

tracker找不到相匹配的blob（tracker消失或者被遮挡）

tracker找到一个相匹配的blob（tracker还存在或者不再被遮挡）

blob找到多个相匹配的tracker（假设多个tracker正处于合并中）

2.7三维校正

多假设跟踪算法的输出（大小，高度，速度等等）都是基于像素点的，不是现实的单位。通过设置摄像机的一些参数，如视角（field angle），倾斜角（tilt angle），像机高度等等，我们可以建立一个二维到三维的转化关系，借此将跟踪算法的输出转化成现实世界的单位。

2.8物体分类

我们这里采用了比较简单直观的物体分类。根据三维校正的输出，我们可以得到物体在现实世界中大概的大小，高度，速度，长宽比等等。根据一些常识性的知识进行简单的分类，如汽车的面积都比人的面积大等等。

2.9规则判定引擎

规则判定引擎支持非常强大且灵活的规则判定，它既支持简单的预设规则（存在/出现/消失/进入/离开/徘徊/停留/方向/遗弃/尾随/计数），又提供强大的自定义规则设置，用户可以根据自己的需要进行相关的规则设置。

2.10XML生成器

考虑到XML的普及性，XML生成器是用来将所有的智能视频分析引擎的输出转化成XML格式并输出的工具。

3　系统软件设计与实现

系统采用window7操作系统搭建软件平台，嵌入式智能视频分析系统内核采用Linux2.6.18作为嵌入式Linux操作系统。Linux2.6采用可抢占内核、更加有效的调度算法以及同步性的提高，同时添加了新的体系结构和处理器类型，可以支持大容量内存模型、微控制器，同时还改善了I/O子系统，增添更多的多媒体应用功能。

3.1视频采集软件实现

由于Linux kernel中的V4L（video4linux）提供了支持影像设备的一组API，使得 Linux在智能视频、TV、多媒体等产品上广泛应用，成为目前相当热门的研究领域。本实现方案中通过调度嵌入式Linux操作系统的V4L（video4linux）和影像设备驱动程序来完成视频捕获，完成整个智能视频分析系统的视频采集第一步重要工作。具体过程：本系统采用内置OV511芯片的摄像头，Linux内核中含有对OV511芯片的USB摄像头的驱动。驱动加载过程如下：在kernel目录中选择Multimedia device下的Video for Linux，在usb support目录下选择support for usb和usb camera ov511 support，保存退出，新内核加载到开发板上，启动板子后ov511.o就可以成功加载，在监控端ARM的LCD上就可以看到摄像头所采集到的图像。

3.2智能视频分析实现

智能视频分析需要完成智能视频分析、视频编码与发送两个功能模块。智能视频分析模块收到原始视频后，先将多路行交叉模式输出的复合视频数据解复用，并对解复用后的单路视频标记通道ID，然后把空buffer返回给采集线程，再按照通道ID分别对采集到的视频原始数据根据智能分析算法和规则进行处理；视频编码与发送模块将经过智能分析处理后的视频数据通过DSP进行实时的H.264编码，并生成NAUL数据，然后利用RTP流媒体实时传输协议封装NAUL数据，建立传输链路，创建socket，把RTP数据包以组播方式发送到网络当中。为了能将采集到的视频图像传输到基于浏览器的客户端并实时显示，可以通过在目标板系统中移植一个Web服务器来实现。

3.3客户端监控实现

B/S模式的视频服务机制是随着Internet技术的兴起对C/S（Client/Server）服务机制的一种改进，由于其先进的开发技术，优越的可管理性和可维护性以及简单方便的应用模式，已经成为视频监控系统最流行的应用方式。

为了方便基于浏览器模式浏览智能视频，客户端通过开发ActiveX控件实现视频接收和解码，在ActiveX控件中实现与Web服务器端的网络通信显示图像等功能。由于ActiveX控件可以嵌入到网页中所以就可以通过浏览器访问基于Linux的Web服务器，用户在浏览器端下载ActiveX控件，通过Web页面输入监控方的IP地址可以查看监控方的信息。智能监控系统用于交通流量检测效果如图7所示。

图7　交通流量检测

4　结束语

文中介绍了以DM6446+Linux+WebServer体系架构结合先进智能分析算法开发了嵌入式智能监控系统，降低了当前智能视频分析系统漏报和误报率；由于采用IP接入方式，用户利用现有网络资源，通过浏览器下载ActiveX控件就可以实现客户端规则配置，实时查看智能分析监控视频，具有很强的实用性和通用性，满足了徘徊检测、流量检测等高难度、复杂环境下的视频监控要求，目前已经实现试点推广应用。

[1]董宏辉，葛大伟，秦勇，等.基于智能视频分析的铁路入侵检测技术研究[J].中国铁道科学，2010，31（2）:121-124.

[2]曾令卉.城市视频监控系统解决方案[J].电视技术，2012，36 （5）:131-133．

[3]付蓉，严建亮.智能家居远程视频监控系统的设计与实现[J].计算机技术与发展，2012，22（3）:137-140.

[4]赵瑶池，胡祝华，胡诗雨.嵌入式网络智能视频监控系统设计与实现[J]．现代电子技术，2012，35（4）:68-70.

[5]陈先玉，帅建平.基于DM642平台的智能视频分析系统设计.现代电子技术[J]，2013，36（23）:47-48.

[6]郑静，王新萍.基于TMS320DM6446的智能视频分析系统设计[J].山西煤炭管理干部学院学报，2011，24（3）:100-103.

[7]李鹏飞，陈朝武，李晓峰.智能视频算法评估综述[J].计算机辅助设计与图形学报，2010，22（2）:352-360.

[8]朱映映，朱艳艳，梁叶，等.结合运动估计的自适应运动目标检测改进算法.小型微型计算机系统 [J]，2014，35（1）: 129-132.

[9]谭筠梅，王履程，雷涛，等.城市轨道交通智能视频分析关键技术综述[J].计算机工程与应用，2014，50（4）:1-6.

Design and implementation of embedded intelligent video analysis system

HE Ying-gao，ZHENG Xue-hong
（Wuxi Institute of Arts&Technology，Wuxi 214221，China）

In view of shortage of current embedded intelligent video image analysis system，such as image dithering，high rate of false alarm and missing alarm，little rules setting and so on，this paper designs a solution of embedded intelligent video analysis system，through application of video stability module，adoption of mixture of Gaussians and usage of rules engine in video server.Practice verifies this solution can improve capability of protection image dithering，reduce rate of false alarm and missing alarm and set rules flexibly for user through a traffic flow detection case.

embedded system；intelligent video analysis；video surveillance

TN919.85

A

1674－6236（2016）22-0036-03

2015-10-28稿件编号：201510205

国家自然科学基金项目（61271333）

何英高（1972—），男，湖南衡阳人，硕士，高级工程师。研究方向：智能视频分析和智慧校园。