动态复杂背景下的智能视频监控系统设计与实现

张纪宽, 彭 力, 陈志勇

(江南大学物联网工程学院,江苏 无锡 214122)

动态复杂背景下的智能视频监控系统设计与实现

张纪宽, 彭 力, 陈志勇

(江南大学物联网工程学院,江苏 无锡 214122)

采用二重对称帧间差分目标检测算法和基于压缩感知的目标跟踪算法，设计并实现了一种可适应动态复杂背景下的智能视频监控系统；基于目标检测该系统能提取本地视频文件中局部运动目标并进行视频压缩，减少回放、查看视频时间，可实时播放并处理本地或网络摄像头数据，也可根据光照变化动态调整二值化阀值，实现实时区域入侵检测与报警；基于目标跟踪本系统能在动态背景下对选定目标进行跟踪,可通过客户端手动控制监控云台跟踪，也可对入侵目标实现云台自主大角度追踪；实验表明，此系统能在日常复杂环境下对运动目标准确检测和大角度跟踪，在智能家居和移动安防领域有很好的实用性。

目标检测; 压缩感知; 自主跟踪; 复杂背景; 智能监控; 监控云台

0 引言

传统视频监控仅采集、显示、存储和回放等简单的功能，仅仅记录发生的事情，很难起到预防和报警的作用。随着视频监控应用日益广泛，智慧城市和公共安全需求的日益增长，监控视频数据已成为大数据时代的重要数据对象，采用人工监看视频方式已经远远不能满足需求[1-3]。由此智能视频监控成为如今研究热点，文献[1-2]概括提出了当今智能监控系统发展的趋势，大规模的应用尚处于积累阶段，智能视频监控系统的需求将日益迫切。文献[4]用三帧差分法实现了运动目标的跟踪监控，为系统的实际应用打下了基础；文献[5]提出了复杂背景下的目标检测与跟踪，为智能视频监控系统打下了理论基础；文献[6]实现了视频网络传输，但未对视频进行智能处理。因此，文中是在文献[6]嵌入式前端无线视频传输服务器基础上,在PC端构建智能视频分析客户端；优化文献[7]中二重对称边缘帧差算法完成运动目标检测，实现区域入侵报警和本地视频特征提取与视频压缩；采用简单高效的基于压缩感知的跟踪算法[8-11]，增强其在复杂动态背景下的性能，实现摄像头快速连续大角度自动跟踪进入特定区域的目标。完成在日常生活中动态复杂背景下的智能视频监控。

1 系统设计及工作原理

文中设计的智能监控系统由嵌入式前端服务器[6]和智能视频分析客户端两部分组成。前端服务器采用TMS320DM365多媒体处理器，构建流媒体服务器，完成视频采集，H.264编码，RTSP网络传输，实时接收客户端控制命令并对监控云台进行全方位控制。客户端运行在windows平台上，采用MFC编程，实现实时视频流接收，本地视频压缩，运动目标检测与报警，监控云台手动、自主跟踪。系统整体结构图如图1所示。

图1 系统整体结构图

系统工作原理：系统上电后，前端服务器初始化硬件设备，打开摄像机，归位云台并构建RTSP服务器等待客户端连接。客户端可通过输入RTSP网络地址连接到服务器，实时接收视频数据，通过列表框中选择的智能算法来对视频进行运动目标检测或跟踪处理，可通过点击云台控制按钮，手动向前端服务器发送云台控制命令，也可选择自主跟踪，摄像机便自主跟踪入侵区域的运动目标。前端服务器通过USART协议控制监控云台转动，通过无线WiFi连入网络与客户端通信。

2 智能算法

智能算法的系统实现必须满足算法简单高效计算量低的特点。针对动态复杂背景时光照等条件易发生突变从而导致目标检测精度低，背景误判为运动目标的概率大这一难题，文中系统利用帧间差分法的简单、快速、易实现[2]等优点，采用二重对称边缘帧差法实现运动目标检测；目标跟踪部分采用简单高效的压缩感知跟踪算法，完成对目标的精确跟踪。

2.1 运动目标检测算法

采用二重对称边缘帧间差分算法实现运动目标检测，首先根据帧间灰度直方图的巴氏距离判断是否产生光线突变，若发生突变，重新建立帧差组合，保证突变瞬间不影响检测结果，自主调整二值化阀值，自适应光照变化后的背景。算法流程图如图2所示。

图2 二重对称帧间差分流程图

二重对称帧间差分步骤如下：

2)进行五帧边缘差分并二值化处理:

(1)

二值化自适应阀值借鉴文献[7]中的OUT法，增加一个光照变化量ΔT，变为动态阀值:

T′=TH+ΔT

(2)

其中:θ为系数，参考值为0.1，S为一帧图像像素个数。无光照突变时ΔT趋近0，阀值不变；当产生光照突变时，ΔT增大，阀值对应增大，从而抑制复杂动态背景时因光照突变带来的二值化影响。

3)对差分结果进行运算处理，如公式(3)，得到完整边缘图像f″n。

(3)

4)进行形态学处理，得到运动目标D。

检测光照突变方法：根据光照突变时直方图灰度级像素个数相应的发生突变，因此，可通过巴氏系数d来衡量相邻帧灰度直方图的相似性，从而判断是否发生光照突变，如公式(4)：

(4)

其中:H为图像的直方图，图像相似度越高，d越大，接近1，反之越小，接近0，通过实验，设置为0.7时可很好的判定是否发生光照突变。

2.2 目标跟踪算法

文中系统使用基于压缩感知的目标跟踪算法，分为特征提取、特征向量分类、分类器更新三部分。其中特征提取选用压缩感知提取，分类使用的朴素贝叶斯分类器，更新通过对每一帧图像的在线学习，从而实现目标跟踪的全过程。算法流程图如图3所示。

第t 帧时，对此帧图像提取采样获得若干图像片，其中目标的样片作为正样本，背景的为负样本，经过多尺度变换得到正负样本的多尺度图像特征，利用稀疏测量矩阵对其进行降维得到各自的压缩向量，最后通过各自的压缩向量训练朴素贝叶斯分类器。第t+1 帧时，在第t 帧跟踪目标周围采样若干个窗口，进行多尺度变换、降维、提取特征和分类，降维和分类时分别采用跟第t 帧相同的测量矩阵和分类器，最终的跟踪窗口便是分类中分数最大的窗口，从而完成了第t 帧到第t+1 帧的跟踪。

图3 目标跟踪算法流程图

算法实现步骤如下：

1)输入：分别输入视频序列v ，和正、负样本的采样半径α和β。

2)提取样片：以第t-1 帧的目标窗口中心o为圆心，分别在以α为半径的圆形区域和以β为外半径α为内半径的圆环区域采集正、负样本。

3)多尺度变换：用公式(5)所示滤波器对图像某特定位置进行灰度卷积，其中i、j 分别是矩形滤波器的宽和高。

(5)

(6)

5)随机投影降维：如公式7，一个m 维的图像空间x 可以被一个n×m的稀疏矩阵变换成n 维，变换过程如图4所示，R中灰白黑三种颜色分别代表矩阵中的正数、零、负数，带箭头的蓝色曲线表示用R 矩阵中的非零元素感知x 图像空间中的元素。

(7)

图4 随机投影降维图解

6)分类器构建：对每个样本z∈Rw×h，低维表示是v=(v1,...,vn)T∈Rn，构建朴素贝叶斯分类器：

(8)

其中样本标签为y∈{0,1}，0代表负样本，1代表正样本，假设特征中每个元素是独立的，因此可通过公式8来建模。假定p(vi|y=1)和p(vi|y=0)也服从高斯分布，则有：

(9)

(10)

3 监控系统软件设计

前端服务器参考文献[6]，文中主要工作是客户端软件设计，实时接收服务器端视频信息并进行运动目标检测、跟踪，本地视频压缩处理，云台控制及云台自动跟踪。在PC端MFC平台上运用C++多线程编程，采用live555流媒体库获取视频流，FFMPEG解码库实现实时H.264视频流解码，Opencv实现目标检测和视频压缩，单独的线程实现目标跟踪，最后主线程变为控制线程。客户端功能模块图和各线程协同工作流程图分别如图5和图6所示。

图5 客户端功能模块图

图6 线程工作流程图

动态背景控制策略：文中系统可在动态背景下实现目标检测与跟踪，通过线程互斥机制使视频处理线程和云台控制线程互斥运行，有效解决帧差法无法适应动态背景的问题和云台转动产生图像漂移对压缩感知的影响。线程互斥流程图如图7所示。

图7 线程互斥运行流程图

在进行视频处理前，需要先访问信号量，通过P操作申请信号量，若此时信号量为0则线程阻塞，说明此时云台正在转动，等待云台控制线程的V操作释放信号量；若信号量为1，P操作先将信号量置0后再进行视频处理操作。

4 监控系统测试

文中实现的智能监控系统客户端运行在Intel(R)Pentium(R)CPU主频3.00GHz的PC机上，采用C++语言在VS2010上进行开发，系统用户界面及区域入侵和云台自主跟踪效果如图8所示。上面三幅是区域入侵效果图，下面三幅是云台自主跟踪效果图。

图8 智能监控效果图

运动目标检测算法的测试采用自采视频，分别利用传统帧间差分和高斯背景差分法与本文实现算法对有光照突变的视频进行测试,如图9。a1代表光照突变前一帧，可见在无光照突变时本文使用算法b1可以完整检测出目标轮廓，传统三帧差分c1则检测不够连续，传统高斯背景建模法d1则检测结果比较充实。在发生光照突变后，c2和d2则无法检测目标，由于本文使用算法在光照突变时重构帧差组合且动态调整二值化阀值，从而仍能清晰检测出目标轮廓。

图9 光照突变时目标检测结果

目标跟踪采用三组标准视频Occludedface2、Davidindoor、Tiger1将本文实现算法与TLD[12]和MIL[13]算法进行对比,如图10。

图10 目标跟踪结果比较

表1 跟踪成功率(%)

表2 平均处理速度(帧/秒)对比

由以上比较结果，Davidindoor视频序列，TLD算法表现最好，略好于本文使用算法；occludedface2序列，TLD算法出现丢失目标现象严重，本文使用算法跟踪效果最好，MIL算法次之；Tiger2序列目标不明显且变换复杂，文中使用算法依然保持最好的跟踪成功率。从处理速度上，文中使用算法明显高效于其他算法。因此文中算法高效，实时，符合系统实现要求。

5 结束语

设计并实现了一套适应动态复杂背景的智能视频监控系统。该系统能播放处理本地视频，对视频文件进行区域压缩，接收并处理网络实时视频流，实现实时区域目标检测和对选定目标进行跟踪，可手动控制监控云台实现大角度跟踪，也可对入侵目标进行云台自主跟踪。与文献[6]结合组成完整的监控系统前后端，适用于众多监控领域。

[1] 黄凯奇,陈晓棠,康运锋,等.智能视频监控技术综述[J].计算机学报,2015,38(6):1093-1118.

[2] 黄铁军,郑 锦,李波等.多媒体技术研究:2013——面向智能视频监控的视觉感知与处理[J].中国图象图形学报.2014,19(11):1539-1562.

[3] 管菊花,郭 波.基于DaVinci技术的嵌入式智能监控系统[J].计算机测量与控制.2014,22(9):2754-2757.

[4] 谢永昌,许少凡,狄红卫.基于DM642的运动目标实时跟踪监控系统的设计[J].光学技术,2010,36(3):469-473.

[5] 李劲菊,朱 青,王耀南.一种复杂背景下运动目标检测与跟踪方法[J].仪器仪表学报,2010,31(10)：2242-2247.

[6] 张纪宽,彭 力,陈志勇.基于嵌入式前端服务器的音视频监控系统设计[J].江南大学学报(自然科学版)，2015,14(1):38-42.

[7] 王丽梅.基于DM642的智能视频监控系统的设计与实现[D].北京：北京工业大学,2013.

[8]ZhangK,ZhangL,YangMH.Real-timecompressivetracking[A].ComputerVision-EVCC2012[C].BerlinHeidelberg:Springer, 2012, 7574:864-877.

[9]WuY,JiaN,SunJ.Real-timemulti-scaletrackingbasedoncompressivesensing[J].TheVisualComputer, 2014, 31(4): 471-484.

[10]ZhuQ,YanJ,DengD.Compressivetrackingviaoversaturatedsub-regionclassifiers[J].ComputerVision,IET, 2013, 7(6): 448-455.

[11]JingJ,XuG,LeiB,etal.Usingappearancere-matchingtoimprovereal-timecompressivetracking[A].ProceedingsoftheFifthInternationalConferenceonInternetMultimediaComputingandService[C].ACM, 2013: 28-33.

[12]KalalZ,MikolajczykK,MatasJ,Tracking-learning-detection[J].PatternAnalysisandMachineIntelligence,IEEETransactionson, 2012, 34(7):1409-1422.

[13]BabenkoB,YangMH,BelongieS.Visualtrackingwithonlinemultipleinstancelearning[C]ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition.WashingtonDC:IEEE, 2009: 983-990.

Design and Realization of Intelligent Video-surveillance System in Dynamic Complex Background

Zhang Jikuan, Peng Li, Chen Zhiyong

(Engineering College of Internet of Things,Jiangnan University,Wuxi 214122,China)

In this paper, an intelligent video surveillance system is designed and implemented in dynamic complex background based on the target detection algorithm of double symmetrical frame difference and the target tracking method based on compressive sensing. This system, based on target detection, has functions such as local moving objects extracted from local video file and compression to reduce playback time, local or network camera data real-time playing and processing, real-time area intrusion detection and alarm according to the change of illumination to dynamically adjust the binarization threshold. This system, based on target tracking, also has functions such as tracking the selected target in dynamic background, controlling monitoring PTZ through the client manually, tracking the invasion target independently with large angle,. The results showed that the system can accurately detect and track moving target in daily complex environment, have great practical needs in smart home and mobile security field.

target detection; compressive sensing; active tracking; complex background; intelligent video surveillance; monitoring PTZ

2015-12-28；

2016-02-24。

江苏省产学研联合创新资金--前瞻性联合研究项目(BY2014023-25)。

张纪宽 (1990-),男,硕士研究生，主要从事网络视频传输方向的研究。

彭 力(1967-),男,博士,教授，主要从事视觉传感器网络、人工智能、计算机仿真方向的研究。

1671-4598(2016)07-0100-05

10.16526/j.cnki.11-4762/tp.2016.07.027

TP3 文献标识码：A