基于网络摄像头的实验室运动目标检测系统

王珍珠, 王玉静, 康守强, 魏兆祥, 章 璜, 徐安彤

(哈尔滨理工大学 电气与电子工程学院, 哈尔滨 150080)

0 引 言

随着国内各个高校实验室建设的不断发展，监管问题日益突出，如何快速有效的获取有用监控内容，减少监管人员查看监控内容的负担，实现对实验室的监控管理，是现阶段研究的重点内容之一[1-5]。

目前视频监控已经在各种商业应用中普遍存在，但却往往并没有充分发挥它的实时主动监督的作用[6-8]。因为现存的大部分视频监控系统一般都是通过两种方法运用监控的结果：(1)将摄像头拍摄的视频记录下来，当有异常情况发生后通过回放所保存的视频，观察发生的事实，得到关键的视频段信息，但这将耗费大量时间和精力。如2016年某高校实验室发生的丢失电脑事件，由于没有第一时间查找到重要视频段，错失了最佳处理时间，造成了较大的损失。不能有效的利用视频监控系统的主动性，不利于案件预防和侦破[8]。(2)把多个视频监控画面集中到监控室，通过监控室内数十个，甚至数百个显示器同时显示各个场景画面，以供监控人员观看。当监控人员通过显示画面发现某些异常时，人工通知相关人员前去处理。这样的系统能防范事件的发生，但据专家的分析调查，发现每小时一个人能集中注意力的时间低于20 min，通常监控人员平均观看每个摄像头的时间低于每小时5 min，从而导致视频监控效率十分低下[9]。文献[10-11]中研究了实验室目标检测，文献[12]中采用图像增强模块改善图片质量，利用FPGA和DSP对图像进行了快速的采集与处理，文献[13]中设计了一种基于FPGA的无线视频监控系统，文献[14]中研究了实时监控实验室，但都没有进行有用视频的存储，而是把所有的监控内容全部保存。

基于普通USB摄像头、供电模块、ARM主控模块、外部存储电路、DUSB串口电路、USB电路和网卡电路，利用嵌入式Linux和OpenCV函数库，采用混合高斯模型的背景减除法和JPEG压缩技术，实现了一种实验室运动目标检测摄像头，结合路由器、服务器和客户端实现一种实验室网络摄像头运动目标检测系统。实验测试验证了本系统在目标检测的同时大大缩减视频存储空间，并能快速有效的获取有效的监控内容。

1 运动目标检测方法

实验室运动目标检测摄像头中的ARM主控模块运用混合高斯模型的背景减除法来进行运动目标检测。

背景减除法的基本思想：首先获取、设定背景图像，将当前帧图像与背景图像进行差分，获得前景图像，然后二值化前景图像。

背景减除法可用下列公式来表示：

Dk(x,y)=|fk+1(x,y)-Bk(x,y)|

(1)

(2)

式中：fk为视频像序列中的视频图像；Bk为背景图像；Dk为差分后的图像，Rk为二值化后的二值图像。

二值化后的Rk(x,y)用1代表前景区域像素点，表示为白色；用0代表背景区域像素点，表示为黑色。但是由于噪声的存在，即使视频中没有运动物体，二值化图像里仍会存在一些白的噪声。因此，通过设置阈值T，将白色像素点个数与阈值的大小进行比较，判定是否有运动物体出现。当Dk(x,y)的灰度差值小于阈值，认为是背景点，此时前景画面是全黑的，大于或等于阈值时，即为前景点，画面中会出现白色部分，则判定视频中有运动画面。

背景减除法进行运动目标检测的主要优点是算法简单，实时性强，能够精确地提取目标完整信息特征。由于该方法对环境比较敏感，背景减除法的难点是如何获取准确的背景图像并及时的更新背景图像。

混合高斯模型可以自适应学习和表示分布复杂的背景模型，背景减除法常用它作为背景模型进行目标检测，目标检测的核心在于混合高斯模型参数的确定[15]。

混合高斯模型由k个高斯分布η(Xt,μi,t,Σi,t)i=1,2,…,k的线性组合来模拟背景图像的每一个像素点，其定义式：

(3)

式中：k为混合高斯模型中高斯分布的个数，一般设定为3到5个；ωi,t是模型中第i个高斯分布函数在t时刻的权重；Xt表示图像像素点在t时刻的RGB值，其均值和方差分别为μi,t和Σi,t；η(Xt,μi,t,Σi,t)是第i个高斯分布的概率密度函数。可有下式求得：

(4)

(5)

式中：I为3阶单位矩阵。

混合高斯背景模型建立首先模型参数初始化，本系统最大高斯分布函数的个数为kmax=5，高斯分布的初始均值μk,0设置为第一帧各点像素值，σk,0=50，高斯权重ωk,0初始化为1/kmax。当输入新的一帧视频序列图像时，判断新像素与混合高斯模型是否匹配。若匹配，将其判定为背景区域，进行匹配像素点的更新；若不匹配，则将其判定为前景区域，更新背景模型参数。

2 图像压缩

压缩视频采用帧内处理技术，对每一帧图像采取JPEG方式进行压缩，通过有损压缩的方式使用空间模型去掉图像中的冗余度，JPEG压缩方式主要有3个阶段：离散余弦变换(Discrete Cosine Transformation, DCT)、量化和熵编码。DCT变换先将原图划分为8×8的像块的集合，然后将像素块经过编码器编码成压缩数据。

DCT的计算公式如下：

(6)

(7)

式中，syx(x,y=0,1,…,7)为块内像素值，suv(u,v=0,1,…,7)为DCT后的变换系数。

低频部分集中在每个8×8的像块的左上角，高频部分在右下角，人类视觉难以感觉到高频失真，因此低频部分比高频部分有用的多，所以量化过程中损失的是高频部分。量化就是用DCT变换后的元素除以量化矩阵对应位置的量化步长，量化步长越高，图像压缩率越高。

对量化系数进行熵编码。量化系数分两类，一类是8×8块中的[0,0]位置，即DC系数，因为两个相邻块中的DC系数相差很小，所以进行差分脉冲调制编码可以提高压缩比。另一类是另外63个位置，即AC系数，为了保证低频部分先出现，高频部分后出现，采用行程编码。最后再对DC码和AC码进行编码。

3 系统的总体结构设计

实验室运动目标检测系统是由实验室运动目标检测摄像头、路由器、PC客户端和服务器组成。系统的总体结构框图如图1所示。

3.1 硬件组成及功能实现

实验室运动目标检测摄像头包括ARM主控模块、供电模块、外部存储电路、网卡电路、DUSB串口电路、USB电路、降压模块、USB摄像头和WiFi模块。ARM主控模块使用Exynos 4412芯片，该芯片是一款高速、低功耗的四核移动处理器，具有2 000 DMI/s(每秒2亿指令集)的高性能运算能力，能满足对视频数据处理的要求；供电电路包括电源管理模块和降压模块，电源管理模块采用S5M8767A芯片，其+1.0 V～+3.0 V输出端与ARM主控模块的电压输入端相连，降压模块将来自电源适配器的+5.0 V电压转换为+1.8 V电压作为其他电路的电源；外部存储电路包括eMMC存储器和DDR3存储器，eMMC存储采用KLMxGxFEJA-x001芯片，DDR3存储器采用2GB的K4B4G1646Q-HYK0芯片；USB摄像头经由USB电路与ARM主控模块相连，将采集到的有运动目标的监控视频压缩后通过网卡电路经路由器发送至服务器并保存；PC客户端访问服务器获取有运动目标的监控视频内容；网卡电路和DUSB串口电路用于移植U-boot、linux内核、根文件系统和Open CV函数库。

图1 系统总体结构框图

3.2 软件实现

本系统利用混合高斯模型的背景减除法实现运动目标检测，通过Open CV中封装好的Background Subtractor MOG2类实现，该类对象为bg_model(frame,fgmask,update_bg_model?-1:0)，其中，frame代表源视频，fgmask是计算过前景的mask图像，fgmask为8-bit二值化图像，update_bg_model?-1:0为学习效率，决定背景的更新频率。

本系统采用帧内处理技术，利用JPEG压缩技术，进行视频的压缩。通过Open CV库中的imencode(const string& ext, InputArray img, vector& buf, const vector& params=vector())函数编写程序实现图像压缩。其中，ext是图片的扩展名，img表示要保存的图片，buf是输出缓存，params为图片格式相关的参数，本文选用JPEG格式，压缩质量参数(CV_IMWRITE_JPEG_QUALITY)从0到100(数值越高质量越好)，默认值为95，本文设置为50。

3.3 视频传输

本系统使用互斥锁的TCP并发服务器模型，通过服务器-客户端模式进行视频查看。服务器建立两个处理线程，分别处理运动目标检测摄像头和客户端的连接。客户端和运动目标检测摄像头使用connect()连接到服务器。服务器先处理运动目标检测摄像头的连接，保存初始背景帧到服务器，当有运动物体进入监控区域时，运动目标检测摄像头将采集到的含有运动目标的视频数据，压缩处理后发送到服务器，服务器保存成单个视频文件。客户端通过网络请求访问服务器时，服务器开启客户端处理线程，进行监控视频查看。大大增强了本摄像头运动目标识别系统的便利性，减轻人员负担，提高了监管效率。视频具体通信流程如图2所示。

图2 视频传输流程

4 实验测试与结果分析

4.1 图像压缩的测试

由于视频数据量太大，为了解决视频图像经过远距离传输后的播放流畅问题，采用JPEG压缩方式。利用OpenCV库中的imencode()函数进行压缩，压缩质量参数为50，减少内存占用。压缩前后图像如图3所示，由于人眼对色彩的分辨有限，所以从图3可看出压缩后的图像与原图相差不大，可以满足监控视频清晰度，同时保证图像传输流畅。

(a) 原始图像(b) 压缩后的图像

图3 原始图像与压缩后的图像

4.2 背景减除法运动目标检测方法的测试

为了检验基于混合高斯模型的背景减除法的运动目标检测效果，将运动目标检测算法在vmware虚拟机上的ubantu系统中进行测试，设置白色像素点阈值T为100，当图像上白点个数超过100时，说明有运动目标进入监控区域。运动目标检测方法的测试结果如图4～6所示。

图4 背景图像图5 有运动物体进入的图像

图6 背景减除后图像

其中：图5为当有运动目标进入监控范围时的图像；图6为背景减除后的图像，是运动目标进入监控区域后，摄像头采集到的图像与背景图像进行差分并二值化后所得的前景图像，其中白像素点部分是通过基于混合高斯模型的背景减除算法获得的运动目标，当白像素点数量超过100，判定为有运动目标进入监控区域，黑色像素点部分为背景，可见背景已被减除。该实验结果表明基于混合高斯模型的背景减除法能够进行运动目标检测。

4.3 客户端访问服务器查看监控视频测试

实验测试过程在实验室进行。首先运行服务器程序，然后运行实验室运动目标检测摄像头程序。实验室运动目标检测摄像头程序采集初始背景帧发送并存入服务器，当有运动目标进入监控区域时，实验室运动目标检测摄像头采集运动画面，当运动目标离开监控区域后，停止采集运动画面并将压缩处理后的视频数据发送至服务器，服务器保存成单个视频文件。客户端向服务器请求访问时，进行视频的查看。

图7为客户端请求访问服务器时，查看到的包含有运动目标的监控视频。图8为服务器中所保存的由运动目标检测摄像头采集并压缩发送的运动目标视频文件。打开服务器保存的视频文件，均为只含有运动目标的视频。该实验结果表明客户端能成功访问服务器，并能成功查看到监控视频。

图7 客户端图8 服务器

5 结 语

本文提出了一种实验室运动目标检测系统的设计及实施方案。硬件部分以运动目标检测摄像头为核心，结合路由器、服务器和客户端共同构成。软件部分运用基于混合高斯模型的背景减除法进行目标检测，再运用JPEG图像压缩技术进行视频的压缩，最后运用服务器-客户端模式进行视频的查看。

该系统在监控实验室的同时只存储有人员进出实验室的监控内容，在视频存储方面大大缩减了存储的数据量，节省了视频存储占用的空间；该系统只保留重要的视频数据，后期翻看监控录像时，提高了查阅监控内容的效率，能够较为快速地找出破坏实验室或涉及犯罪行为的监控录像；客户端能够通过网络进行远程监控，使得监管人员对实验室监控更加方便。该运动目标检测系统解决了目前高校实验室在监控管理方面存在的效率低下以及视频存储空间浪费等问题。

参考文献(References)：

[1] 崔贯勋. 基于物联网技术的实验室安全管理系统的设计[J]. 实验室研究与探索，2015，34(3)：287-290.

[2] 张民垒. 基于物联网的实验室管理系统的设计与实现[D]. 大连：大连理工大学，2015.

[3] Krishna K P, Chinna R B, Francis P M. ARM based mobile phone-embedded real-time remote video surveillance system with network camera [J]. International Journal of Emerging Technology and Advanced Engineering，2012, 2(8):8-142.

[4] 吴林根, 余观夏, 王国兴. 高校实验室安全全过程管理[J]. 实验室研究与探索，2014，33(8)：300-303.

[5] 刘文艺, 刘立群, 单梦晨. 基于无线传感器网络的实验室智能监控系统设计[J]. 实验室研究与探索，2017，36(6)：259-262，266.

[6] 黄凯奇, 陈晓棠, 康运锋. 智能视频监控技术综述[J]. 计算机学报，2015，38(6)：1093-1118.

[7] 勉 斌. 基于linux的智能交通违章识别系统[D]. 成都：西南交通大学，2013.

[8] 耿金龙. 基于智能视频监控主动预警系统的设计与实现[D]. 镇江：江苏科技大学，2016.

[9] 李 彤. 智能视频监控下的多目标跟踪技术研究[D]. 合肥：中国科学技术大学，2013.

[10] Cheong Ghil Kim, Kuinam J Kim. Implementation of a cost-effective home lighting control system on embedded Linux with OpenWrt[J]. Pers Ubiquit Comput，2014, 18(3):539-542.

[11] 王跃萍. 基于ZigBee的实验室监控系统研究[D]. 大庆：东北石油大学，2013.

[12] 桑旻生. 基于QT+Linux的实验室视频监控系统设计与实现[D]. 成都：电子科技大学，2015.

[13] 靖 固, 杨华宇. 基于FPGA+DSP实时图像采集处理系统设计[J]. 哈尔滨理工大学学报，2016，21(4)：40-44.

[14] 黄 海, 于若愚, 魏家文. 无线视频监控系统设计[J]. 哈尔滨理工大学学报，2014，19(2)：63-67，72.

[15] 薛胜兰. 基于移动终端的实验室视频监控系统设计与应用[J]. 实验技术与管理，2015，32(9)：230-232.

[16] 王占凤, 郭 星, 徐秋月. 基于改进的混合高斯模型背景减除算法[J]. 河南工程学院学报(自然科学版)，2013，25(3)：65-68.