面向工业4.0的多维视频监控系统设计

韩亚辉

(河北工业职业技术学院宣钢分院，河北 张家口 075100)

0 引言

多维视频监控系统是采用计算机视觉技术处理多维视频信号，并分析多维视频中的图像信息，对视频图像进行准确定位、有效识别以及及时跟踪，从而做出判断和分析，针对多维视频图像的异常特征发出警报，实现提前预警的功能[1]。国外很多国家都在多维视频监控系统领域投入了人力财力，美国研究了多维视频的检测系统，通过多维视频的图像匹配模型将图像展示出来，从而检测出视频图像的整体特征，完成多维视频的图像检测，实现监控功能[2]；国内对于多维视频监控系统的研究起步较晚，但是在政府、机构的大力支持下，多维视频监控系统受到了高度重视并取得一定进步[3]。

文献[4]提出基于OpenCV与Socket的多维视频监控系统，采用OpenCV与Socket之间的编程软件，满足多个用户同时发出监控请求，并以视频流的方式将多维视频图像发送给系统客户端，结果表明该系统的研发开销较小；文献[5]提出基于ZigBee技术的多维视频监控系统，采用嵌入式处理器来采集多维视频，通过基于ZigBee技术将多维视频传输到监控终端，实现多维视频的监控，结果表明该系统具有运行稳定和安全的特性。

基于以上背景，本文将工业4.0应用到多维视频监控系统设计中，从而提高多维视频监控系统的性能。

1 多维视频监控系统硬件设计

1.1 多维视频采集器设计

多维视频采集端将单片机作为主控制单元，基于第四次工业革命的生产模式，使主控芯片的最高频率可达到168 MHz，将其应用到多维视频采集器设计中具有比较高的性价比，从而达到监控系统的设计要求[6]。

在第四次工业革命的背景下，多维视频的采集对整个监控系统来讲是基础，多维视频采集器可以及时采集到监控区域内的多维视频信号，选择TKF240采集传感器作为监控摄像头的采集模块，完成多维视频的控制曝光、图像增益以及白平衡等功能。TKF240采集传感器功能框图如图1所示。

图1 TKF240采集传感器功能框图

从图1可以看出，TKF240采集传感器的感光整列共包括1 632×1 232个像素，最大可达到两百万像素，采集传感器的视频信号处理模块是整个模块的核心，利用采集传感器将多维视频图像的边缘锐化[7]。

为了确保多维视频数据的完整性，需要采用多维视频采集器将多维视频数据保存，面向工业4.0的多维视频监控系统选用的是32位处理器，多维视频采集器也要选择32位，考虑到视频采集器大于8 M才能保证多维视频数据的完整性，因此选用SCD985芯片，芯片的单片容量为16×16，由于运动视频监控系统需要32位的视频数据传输，则采用两片构成的16×32的采集器[8]。

1.2 监控网络传输接口设计

若将监控摄像头采集到的多维视频图像在监控终端显示出来，必须通过监控网络传输接口来实现。采用工业4.0中的以太网来完成多维视频图像的传输，将监控终端作为监控系统的服务器端，将多维视频采集器作为客户端[9]。监控网络传输接口是连接多维视频控制器与介质访问控制器的数据接口，同时可以支持多维视频独立的接口[10]。通过监控网络传输接口与监控终端进行数据通信，在系统寄存器中通过配置工业4.0中的信息技术与计算机技术，来实现多维视频数据的传输[11]。监控网络传输接口原理如图2所示。

图2 监控网络传输接口原理

监控网络传输接口允许监控应用程序来访问寄存器，基于工业4.0的监控网络传输接口支持多种输入模式，并且支持最大输入分辨率为8 192×8 192的多维视频图像[12]。监控网络传输接口具有视频数据缩放、预览视频镜像等功能，同时还支持旋转和翻转功能[13]。多维视频监控系统可以通过监控网络传输接口来捕捉多维视频，采用工业4.0设计的监控摄像头具有300万的超高像素，满足运动视频分辨率的要求[14]。

以上基于第四次工业革命的优势，在监控系统硬件平台内部集成多个视频处理单元，在采集传感器上采集多维视频的图像数据，完成多维视频采集器设计[15]；利用以太网开发了监控系统的监控网络传输接口，通过分析监控网络传输接口的性能及电路接口功能，完成了监控网络传输接口设计，实现了运动视频监控系统的硬件设计[16]。

2 多维视频监控系统软件设计

2.1 提取多维视频背景

在工业4.0的背景下，提取多维视频的背景，首先要确定多维视频背景中的图片像素点，采集器采集到的多维视频中，每一个像素点的取值都服从特定的规律。对于多维视频监控系统而言，由于监控场景不同，多维视频的背景通常都会呈现出单模态特征[17]。假设对于一个多维视频帧序列F={f1,f2,…,fn}，多维视频中的像素取值共同构成了一个像素点集合P={p1,p2,…,pn}，令μ为像素点集合P的均值，δ为像素点集合P的方差，当P中的多维视频像素符合正态分布时，就存在：

(1)

在提取多维视频背景时，监控摄像头通常是静止的，提取到的多维视频背景值为统计值的均值，假设提取的多维视频背景为B(x,y)，系统采集到的多维视频帧为fi(x,y)，(i=1,2,3,…,N)，则提取到的多维视频背景为：

(2)

在多维视频监控系统中，当监控摄像头出现轻微摆动，就会使采集到的多维视频像素点不服从正态分布，上述方法就会导致提取到的多维视频背景混乱[18]。在服从正态分布基础上，引入一个表示像素更新快慢的系数α，来控制多维视频背景的比例，更新后的多维视频背景提取公式为：

Bi(x,y)=μi=(1-α)μi-1+αfi(x,y)

(3)

由于原始多维视频背景提取公式很难做到服从正态分布，通过引入更新快慢的系数，更新了多维视频背景提取公式[19]。

2.2 更新多维视频背景

多维视频背景的更新与提取不同，更新多维视频背景是从两方面实现的，一是通过低通滤波来阻止多维视频中快变图像对视频背景更新的影响，二是根据当前帧多维视频的检测结果来更新多维视频的背景[20]。

在多维视频的监控信号处理中，多维视频滤波器可以把监控信号从视频噪声中提取出来，监控信号差分模型为：

x(n)=s(n)×v(n)

(4)

式中，s(n)表示有用监控信号，v(n)表示多维视频的噪声。假设滤波器去噪的单位函数为h(m)，输出的监控信号为：

y(n)=h(m)×x(n)

(5)

式(5)可以从观测值来估计有用监控信号的值，背景帧为Bk(x,y)，更新多维视频的背景帧为Bk+1(x,y)，多维视频的差分函数为Dk(x,y)，则利用式(6)来实现多维视频背景的更新：

Bk+1(x,y)=Bk(x,y)+gk×Dk(x,y)

(6)

式中，gk表示背景更新的权系数。

以上利用多维视频背景更新方式，建立了监控信号差分模型，结合多维视频监控信号的输出，更新了多维视频背景[21]，通过多维视频跟踪算法设计，来实现多维视频的监控。

2.3 多维视频跟踪算法设计

在设计多维视频跟踪算法时，先假设监控系统的状态具有独立性，多维视频后验概率的求解分为预测和更新两个过程：

(7)

(8)

对于多维视频监控系统，式(7)和式(8)不能对多维视频进行解析计算，利用工业4.0时代的计算机技术将t时刻多维视频的后验概率表示为：

(9)

(10)

采用多维视频跟踪算法来实现监控的具体步骤如下。

1)跟踪算法初始化：

3)根据上一时刻的多维视频状态，来预测当前帧多维视频的状态；

7)t=t+1，回到2)。

研究地位于甘肃省武威市凉州区黄羊镇农垦农场甘肃农业大学牧草试验站，地理位置N 37°52′20″，E 102°50′50″。地处甘肃河西走廊东端，属典型内陆荒漠气候区，海拔1 581 m；全年平均无霜期156 d，降水量164.4 mm，蒸发量1 919 mm，年均气温7.8℃，日照时数2 968.2 h，≥10℃年积温2 985.4℃；年太阳辐射总量504～630 kJ/cm2。供试土壤为灌漠土，耕层有机质15.71 g/kg、全氮0.87 g/kg、全磷1.02 g/kg、速效磷13.38 mg/kg、速效钾248.63 mg/kg，土壤pH8.2。

多维视频监控系统软件实现流程如图3所示。

图3 多维视频监控系统软件实现流程图

综上所述，在引入更新快慢的系数基础上，更新了多维视频背景提取公式，完成多维视频背景的提取，通过建立监控信号差分模型，实现了多维视频跟踪算法设计，最后结合多维视频跟踪算法设计，完成了系统的软件设计，实现了多维视频的监控[23]。

3 实验对比分析

3.1 测试步骤设计

通过运动视频监控系统测试，验证系统是否满足设计要求，系统测试的软硬件设备参数如下。

硬件平台：MP658摄像头、智能手机、MRT9642开发板。

软件平台：安卓版本4.4.4、VS2012。

运动视频监控系统的测试步骤如下。

步骤1：打开多维视频监控终端，设置端口号和波特率为57600，多维视频的数据位设置为8，给开发板通电；

步骤2：在命令行中输入“打开”，将多维视频服务器打开；

步骤3：打开监控软件，进入登录界面；

步骤4：通过计算机技术连接到监控系统的局域网，输入服务器端的IP地址，设置端口号为8080；

步骤5：点击登录按钮，客户端会向系统服务器发出请求，验证成功后直接进入运动视频监控界面，否则提示用户登录失败；

步骤6：如果有目标入侵，多维视频监控系统会自动检测并跟踪；

步骤7：记录实验数据。

3.2 多维视频图像的压缩比对比试验

多维视频图像的压缩比对比实验利用3.1设计的测试步骤，分别利用基于OpenCV与Socket的多维视频监控系统、基于ZigBee技术的多维视频监控系统以及面向工业4.0的多维视频监控系统进行了多维视频图像压缩比对比实验，实验结果如表1所示。

表1 多维视频压缩比对比结果

从表1的实验结果可以看出，采用基于OpenCV与Socket的多维视频监控系统来监控多维视频时，由于该系统对多维视频图像的噪声去除效果较差，使得监控到的多维视频掺杂了更多的噪声，导致多维视频图像的压缩比都在15:1附近，只有第8帧运动视频图像的压缩比超过了16:1，十帧运动视频图像的平均压缩比为14.999:1；采用基于ZigBee技术的多维视频监控系统来监控多维视频时，该系统中引入的嵌入式处理器可以进一步消除多维视频图像的噪声，达到更好的图像去噪效果，使多维视频图像的压缩比提高了近一倍，经计算，十帧运动视频图像的平均压缩比为44.813:1；而采用面向工业4.0的多维视频监控系统来监控多维视频时，系统硬件端口与软件程序之间的有效结合，可以将多维视频图像的噪声消除掉80%～90%，获取到更高质量的多维视频图像，使得多维视频的压缩比变大。经计算，十帧运动视频图像的平均压缩比为80.004:1。因此可以得到面向工业4.0的多维视频监控系统可以监控到更大压缩比的多维视频。

3.3 多维视频的分辨率对比试验

多维视频图像的分辨率对比实验中，分别利用基于OpenCV与Socket的多维视频监控系统、基于ZigBee技术的多维视频监控系统以及面向工业4.0的多维视频监控系统进行了多维视频图像分辨率对比实验，实验结果如表2所示。

从表2的实验结果可以看出，采用基于OpenCV与Socket的多维视频监控系统来监控多维视频时，由于每一帧多维视频的饱和度是不同的，饱和度低的多维视频更容易掺杂更多的噪声，使多维视频图像的分辨率变低，经计算，监控的十帧多维视频图像的平均分辨率大约为239*239dpi；采用基于ZigBee技术的多维视频监控系统来监控多维视频时，监控到的多维视频图像分辨率略有提高，该系统中的嵌入式处理器具有增强多维视频图像饱和度的功能，从而解决图像噪声的影响，使监控的十帧多维视频图像的平均分辨率大约为369*369 dpi；采用面向工业4.0的多维视频监控系统来监控多维视频时，系统软件配置的背景获取和更新，可以提高整帧视频图像的清晰度，消除图像噪声对多维视频质量的影响，经计算，监控的十帧多维视频图像的平均分辨率大约为533*533 dpi。

表2 多维视频图像分辨率对比结果

综合以上实验结果，无论是在压缩比还是分辨率方面，面向工业4.0的多维视频监控系统可以监控到更高质量的多维视频图像。

4 结束语

多维视频监控系统是利用计算机视觉技术对多维视频信号进行处理，分析多维视频中的图像信息，对视频图像进行准确定位、有效识别和及时跟踪，从而做出判断和分析，对多维视频图像的异常特征进行预警，实现提前预警。本文提出了面向工业4.0的多维视频监控系统设计。通过多维视频监控系统的硬件设计和软件设计，完成了监控系统的设计，实现了多维视频的监控。测试结果显示，面向工业4.0的多维视频监控系统监控到的多维视频图像质量更高。