基于云边协同的矿井视频监控系统设计

秦璐璐，李敬兆

(安徽理工大学 计算机科学与工程学院，安徽 淮南 232001)

井下视频监控是保证煤矿安全生产的重要环节[1]。现有矿井视频监控系统配置的前端监控器主要是采集和上传视频数据，一般不具有分析计算能力。煤矿企业一般通过系统平台的反馈对井下场景进行监控，存在着管理不及时、安全效率低等问题。此外，监控系统对井下各类监控场景的无差别采集和存储，会产生海量的视频冗余数据，若将数据全部上传至云服务器进行分析处理，会存在网络带宽过高和云端压力过大等问题[2]。而视频监控数据的远距离传输会产生较长时延，不能即时实现智能预警[3]。

目前，国内外针对煤矿视频监控系统的研究较少，相关研究主要集中在煤矿监控视频处理、矿工行为识别、井下视频图像增强和煤矿设备监测等方面。徐永刚等[4]针对井下视频处理的时延问题，利用分布式组件搭建了井下视频处理平台，对帧间相关性高的视频流等分截取视频帧，通过加权融合算法对各节点处理结果进行融合，提高了平台处理视频数据的实时性，但对矿井高危场所的适应性不强，无法对矿工进行目标检测。罗响等[5]针对井下矿工复杂行为识别，提出了基于深度网络的持续学习模型，利用主动学习方法对新样本进行标记和学习，提高了识别准确度，但无法解决矿工在矿井高危场所越界问题。王树奇等[6]提出了一种矿井视频监控图像增强和运动目标检测算法，使系统检测能力得到了提高，但无法满足矿井高危场所处理紧急事件时延低的需求。汪杰等针对煤矿设备的运行状态，在云平台上构建了煤矿监测系统，能在设备发生故障前起到智能预警作用，但没有考虑边缘感知设备的计算能力，存在延时长和带宽压力大等问题。

鉴于此，文章构建了一种基于云边协同的矿井高危场所视频监控系统，在边缘节点(Edge Compute Node，ECN)中部署运动目标检测算法，对前端监控器在短时间内采集到的视频监控图像进行检测，提高视频分析速度。将预处理后的视频流根据任务优先级上传至云服务器进行存储，降低视频传输时延，减缓云服务器计算存储压力[8]。

1 系统架构

根据数据采集、处理、传输、存储和应用的顺序，基于云边协同的矿井高危场所视频监控系统主要由边缘感知层、网络传输层、云服务层和应用层组成。系统的分层架构如图1所示。

图1 系统的分层架构

1)边缘感知层。边缘感知层处于系统架构的最底层，由监控探头、图像处理模块、图像存储模块、微处理器、通信模块和设备控制模块组成，主要任务是采集原始监控视频、分析视频数据和上传数据。其中，图像处理模块为整个系统的核心部分，图像处理流程如图2所示。监控探头采集视频原始数据，通过部署在微处理器上的运动目标检测算法对视频图像进行分析。当检测到有人员闯入时，设备控制模块会进行声光语音提醒，并发送闭锁控制信号至电机电源控制系统，由通信模块发送报警信息和入侵视频至应用平台显示。图像存储模块进行视频帧过滤存储入侵视频段落，通过任务优先级上传到云服务层进行存储。

图2 图像处理流程

2)网络传输层。以井下的以太环网为核心的网络传输层为系统数据传输提供了保障。经边缘感知层处理后的信息通过井下通信网络按照优先级进行上传。传输的方式主要有即时传输和缓存传输，对有人员入侵时的报警信息和现场实时视频采用即时传输，视频帧过滤后的入侵视频段落采用缓存传输，在带宽充足的情况下正常传输到云服务器进行存储。若当前网络带宽压力较大，则视频存储于缓冲区，待网络正常后进行传输。

3)云服务层。云服务层主要由高性能服务器集群和数据库服务器部署组成。在云边协同架构中，云服务器始终是计算和存储的中心，处理边缘感知层难以计算的复杂任务，对接收到的视频作进一步分析处理，发送数据给应用层。

4)应用层。应用层使用了C#语言和基于B/S架构构建的视频监控应用平台，有入侵监控、越界报警、数据推送和综合管理等功能。

2 系统设计与实现

2.1 运动目标检测

矿井中的视频监控系统一般为7×24 h监控，会产生海量视频数据。因此，在边缘设备中部署运动目标检测算法，以检测视频图像中的运动目标，通过设置相应参数获取运动特征，实现系统自动报警，从而降低视频处理和传输时延。

在SVR模型中，模型的输入是视频图像当前帧像素点的颜色向量，模型的输出是像素从属于背景的置信度。利用SVR学习算法对背景模型进行实时更新，设定视频流图像背景训练数据为{(x1,y1),(x2,y2),…,(xn,yn)}，其中xk表示在P位置处第k帧像素点的颜色向量，yk表示在P位置处当前帧像素点从属于背景区域的置信度。

当前帧每个像素点汇总的背景置信度公式为：

(1)

采用高斯核函数衡量2个数据之间的相似性，公式为：

(2)

式(2)中，σ是高斯核的带宽。

将式(2)代入式(1)，得到代入高斯函数的背景模型：

(3)

由式(3)可知，每加入一帧图像，新样本就会加入到训练集合，系统实时更新背景模型。根据SVR算法获得当前帧图像背景，将当前帧和图像背景做差分运算，再与阈值进行比较，做二值化处理，从而区分出运动目标和背景。背景差分法检测结果如图3所示。

(a) 输入图像

(b) 运动目标检测

2.2 视频帧过滤

视频存储主要是为了记录监控场所的变化信息。如果不对视频进行预处理，存储大量有效信息含量低的视频，会占用较大网络带宽。因此，可以使用帧过滤方法将有效视频帧进行筛选，上传到云服务器存储，减少视频冗余信息。

ECN将视频流分为多个时长为T的视频帧序列，根据检测场景中运动目标的影像在不同视频流图像中的位置，采用三帧差分法计算视频流S在当前时间点是否检测到目标：检测到目标数值为“1”，反之则为“0”。三帧差分法运算如图4所示。

图4 三帧差分法运算

三帧差分法运算公式为：

Dk(x,y)=|Fk(x,y)-Fk-1(x,y)|

(4)

Dk+1(x,y)=|Fk+1(x,y)-Fk(x,y)|

(5)

Dk'(x,y)=Dk(x,y)∩Dk+1(x,y)

(6)

式(4)～(6)中，Fk+1，Fk和Fk-1分别为视频序列中第k+1帧、第k帧和第k-1帧图像；Fk+1(x,y)，Fk(x,y)和Fk-1(x,y)为三帧对应像素点的灰度值；Dk(x,y)为第k帧和第k-1帧的差分值；Dk+1第k+1帧和第k帧的差分值。

将与运算得到的结果进行阈值判断。

(7)

式(7)中，Rk′(x,y)为阈值判断的结果；V为固定的阈值。

对视频帧进行筛选时，首先计算时间T内每路视频流检测到目标的关键帧数量Ai，对Ai数量最大的视频流进行帧过滤。然后，将帧过滤得到的视频流按照连续检测到目标的关键帧数量进行降序排列，生成上传视频帧组序列，格式为[i，Ai,c]，i为关键帧序列，Ai,c为从关键帧i开始连续检测到目标的关键帧数量。视频帧组序列按照Ai降序排列发送上传请求，等待云服务器分配资源。云服务器通过任务调度优先级为ECN分配上传通道，根据任务处理的平均价值量，对其进行优先级划分，按任务优先级上传视频。没有检测到目标的视频流则不进行上传存储。

设定矿井场所中有N个ECN，每个ECN都有一个待上传任务，用Tk表示第k个ECN待上传任务。Tk的具体信息参数为{TkDatasize，TkValue}，其中TkDatasize为任务的数据量，TkValue为任务的计算价值量，可用视频帧过滤中的Ai表示，Ai越大，任务的计算价值量越高。

任务的优先级描述为：

Pk=TkValue/TkDatasize

(8)

式(8)中，Pk为第k个任务的优先级，也可表示为单位时间内的平均计算价值量。由式(8)可知，Pk越高，任务优先级越高。

2.3 人员入侵检测

监控系统根据视频中人员入侵的位置关系判断是否达到报警条件。系统在要害区域周边设置2条虚拟警戒线，对视频图像ROI进行检测。监控探头采集实时视频数据，前端监控器中的微处理器通过运动目标检测算法对视频图像进行分析。在检测到有人员进入或触碰外围警戒线时，微处理器发送报警信号，以声光方式提醒入侵人员，并即时发送现场监控画面至前端应用平台，语音提示管理员注意报警情况。若人员继续入侵至内围警戒线，微处理器发送闭锁控制信号至设备控制模块，对电机电源进行控制，关闭电源，保障工作人员生命安全。

3 系统监控平台设计及实验

3.1 上位机界面显示

使用C#语言，基于B/S架构采用Winform控件构建矿井高危场所视频监控平台。监控平台是整个系统执行日常监控和管理维护的中心，管理员可以查看全部视频监控数据和各类报警信息。在人员入侵时，现场监控视频需要即时传输至平台界面进行显示，因而采用RTP/RTCP协议作为网络机制传输音视频。为保证音视频的同步传输，系统分别对音频和图像的采集编码线程设置缓冲区，利用信号量机制使同一线程中的2种码流交替传输，从而达到音视频同步传输[13-17]。

平台界面主要分为3个板块。页面左边列出监控设备列表，管理员可以手动选择矿井中某要害场所监控视频进行查看，在有人员闯入时及时提醒管理员注意异常信息，开启对讲模式提醒现场人员注意安全。页面中间设置Windows Media Player控件，播放前端监控器所采集的实时视频。页面右边分为视频参数调节、本地回放和云台控制3个部分，管理员可以更改相应视频参数，查看视频回放，设置监控器的聚焦、光圈，点击视频窗口数可以同时显示多个要害场所的监控视频，窗口信息处显示监控异常信息，可以点击异常信息查看人员入侵回放视频[18-19]。平台界面显示如图5所示。

图5 平台界面显示

3.2 高危场所人员检测实验

模拟矿井中高危场所配置，对云计算和云边协同计算2种计算模式进行实验对比，即将全部计算任务置于云服务层进行处理和在边缘感知层进行数据预处理后，通过任务调度算法上传云服务层作进一步分析处理，对比2种计算模式所产生的时延大小。

将2种计算模式下的云服务器部署在同一局域网中，在云计算模式中，云服务器是搭载Intel Core i7四核处理器的电脑，监控探头选用普通矿用摄像头。在云边协同计算模式中，云服务器配置i5四核处理器，监控探头选用配置微处理器的矿用摄像头。把视频流按分辨率分为3组(480 p，720 p，1 080 p)，每组包含5段有人员闯入的视频流，取5段视频流预处理时延的平均值进行对比。

2种计算模式在不同视频流分辨率下的处理时延如图6所示。由图6可知，随着视频分辨率增加，数据处理时延不断提高，而边缘感知层预处理时延始终低于直传云计算层。这是因为视频流经过帧过滤和任务优先级调度降低了系统处理时延。

图6 2种计算模式在不同视频流分辨率下的处理时延

在视频图像中设定2道虚拟警戒线划分危险区域，选取5名人员依次进入场所进行系统目标识别率和系统响应时间测试，其结果见表1。由表1可知，系统目标识别率不低于97.7%，响应时间不高于2.1 s，满足需求。随着检测人数增加，系统目标识别率降低，响应时间增加。这是因为系统对多运动目标增加了检测时间，可以考虑在系统中对运动目标检测算法进行优化。

表1 系统目标识别率和系统响应时间测试结果

4 结束语

针对目前煤矿视频监控系统数据传输时延的问题，设计了一种云边协同的矿井高危场所视频监控系统。其以云边协同模型为基础，构建了系统分层架构，部署边缘感知节点对监控视频进行运动目标检测，实现本地智能处理；对视频流进行视频帧过滤，根据任务优先级上传视频至云服务器存储，减少了视频传输时延。实验结果表明，该系统可以在人员闯入矿井高危场所时进行警告、报警和控制，达到了预期要求。