云边协同在矿井视频监控系统设计中的应用

马志刚,高 照

(1.国能神东煤炭集团,陕西 神木 719315;2.陕西亿杰鑫信息技术有限公司,陕西 西安 710065)

0 引言

目前,煤矿中的设施设备主要包括:(1)矿压监测装置;(2)通风设备;(3)供配电设备;(4)给排水设备;(5)人员定位装置;(6)监测监控设施;(7)皮带机;(8)综采设备。自2018年全面实施“互联网+”、物联网改革至今,通过安装传感器、执行器、工业摄像头、环境监测仪器,配置5G通信技术、Wi-Fi技术、API技术等,搭建了以设备层、数据采集层、网络层、数据管理层、应用层为主的架构,初步实现了“物联网平台+业务系统”的智能化管理。但由于可视化程度较低,加上数据类型增加、数据海量增长等情况的出现,煤矿企业在当前亟须结合云边协同技术加强矿井视频监控系统设计。

1 矿井视频监控系统应用现状概述

在现代煤矿安全生产中,视频监控十分关键。从当前煤矿智慧园区建设中应用的矿井视频监控系统看,主要由前端配置、中端通信、终端移动设备共同组成,具体包括监控器、上传视频数据、工业摄像头等。但由于此类系统中的数据分析能力较差:一方面,不能有效反馈井下应用场景中的实际状况,降低安全效率[1];另一方面,由于无差别数据采集与存储,视频冗余数据量相对较大,会给传输网络、服务器等带来压力。在这种现状下,井下视频监控信息与地面工业物联网综合管控平台的远距离传输过程中容易发生传输时延问题,不利于智能预警的及时实现。部分煤矿集团为了有效解决此类问题应用了私有云,有较好的实践效果。本研究在吸收此类经验的基础上,从云边协同技术联合应用角度出发,提出了一种适用于矿井高危场所视频监控系统的设计方案。

2 矿井视频监控系统设计中的云边协同应用

2.1 系统架构

在设计思路方面,工作人员在矿井视频监控系统设计中,围绕数据传输时延问题选择中心云与边缘云技术,并于边缘节点配置适配性较高的运动目标算法,既可满足监控器快速采集数据的需求,也能增强对视频的预处理及分析效率,完成视频预处理后可以通过“视频流”的形式,将相关数据同步上传到云服务器。在系统架构设计方面,工作人员选择目标正在应用的“大平台+小系统”框架,以数据为对象,构建以“边缘感知层↔网络传输层↔云服务层↔应用层”为主的分层架构,如图1所示。

图1 矿井视频监控系统架构

以边缘感知层为例,主要以煤矿现用的物联设备为准配置相应硬件与软件。具体包括:(1)微处理器;(2)监控探头;(3)工业摄像头;(4)设备控制模块;(5)通信模块等。系统旨在完成对终端物联设备中的视频图像采集、视频分析、越界报警、本土资源管理等任务。工作人员可以把运动目标检测算法配置到微处理器之中,分析视频图像[2]。同时,借助电机电源控制系统、通信模块、声光语音提醒功能等,完成对闯入与报警信息的采集与推送,并针对视频帧过滤技术将相关入侵视频段落截取并存储到图像存储模块,及时上传到云服务器。

以网络传输层为例,目前的煤矿中已配置工业以太环网,可充分利用该核心网络保障数据传输的可靠性。具体而言,如果存在入侵或发现异常数据后,边缘感知层可以通过即时传输与缓存传输两种方式,分别对报警与预处理后的视频加以处理,减少带宽方面的压力。

以云服务层为例,由于部署了性能较高的服务器集群,并且配置安装了数据分析与处理能力更强的数据库服务器,云服务器与边缘节点之间的复杂任务可以获得快速处理,并把相应的云服务层处理结果发送到应用层,为其决策及使用提供科学依据。

以应用层为例,除大屏显示模块外,工作人员可以选择软件工程中比较经典的B/S架构。该架构通过C#语言编程方式,搭建符合云边协同技术应用要求的视频监控应用平台,进而通过“开始→视频采集→内容分析→是否进入检测区域→若否则返回内容分析,若是则运行目标检测算法→是否为入侵图像→若否则返回内容分析或者是否进入检测区域,若是则直接发出有入侵警报→结果等图像处理”的标准流程,实现边缘感知层设置的任务或功能。

2.2 系统实现

在该视频监控系统中功能应用重点集中在算法上,为了论述的清晰性,下面分别从运动目标检测、视频帧过滤、人员入侵检测3方面做出具体分析。

2.2.1 运动目标检测

(1)

(2)

因而,把式(2)代入式(1)后,可以获得背景模型公式:

(3)

根据式(3),如果有一帧图像增加到训练集合中,就可以根据上式对其模型做出相应的更新。在这种前提下,工作人员仅需采用背景差分法对图像背景与当前帧进行计算并通过阈值比较方式完成二值化处理即可完成对预期的运动目标和背景的区分。

2.2.2 视频帧过滤

以视频帧过滤为例,工作人员为完成矿井视频监控系统在应用场景中的视频数据记录、存储,会因每日数据少量增长占据更多的存储空间。此时,需要过滤到一些数据价值较低的视频数据:一方面,减少网络带宽压力;另一方面,提高向云服务器的上传效率。在该方面可以选择三帧差分法进行运行[4]。从原理上看,当S为视频流时,它在当前时间点是否检测到目标,可以通过对预设的目标数据“0”或“1”进行检测确定。具体运行流程如下:首先,工作人员确定视频帧序列;其次,工作人员根据第k-1帧图像、第k帧图像、第k+1帧图像进行差分;再次,工作人员通过对上述各帧图像的灰度处理获得各帧灰度图像;最后,工作人员根据设置将所有的差图像转变为两类相同的差分图像与一类不同的差分图像,对其进行阈值化处理并差定是否为检测目标的图像。该算法比较常用,其中任务优先级描述被表示为单位时间内的平均计算价值量,因而当任务优先级描述越高时,任务计算价值量越大,说明越容易过滤到其中价值含量较低的视频数据。

2.2.3 人员入侵检测

以人员入侵检测为例,工作人员在矿井视频监控系统中设置了的判断条件为“是否达要报警”,具体以要害区域周边设置的虚拟警戒线为准,检测对象仍为视频ROI图像。例如,当目标人员进入要害区域前触碰了设置的虚拟警戒线:一方面,微处理器可以根据获取的信息向系统发送报警信号;另一方面,声光控制系统能通过声光方式向管理员发送入侵信息,并在截取视频监控段落的基础上,将其发送到前端应用平台之中。此时,应用层的管理员可以通过窗口中的弹屏与语音提示信息查看报警情况。为了预防侵入人员给现场工作人员造成损害,工作人员可利用该系统中的微处理器和设备控制模块之间的关联,完成对闭锁控制信号的发送,有效控制电机电源并通过关闭电源的方式预防工作人员可能受到的伤害。

2.3 系统测试

2.3.1 上位机界面显示

在上位机界面显示方面,设置3个板块构成的平台界面。具体而言,基于云边协同的矿井监控视频系统设计与算法配置完成后,应通过实验测试方式对其应用的有效性做进一步检查。具体操作时,工作人员可以先在B/S架构下通过C#语言、Winform控件建设平台[5];再据日常监控、管理维护要求,对视频监控数据、报警信息等进行查询。当发生入侵事件后,监控视频能够把监测、区分、预处理后的信息上传到云服务器并显示到平台界面。

本次研究中选择网络机制为RTP/RTCP协议,可以完成音频、视频图像的传输。考虑到音频、视频同步传输要求,工作人员配套设置了缓冲区,能够在同一线程中完成对2种码的交替传输。具体实施时,按照3个板块划分平台界面:中间板块为音视频,左侧为“视频界面”下的设备列表,备选项为人员入侵、对讲开启、录制视频。同时,工作人员可以根据“菜单栏”中的用户管理、帮助、退出模块完成相关操作。右侧为视频参数调整,包括参数设置、本地回放、云台控制、视频窗口数、窗口信息列表显示区等。

2.3.2 高危场所人员检测实验

在高危场所人员检测实验方面,工作人员可以通过对矿井高危险场所配置要素的模拟方式获取应用效果,并将其与单一的云计算效果进行对比。具体操作如下:

(1)工作人员在同一局域网中部署云服务器,通过搭载工业摄像头、Inter Core i7四核处理器的电脑进行计算。(2)工作人员按照云边协同应用方式,配置含有微处理器的工业摄像头与i5四核处理器。(3)工作人员确认上述2种计算模式后,可以选择X段视频流进行预处理、上传方面的延时平均值比较。

例如,可以按每组5段选择3组视频流,将其分辨率设置为480 p、720 p、1 080 p。以此为准进行不同视频流分辨率下的处理时延比较发现,在直传云计算层处理方面的结果显示,随着视频流分辨率增加,处理时延相对加,边缘计算层预处理结果与其呈现为同样的趋势,但明显低于前一种计算模式下的处理时延。具体数据显示对矿井视频监控系统目标的识别率大于97.6%,响应时间低于2.0 s,符合高危场所人员检测要求。需要说明的是,矿井视频监控系统应用场景相对较多,其中的多运动目标的增加会延长视频数据处理时延,在这种情况下应对多运动目标检测做进一步优化。

3 结语

矿井属于高危场所,应用视频监控技术后可提高矿井监控效果与质量。由于此类系统应用期间存在数据时延方面的问题,不仅没有全面发挥视频监控技术的优势,还降低了整个煤矿工业物联网综合管控平台的应用效果。建议工作人员在煤矿企业高质量建设与高水准运营期间,一方面引入云边协同技术搭建适配性较高的分层架构,另一方面增强运动目标检测、视频帧过滤、人员入侵检测等技术要素配置。全面提高视频监控系统的应用效果,为煤矿企业智能化建设赋能,为我国经济向着内涵式、集约化、高质量增长做出应有贡献。