基于图像识别的煤矿井下安全管控技术

张立亚

（1.煤炭科学技术研究院有限公司，北京100013；2.煤矿应急避险技术装备工程研究中心，北京100013；

3.北京市煤矿安全工程技术研究中心，北京100013）

近年来，随着自动化、信息化技术的发展，煤矿安全工作得到了明显的提升，井下各类安全监控系统对煤矿的安全生产起到了重要作用[1-5]。但是，由于视频监控无法进行危险源或违规等行为的智能辨别，形成安全管控盲区，为井下生产埋下一定的安全隐患。

现有煤矿安全监控系统主要针对工作环境及设备监控，未对人员等动目标实时有效监管和分析，存在动目标管控不全面等问题，尤其是对井下危险行为无法辨识、安全隐患排查不到位等导致的事故时有发生。现有的工业电视监控系统，设计简单、功能单一，只是对进行监控视频进行实时显示和存储等，没有对视频流或者图像信息进行分析、预判，在视频监控中存在局限性。无法满足进行重点区域的动目标管控的需求。

为了解决井下人员、设备等在安全管理中存在的问题，弥补现有工业电视监控功能的局限性，以煤矿井下人员和煤量作为动目标的研究对象，应用智能化视频分析技术，对煤矿综采面、掘进面、变电所、采空区等重要区域进行可视化实时监控与分析，及时做出预警，实现井下动目标的智能安全管控。

1 动目标异常状况检测识别技术

1.1 动目标特征提取与匹配原理

利用井下人员图像内部的灰度差异，将图像中的人员划分为不同的区域，再对划分的各个区域采用采用SIFT（Scale-invariant feature transform，尺度不变特征变换）算法进行特征提取，并基于提取到的特征进行与模板图像之间的特征匹配[6-7]。人员特征提取与匹配具体流程为：

1）在相同成像条件下，分别采集人员图像，并组成样本图像集。对图像中人员进行结构分割，组成工作人员的身躯样本图像集A（身躯）、工作人员的上肢样本图像集B（手臂）、工作人员的下肢样本图像集C、工作人员的头部样本图像集D。

2）分别对样本图像集A、B、C、D 中的图像灰度化，对灰度化后的样本图像集A、B、C、D 中每个样本图像的相邻尺度图像做差计算得到高斯差分尺度空间。

3）通过拟合方法和Hessian 矩阵，剔除低对比度点和边缘相应点，得到精确特征点，定义为待检测特征点。

4）将待检测特征点与样本图像特征点进行相似性判定，匹配相似度最高的特征点则为识别结果值。

通过以上步骤，可以实现人体检测与跟踪。

1.2 人员位置异常检测

结合煤矿井下低照度、环境复杂等情况，采用视频检测与UWB（Ultra Wideband）动目标精确定位技术相结合的方法进行人员位置识别。利用标定的危险区域位置与人的位置相互关系[8-9]，进行人员的判断，进而视情况发出预警。人员位置判断图如图1。

图1 人员位置判断图Fig.1 Personnel position judgment chart

图1 中，人员到危险区域边界的距离为D，人员到2 个摄像仪的距离分别为L1和L2，危险区域预判边界与危险区域边界的间距为H，P 为人员定位判距P1与视频判距P2的融合结果值。

式中:x、y 为权值，根据井下测试数据，当井下视频情况良好的情况下，y>x，一般取值y=0.7，x=0.3,当井下照度低粉尘大的情况下，y

将人员到危险区域边界的距离D 与危险区域预判边界与危险区域边界的间距H，进行数值比对，若D

图2 危险区域动目标跨界判断图Fig.2 Cross border judgment chart of moving targets in hazardous area

对人员位置异常检测主要分析步骤包括：①通过SIFT 方法进行人员行为特征的提取；②进行人员特征点的匹配，实现对人员行为分析；③检测到人员靠近边界时，摄像仪进行人员位置判断，并调取UWB 定位系统的数据，按照式（1）进行比对判断，得到人员的位置P；④判定人员非法进入危险时，系统发出报警信息。

2 煤矿井下安全管控系统

基于图像识别的煤矿井下安全管控系统以井下人员的行为、堆煤管理为重点分析对象，根据智慧矿山安全管理的需求，进行系统设计[10-13]。

基于图像识别的煤矿井下安全管控系统主要由井下矿用监控摄像仪进行图像采集，通过通信基站和环网交换机进行视频信号的传输，煤矿监控中心的GPU 云服务平台进行视频流的管理和视频场景的算法分析处理，硬盘录像机进行视频流的存储，系统分析的违章信息通过声光报警设备进行文本、声音的播报。

系统通过对井下动目标场景的视频和图像的分析，包括基于多特征融合的井下动目标识别及异常状况检测、煤矿井下复杂背景图像增强等技术，把深度学习等最新的机器学习算法和计算机视觉技术运用到煤矿生产管理中，实现人员违章预警识别、井下工作人员人脸识别、带式输送机运输带堆煤检测识别、片帮及大块煤识别等。

安全管控平台的视频分析功能为：

1）人员管控功能。包括人员违章预警识别和井下工作人员人脸识别：主要是对生产期间人员进出危险区域预警，如：综、连采工作面生产期间，非专岗人员进入、非法闯入等异常行为进行监控预警；对井下重点场所如水泵房、变电所、综采工作面等区域的人员进行人脸识别，进而实现人员进出的权限管理。

2）煤量（块）管控功能。①带式输送机运输带堆煤检测识别，利用图像分析技术，实现带式输送机机尾、带式输送机运输带搭接点等位置堆煤监测和超限预警；②片帮及大块煤识别，对综采工作面护帮板、刮板机、转载机等关键场所，进行煤块的视频标注训练，当出现直径超过刮板机宽度或转载机宽度的煤块进行识别和报警，防止大块煤堵塞的事件发生。

3 试验验证

在进行井下试验测试中，井下重点场所布置15台矿用摄像仪，地面机房布置2 台视频分析服务器、1 台视频存储器，并在煤矿调度中心搭建1 套煤矿井下安全管控平台。分别选取井下综采工作面、移变列车处、带式输送机等场所进行场景分析验证。

1）综采工作面人员管控。在综采工作面处对人员的违章行为进行检测和分析。工作面的刮板机区域不允许人员闯入，通过电子围栏设定危险区域，当人员位置检测算法识别到该区域内有人员时，通过人员定位信息判断人员的权限，如果非法传入，则通过声光报警设备进行报警提示。工作面人员检测如图3。

2）移变列车处人脸识别。在煤矿井下工作面的移变列车处部署1 台人脸识别摄像仪，进行自动人脸捕捉与识别功能的测试。平台通过捕捉到的人脸图像与数据库中的样本图像进行比对，当相似度达到90%以上时，进行关联匹配。

图3 工作面人员检测Fig.3 Detection of working face personnel

3）煤量（块）管控。以运行的带式输送机机头为例进行试验，堆煤检测报警的阈值上限设为75%，在软件平台视频画面中，可以在该图像的左上角实时查看煤量的占比信息，当超过设置阈值上限事，进行报警提示。堆煤检测如图4，此时煤量值为53%，没有达到报警值。

图4 堆煤检测Fig.6 Stacking coal detection

4）系统技术指标分析。通过对人员管控场景、煤量（块）管控场景的多次试验，对系统平台的实时分析响应时间、识别率等指标进行数据统计分析。主要技术指标见表1。

表1 主要技术指标Table 1 Main technical indicators

通过表1 可以看出，系统平台的实时分析响应时间小于2 s，识别率大于98%。可以满足煤矿井下动目标的视频分析的需求。

4 结 语

基于图像识别的煤矿井下危险区域安全管控系统，能够弥补现有煤矿监控系统、人员定位系统和视频监控系统的不足。将图像识别与人员管理数据、设备运行数据等进行综合分析，动态可靠地识别人、机、环、管各方面的风险，实现井下动目标的智能管控，能够有效提高煤矿安全生产水平。