基于机器视觉的矿井作业人员行为监测及违章识别系统*

游青山 冉霞

开发设计

基于机器视觉的矿井作业人员行为监测及违章识别系统*

游青山1,2冉霞3,4

（1.重庆工程职业技术学院，重庆 402260 2.工业机器人与矿山智能装备系统应用重庆市高校工程中心，重庆 402260 3.中煤科工集团重庆研究院有限公司，重庆 400039 4.瓦斯灾害监控与应急技术国家重点实验室，重庆 400037）

矿井作业人员违章操作是矿井日常监测的重点和难点。为解决目前人工监测效率较低、范围有限等问题，设计一种基于机器视觉的矿井作业人员行为监测及违章识别系统。该系统采集矿井作业人员的个人信息，生成作业人员相对于现场工作岗位的违章概率及违章概率排名，并对排名满足预设要求的人员进行跟踪监测。经矿井现场作业验证，该系统实现了矿井作业人员违章操作的自动识别。

机器视觉；行为监测；违章识别；矿井

0 引言

因矿井作业人员违章操作导致的安全事故时有发生，造成严重的人员伤亡和经济损失。因此，违章操作是矿井日常监测的重点。目前，矿井监测一般采用基于红外传感的矿井井下人员监控系统，该系统存在以下不足：1）依靠人工判识矿井现场作业人员行为是否存在隐患和违章，缺乏自动判识技术及设备；2）无法进行全方位监测，产生监测死角；3）易受监控区域内其他热源物体干扰，影响监测结果；4）无有效的告警机制等。亟待出现一种针对矿井人员行为监测及违章的识别系统。

在国外，IBM和Microsoft等公司正逐步将基于视觉的手势识别接口应用于商业领域[1]；以色列ioimage公司的智能视频设备得到业界广泛认可。在国内，海康威视股份有限公司针对交通行业开发了违法取证系统，该系统通过视频分析可对各种交通违法行为进行取证[2]。北京宝狮视讯科技有限公司开发的矿井安全生产异常事件检测报警系统，能实时检测目标区域发生的物体位移、人员跌倒、异物抛撒、人员闯入、值班员离岗等异常状况，并自动报警[3]。中煤科工集团研发了多种规格的矿用高清网络摄像仪，具有简单的人员越界、区域入侵等视频分析功能。

但通过图像识别人员违章行为鲜有研究。鉴此，笔者设计一种矿井作业人员行为监测及违章识别系统，可解决现有基于红外传感的矿井井下人员监控系统的不足。

1 系统设计

基于机器视觉的矿井作业人员行为监测及违章识别系统包括红外成像采集单元、数据中转装置单元、图像处理传输单元和服务器单元，总体结构框图如图1所示。

红外成像采集单元布置了3个红外热成像仪，对矿井作业人员进行图像采集，采集后的热成像数据上传至数据中转装置单元；数据中转装置单元接收热成像数据并进行汇总后传输至图像处理传输单元；图像处理传输单元将热成像数据进行综合处理，提取矿井作业人员红外图像，并通过远程传输装置传输至服务器单元；服务器单元接收矿井作业人员红外图像后进行监控显示、存储、分析等处理。

图1 基于机器视觉的矿井作业人员行为监测及违章识别系统总体结构框图

1.1 红外成像采集单元[4-5]

3个红外热成像仪可对监控区域形成全方位无死角监测，对煤矿监控初步背景图像进行图像增强处理，获得图像增强后的煤矿监控背景图像。

1.2 数据中转装置单元

数据中转装置单元接收3路红外热成像仪的视频流，并利用时钟模块提供同步时钟，同时为接收的3路热成像数据打上同步时间戳，上传至图像处理传输单元。通过3路红外热成像数据的时间戳，图像处理传输单元就能精确地对红外热成像数据进行同步综合处理。

1.3 图像处理传输单元

图像处理传输单元主要包括主处理、温段提取、模型对比、动态校对和计时等模块，原理框图如图2所示。

首先，主处理模块合成3路热成像图像，建立三维热成像图像；然后，温段提取模块提取三维热成像图像中温度范围在35℃～38℃（人体温度）的图像，这样可有效去除监控区域内其他温段热源物体的影响；接着，模型对比模块将提取的图像与预先建立的人体热成像模型进行对比分析，精确提取人员热成像图像；最后，动态校对模块根据提取的人员热成像图像判定人员状态，并将最终提取的人员热成像图与状态判定结果传输至服务器。

图2 图像处理传输单元原理框图

图像处理传输单元连接人员数量校对模块及告警模块。其中，人员数量校对模块与远程传输装置连接，用于根据人员红外图像校对监测人数，并向服务器发送监测人数信息；告警模块与远程传输装置连接，用于向服务器发送告警信息。

1.4 服务器单元

服务器单元包括第一采集、第一分析、第二采集、第二分析、告警和疲劳检测等模块，如图3所示。

图3 服务器单元原理框图

1.4.1 第一采集模块[6]

第一采集模块采集矿井作业人员个人信息，并存入数据库。个人信息包括身高、体重、工号、矿井现场工作种类、岗位工作经验、工作服上的标识、日常矿井现场行为记录、违章记录等。

1.4.2 第一分析模块

第一分析模块用于将第一采集模块采集的信息进行违章概率分析。矿井作业人员相对于现场工作岗位的违章概率计算公式为

式中，为作业人员相对于现场工作岗位的匹配度分值；为作业人员岗位工作经验信息分值；为作业人员日常矿井现场行为记录信息分值为作业人员的违章记录分值。

违章概率排名影响因素如表1所示。

表1 违章概率排名影响因素

1.4.3 第二采集模块[6]

第二采集模块采集进入矿井的作业人员标识信息，计算进入矿井作业人员的现场工作岗位违章概率，并进行排名；对排名靠前的预设数目作业人员进行跟踪监测，获得相应的监测图像。

1.4.4 第二分析模块

将第二采集模块获得的监测图像输入矿井作业人员行为违章识别模型，识别矿井作业人员行为是否违章。具体实现方式为采集未违章的矿井作业人员行为图像并进行机器学习，提取矿井作业人员违章行为判别关键特征；利用人工智能、机器学习、图像识别等方法，建立矿井作业人员行为违章识别模型。

1.4.5 告警模块

在识别矿井作业人员存在违章行为时，告警模块对相应的作业人员发出告警。服务器向人员数量校对模块和计时模块分别发送设定的人员校对数量和告警时长。当人员数量校对模块校对的人员数量低于设定的数量，且持续时间达到设定告警时长时，说明有人员长时间处于监控区域外，可能发生意外或擅离职守。人员数量校对模块通过图像处理传输模块向告警模块发出告警提示，告警模块接收告警提示后向服务器发送告警信息。当动态校对模块监测到有人员处于静止状态的持续时间达到设定告警时长时，说明有人员可能发生意外，动态校对模块向告警模块发出告警提示，告警模块接收告警提示后向服务器发送告警信息。

1.4.6 疲劳监测模块

疲劳监测模块监测矿井作业人员是否处于疲劳状态。基于采集的矿井现场作业人员行为，判断矿井作业人员操作速率和持续工作时长是否满足预设要求，若满足则矿井作业人员为疲劳状态。疲劳监测流程图如图4所示。

图4 疲劳监测流程图

2 系统功能

基于机器视觉的矿井作业人员行为监测及违章识别系统具体功能如下：

1）实现带式输送机运转时危险区域人员入侵智能识别、抓拍、报警、联动紧急停车等功能；

2）对矿车行进过程中人员扒蹬矿车行为的智能识别、抓拍、报警等功能；

3）对违反“行车不行人”规定行为的智能识别、抓拍、报警等功能，如图5所示。

3 人员违章识别结果验证

将红外成像采集单元布置在矿井下某固定地点，该点的环境实测状态为：空气温度29℃、相对湿度95%、风速0.9 m/s。采用3组不同数量的试验人员在红外成像采集单元识别区域内进行行为动作，验证系统人员违章识别效果。综合考虑矿井井下安全、试验场地、试验人员等相关因素，结合本系统现有能识别的典型违章动作特征，设计试验如下：

1）试验人员被告知试验时可进行相关的违章动作，但违章仅限于规定的时间、试验地点以及典型违章动作；

2）利用系统自动识别违章状态，并通过人工观察监视器同步复核；同时在试验现场安排人员监控试验者；

3）第1组安排24名下井试验者统一从某方向依次通过试验区域，规定每名试验者最多在区域内活动30 s，并且在区域内活动的试验者不超过3名（受井下巷道所限，试验区域内活动人员一般不超过3名）；

4）第2组安排16名升井试验者统一从另一方向依次通过试验区域，规定每名试验者最多在区域内活动30 s，并且在区域内活动的试验者不超过3名；

5）第3组安排8名试验者随机依次通过试验区域，规定每名试验者最多在区域内活动30 s，并且在区域内活动的试验者不超过3名；

6）分别比较3组系统与人工识别的违章情况，并验证系统识别的精确性，验证结果如表2所示。

由表2可见：与人工通过监视器识别违章行为相比，系统能部分识别人员的违章行为；在违章识别率方面，当人员数量较少时，系统识别准确率达到100%，但在人员较多时，准确率有所降低，存在少判、误判等情况。其原因主要为违章动作不够明显。为提高机器违章的识别有效性，可加强对典型违章动作的机器学习，并对识别模型优化。

表2 违章识别率对比

4 结语

本系统通过红外热成仪采集矿井作业人员图像，并传输至服务器单元进行处理，对是否违章进行判断；通过违章概率和疲劳监测处理等措施，识别违章并分类，最终实现矿井作业人员违章自动识别。

[1] 严丹.应用于嵌入式视频监控的码本建模方法研究[D].成都:西华大学,2014.

[2] 杭州海康威视数字技术股份有限公司.智能交通行业系统应用解决方案[EB/OL].[2021-02-03]. http://hikvision.corp. dav01.com/article/2012/12/a14701.html.

[3] 北京宝狮视讯科技有限公司. 煤矿视频监控智能分析的预警系统技术方案[EB/OL].宝狮集团网, (2020-06-01) [2021-02-03].http://www.boservison.com/boser/hangye/2013-5-9/ 154.html.

[4] 韩治华,冉霞.一种煤矿监控运动目标检测方法:重庆市, CN109977842A[P].2019-07-05.

[5] 韩治华,王宏.基于热成像煤矿井下人员监控系统:重庆市, CN109974860A[P].2019-07-05.

[6] 韩治华,游青山.一种煤矿现场人员行为监测及违章智能识别系统:重庆市,CN109977843A[P].2019-07-05.

Behavior Monitoring and Violation Recognition System of Mine Operators Based on Machine Vision

You Qingshan1,2Ran Xia3,4

(1.Chongqing Vocational Institute of Engineering, Chongqing 402260, China 2. Application of Industrial Robot and Mine Intelligent Equipment System in Chongqing Institute Engineering Center, 402260,China 3. China Coal Technology Engineering Group Chongqing Research Institute, Chongqing 400039,China 4. State Key Laboratory of Gas Disaster Monitoring and Emergency Technology, Chongqing 400037,China)

The illegal operation of mine operators is the key and difficult point of mine daily monitoring. In order to solve the problems of low efficiency and limited scope of manual monitoring, a mine operator behavior monitoring and violation recognition system based on machine vision is designed. The system collects the personal information of mine operators, generates the violation probability and violation probability ranking of operators relative to field jobs, and tracks and monitors the personnel whose ranking meets the preset requirements. The system has realized the automatic recognition of illegal operation of mine operators.

machine vision; behavior monitoring; violation identification; mine

游青山，男，1981年生，硕士，副研究员，主要研究方向：感知矿山、机器人技术、智能控制技术应用。E-mail：youqingshan@163.com

TD67

A

1674-2605(2021)04-0005-05

10.3969/j.issn.1674-2605.2021.04.005

基金项目：重庆市教委项目（193428）；重庆市科技局自然基金（cstc2020jcyj-msxmX0793）；重庆市教委科学技术研究计划项目（KJQN202003402）；重庆市应急管理局项目（2019ZX021)。