EasyDL在矿井人员监测与预警中的应用

郝聪 郝婷 邓乐晨 柳万

作者简介：郝聪（1992— ），男，山西大同人，工程师，硕士；研究方向：矿山智能化与安全。

摘要：当前人工智能技术日益发展，为了更好地减轻煤矿视频监控人员工作量，保障煤矿作业人员安全，减少事故发生，文章针对矿井人员劳动保护用品穿戴和危险场景侵入情况，设计了一种基于EasyDL平台的视频监测预警系统。此系统基于人工智能EasyDL平台，建立个人劳保穿戴、进入危险区域、处于运行中的移动设备两侧和攀、坐不安全位置的监测模型，识别煤矿工人的违章行为，及时记录并给出警示。预警系统应用结果表明，该系统能够较准确地识别违章行为并作出及时反馈，有助于保障煤矿作业人员的安全。

关键词：人工智能；EasyDL；煤矿工人；安全

中图分类号：TD79  文献标志码：A

0  引言

近年来，我国煤矿技术设备和管理水平不断提高，安全生产形势逐年好转，但与国内其他行业相比，煤炭行业事故发生频率依旧偏高，安全形势依旧严峻［1］。煤炭企业为了动态掌握安全生产情况，强化劳动安全管理，通常会在煤炭采区、重要场所和危险区域安装视频监控系统，并安排专人24小时持续监控。这种方式要求视频监控人员注意力保持高度集中，但生产作业场所较多，作业人员复杂，靠人力监督的方式极易出现疏漏，采用新技术和新方法改进现有人工监控的管理方式是必然趋势。

随着信息化时代的到来，人工智能和深度学习技术在交通运输、建筑施工、生物分类等领域得到广泛应用［2-9］。深度学习以大量的样本训练为基础，通过多层卷积和池化操作提取图像特征，自动学习样本数据的内在规律和表示层次，最终达到能像人一样具有学习分析能力［10］。随着数字化矿山建设逐步推进，煤炭开采特殊的生产方式更加凸显了智能技术在安全管理的重要性，相关技术和专利在大型设备远程控制、多系统融合与自动化办公中得到广泛应用，但在煤矿作业人员行为安全管理中的应用较少。因此设计基于EasyDL平台的视频监测预警系统并应用到对煤矿作业人员行为管理中，将极大地节省人力成本，提高煤炭企业智能安全管理水平。

EasyDL是基于卷积神经网络的产业级深度学习开源开放平台。低成本、高精度的EasyDL正在众多实际应用中为各行企业赋能［11-16］。本文利用EasyDL平台构建不安全行为预警识别监测模型。通过该平台实现模型数据集的标注、训练和检验，并利用该平台特有的兼容性，实现对被监测目标的精确检测。

1  预警系统功能

本文使用图像监测技术对煤矿工人安全帽等劳保穿戴情况进行深度学习，构建监测模型。系统通过本地局域网接入危险场景视频监控。监测模型通过提取视频流数据识别视频中是否出现安全帽等，不仅可以判断人员是否发生侵入行为，还可以记录报警信息帮助管理人员进行闭环管理。

预警功能实现主要包含3个步骤：（1）基于EasyDL平台建立个人防护用品穿戴监测模型和危险场景人员侵入监测模型。（2）通过局域网以固定IP方式将现有视频监控系统中的监控视频窗口接入监测模型。（3）通过接入的视频监控提取视频流数据进行监测并预警。

2  监测系统设计

基于EasyDL平台构建监测模型，将作业人员穿戴的安全帽等作为监测数据进行标注并训练，主要分为以下3个步骤：（1）数据获取与处理；（2）模型训练与检验；（3）模型部署。

2.1  数据获取与处理

监测模型的基础环节是数据信息的收集和处理。数据集的质量和代表性在監测模型创建中起着决定性的作用，本文图像数据来自内蒙古某生产矿井，采用截取监控视频画面的方法进行图像数据收集。监测模型训练的图片数据信息数量越多，理论上模型训练的效果就越好，本文监测模型数据集由841张图像数据构成。数据训练之前需要对被监测物件的类型、数量和位置进行标注，标注的数目越多，模型训练的效果越好。

2.2  模型训练与检验

EasyDL模型训练结果效果指标有3个：召回率、精准率和mAP。召回率表示数据标注正确识别的数量占真实物体的比例；精准率表示数据标注正确识别的数量占数据标注总数的比例；mAP是衡量训练结果的指标，mAP的值越接近于1，说明训练结果越好。本文数据集进行了3次模型训练，3次模型训练结果指标和训练时长如表1所示。通过表1可知，随着模型训练图片数量与标注数量的提升，模型训练效果会有小幅度提升。

2.3  模型部署

EasyDL监测模型部署分为4大类：云端模型部署、本地主机部署、通用设备端SDK部署和专用设备开发套件部署。本监测模型将进行本地主机部署。

3  系统应用场景

该监测预警系统除了适用于煤矿工人安全帽等个人劳保用品穿戴情况监测，还适用于《某矿危险场景控制措施》中的3种场景，即进入危险区域、处于运行中的移动设备两侧和攀、坐不安全位置。当煤矿工人违反上述规定，进入相关危险场景，预警系统能够进行识别并报警，同时记录运行日志。

3.1  危险区域识别

随着煤矿矿井开采深度与规模的扩大，煤矿井下广泛分布的临时或永久的危险区域给煤矿工人的人身安全也带来了一定的威胁。井下危险区域主要包括盲巷、采空巷、高坠区、构造区、触电区、突水区等。危险区域因其本身存在较高的危险性，是安全事故发生概率较大的原因之一。同时，煤矿工人对危险区域认识不足，安全意识淡薄，对是否身处危险区域认识不清，对可能发生的后果缺乏判断，也是安全事故发生概率较大的重要原因。因此，通过摄像头监控危险区域进行智能监测预警，可以及时可靠地识别煤矿工人进入危险区域行为，降低安全风险，减少安全事故发生的可能性。

3.2  处于运行中的移动设备两侧识别

井下生产作业车辆包括破碎机、梭车、综掘机、锚杆钻车、装载机、液压支架车等，这些车辆设备体型巨大，液压支架车宽度可达4～5 m，而井下辅运巷道普遍5～6 m。当这种体型巨大的车辆在巷道内行驶时，两侧可容煤矿工人行走的空间非常有限。当工作面车辆开车作业时，因生产工作面条件更恶劣，底板会分散大量煤块，车辆运行中碾压煤块必然会产生晃动和漂移，如果此时车辆两侧站立煤矿工人，极有可能发生挤压事故，这种被大型车辆挤压的后果非常严重。因此，对运行中的移动设备两侧是否出现煤矿工人进行实时监测，可有效减少安全风险。

3.3  攀、坐不安全位置识别

攀、坐不安全位置是由于煤矿工人作业过程中存在侥幸心理而常发生的不安全行为之一。煤矿工人发生此类不安全行为通常是攀爬巷道煤壁、机电设备和各类水管进行作业，或坐在连采机飞翼、靠坐带电设备等。当设备突然发生意外，很可能导致煤矿工人坠落、触电等意外事故，造成人员伤亡。因此对煤矿工人是否发生攀、坐不安全位置的不安全行为进行实时监测十分必要。

4  预警系统

预警系统主要有4个模块组成：监控模块、监测模块、预警模块、信息模块。各个模块的主要功能如下：

4.1  监控模块

监控模块主要功能是通过设置在井下的高清摄像头，将监控画面视频流实时上传到Web显示终端，每个视频流具有独立的地址，视频流抽帧监测设置，如表2所示。

4.2  监测模块

将高度定制化的模型部署到本地主机上，进行煤矿局域网内部使用和调整，最大限度上满足数据隐私的需求。监测模块的运行流程如图1所示。监测模块接收到图像数据后：一方面，进行人脸识别与员工数据库进行配对确定人员信息；另一方面，使用训练过的EasyDL监测模型进行行为检测，做出判别。如果出现不安全行为则发出预警信息，并录入运行日志。

4.3  预警模块

若监测模型检测到预设的不安全行为，则通过Web弹窗的方式弹出预警图标进行预警，第一时间引起现场作业人员警觉，预警监测模型运行情况如表3所示。预警模型还可进行编辑、删除和查看云端数据功能，方便人员进行管理。

4.4  信息模块

信息模块包括员工个人信息数据库、预警信息记录和运行日志统计。员工预警信息记录有员工姓名、部门、班组、工种、职务、报警类型、报警描述和报警状态等信息（如：员工姓名王某亮，部门综掘一队，班组生产二班，工种锚杆机司机，职务为职工，报警类型为接近突水区危险区，报警描述为职工王某亮接近突水區危险区）。预警信息记录是安全管理人员确保隐患消除后进行事后信息录入，运行日志统计会将所有预警信息放入数据库进行存储和统计，方便安全管理人员进行隐患统计分析，制定有针对性的隐患整改措施。

5  结语

该预警监测系统接入某矿视频监控后进行为期一周试运行，运行期间共接入视频监控视频流IP地址14个，进行危险场景煤矿工人侵入监测，预警系统能够做到精准识别人员侵入行为。

本文仅是人工智能技术在煤矿生产活动中监控方面的初步应用，尽管利用 EasyDL平台构建矿井危险区域人员监测模型不能全面覆盖所有违规行为，但基于EasyDL平台构建模型操作简单，获得的模型效果良好，为促进人工智能在煤矿作业和人员行为监控方面的应用提出新的思路。

参考文献

［1］孟远，谢东海，苏波，等.2010—2019年全国煤矿生产安全事故统计与现状分析［J］.矿业工程研究，2020（4）：27-33.

［2］LEE E J，KO B C，NAM J Y.Recognizing pedestrians unsafe behaviors in far-infrared imagery at night［J］.Infrared Physics & Technology，2016（3）：261-270.

［3］SHAHVERDY M，FATHY M，BERANGI R，et al.Driver behavior detection and classification using deep convolutional neural networks［J］.Expert Systems with Applications，2020（7）：1-12.

［4］SANGUK H，SANGHYUU L.A vision-based motion capture and recognition framework for behavior-based safety management［J］.Automation in Construction，2013（11）：131-141.

［5］YU Y，GUO H L，DING Q，et al.An experimental study of real-time identification of construction workers unsafe behaviors［J］.Automation in Construction，2017（10）：193-206.

［6］FANG W，ZHONG B，ZHAO N，et al.A deep learming-based approach for mitigating falls from height with computer vision：Convolutional neural network［J］.Advanced Engineering Informatics，2019（1）：170-177.

［7］张明媛，曹天卓，赵雪峰.基于ANN识别施工人员跌落险兆事故的研究［J］.安全与环境学报，2018（5）：1703-1710.

［8］韓豫，张泾杰，孙昊，等.基于图像识别的建筑工人智能安全检查系统设计与实现［J］.中国安全生产科学技术，2016（10）：142-148.

［9］赵江平，王垚.基于图像识别技术的不安全行为识别［J］.安全与环境工程，2020（1）：158-165.

［10］张喜红，王玉香.基于百度AI中药材品鉴助手系统的设计［J］.新余学院学报，2019（2）：25-28.

［11］傅骏，傅馨竹，龙辉阳，等.人工智能技术辅助开发“智铸”系统［J］.中小企业管理与科技，2020（1）：166-167.

［12］林宇.EasyDL在海洋生物分类中的应用［J］.电子世界，2022（2）：164-165.

［13］贺欢欢，黄杰.基于EasyDL平台视频事件监测系统在铁路运维中的应用［J］.无线互联科技，2020（8）：153-155.

［14］竺炜，王可.基于EasyDL提升回收卷烟包装箱效率的功能实现［J］.数字技术与应用，2021（4）：125-127.

［15］张连兆，徐惠东，李萍.定制化训练平台Easy DL在菠萝果实识别中的应用［J］.无线互联科技，2019（7）：131-132.

［16］孟海涛，王闯，王越.基于EasyDL树木虫害识别的人工智能实验演示系统设计与实现［J］.实验室研究与探索，2021（10）：72-76，102.

（编辑  姚  鑫）

Application of EasyDL in monitoring and early warning of coal miners

Hao  Cong1， Hao  Ting2， Deng  Lechen1， Liu  Wan1

（1.China Huadian Inner Mongolia Mengtai Buliangou Coal Industry Co.， Ltd.， Erdos 010300， China;

2.Xuhai College， China University of Mining and Technology， Xuzhou 221000， China）

Abstract： With the increasing development of artificial intelligence technology， in order to better reduce the workload of coal mine video surveillance personnel， ensure the safety of coal mine operators， and reduce accidents， this article designs a video monitoring and warning system based on EasyDL platform to address the risk of hazardous scene intrusion caused by the wearing of labor protection equipment by coal mine personnel. This system is based on the artificial intelligence EasyDL platform， and establishes a monitoring model for personal labor protection wear， entry into hazardous areas， on both sides of mobile devices in operation， and unsafe climbing and sitting positions. It identifies some illegal behaviors of coal miners， timely records and provides warnings. The application results of the early warning system indicate that the system can accurately identify violations and provide timely feedback， which helps to further ensure the safety of coal mine operators.

Key words： artificial intelligence; EasyDL; coal miners; safety