露天矿山违章行为智能视频系统研究

2022-08-17王晓光梁皓越赵忠山张海涛邵梓洋刘光伟

采矿技术 2022年4期

王晓光，梁皓越，赵忠山，张海涛，邵梓洋，刘光伟

(1.神华北电胜利能源有限公司，内蒙古锡林浩特市 026000； 2.辽宁工程技术大学，辽宁阜新市 123000)

视频识别系统是通过识别生物特征、理解视频内容，集成其他检测技术并创新，实现视频监控、图像搜索等功能的系统，可扩大其在智能矿山中的应用范围，有效地提升露天矿山智能化水平。露天矿山可基于大数据学习和深度神经网络，利用人工智能算法开发基于视频数据的AI识别预警系统，分析和识别露天矿山生产现场常见的安全隐患，如调度室脱岗离岗、操作工人违章操作、驾驶司机接打电话、储煤场自然发火、变电站烟火故障、区域入侵等，准时、精确、自动传输报警信息，提高露天矿山生产过程的安全风险管控和应急处理能力。目前，露天矿山已基本实现在关键位置安装高清摄像头，在调度指挥中心实时调阅视频信息。但大量高分辨率摄像头的布置，只实现了露天矿山不同部分的视频信息采集，当突发事件发生时，从现场提取视频数据并上传，因露天矿现有存储空间有限，无法完成对各类违章行为视频图像的智能识别和结构化处理等。因而，提出通过智能视频识别的方式来进行露天矿山生产行为的智能管控。

1 露天矿异常场景分析研究

经整理分析，露天矿现有的异常场景主要包括以下9个方面。

（1）人员劳保用品违章行为。安全防护工作对于露天矿山从业人员尤为重要。劳保用品佩戴涵盖：安全帽识别、防尘口罩识别、绝缘手套识别、焊接防护面具识别等场景，如图1所示。

图1 劳保用品穿戴不规范

（2）驾驶人员违章行为。露天矿山驾驶司机违章行为包括：闭眼检测、接打电话、未系安全带、身份一致性检验、内视摄像头异常、打哈欠检测、分神检测、双手脱离方向盘、长时间作业、驾驶员离岗等，如图2所示。

图2 驾驶人员违章

（3）破碎站卡块分析。破碎站在对矿岩进行破碎的过程中，常常发生矿岩物料物理尺寸超过破碎机额定破碎尺寸的物料，将破碎站卡住，影响露天矿生产效率，同时会对破碎站造成损害。

（4）重点区域入侵识别处置。露天矿山由于其独特的生产工艺及其安全生产风险隐患类型，露天矿爆破区域、滑坡区域、炸药存储车间、机修车间以及电缆存放区域等区域皆是露天矿山的重要管控区域，需要重点盯防，避免在生产过程中发生安全事故。部分区域入侵实例如图3所示。

图3 区域入侵

（5）重要岗位脱岗离岗。露天矿重要岗位主要是指露天矿山调度室、远程操控设备车间等地点，露天矿山调度室需要24 h有人值守，当有异常事件发生后，调度室人员需要第一时间将信息上报，同时针对异常事件的重要程度进行现场协调处置等工作。因此，应对重要岗位脱岗离岗情况进行监控，如图4所示。

（6）外包大巴人数统计。为防止露天矿山运输大巴车人员超员，在露天矿山外包大巴车上安装车辆人数计数摄像头，防止发生车辆超员事件。

（7）储煤仓烟火识别。煤炭自燃时会释放CO、H2S、SO2等有害气体，危害煤场工人的健康。同时煤炭自燃释放出的大量热量将威胁输煤设备的安全运行，而且大量煤炭热量损失给露天矿造成巨大经济损失，应对其进行重点管控。

图4 脱岗离岗

（8）露天采场设备违章。露天矿山运行着大量的设备，设备在露天矿场内运行，彼此协同作业，如果设备违章作业，极易造成安全生产事故的发生。露天矿设备违章作业涵盖：车辆停在高压线下方、等卸车排队无秩序、行驶车辆车距过近、等卸自卸车安全距离不足等。露天采场设备违章行为如图5所示。

图5 露天采场设备违章作业

（9）露天采场作业不规范。露天矿山生产过程中应按照露天矿设计规范以及煤矿安全规程来严格执行，若未严格按照上述操作规程及规范容易发生安全生产事故，如：排土场反坡不符合标准、排土场挡墙高度不足、排土场路灯未做安全挡墙、临时加油未做安全措施等，如图6所示。

2 应用研究的挑战与问题

为实现露天矿山智能视频识别系统平台的建设，需要解决如下几个关键问题：第一，露天矿山需要在露天矿办公区、露天采场内建设足够带宽的网络环境，保证发生违章视频时，可第一时间将违章视频片段传输至系统平台；第二，需要对上述违章场景进行样本库积累和数据标注，开发相应深度学习和机器学习算法，保证违章识别算法的准确度；第三，需要露天矿山摄像头的像素及清晰度满足要求。

图6 露天采场作业不规范

2.1 矿山网络带宽问题

目前，露天矿山已实现办公区的网络建设，但大部分露天矿并未实现露天采场网络全覆盖。通过调研得知，国内露天矿山采场网络大部分上行带宽在5 M以内，这部分网络主要用于传输露天矿山生产类数据，例如车辆定位以及车辆的工况类数据。单个300万像素摄像头4 M码流每秒，根据码流计算表，每秒数据量为512 kB。一个大型露天矿山至少有1000路摄像头，因此，露天矿山智能视频识别系统平台的建设需要有足够的带宽来支撑矿山运行过程中的违章图片及视频数据的传输。露天矿山大部分分布在偏远山区，亟需建设露天矿山覆盖采场及办公区的基站网络，结合5G通信技术，实现构建露天矿山的网络传输问题。

2.2 摄像头清晰度问题

前期调研可知，国内大型露天矿山，已经在矿山关键位置布设了摄像头，整体上都属于标清摄像头，近几年部分矿山进行了摄像头更新换代，达到高清甚至达到超高清摄像头。由于摄像头像素制约，对视频识别带来巨大挑战。同时，露天矿山一些位置并未对摄像头进行防尘等方面的保护，导致摄像头附着灰尘，影响视频效果。因此，构建露天矿山智能视频识别系统平台需要解决摄像头清晰度以及需要充分考虑摄像头的保护问题，防止外界因素对摄像头的影响。

2.3 图像样本库问题

视频图像智能识别技术的核心算法有赖于对大量数据样本进行有效训练，例如深度卷积神经网络的算法模型准确度主要依赖于有代表性的、海量的、图像清晰的训练样本，该训练模型的准确度被定义为属于数据驱动型的模型依赖。露天矿山的各类异常状态行为由于前期电子化程度不够，各类违章异常事件的图像视频样本库有限。但是，有一些露天矿矿山违章场景获取图库样本相对容易，例如：作业人员防尘口罩的佩戴、从业人员安全帽的佩戴、绝缘手套佩戴、焊接防护面具佩戴以及接打电话等，这些场景较容易获得，从实现上来说，样本的搜集相对容易。而一些异常场景，涉及到露天矿山生产环节，获取难度较大，例如：破碎站卡块、皮带堆煤、储煤仓着火等场景。与此同时，露天矿山各类异常图像视频数据有一些被定义为保密数据，无法采用公开共享的方式进行大量图像样本数据的训练。因此，对于露天矿山智能视频识别系统平台的实现，亟需解决各类异常场景小样本的图像库的训练问题。

2.4 数据标注问题

在标注数据前，首先需清洗数据，以获得符合要求的数据。数据的清洗包括删除无效数据、整理成规整格式等。因此，在获得大量的露天矿山图像样本库的基础上进行图像、视频数据的标注是提高视频识别准确率高的关键问题。

3 系统架构及流程

露天矿山智能识别系统平台基于“云边融合”理念为基础的AI云，即通过对图片的学习，加上深度算法，可以实现对图片、视频进行前端与后端相结合的智能视频识别+云端服务器。系统架构以“感、知、用”为主要切入点，提出了“感知边缘计算、数据支撑平台、系统行业应用”新主线，通过边缘节点、数据平台和云中心来实现露天矿山智能识别系统的建设。系统总体架构如图7所示。

感知层-边缘节点：通过对视频、图片的数据结构化及对其它物联数据的精准感知，完成数据采集。

支撑层-支撑平台：通过对业务的局部感知，实现对业务的局部认知，完成对域内数据的自主处理和及时响应。

应用层-行业应用：完成跨域数据的统一、集成和处理，通过大数据分析实现全局感知，通过对跨域数据的碰撞和多维数据的分析，进行全局把控和态势分析。

图7 露天矿山智能识别系统总体架构

基于“AI云”理念，将整合视频监控系统、储煤仓监管系统、人脸识别系统、皮带集控管理系统、机修车间安防等系统，结合GIS 地图发挥边缘计算的优势，实现数据的综合管理、分析和分级应用。通过智能化建设，实现所有节点和地域的数字化，集成多种系统应用，实现基于数字化的统一管理。

系统通过本地文件流、RTSP网络视频流等方式将视频数据接入至系统识别分析模块进行智能分析，并通过网络数据流方式将车载识别分析等结果接入到系统内，进行数据报警显示、统计分析，见图8。

图8 视频数据接入示意

RTSP是实时流协议（Real Time Streaming Protocol）的全称，是一个网络控制协议，用于娱乐、会议系统中控制流媒体服务器。RTSP处理流时会根据端点间可用带宽大小，将音视频等数据切割成小分组（packet）进行传输，使得客户端在播放一个分组的同时，可以解压缓存中第二个甚至下载第三个分组。通过缓存和多码率流技术，用户不会感到数据间有停顿。视频数据传输流程如图9所示。