全矿井人工智能（AI）监管平台关键技术

孙晓东

（1.中煤科工集团沈阳研究院有限公司，辽宁 抚顺 113122；2.煤矿安全技术国家重点实验室，辽宁 抚顺 113122）

矿山安全生产一直是矿山行业的重要问题之一。在煤矿工业领域，工业视频监控已普遍使用，用来实时监测煤矿井上、井下不同场景，直观呈现不同地点的不同人员、设备的工作状态。为了提高矿山安全生产水平，矿山视觉识别技术逐渐受到关注。矿山视觉识别是指通过图像处理技术，对矿山环境、设备和人员进行检测和识别，以实现安全预警和预防。随着人工智能技术的不断发展，矿山视觉识别领域的应用逐渐拓展，为解决矿山安全生产问题提供了新的思路和方法。

目前，我国煤矿安全生产事故总量逐年下降，安全生产整体形势总体稳定好转，但是安全生产事故仍时有发生，特别是由于各类隐患引起的事故。随着人工智能、视觉识别技术不断发展，以及国家相关政策及标准的相继出台[1-6]。2022 年10 月，国家印发《煤矿及重点非煤矿山重大灾害风险防控建设工作总体方案》[5]，方案指出，通过建设AI 视频智能辅助监管监察系统、应急处置视频智能通信系统和重大违法行为智能识别分析系统，充分发挥AI 智能识别、井下精准定位、物联网、大数据等新技术在矿山重大灾害风险识别、应急救援等工作中的优势作用，依托“十三五”期间已建成的国家矿山安全生产风险监测预警平台，实现对煤矿及重点非煤矿山关键地点、重点部位重大风险的实时监测、及时识别和精准研判，创新矿山安全生产监管监察方式，积极探索形成“互联网+监管监察”等新模式，推动提升矿山重大灾害风险防控能力，夯实矿山安全基础。

人工智能技术在煤矿视觉识别领域的应用还处于发展初期，尚存在一些挑战和限制，如真实场景数据获取困难、算法精度的提升、现有基础设施与人工智能技术的融合等。然而，随着技术的不断进步和应用案例的积累，人工智能技术在煤矿领域的应用前景仍然是积极的。要实现这些趋势并推动人工智能技术产品在煤矿领域的广泛应用，还需要解决数据收集和隐私保护、安全性和可靠性等挑战，并与现有的煤矿设备和管理体系进行整合。基于此，结合煤矿的实际情况，构建了煤矿全矿井人工智能（AI）监管平台[7-8]。

1 人工智能（AI）监管平台总体设计

1.1 设计目标

为满足煤炭行业智能化建设、加深煤矿智能化程度、做好煤矿及重点非煤矿山重大灾害风险防控建设等工程需要。针对煤矿井下情况复杂多变，隐患难以及时发现的现状，研究突破针对不同场景及应用的视频图像识别技术，能自动识别环境中潜在的风险及安全隐患、对人员的违章违规行为、设备异常状态做出主动判断，实现视频监管从看得见到看得懂的转变，为保障矿山安全生产、智能辅助监管监察提供技术支持，不断提升矿山数字化、智能化安全生产水平。

全矿井人工智能（AI）监管平台的最终设计目标是符合国家和地方政策“互联网+监管监察”方式，替代传统的普通视频监控和传统监管监察方法，覆盖煤矿全部AI 视频监控场景，为煤矿企业安全生产赋能。该产品采用视频+AI 的技术手段，并运用“Al 智能监管监察、智能识别、智能分析、智能安防”等前沿技术为煤炭等能源行业提供一站式智能解决方案。通过视频感知，对煤矿全矿井的关键场景进行实时视频采集，再通过边缘计算或算力中心集中识别处理。最终实现对人员行为、设备状态、环境状态的智能监控与分析。达到智能预警、智能管控、智能联动的目的。

1.2 总体架构

平台总体架构如图1。

图1 平台总体架构Fig.1 Overall platform architecture

平台主要由AI 训练平台、视觉识别分析平台、多场景智能子系统Al 监控平台、智能边端分析摄像仪、智能分析装置组成。平台划分为应用层、业务层、支撑层、感知层、基础设施层。应用层主要包含页面展示，硬件集控的功能；业务层主主要包含核心功能模块和主要组件模块，用户可以根据业务场景需求管理对应模块；支撑层主要是平台运行和处理所需要的技术支持；感知层为采集画面的前端设备，主要包含普通摄像仪和智能摄像仪；基础设施层为软件运行的硬件支持，根据处理架构的不确定性，包含集中服务器、边端算力服务器、矿山环网等基础设备。

1.3 核心场景

依托人工智能(AI)，分别针对每个生产矿井的采煤、掘进、机电、通风、运输、主动安全等6 大体系的核心场景构建AI 视频识别算法，形成独立算法场景，重点区域与生产链条AI 视频识别场景全覆盖；针对煤矿现场的真实素材进行模型训练，保证各场景模型算法的识别精准度，同时模型算法可以智能优化迭代，不断提升识别精准度。全矿井人工智能（AI）监管平台场景涉及人员、设备、环境等方面的智能识别监测。主要包括5大类30 余种场景模型。

1）带式输送机输送带相关场景。输送带大块煤检测、输送带纵向撕裂检测、输送带煤流量监测、输送带异物检测、输送带跑偏检测、输送带驱动机过热冒烟监测、输送带人员跨越检测、输送带人员乘坐检测、输送带煤温监测、输送带煤矸石筛选检测、输送机头堵煤检测、输送带除铁器异物检测等。

2）人员相关场景。调度室人员离岗检测、危险区域人员进入报警检测、人员出入井统计、区域限员检测、人数统计检测、人员围栏告警检测、人员安全帽检测、人员操作间玩手机检测、人脸识别检测、人员未佩戴毛巾检测、未佩戴维修安全带等。

3）设备相关场景。泵房水位仪表监测、摄像头挪动监测、摄像头遮挡监测、U 型压力计读数识别等。

4）采煤、打钻相关场景。探放水打钻钻杆计数、割煤机视频随动检测、综采面支护开合检测、综采面堆煤检测、煤层岩层刮板机分界线提取检测等。

5）车辆相关场景。煤矿车辆出入检测、井下行车步行人检测、车牌识别检测、字符识别检测、驾驶员违规行为分析、结合超声波辅助识别等。

人工智能（AI）监管平台前端采用VUE3 进行架构设计，其中包括监控区域展示、监控事件展示、在线摄像仪数量、离线摄像仪数量、报警数量、已处理报警数量、未处理报警数量、实时报警图像等信息。通过不同的分屏显示模式，综合展示不同场景的实时视频影像。达到综合监控、综合预警、智能联动。大屏综合展示如图2。

图2 大屏综合展示Fig.2 Large screen comprehensive display

2 关键技术

整个平台设计包括多项关键技术，包括通过低样本数据集增强技术研究来提升识别精度、模型训练及迭代优化策略研究、数据推理与决策分析技术研究、微服务后台开发技术研究等[9-19]。

2.1 低样本数据集增强技术

由于煤矿环境特殊，可利用的样本数据相对较少，如何在低样本的条件下又能保证算法模型的识别精度将面临巨大挑战。虽然卷积神经网络（Convolutional Neural Networks，CNN）是一种深度学习模型，适合用来分析视觉图像，但在处理低样本数据时，可能由于数据量不足，导致模型训练不充分，识别准确率下降。

全矿井人工智能（AI）监管平台针对煤矿井下环境部分场景样本数据较少的问题，采取了数据增强的方法进行样本数据集扩充，通过对现有素材图像变换、裁剪、旋转等处理，来增加样本数量，提高模型训练的充分性；利用生成对抗网络（GAN）等技术生成与真实数据类似的虚拟数据，来扩充数据集素材样本数量，提高模型泛化能力；利用在其他煤矿大规模数据集上预训练的模型，迁移到低样本数据集上，进行迁移学习，快速提高模型性能；同时为提高低样本模型的性能，通过采用更优的模型结构、损失函数、正则化等方法进行模型优化；同时高精度的模型离不开人工的持续标注，通过人工标注的方式对输出的样本数据进行人工标注来提高数据质量。总之，视觉识别在低样本数据下具有一定的挑战性，全矿井人工智能（AI）监管平台，通过综合采用合适的方法和技术手段，有效地提高了模型在低样本情况下的性能。解决了煤矿恶劣的井下环境下，样本数据少的问题。低样本数据集增强如图3。

图3 低样本数据集增强Fig.3 Low sample dataset enhancement

在实际应用中，首先深入煤矿，去相关应用场景所在地录制视频、图像等素材，或通过现有摄像仪截取部分视频影像，对收集到的图像素材按照以上方法进行加工处理；得到加工后的图像素材，结合加工前的图像素材，实现样本的扩充。再对扩充之后样本进行模型训练。数据增强实际应用如图4。

图4 数据增强实际应用Fig.4 Practical application of data enhancement

2.2 模型训练技术

视觉识别深度学习研究主要利用深度学习技术来提高图像识别的准确性和可靠性。深度学习是一种机器学习技术，通过构建多层神经网络来模拟人脑的学习过程，从而实现对图像的识别和理解。在视觉识别领域，卷积神经网络（CNN）是最常用的深度学习模型之一。CNN 能够通过多个卷积层和非线性激活函数来提取图像的特征，并通过全连接层将特征映射到目标类别上。通过训练大量的图像数据集，CNN 能够学习到从图像中提取有用信息的内在规律，从而实现对不同类型图像的准确识别。除了CNN，还有其他类型的深度学习模型也被广泛应用于视觉识别领域，例如循环神经网络（RNN）、长短时记忆网络（LSTM）和变分自编码器（VAE）等。这些模型各有优缺点，可以根据具体的应用场景选择合适的模型进行研究和应用。在视觉识别深度学习研究中，数据集的选择和模型的训练是关键。为了提高模型的准确性和泛化能力，通常需要收集大量的标注数据，并通过各种技术手段来增强数据的质量和多样性。同时，还需要选择合适的损失函数和优化算法来训练模型，并对其进行调参和优化，以获得更好的性能。

针对煤矿用户来说，通用化的人工智能技术（如人脸识别等）已无法满足煤矿行业需求，需根据煤矿井下的真实环境进行模型的开发与训练，个性化应用需求明显。还要加快AI 技术在实际场景中的落地，快速验证应用效果，持续进行模型迭代优化。为解决用户这方面的痛点问题，全矿井人工智能（AI）监管平台模型基于Pytorch 开发，Python 部署，采用深度学习的端到端学习，自动学习到目标的表征特征，不需要事先人工提取特征，学习能力强。深度学习的神经网络层数多、宽度广，理论上可以映射到任意函数，可以拟合比较复杂的函数，解决复杂的现实问题。平台实现了对样本数据集的管理，模型本地化训练与部署，同时可在线对样本数据进行标注，训练过程可视化。同时对识别度低的数据回流到系统进行人工审核，来不断提高模型的精准度。全矿井人工智能（AI）监管平台模型训练、数据回流过程如图5。

图5 模型训练、数据回流过程Fig.5 Model training and optimization iteration process

2.3 数据推理与决策

利用训练后的算法模型，对视频感知信息进行智能分析，找出视频图像中存在的异常点，进行图像、视频截取保留证据，并推送至前台报警显示。同时联动语音广播等井下设备，进行现场播报提醒。为用户的风险处置、决策提供依据。

针对煤矿井下的应用场景，首先对感知视频流进行实时加载，通过加载绑定的场景模型，根据条件参数，进行推理分析。找出异常图像，进行截取、上传等后处理。同时根据检测的物体目标，从背景中分离出感兴趣的目标区域，并确定这一目标的描述（类别和位置，常用矩形检测框的坐标表示），实现被检测物的自动框选。供终端用户进行实时监测。数据推理流程如图6。

图6 数据推理流程Fig.6 Data inference process

2.4 微服务后台开发技术

微服务架构是一种松耦合的、有界上下文的面向服务架构，将1 个大型的单个应用程序和服务拆分为数个甚至数十个的支持微服务。微服务架构设计需要考虑到服务的粒度、松耦合和高度内聚、独立团队和自治、与语言工具无关、分布式和容错性、持续集成和持续部署以及安全性等方面的问题。这些特点使得微服务架构能够更好地适应业务需求的变化和发展。

1）微服务技术体系。微服务核心技术架构体系以Spring Cloud Alibaba 作为主流，是一套微服务解决方案，它提供了开发分布式应用微服务的必需组件，方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。Spring Cloud Alibaba 利用Spring Boot 的开发便利性，结合SpringCloud 与Alibaba 开源技术，巧妙地简化了分布式系统基础架构的开发，如服务注册发现、配置中心、消息总线、负载均衡、断路器、数据监控等。同时由于Spring Cloud 所依赖的组件Eureka、Feign、Hystrix、Config等面临停更。选择替代方案将是最好的选择， SpringCloudAlibaba的Nacos、Sentinel 等能更好地与Spring Cloud 融合，共同构建微服务架构体系。

2）微服务构建。微服务使用SpringBoot 进行构建，以Nacos 作为注册中心和配置中心建立集群。通过OpenFeigh 组件实现微服务的调用，同时具备负载均衡能力。同时微服务的设计采用无状态设计，这样可以方便横向扩展。系统的登录服务、注册服务、基础信息管理服务、业务逻辑服务、智能控制服务都设计成单独的微服务。 此外，由于平台的业务量的增加，通过开发新的微服务注册到Nacos 即可，实现了在不动其他服务的同时实现了系统扩容，满足了用户日益增长的业务需求。例如，随着用户接入场景、子系统的不断增加，需不断进行服务器扩容、功能扩容，才能满足业务需求。通过合理的配置和部署，大大提高系统的性能、可靠性和可维护性。

微服务集群架构如图7。

图7 微服务集群架构Fig.7 Microservice cluster architecture

3 现场应用

全矿井人工智能（AI）监管平台，在煤矿智能化建设的大背景下在内蒙古地区首先现场落地运行。基于“视频+AI”的技术手段，并运用“AI 智能监控、 智能识别、 智能分析、智能安防”等前沿技术为煤矿企业提供一站式智能化解决方案，且场景可定制化。此次充分调研了内蒙古地区各煤矿的井上井下环境，提取大量现场素材样本进行模型训练，基于AI 平台和不同的应用场景建立算法模型，采用高分辨率视频设备、人工智能技术等对各类井下设备、人员行为等信息进行智能感知，同时对感知信息进行智能分析、自学习与决策，实现了大块煤检测、未佩戴安全帽、操作工离岗、行车不行人、区域限员、电子围栏等关键场景的赋能。同时根据煤矿智能识别场景，进行摄像仪布置，并利旧兼容已有满足条件的摄像仪。实现不同场景AI 智能识别功能，当出现异常时，并发出告警信息。部分应用场景如图8。

图8 部分应用场景Fig.8 Partial application scenarios

现场应用结果表明：深度学习算法在矿山视觉识别领域具有较好的应用效果和价值；其中，卷积神经网络（CNN）算法在图像分类和目标检测方面具有较好的性能表现；循环神经网络（RNN）算法在序列数据识别方面具有较好的应用效果。通过对比实验，发现深度学习算法在提高矿山视觉识别的准确性和稳定性方面具有较大的优势；具体来说，全矿井人工智能（AI）监管平台的深度学习算法在矿山图像分类方面的准确率达到了90%以上，目标检测方面的准确率达到了80%以上。

4 结 语

以视频感知为基础，以网络、信息技术为媒介，以人工智能、大数据为技术支撑；构建了全矿井人工智能（AI）监管平台，介绍了平台的总体架构和核心场景；基于整个平台的设计，论述了低样本数据集增强技术、模型训练技术、数据推理与决策、微服务后台开发技术等关键技术。基于人工智能技术的全矿井人工智能（AI）监管平台解决了煤矿视觉识别样本数据集少、识别精度低的问题，同时利用卷积神经网络（CNN）结合人工审核机制实现了模型的自我学习与迭代优化；经过现场试验验证，效果显著。