智慧矿山皮带运输机堵煤视频智能识别算法研究综述

赵学军 杨征

中国矿业大学（北京）机电与信息工程学院

0 引言

随着人工智能、大数据、物联网等技术的飞速发展，各个行业都朝着智能化的方向发展，但是在煤矿行业的信息智能化程度还有待提高。煤矿行业实现智能化发展，可以有效降低煤矿生产的经济成本，减少安全事故的发生。因此，跟随社会科技的发展，智慧矿山建设成为煤炭行业发展的必然趋势。

目前，国内大多数煤矿实现了视频监控，但是对皮带运输机的视频监控主要依靠人工，在出现预警的情况下调取监控发现，其并没有充分发挥视频监控系统的真正作用，无法达到智能化监控的效果。因此，对视频图像进行智能分析，可以为煤矿安全生产提供强有力的保障，极大提高煤矿生产效率。

对皮带运输机的运行状态进行智能监测，是实现煤矿智能化的重要基础。针对煤矿井下特殊的环境，主要是对皮带运输机进行堵煤智能识别监控，从皮带运输机的运行监测视频出发。目前对视频中的目标检测属于计算机视觉领域的重要组成部分，一般是将检测的运动目标进行提取，然后对目标进行准确分析。在提取运动目标的过程中，通用的方法主要有光流法、背景减法、帧差法、深度模型以及基于各算法的变形和改进。但是由于井下情况特殊，单一采用以上方法用于对皮带运输机堵煤的智能识别，往往难以取得满意的效果。本文针对几种皮带运输机堵煤识别算法进行对比和分析。

1 基于煤量检测的堵煤识别算法研究

传统的堵煤识别方法一般是通过检测皮带运输机上的运煤量来判断其是否出现堵煤或者空载等问题。皮带机输煤量一般是通过布设繁多的传感器实现，传感器磨损较大，且不精准。目前，对煤量检测的装置是电子胶带秤，虽然其应用广泛，但价格昂贵，且存在误差。

曾飞等使用激光扫描的带式输送机物料瞬时流量高精度实时测量方法，利用二维激光测距仪和测速传感器获取带式输送机高速运行下物料流三维激光点云数据，通过分析扫描线上激光点云空间形态特征，提出一种物料流轮廓自动提取方法，并建立基于面元积分的带式输送机物料瞬时流量计算数学模型。这种方法主要是通过激光扫描皮带，获得皮带上煤炭的点云信息，根据点云构成的轮廓，确定输送带输煤量。

关丙火提出了一种基于激光扫描的带式输送机瞬时煤量检测方法。通过数字摄像仪和激光仪器获取带式输送机上散煤的图像，利用Ohta 颜色空间特性提取激光线轮廓，采用梯形面积累积法计算散煤的截面面积，实时获取皮带运输机的瞬时煤量。

曾飞等和关丙火都是通过激光检测仪检测皮带运输机上的运煤量，从而判断皮带运输机是否出现堵煤或者空载的情况，但是利用激光对煤炭进行点或者线的扫描时，容易受环境中细小颗粒物的影响。矿井下煤炭粉状悬浮空中，对激光扫描造成了很大的影响，对煤炭轮廓的提取造成较大干扰，同时，激光仪价格昂贵，难以在各个煤矿普及。

陶伟忠根据采取的皮带运输机上煤炭的图像信息，分别选取煤流的颜色、运动和能量特征作为时域和频域特征，对满足时域和频域特征区域的图像取交集运算，进而计算出煤流区域面积。李纪栋主要是通过图像边缘检测的方法得到煤料的宽度，通过知识库模糊计算得到输煤量。

陶伟忠和李纪栋主要是通过传统的图像算法提取图像特征，针对矿井下环境较为昏暗的情况，传统人工提取图像特征的算法准确率较低，且通用性能较差，对于煤量的检测准确率较低，进而造成堵煤识别具有不准确性。

随着神经网络的发展，利用卷积神经网络进行端到端的学习，神经网络自动学习图像特征，提高了图像检测准确率。韩涛提出了一种基于多任务卷积神经网络的带式输送机输煤量和跑偏检测方法，同时对输煤量检测和跑偏检测这两个任务进行学习，减小了网络体积，降低计算量，提高运行速度。

上述方法是针对皮带运输机上运煤量进行检测，通过判断皮带运输机上煤炭的量来判断皮带运输机上是否出现堵煤或者空载等异常情况。这种先检测煤量、再判断是否堵煤的传统方法，好处是可以有效地检测到皮带运输机上的煤量，从而防止皮带运输机空载情况的发生，但是这种方法需要两步判断，需要投入大量的人力、物力，经济成本较高，难以有效实现对皮带运输机智能堵煤的识别。

2 基于目标检测的堵煤识别算法研究

随着深度学习的快速发展，目标检测在各个领域的应用越来越广泛，但是没有一种通用的检测算法。在煤矿这一特殊的行业，需要根据环境的不同而使用不同的检测算法，从而实现检测算法的良好性能，达到减少生产成本和安全事故发生的同时，实现对井下的智能化监控。接下来，将应用在皮带运输机堵煤识别中的几种目标检测算法进行分析对比。

2.1 融合边缘检测和背景减法的视频目标检测

煤矿井下环境特殊，单纯地使用一种检测算法总是存在各种局限，检测效果不够理想。因此，许风志提出了融合背景差分、帧间差分和处理后的边缘检测的目标提取方法。该算法使用帧间差分进行或运算，扩大运动目标检测区域，然后使用Canny算子提取三帧差分图像的边缘，最后与边缘检测后的运动目标团块进行与运算，消除光照和噪声的影响。三帧差分后使用Canny 边缘检测算子进行检测，得到运动目标边缘并进行填充。

该算法选用的运算简单、复杂度低。使用传统目标检测的算法对煤矿井下物体进行检测，同样可以应用在皮带运输机堵煤的识别上，但是此算法利用传统的目标检测算法，较为繁琐，计算量大，不能达到及时检测的效果，对光照和噪声敏感，严重依赖背景模型的建立。

2.2 基于Faster RCNN 的目标检测算法

Faster RCNN 由RCNN 连续发展而成。郜振国提出了基于Fasetr RCNN 的皮带异物检测算法。Faster RCNN 通过区域建议网络RPN处理任意尺寸输入图像，输出预选区域矩阵集合。在每一个滑动窗口位置，假设提供k 个预选区域，则回归层提供4k 个输出，对应k 个预选区域的顶点坐标编码。分类层提供2k 个输出，对应该预选区域是不是目标的概率。

以每个预选区为中心，定义9 种不同尺寸候选区域anchor，计算与真值的重叠率，确定其中是否包含目标，形成正负样本用于训练。通过最小化损失函数，来训练模型。

Faster RCNN 原模型结构采用VGG 作为骨干网，但由于井下皮带运输机检测的实时性要求，实际检测时间需尽可能短，因此，本研究采用ZF 模型作为骨干网提取特征信息。ZF 网络核心结构包括5 层卷积神经网络进行特征提取，3 层全连接神经网络实现分类。在模型训练中，使用dropout 技术避免过拟合。网络结构相对VGG 更简单，因此，能够保证良好的运行速度。

基于Faster RCNN 的皮带运输机堵煤识别算法，是利用深度网络模型对煤矿井下视频来自动学习堵煤特征信息，将视频信息交给网络结构，通过网络结构的训练，得出皮带运输机上堵煤识别的情况，从而实现堵煤情况的自动识别。与传统方法相比，其正确率获得了明显提高，并且Faster RCNN 可以实时识别，有利于及时发现堵煤情况，降低人力、物力的投入，减少安全事故的发生。具体算法流程如图1 所示。

图1 算法处理流程

2.3 基于RFCN 的目标检测算法

Faster-RCNN 算法在目标的检测和识别过程中虽然也有较好的表现效果，但是图像信息在ROI Pooling 的全连接层时，出现目标信息的部分丢失现象。许风志提出了基于RFCN 的井下目标识别算法。为了解决Faster-RCNN 在目标检测识别过程中出现的目标位置丢失问题，改进了Faster-RCNN 中的ROI Pooling，在ROI Pooling 层前面引入了位置敏感得分图，能够精确地检测到运动物体的位置，并对每个类别进行投票，得出类别的得分，有效地解决了以上问题。将RFCN 算法应用于皮带运输机的堵煤识别算法，相对于Faster RCNN 算法来说速度更快，更能有效地达到实时检测的效果。模型结构如图2所示。

图2 模型结构

3 待解决的问题与未来研究方向

皮带运输机是煤炭运输的主要设备，且成本较高，因此，对其进行实时、有效的检测是煤炭生产活动中至关重要的一环。根据已有的研究方法和最新的研究思路，本文对基于皮带运输机堵煤识别的关键技术下一步待解决的问题与未来研究方向进行展望。

（1）如何使模型更适用于煤矿井下的目标检测需求。由于煤矿井下环境复杂，视频图像质量不高，极大地限制了模型学习的能力。因此，需要通过上下文信息、数据增强、互补特征融合等各种方法，不断提高模型的性能，以适应煤矿场景下的目标检测需求。

（2）如何在数据集样本较少的情况下实现精确的目标检测。皮带运输机出现堵煤或者空载的现象是很少的，大部分都是正常运行的状态，在训练模型时，异常状态的数据集含量较少的情况下，很难将模型训练好。因此，需要通过迁移学习或者强化学习等方法来训练深度网络模型，提高检测的效果。

（3）如何选择高性能的骨干网络。骨干网络的好坏直接影响检测效果，因此，如何获取高性能的骨干网络，将对后续的研究与实验结果产生重要影响。目前，针对骨干网的选择具有很大的随机性，在不同的任务要求下，不同的骨干网产生的性能也就不同。

4 结束语

皮带运输机堵煤视频智能识别系统是智慧矿山指挥调度系统的子系统。本文从皮带运输机进行堵煤识别检测的原因和必要性出发，针对目前皮带运输机进行堵煤识别的几种方法进行了综述，主要是煤量检测和基于目标检测算法的堵煤识别，对这两种情况下分别存在的几种方法进行了描述与对比，同时，对该领域如何使模型更适用于煤矿井下的目标检测需求、如何在数据集样本较少的情况下实现精确的目标检测、如何选择高性能的骨干网络3 个研究热点进行了分析与展望。