矿用带式输送机故障辅助识别系统实证研究

李 旭 ，董 博 ，党恩辉

（西安合智宇信息科技有限公司，陕西 西安 710075）

近年来，伴随矿井生产能力、开采深度的逐渐增加，机械化程度也随之提升，带式输送机已经成为煤矿井下运输的关键设备。带式输送机工作环境恶劣，采集的煤流中会夹杂着矸石、锚杆、角铁等异物，若这些异物未能及时得到清理，便极易卡在输送机的槽体、托辊及输送带间，从而导致运输环节中断造成运输、采掘等工作瘫痪。因此，带式输送机的故障情况是运输系统能否正常运行的关键因素。

目前针对综采面工作的运输问题，文献[1]以路径优化调度对运输路线进行研究，为故障辅助识别系统的数据采集点提供最优方案；文献[2-5]分析了运输系统的发展状况和自动化水平，提供了故障识别系统的搭建思路；文献[6-7]对数据的处理和数据的存储做了介绍，为系统识别异物奠定基础。

综上，结合传统的带式输送机检测系统，设计开发了一种基于机器视觉深度学习的带式输送机故障辅助识别系统[8-11]，本文障辅助识别系统可以保证综采工作面运输系统的正常运行，提高运输环节的运输效率。

1 系统总体设计

1.1 系统概述

相比于目前的人工分拣法、射线识别法、除铁器法、光谱探测法和传统图像识别方法，基于机器视觉和深度学习的目标识别算法提取抽象特征的鲁棒性更强、泛化能力更好，在高速识别方面具有较好的适用性，能够适应煤矿井下的复杂环境。

异物识别流程图如图1。

图1 异物识别流程图Fig.1 Foreign object identification flow chart

异物识别流程主要包括数据集构建、异物识别模型训练和异物识别3 部分。首先，使用系统摄像机进行实时录像和监测，获取实时输送带上的视频图像；将采集的视频图像数据进行预处理，得到相应处理数据；将预处理后的视频流数据输入到多层特征融合的图像检测模型中，使用多层特征融合的图像检测模型对复杂环境中的异物进行识别和定位，将视频中的异物标出，并且进行异物识别；根据异物的大小建立不同异物类型数据集，数据集包含不同运输区域的采样序列和对应的故障类型标签值[12-13]，在分类器中提取异物类型信息，并将其整理为时序数据，用生成对抗网络的方法扩充训练数据集，然后送入下一步的异物检测模型；根据时序数据和异物类型信息，使用预先训练好的面向动态特征补充机制的网络异物检测模型对其进行判断，根据输出进行判断，确定预警等级；输出预警等级后，系统将运输带上异物对线路的影响进行提示，与此同时视频中的异物的状态也将被标注出；最后，运用训练后的异物识别模型实时对监控视频进行识别，并得出异物识别结果。

当识别到输送带运行过程中出现可能造成输送带撕裂和造成破碎机损坏的工字钢、刮板等金属异物，联动设备控制系统可实现声光告警并对采煤机、刮板机变速器及带式运输机变速器进行智能减速，避免设备损坏，保证设备得正常运行。

1.2 基本原理

基于机器视觉深度学习的输送机故障辅助识别系统，通过图像算法库进行图像预处理，使用深度学习训练得出的识别网络模型利用监控视频对异物进行识别[13]。

1）深度学习。基于深度学习的带式输送机异物识别方法以目标检测算法为基础框架，构建异物图像数据集，搭建异物监测模型库，并对模型库不断更新，依据井下环境对相关数据应用校正方法，使得异物图像训练与测试能够更好地拟合，从而实现了对异物多目标、快速、精准识别与定位。在 Faster R-CNN 的基础上，将主干特征提取网络 VGG-16 的多尺度输出进行特征融合，使得特征图包含更多待检测目标的特征信息，使用改进的非极大值抑制（NMS）算法避免重叠部分小目标的丢失，并且重新设置了适合井下作业区域场景下的小目标检测的锚的尺寸比例，在感兴趣区域池化层中使用双线性插值法来减小传统方法造成的预测边框定位偏差。

2）深度学习数据库。为使异物识别系统能够贴合矿下环境，获得更准确的识别率，采集的数据内容来自各个煤矿井下带式输送机和刮板机图像，系统训练集包含的所有数据均由此提供。考虑到煤矿井下环境复杂,图像库内的数据是在不同光照下、不同矿井下输送带和刮板不同方位采集的图像，由于矿井下的复杂环境有的运输环节无法进行全方位图像采集，对于固定视角拍摄的图像，使用仿射变换的方法可以将固定视角拍摄的图像扩展为不同视角的图像。训练样本包含了锚杆、角铁、 螺母、矸石等目标样图像。在实际的运输环境中，通过监测系统对运输环节进行异物识别，对所有异物进行标注，这样就可以获得模型训练、测试所需先验标签，标注内容为预测边界框中心点为相对坐标、预测框边界相对宽度、预测边界框相对高度。异物标注实例如图2。

图2 异物标注实例Fig.2 Example of foreign object labeling

2 系统组成及故障辅助识别控制方案

2.1 监控系统框架

输送机故障辅助识别系统主要由机器视觉异物监测系统、矿用隔爆兼本质安全型摄像仪、光源等组成。

1）机器视觉异物监测系统。机器视觉异物监测系统系统由现场硬件部分和后台软件分析系统组成，属于基于视觉的输送机运输保护系统的一部分，整个系统是基于网络的联网平台，能够自动分析前端监测到的异常情况，对特定的输送带监控区域出现的异常情况进行判定和报警，并同步提醒巡检人员。

2）矿用本质安全型摄像仪。主要用于对输送机运输环节各个节点的输送情况进行视频监控，并对工作面或回风巷视频信息进行采集，压缩编码，并打包成IP 报文的形式发布到以太网上，供显示器解码显示。矿用本质安全型摄像仪具有结构小巧、质量轻，安装布置灵活、低照度、高分辨率、可靠性等特点，完全符合在薄煤层工作面上的工作要求。

2.2 图像预处理

图像预处理的主要目的是将采集的图像中的无关信息进行弱化或消除，恢复有效的真实信息并对有效信息可检测性进行增强，对图像数据进行最大限度地简化，从而提高图像分割、目标匹配和识别的可靠性。系统采用高斯滤波算法对图像像素点的值和邻域间的像素加权平均后获得。采用一个3×3 尺寸的高斯掩模对图像处理，首先对图像某一点坐标及其邻域坐标通过公式计算出坐标模板，再对获得的模板归一化得到高斯核，当获得高斯模板后对图像像素值线性相乘即可得到高斯滤波处理后的图像。经过上述操作能够突出异物边缘特征并去除噪音。图像预处理的框架图如图3，图像预处理前后对比如图4。

图3 图像预处理框架图Fig.3 Image pre-processing framework diagram

图4 图像预处理前后对比Fig.4 Comparison before and after image pre-processing

2.3 输送机故障辅助识别系统控制方案

系统摄像仪采集带式运输机实时运行视频，传输至机器视觉系统进行视频图像分析处理，当控制中心异物识别系统，监测到输送带运行过程中出现可能造成输送带撕裂和造成破碎机损坏的工字钢、刮板等金属异物，对所有异物进行编码显示，并进行跟踪，直至异物处理；同时发出自动保护控制指令，首先进行声光告警，发出警报告知工作人员，并对所述辅助调节模块发出指令，自动调节采煤机、刮板运输机及带式输送机运转速度，使其进入低速运行模式，使工作人员能够及时处理带式输送机上的异物；异物处理完成后，异物编码消失，并对新出现异物重新进行编码。

3 结 语

结合传统的带式输送机检测系统，研制了一种基于机器视觉深度学习的带式输送机故障辅助识别系统；通过图像算法库进行图像预处理，增强系统对有关信息的可检测性；使用深度学习训练得出的识别网络模型利用监控视频对异物进行识别，提高系统识别异物的准确率，有效提高运输环节的运输效率。试验结果表明：通过视频图像采集与智能识别技术，可以有效识别出带式输送机运输过程中的异物，极大降低了异物导致输送机故障的概率，保证了综采工作面运输系统的正常运行。