基于深度图像的带式输送机煤量检测方法

刘飞　张乐群　蒋伟　刘明辉

摘 要：針对现有的带式输送机煤量检测方法会受到井下昏暗环境的影响，识别精度不高的问题，提出一种适用于井下环境的带式输送机煤量检测方法。基于深度图像的获取不受井下昏暗环境影响的特点，以深度相机获取的不同煤量深度图像为研究对象，对其进行滤波处理以滤除干扰信息并增强特征信息，提出一种DID－CNN识别网络对滤波后的煤量深度图像进行特征提取，并最终将煤量分为3个不同类别作为检测结果，该结果可用于胶带机带速的分级调控。结果表明：所提出的煤量检测模型的准确率达到99.3%，模型的F1分数为0.991，平均检测每张图片的时间为0.024 3 s。基于深度图像的带式输送机煤量检测方法可以有效消除井下昏暗环境对煤量检测造成的干扰，具有较高的检测精度和较快的处理速度。该方法可为提高带式输送机运输效率、实现节能降耗以及延长设备使用寿命等方面提供支持。

关键词：带式输送机；煤量检测；深度图像；特征提取

中图分类号：TD 528文献标志码：A 文章编号：1672-9315（2023）05-1008-07

DOI：10.13800/j.cnki.xakjdxxb.2023.0518

Coal quantity detection  of belt conveyor based on depth image

LIU Fei1，2， ZHANG Lequn1，2， JIANG Wei3， LIU Minghui1，2

（1.College of Electrical and Control Engineering，Xian University of Science and Technology，Xian 710054，China;2.Shannxi Key Laboratory of Mine Electromechanical Equipment Intelligent Monitoring，Xian 710054，China;3.Tiandi（Changzhou） Automation Co.，Ltd.，Changzhou 213014，China）

Abstract：The existing coal quantity detection method of belt conveyor is affected by the underground dark environment

resulting in a comparatively lower recognition accuracy and a new one suitable for underground environment is proposed.Based on the fact that the acquisition of depth image is not affected by the dark underground environment，the depth images of different coal amounts obtained by the depth camera are taken as the research object，and the filtering processing is carried out to filter out the interference information and enhance the feature information.A DID－CNN recognition network is determined to extract the features of the filtered coal depth image，and  the coal amount finally is divided into three different categories as the detection results，which can be used for the grading control of the belt speed of the belt conveyor.The results show that the accuracy of the proposed coal quantity detection model is 99.3%，the F1 score of the model is 0.991，and the average detection time of each image is 0.024 3 seconds.The research indicate that the coal quantity detection method of belt conveyor based on depth image can effectively eliminate the interference caused by the underground dark environment on the coal quantity detection，with detection accuracy higher and processing faster.This method can provide support for improving the transportation efficiency of belt conveyor，realizing energy saving and consumption reduction，and prolonging the service life of equipment.

Key words：belt conveyor；coal quantity detection；depth image；feature extraction

0 引 言

带式输送机作为煤矿生产的主要运输设备，能长时间不间断地将煤从地下运至地面[1-2]。在矿山工作时，带式输送机所耗能源占整个矿山工作能源消耗的60%[3]。因煤料分布不均带式输送机经常在轻载或空载状态下长时间全速运行，造成电能的浪费[4]，导致带式输送机各个运行部分的无效磨损，缩短设备使用寿命。根据带式输送机上的煤量来调速，可以节约能源，延长设备使用时间[5-7]。

传统的动态煤量计量方式有3种，分别为机械式皮带秤[8]、电子皮带秤、核子皮带秤。机械式皮带秤和电子皮带秤的精度会受到皮带自重以及运动惯性的影响。虽然核子秤精度较高但其校准十分复杂，同时放射性材料会严重危害到工人的生命健康。由于传统测量方法存在各种弊端，学者们开始研究基于机器视觉的非接触式煤量检测方法[9]。李纪栋等利用图像边缘检测能够求解煤炭宽度，利用知识库模糊计算，求解出运输量[10]。贺杰等提出一种基于图像处理技术的皮带煤量测量方法，提取煤堆的骨架，获取煤轮廓，根据带煤截面积与带速的关系，测量输送带上煤流体积[11]。王宗省等提出一种基于窗口阈值的滤波方法，用于解决反光问题导致试验结果不准确的问题，该方法能去除噪声同时保留边界信息，并使用不同反射程度的模板进行EMD匹配，解决边界对比度低和光源不稳定等问题。通过腐蚀和膨胀后，使用改进的自适应阈值算法进行分割。同时，使用帧间差分法对一次输送带的运行状态进行识别，以协调控制能耗[12]。王桂梅等以深度学习为基础提出一种新的检测方法，提出改进的FF－CNN（Feed Forward Neural Network）网络，将带式输送机的煤量进行分类，实现煤量的检测[13]。

作为基于机器视觉的煤量检测方法唯一的研究对象，样本图像的质量对最终煤量检测结果的精确度有很大影响。而井下昏暗、复杂的环境会使获取的样本图像无法达到检测的要求。

现有的煤量检测方法还包括线激光测量以及双目立体视觉测量[14-15]。线激光测量使用激光扫描煤流获取煤量，但矿井中的粉尘会严重影响激光扫描的效果，而且其高昂的成本限制了激光扫描的普及。双目立体视觉测量使用两台面阵相机来实现物体的三维测量。但由于井下昏暗的环境，以及补光灯造成的多光源效应，给双目立体视觉测量的核心算法双目立体匹配算法造成了巨大影响。

与上述方法不同的是，深度图像的获取使用的是深度相机[16]，深度相机通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线照射在被摄物体上的不同深度区域并被反射回去，深度相机会采集被反射回来的结构光信息，然后通过运算单元将这种结构光的变化换算成深度信息。由于深度相机是主动发出结构光，因而适合在光照不足甚至无光的场景使用。

因此，文中提出一种基于深度图像的煤量检测方法，这种方法可以在昏暗的井下环境实时检测带式输送机的负载煤量且使用成本低，有利于推广。

1 煤量检测方法

基于深度图像的煤量检测方法由搭建合适的煤量检测网络进行模型训练、对训练好的模型进行验证2部分组成。

模型训练流程如图1所示。首先使用深度相机获取胶带机负载煤流深度图像，并将采集到的煤流深度图像进行双边滤波，在滤除噪声的同时保留图像信息，然后将深度图像按照少煤量、中煤量、多煤量3个类别分别放在不同的文件夹，构建数据集。最后，将数据集导入搭建的DID－CNN（Depth Image Detection Convolutional Neural Network）网络进行训练得到煤量检测模型。

模型验证：将验证集的数据导入训练得到的煤量检测模型进行分类，检测模型的精确度和检测速度。

2 煤量检测模型

将带式输送机上负载煤量按照所占满载煤量的百分比划分为3个类别：0%～30%为“少煤量”、30%～60%为“中煤量”、60%～100%为“多煤量”，把它们作为网络输出的结果。 在卷积神经网络中，选取VGG网络（Visual Geometry Group Network）[17]作为基础网络构建适用于煤量检测的深度学习网络DID－CNN。

2.1 DID－CNN网络

DID－CNN网络如图2所示，在第一次7×7卷積后加入CBAM模块，然后将4个CSPResNet模块加入网络。使用全连接层将特征空间映射样本标记空间，输入Softmax函数得到最终输出[18]。

2.2 CSPResNet模块

深层网络会带来大量计算，使训练参数大幅度增加。这就造成模型训练的效率降低和内存成本提高的问题。使用CSPNet模块不仅能够增强CNN的学习能力，而且能够在轻量化网络的同时保持准确性，降低计算瓶颈，降低内存成本[19]。

2.3 CBAM模块

使用深度图像作为数据集，其背景信息为传送带，在少量及中等煤量时背景信息所占比重过大。为了提高模型的检测精度，在第一次卷积之后加入卷积注意力模块（Convolutional Block Attention Module，CBAM）对特征输入进行加权再输出，希望网络关注到的地方给较大的权重，不希望网络注意的地方给较小的权重，以此来提高模型的学习效率[20]。

2.4 BN层

为提高煤量的检测精度和检测速度，DID－CNN网络在输入层后加入残差块防止梯度消失[21]。在卷积层之间加入BN（Batch Normalization）层，加快网络的训练和收敛速度。

3 试验和验证

3.1 深度图像

使用深度相机获取深度图像，将深度信息转换为颜色信息，不同的深度用不同的颜色代表，其原理如图3所示。

图4为不同类别煤量的深度图像，深度图像中该点的颜色代表了该点距离深度相机的距离。因此可以根据深度图像中不同颜色的面积大小来区分煤量类别。

3.2 数据集制作

使用深度相机采集不同煤量的深度图像，选取不同煤量的深度图像存放在不同的文件夹下，文件夹名为对应的煤量类别的标签。其标签设置见表1。

将数据导入网络训练之前先将数据集的数据随机打乱，然后分别抽取其中的五分之一作为测试集和验证集，剩下的五分之三作为训练集。

3.3 图像的预处理

图像的预处理是图像识别过程中重要的一环。图像预处理不仅能够滤除图像的干扰信息如噪声信号等，还能够加强图像的有用信息[22]。使用适当的预处理方法能够有效地提升图像识别的精度。

通过深度相机采集的煤量深度图像含有大量噪声，因此需要对深度图像做滤波处理。这里对深度图像分别进行了均值滤波、高斯滤波、以及双边滤波，滤波后效果如图5所示。均值滤波的噪声滤除效果不理想且模糊了图像；高斯滤波的噪声滤除效果很好，但是模糊了边缘信息；双边滤波不仅滤除了噪声还保留了边缘信息。考虑到需要提取深度图像的深度特征和边缘特征，在比对均值滤波、高斯滤波、以及双边滤波的效果之后，选择双边滤波。

3.4 数据增强

数据增强能够增加数据集图片的数量，提高检测模型的泛化能力[23]。此次试验使用的数据增强方法有：翻转、旋转、平移等。

数据增强还能够降低模型对图像的敏感度，提升检测模型的鲁棒性。此次试验通过给数据集添加高斯噪声来实现此目的。

3.5 正则化

使用正则化是为了减少模型的复杂度，并降低过拟合的风险[24]。在神经网络中，常用的正则化技术有L1正则化、L2正则化和Dropout。

L1正则化：将L1范数作为正则化项加入到损失函数中，使得模型权重的绝对值之和最小化，从而实现特征选择的效果，减少无用权重的影响[25]。

L2正则化：将L2范数作为正则化项加入到损失函数中，使得模型权重的平方和最小化，从而防止权重过大，降低过拟合的风险[26]。

Dropout：在训练时，以一定的概率随机将一些神经元的输出置为0，从而强制模型学习到更加鲁棒的特征。

L1正则化是一种从改变模型结构的角度，减少模型参数的数量，解决过拟合的方式。而L2正则化则是为了使模型尽量不依赖于某几个特殊的特征，从而使得每个特征得到尽量均衡的权重，以此来解决过拟合的问题。因此，此次试验选择在训练模型时加入L2正则化和Dropout。为了最大化正则化的效果，在损失函数中加入惩罚项。其损失函数见式（1）

式中 Closs为交叉熵损失[27]；L2loss为L2正则化损失。

3.6 试验环境

数据采集平台由运输煤流的胶带机和获取深度图像的深度相机组成，如图6所示。

硬件环境：CPU（AMD Ryzen 75800H），16 GB内存NVIDIA GTX3060Ti显卡，KBA18（D）矿用本安型深度相机。

3.7 模型训练

在训练之前设置网络的超参数学习率α=0.000 1，将训练的迭代次数设置为40次，然后将数据集导入DID－CNN网络训练。随着训练的迭代，训练损失和测试损失变化曲线如图7所示，从图7可以看出，随着迭代次数增加，训练损失和测试损失不断下降，模型在逐渐收敛，经过36次迭代后训练损失和测试损失稳定在0.005左右，准确率达到99.3%。

3.8 模型验证

3.8.1 检测速度

使用训练得到的煤量检测模型对煤量深度图像进行检测，为了准确地测试出模型检测一张图像的时间，分别向模型中导入200张、500张和1 000张图像，获取各自的检测时间，重复试验10次求平均值。试验结果见表2。

由表2可知，煤量检测模型检测每张图像的时间是0.024 3 s。

3.8.2 模型评估

F1值（F1 score）：是精确度和召回率的调和平均值，是精确度和召回率的综合评价指标，被用来综合评价一个模型在精确度和召回率两个指标下的表现的指标[28]。其计算方法见式（2）

P为模型预测为正例中，实际为正例的比例；R为模型在所有正例中，正确预测为正例的比例。

F1 Score的取值范围为0～1，数值越大表示模型的性能越好。当P和R都很高时，F1 Score會更接近于1。

对训练后得到的模型进行验证，结果见表3。

根据表3所示，计算出每个类别的精确率、召回率和F1 score。具体计算结果如下。

对于类别少煤量，样本数量为784张。其中，750张样本被正确地预测为少煤量，34张样本被错误地预测为中煤量。因此，该类别的精确率为0.956，召回率为1，F1 score为0.977。

对于类别中煤量，样本数量为791张。其中，785张样本被正确地预测为中煤量，6张样本被错误地预测为多煤量，没有样本被预测为类别0。因此，该类别的精确率为0.992，召回率为1.000，F1 score为0.996。

对于类别多煤量，样本数量为784张。其中，全部样本被正确地预测为多煤量。因此，该类别的精确率为1.000，召回率为1.000，F1 score为1.000。

综上所述，该模型的F1 score可以通过对每个类别的F1 score进行加权平均得到该模型的F1 score为0.991。

3.8.3 模型性能对比

为了验证 DID－CNN 网络的性能，将其与传统的分类网络VGG16做对比。将数据集导入VGG16网络进行模型性能对比，结果见表4。

由表4可知DID－CNN网络比 VGG16网络收敛速度更快且准确率更高，有更好的拟合性能。因为在DID－CNN 网络中加入了BN层，使其能够更充分地利用图像特征，同时避免了反向传播，加速了网络收敛，而且CMBA模块提升了网络学习有用特征的效率，因此网络能够快速达到较高的准确率，更适用于煤量深度图像的检测。

4 结 论

1）提出一种基于深度图像的带式输送机煤量检测方法，使用双边滤波对图像进行预处理，去除噪声的同时增强图像的边缘特征，使用图像增强技术弥补煤量图像数量相对较少的问题。

2）根据CSPnet的思想构建DID－CNN煤量检测网络。使用网络提取煤量深度图像的特征并进行分类。在网络中加入L2正则化和Dropout泛化模型，最终得到的煤量检测模型检测效果较好。

3）在实际的煤矿井下胶带机控制中多采用分级调控，而试验所得到的煤量检测结果能够用于胶带机的分级调控。

4）DID－CNN煤量检测效果虽好，但是由于空载和满载数据的单一性样本不足，因此并未将其作为检测结果。下一步的研究重点是在此基础上将空载和满载也作为检测结果，使检测模型能够更好地为带式输送机调速提供依据。

参考文献（References）：

[1] 杨小林，葛世荣，祖洪斌，等.带式输送机永磁智能驱动系统及其控制策略[J].煤炭学报，2020，45（6）：2116-2126.

YANG Xiaolin，GE Shirong，ZU Hongbin，et al.Permanent magnet intelligent drive system of belt conveyor and its control strategy[J].Coal Journal，2020，45 （6）：2116-2126.

[2]YASUTOMI A Y，ENOKI H.Localization of inspection device along belt conveyors with multiple branches using deep neural networks[J].IEEE Robotics and Automation Letters，2020，5（2）：2921-2928.

[3]邢金岭．变频驱动带式输送机功率平衡控制研究[J]．煤炭科学技术，2014，42（7）：84-87．

XING Jinling.Research on power balance control of variable frequency drive belt conveyor[J].Coal Science and Technology，2014，42（7）：84-87．

[4]王海軍．带式输送机机载煤量自动匹配控制及节能分析[J]．煤炭科学技术，2013，41（S1）：246-249．

WANG Haijun.Automatic matching control and energy saving analysis of coal quantity on belt conveyor[J].Coal Science and Technology，2013，41（S1）：246-249.

[5]CHEN W，LI X.Model predictive control based on reduced order models applied to belt conveyor system[J].ISA

Transactions，2016，65：350-360.

[6]HE D J，PANG Y S，LODEWIJKS G.Green operations of belt conveyors by means of speed control[J].Applied Energy，2017，188：330-341.

[7]何仲波．带式输送机调速节能控制研究[J]．神华科技，2013，11（2）：91-93．

HE Zhongbo.Research on speed control and energy saving control of belt conveyor[J].Shenhua Technology，2013，11（2）：91-93．

[8]原柏．国产电子胶带秤进展评述[J]．工业计量，2016，26（2）：24-28．

YUAN Bo.Progress review of domestic electronic tape scale[J].Industrial Measurement，2016，26 （2）：24-28.

[9]徐伟锋，戴明宏，朱丹，等．机器视觉在织物疵点检测中的应用进展[J]．棉纺织技术，2021，49（4）：80-84．

XU Weifeng，DAI Minghong，ZHU Dan，et al.Application progress of machine vision in fabric defect detection[J].Cotton Textile Technology，2021，49 （4）：80-84.

[10]李纪栋，蒲绍宁，翟超，等．基于视频识别的带式输送机煤量检测与自动调速系统[J]．煤炭科学技术，2017，45（8）：212-216．

LI Jidong，PU Shaoning，ZHAI Chao，et al.Coal quantity detection and automatic speed control system of belt conveyor based on video recognition[J].Coal Science and Technology，2017，45（8）：212-216.

[11]贺杰，王桂梅，刘杰辉，等．基于图像处理的皮带机上煤量体积计量[J]．计量学报，2020，41（12）：1516-1520．

HE Jie，WANG Guimei，LIU Jiehui，et al.Coal volume measurement on belt conveyor based on image processing[J].Metrology，2020，41（12）：1516-1520.

[12]王宗省，管振栋，张欣，等.基于图像处理的输送带煤量动态计量研究[J].煤炭工程，2020，52（8）：138-142.

WANG Zongsheng，GUAN Zhendong，ZHANG Xin，et al.Study on dynamic measurement of coal quantity in conveyor belt based on image processing[J].Coal Engineering，2020，52（8）：138-142.

[13]王桂梅，李学晖，杨立洁，等．基于深度学习的永磁直驱带式输送机煤量检测方法研究[J]．煤炭技术，2022，41（1）：188-190．

WANG Guimei，LI Xuehui，YANG Lijie，et al.Research on coal quantity detection method of permanent magnet direct drive belt conveyor based on deep learning[J].Coal Technology，2022，41（1）：188-190.

[14]高如新，王俊孟．基于双目立体视觉的煤体积测量[J].计算机系统应用，2014，23（5）：126-133．

GAO Ruxin，WANG Junmeng.Measurement of coal vo－lume based on binocular stereo vision[J].Computer System Applications，2014，23（5）：126-133.

[15]张延芝．基于激光扫描技术的带式输送机非接触式输送量检测系统的应用与研究[D]．沈阳：东北大学，2014．

ZHANG Yanzhi.Application and research of non－contact detection system of belt conveyor based on laser sca－nning technology[D].Shenyang：Northeastern University，2014.

[16]赵子健.基于深度相机的图像处理研究[D].合肥：中国科学技术大学，2023.

ZHAO Zijian.Research on i－mage processing based on depth camera[D].Hefei：University of Science and Technology of China，2023.

[17]TAMMINA S.Transfer learning using vgg-16 with deep convolutional neural network for classifying images[J].International Journal of Scientific and Research Publications，2019，9（10）：143-150.

[18]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Imagenet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90.

[19]WANG C Y，LIAO H Y M，WU Y H，et al.CSPNet：A new backbone that can enhance learning capability of CNN[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops，2020：390-391.

[20]WOO S，PARK J，LEE J Y，et al.Cbam：Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision，2018：3-19.

[21]MUHAMMAD S，GU Z Q.Deep Residual learning for image recognition：A survey[J].Applied Sciences，2022，12（18）：72-89.

[22]PRASANNA L M，SUGANYA R，SUGANTHI R.A Survey of image processing techniques for deep learning[J].Big Data Analytics in Transportation，2018，2（1）：49

-66.

[23]SHORTEN C，KHOSHGOFTAAR T M.A survey on i－mage data augmentation for deep learning[J].Journal of Big Data，2019，6（1）：1-48.

[24]張扬.基于多粒度级联森林病毒软件检测系统研究与实现[D].武汉：中南财经政法大学，2021.

ZHANG Yang.Research and implementation of software detection system based on multi－granularity cascade forest virus[D].Wuhan：Central South University of Economics and Law，2021.

[25]LEE S I，LEE H，ABBEEL P，et al.Efficient L1 regula－rized logistic regression[C]//Association for the Advancement of Artificial Intelligence，2006，6：401-408.

[26]KRIZHEVSKY A，SUTSKEVER I.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90.

[27]DOMINGOS P.A few useful things to know about machine learning[J].Communications of the ACM，2012，55（10）：78-87.

[28]CHICCO D，JURNAN G.The advantages of the Matthews correlation coefficient （MCC） over F1 score and accuracy in binary classification evaluation[J].BMC Genomics，2020，21：1-13.

（責任编辑：高佳）

收稿日期：2023-03-15

基金项目：国家自然科学基金项目（51905416）；陕西省教育厅科学研究计划项目（20JK0758）

第一作者：刘飞，男，陕西宝鸡人，博士，讲师，硕士生导师，E－mail：liufei@xust.edu.cn

通信作者：蒋伟，男，江苏常州人，高级工程师，E－mail：hello_jwei@126.com