煤矿带式输送机异物检测

杜京义， 陈瑞， 郝乐， 史志芒

(1.西安科技大学 电气与控制工程学院，陕西 西安 710054;2.西安科技大学 安全科学与工程学院，陕西 西安 710054)

0 引言

由于煤炭开采环境复杂，运输过程中煤矿输送带容易发生撕裂、转接处堵塞等安全事故[1-3]，主要原因是异物(锚杆、编织物、木块和铁丝网)进入。因此对煤矿输送带上异物进行实时检测，及时发现并处理，可最大程度减少异物对带式输送机造成的损害，不仅有利于煤矿安全生产，而且对提高生产效率具有重要意义。

传统的煤矿带式输送机异物检测方式主要包括人工检测、雷达检测、金属探测器等[4-5]。人工检测效率低，安全隐患大；雷达检测成本高，维护难；金属探测器部署困难，检测类别较少。随着图像识别技术的发展，基于深度学习的目标检测算法应用广泛。基于深度学习的目标检测算法根据模型结构可分成以Faster-RCNN(Faster Region-based Convolutional Neural Networks)为代表的双阶段目标检测算法和以YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)为代表的单阶段目标检测算法[6-8]。吕志强[9]提出了基于Faster-RCNN的输送带异物识别方法，引入置信度惩罚函数筛选最佳候选框，获得较高的检测精度。Wang Yuanbin等[10]基于改进SSD设计了煤矿输送带异物检测方法，通过替换损失函数及优化默认锚框比例等提高了检测精度。胡璟皓等[11]在YOLOv3模型基础上，采用Focal Loss函数替换交叉熵损失函数，并调节最佳超参数来解决输送带异物检测的样本不平衡问题，提高了模型检测性能。然而，基于深度学习的目标检测模型参数量大[12]，在计算资源有限的设备上运行速度慢[13]，无法实现异物的实时检测，且单纯依靠硬件的提升不足以带来检测性能的显著改善，根据目标特点设计模型才能更好地提升检测效果。因此，本文在YOLOv3模型的基础上，利用深度可分离卷积和复合残差块设计DarkNet22-DS网络作为主干特征提取网络，引入加权双向特征金字塔网络(Weighted Bi-directional Feature Pyramid Networks，BiFPN)改进特征融合网络，采用完全交并比(Complete Intersection over Union，CIoU)作为目标框回归损失函数，提出了一种改进YOLOv3模型，并将其应用于煤矿带式输送机异物检测，在满足检测精度要求的同时获得了较高的检测速度。

1 异物检测原理

煤矿带式输送机异物检测原理如图1所示。具体步骤：① 在井下输送带转接处安装摄像头及光源，采集监控视频。② 对异物进行统计分类，构建异物数据集，并利用数据增强操作对数据集进行扩充。③ 对改进YOLOv3模型进行训练，存储训练误差最低的权重文件。④ 输入实时视频，读取改进YOLOv3模型进行图像检测，得到异物的类别和位置信息，存储异物信息并上传数据库。

图1 煤矿带式输送机异物检测原理

2 改进YOLOv3模型

2.1 主干特征提取网络改进

YOLOv3模型的主干特征提取网络采用DarkNet-53[14]，由于该网络具有大量参数，使得模型检测速度较慢。为满足异物检测速度要求，本文在DarkNet-53的基础上提出一种轻量化主干特征提取网络DarkNet22-DS，其结构如图2所示。DarkNet22-DS中5个复合残差块用于传递不同层次的特征信息。复合残差块通过1×1标准卷积进行通道调整，并将输出特征划分成两部分，一部分进入残差连接1，另一部分进入残差连接2，通过这种双路残差进行特征信息融合，不仅能增加网络深度，提高特征利用效率，还能加快模型训练速度。

图2 DarkNet22-DS结构

深度可分离卷积将标准卷积分解成深度卷积和逐点卷积[15]。深度卷积对每个输入通道进行筛选，之后逐点卷积通过1×1卷积进行通道调整，这种分解方式可大大减少网络计算量。标准卷积、深度卷积和逐点卷积结构如图3所示。假设输入的特征图尺度为DI×DI×M(DI为特征图的高度和宽度，M为输入通道数)，标准卷积的参数量为DKDKMN(DK为卷积核的高度和宽度，N为输出通道数)，则标准卷积的计算量为DIDIMNDKDK。

(a)标准卷积

深度可分离卷积先用DK×DK×1的深度卷积给输入通道提供单个滤波器，再用1×1×N的逐点卷积来调整输出通道数，其计算量为DIDIMDKDK+DIDIMN。

深度可分离卷积和标准卷积的计算量之比为

(1)

随着DK的增加，深度可分离卷积计算量相比标准卷积计算量减少程度逐渐增大；但当DK=1时，由于深度可分离卷积采用分步卷积方式，使得其计算量相对于标准卷积反而有所增加。因此DarkNet22-DS利用深度可分离卷积替换3×3标准卷积，减少模型参数量，但保留第1层3×3标准卷积用于对输入图像进行下采样操作，确保特征输入的完整性。

2.2 特征融合网络改进

YOLOv3模型中特征融合网络采用特征金字塔网络(Feature Pyramid Networks，FPN)[16]。FPN结构如图4(a)所示，自上而下对不同级别特征(P3—P6)进行相加融合。然而，在实际检测过程中不同尺度的特征信息对于最终预测结果的贡献具有差异性，这种差异性通常会对输出特征产生不同的影响。为更好地利用不同尺度的特征信息，引入BiFPN改进特征融合网络，利用输入特征的不同权重信息进行高效的多尺度特征融合。BiFPN结构如图4(b)所示，其集成了双向交叉尺度连接和快速归一化融合[17]。

(a)FPN

BiFPN融合多尺度特征可表示为

(2)

(3)

由于对带式输送机造成高威胁的异物多为木块、锚杆等大块物体，为增加大块异物的特征提取效率，在输入图像尺寸为416×416的前提下，将YOLOv3模型中52×52，26×26，13×13的三尺度预测输出改进为26×26，13×13的双尺度预测输出，在充分利用多尺度特征信息的同时减少模型计算量，进一步提高检测速度。改进的特征融合网络结构如图5所示。

图5 改进的特征融合网络结构

2.3 损失函数改进

YOLOv3模型中使用交叉熵作为置信度和分类的损失函数、均方误差(Mean Squared Error，MSE)为目标框回归的损失函数。然而，煤矿带式输送机中的异物尺度存在很大差异，MSE损失函数没有考虑到目标框信息间的相关性，容易导致定位不准确，并且在训练刚开始阶段会出现梯度消失现象，导致模型训练速率十分缓慢。为使模型在训练过程中具有更好的收敛性、实现更高效的检测，采用CIoU作为目标框回归的损失函数，从而建立更有针对性的目标框回归过程。

CIoU损失函数充分利用了目标框中心点和宽高的关联信息，从而提高目标框回归的稳定性。CIoU计算过程如下[18]：

(4)

(5)

(6)

(7)

式中：LIoU为预测框和真实框之间的交并比损失函数；B，Bgt分别为预测框和真实框的面积；LCIoU为CIoU损失函数；ρ(b，bgt)为预测框中心点b和真实框中心点bgt之间的欧氏距离；C为同时包含预测框和真实框的闭合矩形对角线距离；α为平衡尺度权重参数；v为衡量预测框和真实框的长宽比相似性参数；wgt，hgt分别为真实框的宽和高；w，h分别为预测框的宽和高。

改进YOLOv3模型的损失函数Lloss为

Lloss=LCIoU+Lcls+Lobj

(8)

(9)

(10)

3 实验与结果分析

模型训练平台环境为Windows10，CPU为Intel(R)Core(TM)i7-10875H CPU@2.30 GHz，内存为16 GB，GPU为NVIDIA GeForce GTX2060，编程框架为Tensorflow开源框架；模型部署平台为NVIDIA Jetson Xavier NX，核心功率设置为15 W。

3.1 数据集

样本数据采集自河南某煤矿井下输送带转接处监控视频。实验中设置锚杆、编织物、木块及铁丝网的标签分别为anchor，woven，wood，wire，再依照VOC2007数据集格式，通过LabelImg软件对800张图像进行标注。为增加数据样本的多样性，提高模型泛化能力，将图像扩充至1 800张，其中包含锚杆、编织物、木块及铁丝网的图像数量分别为443，439，427，391张，环境图像为100张，并随机取1 620张图像作为训练样本，180张图像作为测试样本。

3.2 锚框聚类

为使改进YOLOv3模型在数据集中有更好的训练效果，通过k均值聚类算法[19]对数据集中真实框的宽高参数进行重新聚类，并根据模型的不同尺度类别计算对应的聚类中心，从而获得初始锚框的宽高参数。由于改进YOLOv3模型将预测尺度改为13×13和26×26，所以设置聚类数为6，锚框聚类如图6所示。

图6 锚框聚类

根据锚框聚类结果可得2种特征图尺度下的初始锚框尺度，见表1。

表1 初始锚框尺度

3.3 模型训练

在VOC2007数据集上对改进YOLOv3模型进行训练，得到预训练权重文件，用于加快后续模型训练效率。参数设置：输入图像大小为416×416；最大训练次数为300；批尺寸为16；初始学习率为0.001，经过50轮迭代训练后，将学习率降至0.000 1，再进行250轮迭代训练。

模型的损失函数曲线如图7所示。可看出随着训练次数增加，YOLOv3模型的损失值稳定在0.48，改进YOLOv3模型的损失值稳定在0.41，且改进YOLOv3模型在前50次训练中收敛速度明显优于YOLOv3模型，表明改进YOLOv3模型取得了更好的训练效果。

图7 损失函数曲线

3.4 检测结果

为验证本文改进YOLOv3模型的检测效果，在YOLOv3模型基础上进行不同改进来做对比实验，结果见表2(mAP为平均精度均值，FPS为每秒传输帧数)。可看出YOLOv3模型的权重文件大小为235 MB，mAP为90.1%，FPS为1.9帧/s；改进模型1使用DarkNet22-DS作为主干特征提取网络，其权重文件大小降低为71.8 MB，FPS达25.2帧/s，而mAP相较于YOLOv3模型仅降低了1.9%，表明DarkNet22-DS能够大幅提高模型检测速度；改进模型2引入BiFPN改进特征融合网络，将权重文件大小降低至189 MB，而mAP相较于YOLOv3模型提高了0.6%，表明利用不同特征的权重信息有利于提高模型检测精度；改进模型3使用DarkNet22-DS作为主干特征提取网络并采用CIoU为目标框回归损失函数，其权重文件大小为71.8 MB，mAP为89.4%，FPS为25.1帧/s，相较于改进模型1，mAP提高了1.2%，表明CIoU作为目标框回归损失函数可改善模型检测精度；改进模型4引入BiFPN改进特征融合网络并采用CIoU为目标框回归损失函数，其权重文件大小为189 MB，mAP为92.1%，FPS为5.6帧/s，相较于YOLOv3模型均有提升，表明改进特征融合网络和使用CIoU损失函数可提高模型检测精度及速度；改进模型5替换主干特征提取网络并改进特征融合网络，其权重文件大小为20.2 MB，mAP为89%，FPS为30.7帧/s，相较于YOLOv3模型，替换主干特征提取网络和特征融合网络可大幅减少模型参数，提高检测速度，但检测精度略有降低；本文改进YOLOv3模型的权重文件大小为20.2 MB，mAP为90.4%，FPS为30.7帧/s，相较于YOLOv3模型，权重文件大小降低了91.4%，mAP提高了0.3%，FPS提高了约16倍，表明本文改进YOLOv3模型能够在保证检测精度的同时大幅减少模型参数，从而提高检测速度。

表2 不同改进YOLOv3模型检测结果对比

煤矿带式输送机异物检测结果如图8所示。可看出本文改进YOLOv3模型能快速检测出各类异物，且检测精度相较于YOLOv3模型略有提升。

(a)YOLOv3模型检测结果

改进YOLOv3模型与常见目标检测模型检测结果见表3。可看出Faster RCNN和SSD由于网络参数量大、结构复杂，FPS均小于1帧/s，难以在计算资源有限的设备上部署应用；改进YOLOv3模型的检测精度相较于Faster RCNN略低，但检测速度是Faster RCNN和SSD的30多倍，保证了较好的实时性。

表3 不同目标检测模型检测结果对比

4 结语

针对现有基于深度学习的带式输送机异物检测方法存在检测速度慢的问题，提出了一种可用于煤矿带式输送机异物检测的改进YOLOv3模型。改进YOLOv3模型以轻量化网络DarkNet22-DS作为主干特征提取网络，解决了模型参数量大的问题；引入BiFPN改进特征融合网络，提高了模型对于不同尺度特征的利用效率；采用CIoU作为目标框回归的损失函数，有效提升了模型检测精度。实验结果表明，改进YOLOv3模型能在保证检测精度的同时，大幅提升检测速度，满足煤矿带式输送机异物检测需求。