基于Faster-YOLOv7 的带式输送机异物实时检测

2023-12-06唐俊李敬兆石晴杨萍王瑞

工矿自动化 2023年11期

唐俊，李敬兆，石晴，杨萍，王瑞

（1.安徽理工大学电气与信息工程学院，安徽淮南 232001；2.淮北合众机械设备有限公司，安徽淮北 235000；3.安徽理工大学人工智能学院，安徽淮南 232001）

0 引言

带式输送机是井下煤炭运输的关键设备，在煤矿带式输送机运输煤流过程中，可能有锚杆、木条、铁块、纺织物等异物掺杂在煤块中，易造成输送带损毁甚至撕裂，引发安全事故，且这些异物还可能对煤炭的质量造成一定的影响。因此，实时、精准识别带式输送机异物对于确保煤矿安全生产尤为重要[1]。

传统的带式输送机异物检测方法主要包括人工检测法、金属探测器检测法、雷达检测法3 种[2]。人工检测法效率低、工作量大；金属探测器检测法检测类型不全面，只能检测金属类异物；雷达检测法成本高、难以广泛应用。随着目标检测技术的发展，众多学者利用深度学习方法进行异物识别。基于深度学习的目标检测算法主要分为Two-stage 和One-stage 2 类。Two-stage 代表算法有R-CNN 系列，其将输入图像先经过候选框生成网络，再经过分类网络对候选框中内容进行分类[3]。吴守鹏等[4]提出了一种Faster-RCNN+双向金子塔网络的运煤输送带异物识别模型，有效提升了小尺寸异物的检测能力。Onestage 代表算法有YOLO 系列，该类算法直接对网络进行端对端训练，生成的结果中同时包含位置和类别信息。郝帅等[5]提出一种融合卷积注意力模型的YOLOv5 煤矿输送带异物检测算法，较好地解决了异物目标检测时易受煤尘干扰、输送带高速运动影响目标检测精度等问题。任国强等[6]采用Fast YOLOv3算法，利用StiPic 数据增强方法提高对胶带运输异物的平均检测精度。陈永等[7]利用稀疏化和通道剪枝方法对YOLOv3 模型进行压缩，构建了轻量级异物检测模型，其检测速度分别是YOLOv3 模型和Faster RCNN 模型的1.3，3.4 倍。杨锦辉等[8]在YOLOv5s 网络中引入GhostConv 卷积减少模型参数量，实现了检测速度的提升。胡璟皓等[9]采用Focal Loss 函数替代YOLOv3 模型中的交叉熵损失函数及调整最佳超参数来平衡样本之间比例，有效解决了现有非煤异物图像识别法识别目标单一、模型缺乏定位等问题。

基于深度学习的目标检测算法在异物检测中具有较好的识别效果，但模型内存需求大，检测速度慢；轻量化深度学习网络能够大幅减少模型内存需求，提升检测速度，然而，在井下弱光环境中检测精度低。为此，本文提出了一种基于Faster-YOLOv7的带式输送机异物实时检测方法。通过轻量化设计YOLOv7 主干网络来降低模型的内存需求，进而提升模型对异物的检测速度；利用限制对比度自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）[10]算法来提升煤矿井下弱光环境下的检测效果；设计有效通道注意力机制来缓解高层信息丢失对目标检测精度的影响；使用Alpha-IoU 回归损失函数提高检测精度。

1 异物检测流程

基于Faster-YOLOv7 的带式输送机异物实时检测流程如图1 所示。首先，采集带式输送机运煤监控视频数据。其次，截取监控视频中包含异物的数据帧，构建异物数据集，并通过数据增强操作来提高数据集质量。然后，对Faster-YOLOv7 异物检测模型进行训练，并存储最优的权重文件。最后，输入实时监控视频数据，经过图像增强预处理后，读取Faster-YOLOv7 模型实现异物检测，并存储异物信息。

图1 带式输送机异物实时检测流程Fig.1 Real-time detection process foreign body on belt conveyor

2 图像增强

煤矿井下弱光环境导致摄像头采集的实时图像存在模糊、异物边缘不清晰等问题，从而影响模型的推理结果，本文采用CLAHE 算法对采集到的图像进行弱光增强，通过限制对比度，避免直方图中出现陡峭部分。CLAHE 裁剪再分配过程如图2 所示，带式输送机上运煤视频图像经过限制对比度自适应直方图均衡化处理后的效果如图3 所示。可看出经过CLAHE 算法处理后，在图像较暗处物体的边缘变得清晰，特征较原图更明显。

图2 CLAHE 裁剪再分配过程Fig.2 CLAHE tailoring redistribution process

图3 图像增强效果Fig.3 Image enhancement effect

为了客观评价CLAHE 算法对煤矿井下带式输送机运煤图像弱光增强的有效性，选取Brenner 梯度函数、Energy of Gradient 函数、Roberts 函数作为评价指标来衡量图像增强后的清晰度，评价结果见表1。可看出经过CLAHE 算法处理后的Brenner 函数值、Energy of Gradient 函数值、Roberts 函数值均大于原图，说明该算法可使煤矿井下带式输送机运煤视频图像更清晰，表明CLAHE 算法可有效解决煤矿井下弱光环境导致的图像不清晰、对比度低、边缘信息模糊等问题，达到了图像增强的效果。经过弱光环境图像增强，可提高图像的对比度，使模型的推理结果更精准。

表1 图像增强评价结果Table 1 Evaluation results of image enhancement

3 改进YOLOv7 模型

YOLOv7 模型[11]主要由Input、Backbone、Head 3 个部分组成。Input 部分沿用YOLOv5 采取的mosaic 数据增强、自适应锚框计算、图像自适应缩放等对数据进行预处理。Backbone 部分用于特征提取。Head 部分主要由SPPCSPC 模块、ELAN-H 模块、REP 模块等组成，其中SPPCSCP 模块[12]通过最大池化操作来获得不同的感受野，使网络适应不同分辨率的图像；ELAN-H 模块[13]通过控制最短和最长梯度路径，使网络能够学习更多特征，且具有更强的鲁棒性；REP 模块[14]通过结构重参数实现训练和推理时的解耦合，降低网络的计算量，提升速度。然而，YOLOv7 模型内存需求大，难以满足在嵌入式设备上实现井下带式输送机异物实时、精准检测的需求。鉴此，本文设计了Faster-YOLOv7 模型，其网络结构如图4 所示。

图4 Faster-YOLOv7 网络结构Fig.4 Faster-YOLOv7 network structure

3.1 主干特征提取网络轻量化

YOLOv7 主干网络的核心模块是ELAN 结构[15]，如图5 所示，该结构的优势是在每个branch 操作中，输入和输出的通道数保持一致，符合设计网络的高效准则之一。然而采用原始主干网络进行特征提取，所得到的模型内存需求大，难以部署在嵌入式设备上实现实时异物检测[16]。因此，本文采用MobileNetv3[17]作为主干网络来构建Faster-YOLOv7。

图5 ELAN 结构Fig.5 ELAN structure

Bneck 是MobileNetv3 的核心模块，主要由通道可分离卷积、压缩与激励网络（Squeeze-and-Excitation，SE）通道注意力机制、残差连接实现，其结构如图6 所示。首先经过1×1卷积操作实现升维。其次经过3×3 深度可分离卷积保持通道数不变。再次经过SE 通道注意力模块，使网络通过学习来自动获取每个特征通道的重要程度。在SE 模块中，利用exp size 代表第1 层1×1 卷积升级的维度，先对每个通道全局平均池化得到（1×1×exp size）向量，再经过全连接层、ReLU 激活函数得到（1×1×(exp size/4)）向量，然后经过全连接层、h-sigmoid 激活函数得到（1×1×exp size）向量，向量内元素取值为(0,1)，将该向量中的每个元素乘以对应权重后，输入到与之相对应通道的特征矩阵中，得到1 个与原始特征图大小相等的新特征图。最后通过1×1卷积实现降维处理。

图6 Bneck 模块结构Fig.6 Bneck module structure

3.2 有效通道注意力机制

SE 模块中采用的降维操作会对通道注意力的预测效果产生负面影响，低效获取所有通道之间的依赖关系。因此，本文在主干网络的末端添加有效通道注意力机制（Effective Channel Attention Mechanism，ECA）模块[18]，加强整体的通道特征，提高模型性能。

ECA 模块结构如图7 所示。在空间维度上，使用全局平均池化（Global Average Pooling，GAP）对维度为H×W×C的特征图A进行特征压缩，得到一个维度为1×1×C的特征图B。通过1×1卷积对特征图B进行通道特征学习，并将1×1×C的通道注意力的特征图与H×W×C原始输入特征图进行逐通道相乘，输出具有通道注意力的特征图[19]。

图7 ECA 模块结构Fig.7 ECA module structure

卷积操作中的卷积核大小会影响感受野。卷积核大小和通道数C之间存在一种映射关系（式（1）），ECA 模块为了避免维度缩减，并有效捕获跨通道交互，通过一维卷积来完成跨通道间的信息交互，该卷积核的大小通过函数ψ(C)自适应变化（式（2）），使通道数较大的层可以更多地进行跨通道交互。

式中：k为卷积核大小；γ，δ为常数，γ=2,δ=1，用于改变通道数和卷积核之间的比例；|·|odd为k只能取奇数。

3.3 Alpha-IoU 损失函数

在Head 部分，损失函数的选取尤为重要，期望值和真实值越接近，其损失函数值越小。YOLOv7的损失函数主要包含分类损失、物体置信度损失、边界框回归损失，其中分类损失和置信度损失使用交叉熵损失，回归损失使用CIoU[20]。然而，CIoU 损失函数反映纵横比的差异，而不是宽高与其置信度的真实差异，阻碍模型有效地优化相似性。因此，本文采用Alpha-IoU 代替CIoU 作为回归损失函数，Alpha-IoU 损失函数可泛化成具有多个惩罚项的IoU损失函数[21]。当权重系数α＞1时，能够提升高置信度目标的损失值和梯度，获得更好的框回归效果，使得网络对异物的预测结果更精准。

式中：Lα-CIoU为Alpha-IoU 损失函数；Y为交并比的值；ρ2α(b,bgt)为预测框和真实框的中心点之间的欧氏距离；b为预测框的中心点；bgt为真实框的中心点；c为预测框和真实框形成外接矩形的对角线长度；β为trade-off 参数；v为度量高宽比的一致性参数。

4 实验结果与分析

带式输送机异物实时检测实验平台环境：Windows11 操作系统，CPU 为Inter i5-12400F，GPU为NVIDIA GeForce RTX 3070，Faster-YOLOv7 使用Pytorch 进行模型搭建。

实验所采用的数据集来自某煤矿井下带式输送机运行时的监控视频数据。经过数据增强后，数据集由2 920 张图像组成，将异物标签设置为YW，随机选取2 190 张图像作为训练集，730 张图像作为测试集。

为了验证本文所提Faster-YOLOv7 模型的优势，将其与YOLOv5 模型、YOLOv7 模型进行对比，模型训练损失函数对比如图8 所示，模型检测速度、内存需求、准确率对比见表2。

表2 检测模型性能Table 2 Detection model performance

图8 损失函数曲线Fig.8 Loss function curve

由图8 可看出，YOLOv5 模型在迭代次数为25 时，损失值降为0.09，并最终稳定在0.069 左右；YOLOv7 模型的初始损失值为0.089，在迭代次数为25 时，损失值降为0.053，并最终稳定在0.028 左右；Faster-YOLOv7 模型的初始损失值为0.143，最终稳定在0.039 左右。这说明Faster-YOLOv7 模型的训练效果优于YOLOv5 模型；由于对YOLOv7 主干网络进行轻量化设计、引入ECA 机制、使用Alpha-IoU 损失函数，导致训练效果略差于YOLOv7 模型。

由表2 可看出，Faster-YOLOv7 模型的检测速度可达42 帧/s，较YOLOv5 模型、YOLOv7 模型分别提升了17，20 帧/s；Faster-YOLOv7 模型内存为14 MiB，较YOLOv5 模型、YOLOv7 模型分别降低了29，57 MiB；检测准确率达91.3%，较YOLOv5 模型提升了8.8%。这说明Faster-YOLOv7 模型更加灵活，检测效率更高，便于部署在嵌入式设备上实现实时检测。

为测试本文改进模型的效果，进行消融实验。首先，使用MobileNetv3 轻量化设计YOLOv7 主干网络的模型为基础模型；然后，分别测试使用CLAHE进行图像预处理、引入ECA 机制、使用Alpha-IoU损失函数的效果；最后，将3 种改进策略同时加入基础模型。消融实验结果见表3。

表3 消融实验结果Table 3 Ablation test results

由表3 可看出，在该模型中分别单独使用CLAHE 进行图像预处理、引入ECA 机制、使用Alpha-IoU 损失函数后，模型的检测准确率分别提升了2.4%、2.5% 和1.7%，检测速度分别降低了4，7，5 帧/s；使用CLAHE 进行图像预处理、添加ECA 模块及Alpha-IoU 损失函数的完整改进模型检测准确率达91.3%，检测速度保持在42 帧/s，性能提升明显。

为验证Faster-YOLOv7 优势，将Faster-YOLOv7部署到NVIDIA Jetson TX2 嵌入式设备上，对煤矿井下带式输送机运煤图像及视频进行检测，并与SSD、YOLOv5、轻量化YOLOv7 目标检测算法进行对比，检测结果如图9 所示。

图9 不同模型检测结果Fig.9 Test results of different models

由图9 可看出，SSD 模型在视频检测时发生了漏检现象，YOLO 系列模型均有效地识别出待测异物，且Faster-YOLOv7 识别结果的置信度更高。从SSD 模型、YOLOv5 模型、轻量化YOLOv7 模型的检测效果来看，均发生了误检现象，而本文在引入ECA 机制、使用Alpha-IoU 损失函数后，使得异物具有更显著的特征表达，因此模型更关注异物，较好地避免了误检现象的发生。