基于GhostNeXt-SlimNet的煤矿井下皮带运输机异物识别模型

谢子殿 冯海东

（黑龙江科技大学电气与控制工程学院，黑龙江 哈尔滨 150022）

煤炭在我国能源中处于压舱石的地位，智能化赋能煤矿安全生产，煤矿绿色、高效的高质量转型发展成为必然。煤矿皮带运输系统作为原煤运输的主要方式，对保证矿井正常生产起至关重要的作用。由于矿井皮带运输系统具有设备布置多、运输量大、传送速度快、运输线路长且环境复杂等特点，因此作为煤炭生产运输重要设备之一的皮带机，具有运输量大、传送速度快、传送距离远以及可以适应复杂环境等特点。在生产过程中掉落在皮带上的锚杆、角铁以及大块矸石等长杆利器和大块容易导致皮带发生断带、撕带等故障[1-3]，造成非计划停产，对煤矿安全、连续生产造成严重影响。

基于深度学习的图像识别方法具有设备安装简便、维护成本低等优点，逐渐成为皮带运输机非煤异物识别的主流方法。随着科学技术发展，边缘设备凭借其体积小、运用灵活、扩展性强且现场运行可靠等优点，在煤矿生产中逐渐替代传统服务器集中分析、处理与决策的方式，解决了系统延时较高、响应速度慢等问题。因此，该文提出一种基于YOLOv5改进的轻量化模型，在减少浮点运算量的同时，还可以提高网络的检测速度和精度。

1 非煤异物检测模型

1.1 骨干网络

为了在提高模型精度的同时不增加模型的运算量，骨干网络采用Ghost 模块与ConvNeXt 模块相结合的方式形成GhostNeXt 骨干网络。

1.1.1 Ghost 模块

卷积神经网络中冗余的特征信息图具备较高的检测性能，Ghost 模块通过计算量更少的“廉价”线性操作方式替代普通卷积生成冗余特征图，是GhostNet 的核心组件，其原理结构如图1所示。Ghost 模块先通过普通卷积生成不含冗余特征的本征特征图，再通过恒等变换和线性运算生成含有冗余信息的特征图。线性变换的实质是3×3 或5×5 深度可分离卷积。

图1 Ghost 模块结构原理

为了验证Ghost模块的高效性，根据参数量（Parameter）和每秒浮点运算次数（Flops）计算公式，将常规卷积方法与使用Ghost 卷积所得到的Parameter、Flops 分别作商，得到参数压缩比rc和理论加速比rs，分别如公式（1）、公式（2）所示。

式中：w'为输入特征图的宽度；h'为输入特征图的高度；c为输入特征图的通道数；n为常规方法普通卷积核的个数；m为Ghost 模块普通卷积核的个数；d为Ghost 模块深度卷积核的大小；s为每个通道产生的总特征图映射数（即1 个固有特征图和s-1 个廉价特征图）。

定义s=n/m，一般情况下m

1.1.2 ConvNeXt 模块

ConvNeXt 借鉴Transformer 网络的先进部分，同时还结合了CNN 网络的特点，从而打造一种性能更高的CNN 网络，其主要改进如下：1）采用GeLU 激活函数替换ReLU 激活函数（ReLU 激活函数特性曲线和GeLU激活函数特性曲线如图2所示）。ReLU 激活函数如公式（3）所示。由图3 可知，ReLU 活函数的缺陷是当某一神经元的输入变量为非正数时，其输出量为0，会导致该神经元“坏死”，从而限制模型的性能。GeLU 通过引入“随机正则”，避免了负梯度时神经元“坏死”的缺陷，提高了模型的鲁棒性，其函数如公式（4）所示。2）将深度可分离卷积迁移至1×1 升维卷积前，采用大7×7 核卷积。该操作在扩大感受野的同时还不会增加模型参数量。3）在减少归一化函数使用的同时，采用使用层归一化函数替代批量归一化函数，克服了批归一化函数受批尺寸影响较大的缺点。

图2 ReLU 与GeLU 激活函数曲线对比图

图3 ResNet 与ConvNeXt 结构对比

经上述改进后，ConvNeXt 模块的最终结构如图3（b）所示。

式中：x为输入变量，即函数的自变量；r（x）为GeLU 激活函数的输出变量，即因变量。

式中：g（x）为GeLu 激活函数输出量，即函数的因变量；t为高斯函数积分变量。

1.2 瓶颈网络

Ghost 模块中的深度可分离卷积在减少模型计算量的同时，也不可避免地忽视了各通道之间相同位置上的特征信息。通道密集卷积计算最大限度地保留了每个通道之间的隐藏连接，因此对Ghost 模块进行改进，在其后增加通道混洗操作，将输出的特征图重新分组排布，得到深度可分离通道密集卷积（GSConv）模块，其结构原理如图4所示。

图4 GSConv 结构原理

在GSConv 模块的基础上搭建如图5（a）所示的GSBottleneck，再引入“一次性聚合”的方法来设计跨级部分网络（VoV-GSCSP）模块（如图6（b）所示），该模块降低了计算和网络结构的复杂性，但是保持了足够的精度。最终将GSConv 模块与VoVGSCP 模块有机组合，以构成Slim Neck 网络（如图5所示。）

图5 SlimNeck 结构原理

图6 GSBottleneck 与VoVGSCP 结构原理

2 试验

2.1 数据集构建

首先，该文使用的数据均是通过模拟煤矿井下环境，在皮带上对煤和非煤异物混合进行多角度拍摄得到的，包括锚杆、角铁、工字钢、电镐以及煤矸石等常见非煤异物。如图7所示，为了使数据集更接近煤矿井下真实环境，采用Albumenations 库对采集的图像进行旋转、镜像、雾化以及对比度变换等一系列扩充和数据增强处理，扩充后的数据集包括3 000 张图片。

图7 数据增强

其次，使用LabellImg 对图片进行标注（如图8所示），标注的内容包括编号、异物名称、边框中心点坐标横纵坐标（xa，ya）、边框的宽度和高度（wa，ha）等（保存的标签文件格式为xml）。

图8 标签文件生成

最后，将标签文件的格式转换为txt 文本形式，并按照7∶2∶1 的比例将数据集划分为训练集、验证集和测试集。

2.2 模型训练

硬件平台采用AMD R5 3600 CPU和NVIDIA RTX 3050 8G GPU，操作系统为Ubuntu Kylin 20.04 LTS，应用软件环境为CUDA 11.6、Python 3.8 以及Pytorch 1.13.0，训练轮数为150 轮，批尺寸大小为32。

2.3 结果比对

该文通过消融试验证明GhostNeXt-Slim Net模型具有较高的性能。该文的评价指标为精确率P、召回率R、所有类别平均精确率M、每秒十亿次浮点运算数G以及推理时间T。

前3 个评价指标的计算公式分别如公式（5）～公式（7）所示。

式中：TP为正样本被正确识别的数量；FP为误判为正样本的负样本数量；FN为漏报的正样本数量；n为各类非煤异物样本总数；N为非煤异物类别数。

TP、FN、FP和TN（TN为负样本被正确识别的数量）的定义见表1。

表1 TP、TN、FP 和FN 的定义表

设定模型一为GhostNet 原网络；模型二将骨干网络修改为GhostNeXt，不更改颈部网络；模型三将颈部网络更换为Slim Neck，骨干网络不做修改；模型四为该文的最终模型，将骨干网络修改为GhostNeXt，并且将将颈部网络更换为Slim Neck，然后对4 种网络模型进行逐一训练。4 种模型平均精确率随迭代次数变化情况对比效果如图9所示，系统自动统计生成的各类指标数据见表2。

表2 消融试验对比表

图9 对比效果图

该文采用GhostNeXt 主干网络提高了非煤异物识别的精确率和召回率，缩短了推理时间。采用Slim Neck 在降低模型运算量的同时几乎不影响其他性能指标。各类异物识别提升效果见表3。

表3 各类异物识别效果比对

2.4 边缘平台部署

为了进一步展示该文的模型GhostNeXt-Slim Net 的优化效果，笔者将该模型部署在边缘设备中。该边缘设备搭载HM87 低功耗工业主板；CPU为双核双线程的英特尔奔腾3560M；GPU 是基于GP108-300 核心的英伟达GT 1030，拥有300 多个CUDA 处理器，而散热设计功耗TDP 仅为30 W。操作系统选用基于Linux 核心的Fedora 29，该系统易用性高，方便管理员监控和管理系统。CUDA 环境为10.2，可以与该边缘平台的GPU完美兼容。

由表4 可知，虽然旷视轻量网络（Shfflenet）v2 与移动网络v3S（Mobilenet v3 Small）拥有更快的识别帧率，但是检测精度较低，不仅置信度偏低，而且还出现漏检现象。与移动网络v3L（Mobilenet v3 Large）相比，该文的模型网络拥有更快的识别帧率和更高的识别精度。因此，该文模型实现了模型识别精度与速度的平衡优化目标。

表4 各轻量化网络识别效果比对

3 结语

综上所述，该文得出以下3 个结论：1）该文结合Ghost模块与ConvNeXt 模块的GhostNext 主干网络，以增加极少运算量为代价提高了模型提取特征的能力。2）Slim 颈部结构在几乎不影响精确度和推理速度的情况下，减少了模型的运算量。3）该文的模型GhostNeXt-SlimNet 有效权衡了模型的精确度和运算量，既能满足煤矿实际生产对非煤异物识别精度的需求，又能在边缘设备上流畅地运行。