融合残差信息轻量级网络的运煤皮带异物分类

程德强，徐进洋，寇旗旗，张皓翔，韩成功，于 彬，钱建生

(1.中国矿业大学 信息与控制工程学院，江苏 徐州 221116；2.中国矿业大学 计算机科学与技术学院，江苏 徐州 221116；3.永贵能源开发有限责任公司新田煤矿，贵州 毕节 551514)

我国是世界上最大的煤炭生产国和消费国，对煤矿进行安全的开采和运输尤为重要。国家八部委发布的《煤矿智能化建设指南2021版》指出要科学规范有序开展煤矿智能化建设，加快建成一批多种类型、不同模式的智能化煤矿。运煤皮带作为煤炭开采和运输的大动脉，其运行的工作状态直接影响着煤炭的开采运输量，皮带上的异物如大块矸石、锚杆在皮带高速运行过程中易造成皮带的划伤、撕裂和落煤口的堆煤堵煤等问题，因此对运输皮带上存在的大块、锚杆等异物进行分类识别，以便提前进行预警处理，可有效保障煤矿的安全生产。目标检测和图像分类技术都可以实现对皮带异物的分类识别，但目标检测需要先在图像中对异物部分进行定位然后再进行识别，这在一定程度上增加了网络的计算量，而图像分类技术则可直接对异物进行识别，不需要对异物进行定位，可以将更多的计算资源用于快速的异物识别中。

矿井的复杂环境使得现有的图像分类方法在运煤皮带异物分类的应用备受挑战，许多学者将机器视觉技术引入矿井异物图像分类，如WANG等基于帧间差分法、阈值分级和Select-Shape算子对带式输送机的大块异物进行识别，HE等使用支持向量机的分类方法同时结合异物的纹理及灰度特征进行异物分类，ZHANG等采用多特征融合并结合K近邻算法、支持向量机进行异物识别。上述方法取得了不错的成绩，但其采用特征提取与分类算法相结合的图像处理方法，整体上存在鲁棒性差、易受光照影响等问题。

卷积神经网络使用卷积的方法来进行特征提取，鲁棒性强，在多个领域得到了广泛的应用，也有学者对于矿井异物图像分类网络进行研究。PU等基于VGG16网络和迁移学习的思想，建立了异物识别模型，但样本集较小，仅有240张。SU等设计改进的LeNet-5网络，对20 000张非生产环境下的异物图片进行了训练，识别率为95.88%。MA等基于MobileNet网络，针对异物图像的特点优化了网络结构、改进了损失函数，识别率进一步提高。现阶段关于矿井异物图像分类的不足之处在于：① 样本采集较为理想，没有考虑实际的工况环境；② 网络模型复杂度高，参数量大，精度低，实时性差。

笔者针对以上问题，构建了一种基于残差信息的轻量级网络来进行矿井运煤皮带异物图像分类。该网络采用多通道交叉学习机制和特征拼接的融合方式，增强了特征的表现力；采用改进残差块作为基本特征提取单元，去除卷积块之间的激活函数。

1 相关算法

1.1 残差网络模型

随着深度学习的发展，理论上认为更深的网络结构能够取得更好的分类效果，但实验证明直接堆叠网络层数，会引发梯度爆炸与梯度消失的问题。HE等提出的ResNet网络解决了此类问题。在传统的网络中，输入到输出的映射可以表示为()=(),为输入值，残差网络的输入输出映射可以表示为()=()-，即目标值()与输入值的差值。残差网络结构如图1所示。

图1 残差块结构Fig.1 Structure of Residual Block

每一个残差块可用式(1)，(2)来表示。

=()+(,)

(1)

+1=()

(2)

其中，和分别为第层的输入和输出；(·)为直接映射；(·)为激活函数；(,)为残差信息。整体的残差网络为

+1=+(,)

(3)

对于层，与层的关系为

(4)

根据前向传播中使用的导数的链式法则，损失函数关于的梯度为

(5)

1.2 损失函数阈值处理

在网络模型训练过程中，随着迭代次数的增加，训练集损失函数应该逐渐减小，测试集的准确率逐渐上升，损失函数逐渐减小。但在实际训练中，当训练集损失函数降低到一定程度时，测试集的损失函数会出现不降反升的情况，文献[18]分析了造成这种情况的原因。是由于部分错误数据主导了损失函数，而这部分数据在整体的测试集中只占很小的比例。

(6)

2 本文算法

2.1 融合残差信息分类网络的构建

本文网络采用残差块作为基本特征提取单元，整体上分为特征提取和图像分类2个阶段。在特征提取阶段中构建3个通道数不同的信息融合网络，每一个信息融合网络中包含3个残差网络，每个残差网络包含2个残差块，对3个残差网络的输出信息进行交叉拼接融合，整体的网络结构如图2所示。

图2 模型整体网络结构Fig.2 Overall network structure of the model

(7)

(8)

2.2 信息融合网络特征提取

在特征提取阶段，首先将图片通过1个大小为3×3，通道数为64，步长为1的卷积块，将输出结果输入到第1个信息融合网络；在第1个信息融合网络中，将输入的信息依次通过3个残差网络进行进一步的特征提取，每一个残差网络都包含2个残差块，每个残差块包含3个大小为3×3，步长为1的卷积核；然后对3个残差网络的输出分别进行3种不同方式的特征拼接得到3个特征信息，将3个特征信息分别通过1×1的卷积核进行降维处理，将降维处理后的特征信息分别与第3个残差网络的输出信息再次融合，最后将得到的3个特征信息分别经过大小为3×3，步长为1的卷积核和大小为3×3的池化层处理，将经过处理后得到的3个特征信息再次进行特征拼接，最终将拼接后的特征信息输入到下一个信息融合网络。在特征提取阶段中共有3个信息融合网络，它们的不同之处在于网络内卷积核的通道数，通道数分别为64，128和256。为了保证能够正确进行特征拼接，需要不同特征图的长和宽保持一致，因此，在每一次卷积操作之后，都需要在特征的最外层进行补零的操作。

()=([(),(),…,()])

(9)

其中，()为降维处理。对比2种方法可以发现，特征拼接的权重系数是特征叠加权重系数的倍，它能够通过更多的权重控制来进行更详细的特征表达。特征拼接模型如图3所示。

图3 特征拼接模型结构Fig.3 Structure of feature splicing information model

在传统的ResNet网络中，随着网络层数的不断加深，图片特征信息会出现丢失的情况。LÜ等和JIANG等为了保留更多的信息，提出把不同分支的信息进行融合的方法。CHENG等在此基础上提出了多通道交叉学习机制融合方法，利用交叉学习机制将各个通道间独立的特征信息充分融合，能够提高网络对细节信息的学习能力。融合特征信息表示为

对信息融合网络进一步改进，精简单个信息融合网络结构，增加网络个数，同时采用特征拼接的方式来增加特征表达能力。本文信息融合网络的模型如图4所示，图4中的残差网络包含2个相同的残差块，具体结构如图5所示。

图4 信息融合网络结构Fig.4 Network structure of information fusion model

为了进一步避免因为网络层数的加深带来的特征映射丢失的问题，在进行特征融合之前，将每个残差网络的输出信息与信息融合网络的输入信息相乘，增加了原始信息的表现力。本文网络中的信息融合网络为如式(10)所示。

详细的网络结构如表1和图6所示。

(10)

图5 残差网络结构Fig.5 Structure of Residual network

表1 本文网络的结构

图6 本文模型的详细结构Fig.6 Detailed structure of the model in the paper

3 实验结果分析

本文的实验平台选择Ubuntu20.04.2版本；CPU型号选择Intel(R) Core(TM) i9-10980XE @ 3.0 GHz；GPU型号选择GTX3090，显存容量为24 GB；系统内存为64 GB；CUDA为11.1版本；Pytorch框架为1.8版本。模型初始学习率设置为0.000 1，每迭代80次，学习率乘0.2，总共迭代240次。

3.1 实验数据

本文的所有实验对比都在3个数据集上进行，包括2个公开数据集和1个自建数据集。公开数据集选择Cifar10和Cifar100，自建数据集的图片来自矿井下的现实生产环境。

Cifar10数据集由包含飞机、汽车、鸟类、猫、鹿、狗、蛙、马、船和卡车10个类的60 000张32×32的彩色RGB图像组成，每类有6 000张图像，分为5 000张训练图像和1 000张测试图像。

Cifar100数据集也由60 000张32×32的彩色RGB图像组成，共有100个类，每一类有600张图像，分为500张训练集图像和100张测试集图像。这100个类被分成20个超类，每个图像都带有一个“精细”标签(它所属的类)和一个“粗糙”标签(它所属的超类)。

矿井图像数据集采集自矿井下皮带的运输环境，共采集图片6 000张，分为3类：大块图片、锚杆图片和正常图片，每类有2 000张图像，包含训练图像1 600张和测试图像400张。部分数据集图像如图7所示。

图7 矿井图像数据集展示Fig.7 Display of mine image dataset

图7中，第1行和第2行的图片是大块图片，大块体积大、质量大，在传输过程中一旦堵住落煤口容易造成皮带脱轨；第3行和第4行的图片是锚杆图片，锚杆具有尖锐、细长的特征，在传输过程中容易划伤、撕裂皮带；第5行和第6行的图片是正常的煤流图片。

3.2 结果分析

为了探究激活函数ReLU的位置对本文网络分类效果的影响，对图8所示的4种残差块网络结构进行对比实验。在Cifar10数据集上进行验证，验证结果如图9、表2所示。为了更清楚地展示4种残差结构对图像分类准确率的影响，分类准确率曲线从第20次迭代起开始绘制。

图8 4种不同的残差块结构Fig.8 Structures of four different residual block

图9 4种残差块结构在Cifar10上的准确率曲线Fig.9 Accuracy curves of four residual block structures on Cifar10

表2 测试集准确率对比

如图9、表2所示，在本文网络中，没有激活函数的残差块(ReLU_0)比另外3个有激活函数的残差块分类准确率分别提高0.4%，0.6%和0.8%，由此可见，不使用激活函数的残差块更契合本文的网络。

本文网络在损失函数上采用损失函数阈值处理的方法，在Cifar10和Cifar100两个公用数据集上进行对比实验，实验结果如表3和图10所示。

表3 测试集准确率对比

图10 Cifar10和Cifar100上测试集准确率和损失函数对比Fig.10 Comparison of the loss function and accuracy of the test set on Cifar10 and Cifar100

分析实验结果可以发现，采用了损失阈值处理的模型(Ours_ow)比没有使用损失阈值处理的模型(Ours)在Cifar10数据集上的准确率降低了0.1%，在Cifar100数据集上的准确率没有变化；但是损失函数上升的问题完全解决，大大提高了模型的泛化性。

为了进一步验证本文模型的分类精度和实时性，选取以下10种图像分类网络：ShufflenetV2，MobileNetV2，LetNet-5_Su，GoogleNet，VGG16，ResNet34，ResNet50，ResNeXt50，

W-ResNet50和ResNet110对比他们的参数量、FLOPs和FPS，并且在Cifar10，Cifar100和矿井图像数据集上对比分类的准确率，对比结果见表4。

根据表4的实验结果可以看出，不同网络的参数量、计算复杂度、分类的准确率和帧率都有着显著的差异。GoogLeNet和VGG16网络在Cifar10数据集上的分类准率为88.2%和88.9%；在Cifar100数据集上的分类准确率为69.7%和69.1%；在矿用数据集上的分类准确率为81.3%和80.4%。本文选取了5种常见残差网络进行对比实验，实验结果表明，在3个数据集中，残差网络整体上优于非残差网络。其中，W_ResNet50是WANG等提出的基于ResNet50的改进网络，它将图像输入部分的特征提取模块从7×7变成了3×3，使用了soft-center损失函数，在矿用数据集上的分类准确率达到了84.8%，在Cifar10和Cifar100上也表现良好，虽然分别比ResNet110网络低了0.2%和0.1%，但参数量只有它的一半。本文网络在矿用数据集上的准确率为85.1%，比W-ResNet50还高出0.3%，在Cifar10上为94.1%，和ResNet110相同，但是参数量只有它的1/3，在Cifar100上为73.9%，比W-ResNet50和ResNet110分别高出0.3%和0.1%。用于矿井煤矸石分类的网络LeNet-5_Su在矿用数据集上的分类准确率为77.7%，比本文网络低了7.4%。笔者选取了ShufflenetV2，MobileNetV2和ResNeXt50三种主流轻量级网络进行对比，在矿用数据集上的分类准确率为80.1%，80.9%和84.6%，比本文网络低了5.0%，4.2%和0.5%。从FLOSs和FPS指标上来看，本文网络为2.980 0×10和98，比ShufflenetV2、Mobile-NetV2，LeNet-5_Su和GoogLeNet效果稍差，但是分类准确率分别提高了5.0%，4.2%，7.4%和3.8%，高达98的FPS也能够达到实时的处理效果。此外，相比于其他的分类网络，本文的分类网络在FLOSs和FPS上都实现了超越。与分类准确率同本文网络相近的ResNet50，ResNeXt50和W_ResNet50相比，其FPS也分别提高了28，26和34。

表4 不同网络的参数量、分类准确率、FLOPs和FPS对比

因此，通过详细的实验对比和分析，证明了本文所提出的算法具有网络参数量少、计算复杂度低、分类准确率高、处理速度快的优点，能够有效地对运煤皮带的上的异物进行分类，从而提高运煤皮带的运输效率。

4 结 论

(1)以改进的残差结构和交叉学习机制为基础，提出一种融合残差信息的轻量级图像分类网络。该网络以改进的残差结构作为基本特征提取单元，增强了对细节特征的提取能力；采用特征拼接的信息融合方式，能够通过更多的权重控制来进行更详细的特征表达；采用交叉学习机制的信息融合网络，能够提高特征的利用率，增加原始特征的表现力；采用损失阈值的处理方式，能够改善测试集损失函数升高的情况，提高模型泛化性 。

(2)实验结果表明，本文提出的图像分类网络能够有效地对运煤皮带上煤炭夹杂的异物进行分类。改善了运煤皮带异物识别时存在的网络参数量大、实时性差、识别精度低等问题。

(3)本文提出的网络能够增强对运煤皮带中异物识别的效果，提高对带式输送机的安全保护水平和煤炭输送的效率，为无人化煤炭精准开采及基于机器视觉的智能装备研制提供技术理论支撑，从而促进智能视频分析技术在矿井煤流输送过程中的发展和应用。