轻量化的多尺度跨通道注意力煤流检测网络

朱富文 侯志会 李明振

摘要：為通过变频调速提高带式输送机运行效率，需要对带式输送机煤流进行检测。现有基于深度学习的带式输送机煤流检测方法难以在模型轻量化和分类准确度之间达到平衡，且很少考虑在特征提取过程中通道权重分布不平衡对检测准确度的影响。针对上述问题，提出了一种轻量化的多尺度跨通道注意力煤流检测网络，该网络由特征提取网络和分类网络组成。将轻量化的残差网络 ResNet18作为特征提取网络，并在此基础上引入煤流通道注意力（CFCA）子网络，CFCA 子网络采用多个卷积核大小不同的一维卷积，并对一维卷积的输出进行堆叠，以捕获特征图中不同尺度的跨通道交互关系，实现对特征图权重的重新分配，从而提高特征提取网络的语义表达能力。分类网络由3个全连接层构成，其将向量化的特征提取网络的输出作为输入，并对其进行非线性映射，最终得到“煤少”、“煤适中”、“煤多”3类结果的概率分布，通过将煤流检测问题转换为图像分类问题，避免瞬时煤流量波动过大导致带式输送机频繁变频调速的问题，提高带式输送机运行稳定性。实验结果表明， ResNet18+CFCA 网络在几乎不增加网络参数量和计算复杂度的情况下，比 ResNet18网络在分类准确率上提升了1.6%，可更加有效地区分图像中的前景信息，准确提取煤流特征。

关键词：带式输送机；煤流检测；图像分类；轻量化；多尺度跨通道注意力；残差网络中图分类号： TD712    文献标志码： A

Lightweight multi-scale cross channel attention coal flow detection network

ZHU Fuwen1， HOU Zhihui2， LI Mingzhen3

（1. Electrical Department， Jiaozuo Coal Industry（Group） Co.， Ltd.， Jiaozuo 454002， China；

2. Zhaogu No.1 Coal Mine， Jiaozuo Coal Industry（Group） Co.， Ltd.， Huixian 453634， China；

3. Jiaozuo Huafei Electrionic and Electric Co.， Ltd.， Jiaozuo 454000， China）

Abstract： In order to improve the operating efficiency of belt conveyors through variable frequency speed regulation， it is necessary to detect the coal flow of belt conveyor. The existing deep learning-based coal flow detection methods for belt conveyors are difficult to achieve a balance between model lightweight and classification accuracy. There are few researches on the impact of imbalanced channel weight distribution on detection accuracy in the feature extraction process. In order to solve the above problems， a lightweight multi- scale cross channel attention coal flow detection network is proposed. The network consists of a feature extraction network and a classification network. The lightweight residual network ResNet18 is used as the feature extraction network， and on this basis， the coal flow channel attention （CFCA） subnetwork is introduced. The CFCA subnetwork uses multiple one-dimensional convolutions with different kernel sizes， and stacks the output of one-dimensional convolution to capture cross channel interaction relationships at different scales in the feature map. It achieves the reassignment of feature map weights， thereby improving semantic expression capability of the feature extraction network. The classification network consists of three fully connected layers， which take the output of the vectorized feature extraction network as input and perform nonlinear mapping on it. It ultimately obtains the probability distribution of three types of results："little coal"， "moderate coal"， and "much coal". By transforming the coal flow detection problem into an image classification problem， the problem of frequent frequency conversion and speed regulation of belt conveyors caused by excessive fluctuations in instantaneous coal flow is avoided. It improves stability of belt conveyor operation. The experimental results show that the ResNet18+CFCA network improves classification accuracy by 1.6% compared to the ResNet18 network， with almost no increase in network parameters and computational complexity. It can distinguish foreground information in images more effectively and accurately extract coal flow features.

Key words： belt conveyor; coal flow detection; image classification; lightweight; multi scale cross channel attention; residual network

0 引言

带式输送机因其运输距离远、运载能力强、结构简单、易于维护等特点，广泛应用于煤炭运输过程中[1-3]。带式输送机是煤矿最主要的耗能设备之一，其工作负荷占整个矿井工作负荷的30%左右。但由于煤矿开采过程的不均衡性，带式输送机经常处于“大马拉小车”的运行状态，造成大量电能浪费和设备损耗[4-6]。为提高带式输送机运行效率，煤矿企业已陆续开展对带式输送机的改造升级[7]。其中，应用最广泛的方案是将带式输送机运行状态从工频定速升级为变频调速[8]。但变频调速只是赋予了带式输送机根据载荷进行速度调节的一种能力，而释放这种能力的关键是准确感知带式输送机煤流量。

带式输送机煤流检测方法整体上可分为接触式和非接触式2种。接触式检测方法中应用较广泛的是电子胶带秤[9]，但受称重拖辊非准直度、胶带张力及运行阻力等因素影响，在长期使用过程中传感器损耗严重，导致实时性变差，检测结果准确性较差。因此非接触式检测方法逐渐成为研究热点。文献[10]使用单线激光雷达获取煤流截面的二维轮廓，进而估计出煤流的截面积，从而实现煤流检测。文献[11]提出了一种基于双激光雷达的带式输送机煤流量检测系统，使用2个激光雷达测量煤流轮廓，提高了煤流量检测的准确性。文献[12]使用激光的 Ohta 颜色特征构建煤流轮廓线，计算煤流梯形截面积，从而获得煤流量。上述文献都是用激光进行点或线的扫描，容易受外界环境影响，产生较大干扰；同时激光仪价格昂贵，限制了其推广。利用相机获取煤流信息的方法因成本低、抗干扰能力强、获取信息量丰富，逐渐受到人们关注。文献[13]使用激光三角法与双目视觉结合的线激光双目立体检测方法，对带式输送机上的煤流动态体积进行测量，并计算得出煤流量。文献[14]使用单目相机结合激光线条纹的图像采集方案，用以实现煤流检测。文献[15]使用线激光来辅助相机进行带式输送机上煤流的三维信息采集和重建工作，可提高煤流检测精度。但这些方法需要人工设计图像特征，而人工设计图像特征的通用性并不佳。

近年来，随着深度学习迅猛发展，基于深度学习的带式输送机煤流检测方法因其能利用卷积神经网络自学习图像特征，在煤流检测领域被逐步推广。文献[16]借助图像分类网络中的视觉几何组网络（Visual Geometry Group Net，VGGNet），实现对煤流的离散性检测。文献[17]提出了一种基于编码器?解码器融合架构的网络模型，先提取不同层次的煤流特征信息，再进行特征融合，实现了对带式输送机的煤流检测。

然而，上述方法难以在模型轻量化和分类准确度之间达到平衡，且很少考虑在特征提取过程中通道权重分布不平衡对检测准确度的影响。因此，本文提出了一种轻量化的多尺度跨通道注意力煤流检测网络。选取残差网络（Residual Network，ResNet）[18]中轻量级的 ResNet18作为特征提取网络，并在 ResNet18中嵌入煤流通道注意力（Coal Flow Channel Attention，CFCA）子网络，可有效捕获特征图中不同尺度的跨通道交互关系，实现对特征图中通道权重的重新分配，从而提高特征提取网络的语义表达能力。另外，采用离散化处理将煤流分为“煤少”、“煤适中”、“煤多”3个等级，从而将煤流检测问题转换为图像分类问题，避免因瞬时煤流量波动较大、带式输送机频繁变频调速导致运行状态不稳定的问题。

1 基本理论

1.1 ResNet

ResNet是深度学习领域广泛采用的一种卷积神经网络，根据卷积层数目的不同，ResNet可分为 ResNet18， ResNet34， ResNet50， ResNet101和 ResNet152。为了提高网络运行效率，本文采用轻量化的 ResNet18作为特征提取网络，其结构如图1所示。

ResNet18工作流程：首先，输入图像依次通过一个7×7卷积层、最大池化层、卷积层1（Conv1）、卷积层2（Conv2）、卷積层3（Conv3）、卷积层4（Conv4），以进行相应的特征提取，其中 Conv1和 Conv4均由2个 Basic Block Ⅰ组成；Conv2和 Conv3 均由1个 Basic Block Ⅰ和1个 Basic Block Ⅱ组成；然后，将 Conv4输出的特征图通过全局平均池化后送入全连接层；最后，将全连接层的输出送入softmax层，进行分类概率输出。

1.2 通道注意力机制

在深度学习中，通道注意力机制作为视觉注意力机制中的一种，其引入的参数量和计算复杂度都相对较小，可忽略不计，同等条件下有更高的运行效率，因此被广泛应用。通道注意力机制更多地采用全连接操作来提取全局之间的通道相互关系，并以此作为权重分配的依据。常用的通道注意力机制包括压缩与激励网络（Squeeze-and-Excitation Networks，SENet）[19]和高效通道注意力网络（Efficient Channel Attention Network，ECANet）[20]。ECANet相较于SENet，拥有更高效的跨通道交互能力，且网络复杂度更小，更加轻量级。ECANet通过一维卷积即可实现通道权重的分配，但ECANet采用的是固定大小的卷积核，对通道权重的分配并不均衡。

本文基于ECANet的思想，提出 CFCA 子网络，采用多个卷积核大小不同的一维卷积来获取特征图中不同尺度的跨通道交互关系，以增强网络的特征提取能力。

2 轻量化的多尺度跨通道注意力煤流检测网络

轻量化的多尺度跨通道注意力煤流检测网络主要由特征提取网络和分类网络组成，如图2所示。

特征提取网络采用 ResNet18网络的 Conv1— Conv4部分，用于实现对输入煤流图像的特征提取，以获取其高级语义信息。此外，将 CFCA 子网络嵌入在特征提取网络中，沿着通道维度对特征图的权重进行重新分配，以提高特征提取网络的语义表达能力。分类网络由3个全连接层构成，其将向量化的特征提取网络的输出作为输入，并对其进行非线性映射，最终得到“煤少”、“煤適中”、“煤多”3类结果的概率分布。

2.1 CFCA 子网络

CFCA 子网络结构如图3所示。

对于任意的输入特征图X 2 RHxWxC（H，W，C分别为 X 在高、宽和通道维度上的取值），CFCA 子网络沿着通道维度C对其进行全局平均池化，结果为

式中：X12 R1x1xC；GGAP （·）为全局平均池化操作。

CFCA 子网络对X1进行不同卷积核大小下的一维卷积运算，并对运算结果求和，得

X2=ΣCco（K）nv （X1）     （2）

式中：X22 R1x1xC；Cco（K）nv （·）为不同卷积核大小K下的一维卷积运算。

之后 CFCA 子网络对X2使用 sigmoid 函数激活，得到的新的特征图通道权重分布为

P1=σ（X2）       （3）

式中： P12 R1x1xC；σ（·）为 sigmoid 函数。

经 CFCA 子网络通道权重分配后的特征提取网络输出为

Xout = X P1           （4）

式中：Xout 2 RHxWxC；为通道权重与特征对应通道加权乘积运算符。

不同于SENet和ECANet，CFCA 子网络借鉴了特征金字塔网络[21]的思想，采用多个卷积核大小不同的一维卷积，用于捕获特征图中通道间多尺度的相互依赖关系。另外，通过对一维卷积的输出进行堆叠，实现对特征图通道权重的重新分配，可有效提升特征图中煤流区域的响应值，并抑制无关的背景信息，从而提高网络的抗干扰能力。

2.2 损失函数

本文使用的总损失函数为多分类交叉熵损失函数，其表达式为

L = [yc（j）lny（?）c（j）+（1一yc（j）） ln（1一 y（?）c（j））]（5）

式中：yc（j）为第j（j=1，2，··· ， N，N 为训练的样本总数）个样本对应第 c（c=1，2，··· ， M，M 为类别总数，本文中M=3）个类别的真实值；y（?）c（j）为经过softmax函数输出得到的第j 个样本对应第 c 个类别的预测值。

3 实验结果及分析

3.1 实验环境

硬件平台中 CPU 为 Intel Core i7?12700，内存为32 GiB，GPU 为 RTX 3080，显存为12 GiB，操作系统为 Ubuntu 18.04.6 LTS，深度学习框架采用PyTorch 1.13。本文采用的数据集从焦作煤业（集团）有限责任公司九里山矿获取，其中训练数据集包括18119张图像，测试数据集包括7891张图像。

在网络训练过程中，设置每批次输入图像的张数（batch size）为16，迭代次数（epoch）为200。

3.2 网络参数选取

为研究使用不同卷积核大小的一维卷积对 CFCA 子网络效果的影响，将 CFCA 子网络嵌入在 ResNet18网络的 Conv4之后，且 CFCA 子网络所采用的一维卷积核大小分别为3，5，7，9，结果见表1。当 K=3时，表示 CFCA 子网络仅采用1个卷积核大小为3的一维卷积；当 K=3，5时，表示 CFCA 子网络采用2个卷积核大小分别为3，5的一维卷积；当 K=3，5，7时，表示 CFCA 子网络采用3个卷积核大小分别为3，5，7的一维卷积；当 K=3，5，7，9时，表示 CFCA 子网络采用4个卷积核大小分别为3，5，7，9的一维卷积。

由表1可知，当 CFCA 子网络采用3个卷积核大小分别为3，5，7的一维卷积时，网络的分类准确率最高。

为获取 CFCA 子网络嵌入到 ResNet18网络的最佳位置，进行了消融实验，结果见表2。

从表2可看出，将 CFCA 子网络嵌入在 ResNet18网络的 Conv3和 Conv4之间及 Conv4之后的效果最好。这是由于在网络的浅层，获取的多为结构化特征（如角点、边缘等），此时对特征图各个通道进行权重的重新分配，只是对角点和边缘等特征进行了重新组合，对分类准确率的提升有限；但在网络的深层，捕获的多为目标的语义化信息，此时对特征图的各个通道进行权重分配，可实现对特征图中前景目标的增强和背景区域的抑制，从而提高分类准确率。

3.3 对比实验

为验证 CFCA 子网络的有效性，将其与SENet、ECANet通道注意力网络进行对比，三者在 ResNet18 网络中的位置及实验参数均一致，结果见表3。

由表3可知，相对于 ResNet18网络，ResNet18+ CFCA 子网络在增加的参数量和计算复杂度可忽略不计的条件下，对煤流检测的准确率提升了1.6%。这是由于 CFCA 子网络可在不同的局部范围内建模通道特征的依赖关系，并在此基础上进行通道权重的分配，有助于网络抑制煤流的背景信息，并突出煤流信息，从而提高分类准确率。

不同网络训练时的损失函数曲线如图4所示（由于ECANet是 CFCA 子网络中 K=3时的特例，所以图4中并未涉及 ResNet18+ECANet 的损失函数曲线）。可看出 ResNet18+CFCA 网络的损失函数收敛速度与 ResNet18基本保持一致，表明在增加 CFCA 子网络的情况下，ResNet18+CFCA 网络仍能保持快速收敛。

对特征提取网络的最后一个卷积层输出的特征图进行可视化输出，ResNet18+CFCA 和原始的 ResNet18对比结果如图5所示（图中颜色较亮的地方对应更大的响应值）。可看出 ResNet18+CFCA 网络可以更加有效地区分图像中的前景信息，同时抑制背景因素对前景信息的影响，从而更加准确地提取煤流特征。

4 结论

1）轻量化的多尺度跨通道注意力煤流检测网络由特征提取网络和分类网络组成。在特征提取网络 ResNet18的基础上嵌入 CFCA 子网络，可从图像中提取出更多的前景信息，从而更加准确地提取煤流特征。在分类网络中，通过3个全连接层对特征提取网络的输出进行非线性映射，最终得到“煤少”、“煤适中”、“煤多”3类结果的概率分布。

2）CFCA 子网络使用不同卷积核大小的一维卷积，能够有效捕获特征图中多尺度的通道间相互依赖关系，提升了网络的抗干扰能力。

3）实验结果表明，轻量化的多尺度跨通道注意力煤流检测网络在几乎不增加网络参数量和计算复杂度的情况下，具有更好的煤流检测效果，能够满足工业部署的需求。

参考文献（References）：

[1] 王海军，王洪磊.带式输送机智能化关键技术现状与展望[J].煤炭科学技术，2022，50（12）：225-239.

WANG Haijun，WANG Honglei. Status and prospect of intelligent key technologies of belt conveyor[J]. Coal Science and Technology，2022，50（12）：225-239.

[2] 张志军.基于变频技术的煤矿带式输送机节能控制系统研究[J].能源与环保，2023，45（7）：210-215.

ZHANG Zhijun. Research on energy-saving control system of coal mine belt conveyor based on frequency conversion  technology[J]. China  Energy  and Environmental Protection，2023，45（7）：210-215.

[3] 李阿红.基于图像处理的矿用带式输送机系统设计及其能效分析[J].能源与环保，2023，45（7）：228-232，238.

LI Ahong. Design and energy efficiency analysis of mining belt conveyor system based  on image processing[J]. China Energy and Environmental Protection，2023，45（7）：228-232，238.

[4] 王志广，王朋飞.变频控制系统在矿用带式输送机中的应用[J].能源与环保，2021，43（9）：255-259，265.

WANG Zhiguang， WANG Pengfei. Application of frequency conversion control system in belt conveyorused in mine[J]. China Energy and Environmental Protection，2021，43（9）：255-259，265.

[5] 李亚飞.变频节能控制系统在带式输送机中的应用研究[J].石化技术，2023，30（6）：297-298.

LI Yafei. Research on the application of frequency conversion and energy saving control system in belt conveyor[J]. Petrochemical  Industry  Technology，2023，30（6）：297-298.

[6] 于林海. 带式输送机能耗优化控制系统设计与应用[J].石化技术，2023，30（5）：249-250.

YU Linhai. Design and application of optimised control system for energy consumption of belt conveyor[J]. Petrochemical Industry Technology，2023，30（5）：249-250.

[7] 王文龙. 煤矿带式输送机智能化控制系统技术应用[J].机械管理开发，2023，38（5）：217-218，223.

WANG Wenlong. Intelligent control system technology application for coal mine belt conveyor[J]. Mechanical Management and Development，2023，38（5）：217-218，223.

[8] 王桂忠，葉隆浩.基于煤流量识别的带式输送机节能控制系统设计与研究[J].煤矿机械，2023，44（1）：14-17.

WANG Guizhong，YE Longhao. Design and research of belt conveyor energy-saving control system based on coal flow recognition[J]. Coal Mine Machinery，2023，44（1）：14-17.

[9] 張少宾，蒋卫良，芮丰.矿用带式输送机输送量测量方法现状及发展趋势[J].工矿自动化，2019，45（5）：100-103.

ZHANG Shaobin，JIANG Weiliang，RUI Feng. Current status and development trend of measuring methods of conveying capacity of mine-used belt conveyor[J]. Industry and Mine Automation，2019，45（5）：100-103.

[10] 姜玉峰，张立亚，李标，等.基于单线激光雷达的带式输送机煤流量检测研究[J].煤矿机械，2022，43（8）：151-153.

JIANG Yufeng，ZHANG Liya，LI Biao，et al. Study on coal flow detection of belt conveyor based on single-line LiDAR[J]. Coal Mine Machinery，2022，43（8）：151-153.

[11] 于海里，孙立超，左胜，等.基于双激光雷达的带式输送机煤流量检测系统[J].工矿自动化，2023，49（7）：27-34，59.

YU Haili，SUN Lichao，ZUO Sheng，et al. Coal flow detection system for belt conveyor based on dual lidar[J]. Journal of Mine Automation，2023，49（7）：27-34，59.

[12] 关丙火.基于激光扫描的带式输送机瞬时煤量检测方法[J].工矿自动化，2018，44（4）：20-24.

GUAN Binghuo. Detection method of instantaneous coal quantity of belt conveyor based on laser scanning[J]. Industry and Mine Automation，2018，44（4）：20-24.

[13] 崔振国.基于机器视觉的带式输送机煤量监测系统研究[D].徐州：中国矿业大学，2021.

CUI Zhenguo. Study on coal quantity monitoring system of belt conveyor based on machine vision[D]. Xuzhou： China University of Mining and Technology，2021.

[14] 李学晖.基于机器视觉和深度学习的带式输送机煤量识别方法研究[D].邯郸：河北工程大学，2022.

LI Xuehui. Research on coal quantity identification method of belt conveyor based on machine vision and deep learning[D]. Handan： Hebei University of Engineering，2022.

[15] 袁敦鹏.基于三维点云的带式输送机跑偏及堆煤监测技术研究[D].徐州：中国矿业大学，2022.

YUAN Dunpeng. Study on the belt conveyor deviation and coal stacking monitoring based on three-dimensional point cloud[D]. Xuzhou：China University of Mining and Technology，2022.

[16] 王桂梅，李学晖，杨立洁，等.基于深度学习的永磁直驱带式输送机煤量检测方法研究[J].煤炭技术，2022，41（1）：188-190.

WANG Guimei， LI Xuehui， YANG Lijie， et al. Research on coal quantity detection method of permanent magnet direct drive belt conveyor based on deep learning[J]. Coal Technology，2022，41（1）：188-190.

[17] 成彦颖.煤矿井下传送带智能输煤检测的研究[D].太原：太原科技大学，2021.

CHENG Yanying. Research on intelligent coal conveying detection of underground conveyor belt in coal mine[D]. Taiyuan：Taiyuan University of Science and Technology，2021.

[18] XI Tianyu，WANG Jiangning，HAN Yan，et al. Multiple butterfly recognition based on deep residual learning and image analysis[J]. Entomological Research，2022，52（1）：44-53.

[19] HU Jie，SHEN Li，SUN Gang. Squeeze-and-excitation networks[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition，Salt Lake City，2018. DOI：10.1109/CVPR.2018.00745.

[20] WANG Qilong，WU Banggu，ZHU Pengfei，et al. ECA- Net：efficient channel attention for deep convolutional neural networks[C]. IEEE/CVF  Conference  on Computer Vision and Pattern Recognition，Seattle，2020. DOI：10.1109/CVPR42600.2020.01155.

[21] WANG Chengyang，ZHONG Caiming. Adaptive feature pyramid networks for object detection[J]. IEEE Access，2021，9：107024-107032.