改进空间通道注意力与残差融合的煤矸石识别

韩存地，朱兴攀，符立梅，董立红，刘安强，李远成，许 犇，汪 梅

(1.陕西陕煤曹家滩矿业有限公司，陕西 榆林 719000；2.陕西陕煤榆北煤业有限责任公司，陕西 榆林 719000；3.西安科技大学 计算机科学与技术学院，陕西 西安 710054；4.西安科技大学 电气与控制工程学院，陕西 西安 710054)

0 引 言

煤炭在中国能源中占有非常重要的地位，其总量远远超过石油和天然气总量，它是国民经济的基础[1]。虽然环保等原因使得煤炭去产能力度有一定的增加，但是煤炭作为中国主要能源的基本国情不会发生重大变化[2]。

在原煤生产过程中常会有矸石出现，并且其含量约占原煤的15%～20%[3]。色泽上矸石和煤区别较小，但含碳量却很低，主要成分是Al2O3、SiO2，如果在燃煤过程中有矸石等杂质，会使煤的品质下降，燃烧不充分，还会产生SO2等有害气体污染环境。因此，必须在生产过程中剔除[4-5]。煤炭生产过程中最关键的一步就是对于矸石的甄别。一些常用的方法，如：人工识别法[6]、机械湿选法[7]和射线分选法[8]都可以用来对矸石进行识别分拣。

近年来，人工智能领域蓬勃发展。机器视觉从图像中获取信息并加以处理，最终用于解决实际需求[9-10]。在此基础上，煤和矸石的识别技术也获得较好的发展。

孙继平等在双树复小波域上提出了一种对煤矸石有很好的辨识能力的统计建模方法[11]。张万枝等在提出的基于视觉技术的煤岩界面特征分析与识别系统上进行验证，最终取得了很好的识别效果[12]。沈宁等构建了基于机器视觉的煤矸石多工况识别方法，利用支持向量机作为分类器，采用Relief权重算法最终实现煤和矸石的识别并得到较好的效果[13]。

在对煤和矸石分类识别方面，王莉等利用树结构进行实时图像采集，再通过卷积神经网络提取煤块和矸石的颜色和纹理特征并进行分类识别[14]。饶忠钰等利用煤和矸石图片数据集训练卷积网络，对其进行分类。通过与浅层神经网络识别结果比较，利用卷积网络进行煤矸石分类准确率更高[15]。SU L等在原始网络的基础上改进之后对煤和矸石的识别精确率提高了45.2%[16]。曹现刚等在卷积网络模型的基础上训练模型卷积层的权值和偏差的迁移学习，将识别准确率提高了到93.5%[17]。

上述的卷积神经网络识别煤和矸石的方法，在其网络训练过程关注全局特征，而对局部显著区域和显著性特征的关注需要进一步加强。为此，构建改进的卷积神经网络模型，即在卷积神经网络中嵌入改进的空间注意力机制和改进通道的注意力机制。在空间和通道2个维度上，提取特征，以此提高模型的识别精确度。构建的识别模型对陕西陕煤曹家滩煤矿大巷皮带的煤和矸石实时图像进行识别实验，取得较好的效果。

1 卷积网络和注意力机制

1.1 卷积神经网络

图1 卷积神经网络结构Fig.1 Structure of convolution neural network

若第l层为卷积层，则其第j个特征映射为

(1)

(2)

若第l层为全连接层，则其输出向量为

xl=g((βl)Tvl-1+bl)

(3)

式中l-1层的池化层或卷积层的特征图向量或全连接层输出的向量用vl-1来表示；βl为一个权值矩阵；bl为偏置。

经过卷积后，特征图还会再经过激活函数。因为卷积操作是一种线性的操作，多层卷积没办法表达非线性特征，这就需要加入非线性映射，也就是如Singmid激活函数，Tanh和Relu等函数来实现[22-23]。

在卷积神经网络的最后是全连接层，其作用是把卷积、池化过后的特征映射到样本的标记空间里，进而有分类的功能[24]。

1.2 经典注意力机制

经典注意力机制是一种模拟人脑在获取信息的过程中的一种行为。在人体感官获取信息的过程中，自然界中大量信息容易带来干扰而无法有效集中于所需要的信息。为解决这一问题，大脑进化出了特殊的处理单元用于对当前信息做出有效的处理与监控。神经网络中的注意力机制就是在特征提取过程中模仿人脑的注意力机制，使得目标在神经网络的学习过程中产生特定的权重，影响学习过程以找到感兴趣的目标或区域，抑制或无视无用区域[25]。

注意力机制如图2所示，图中的方形区域D(tx，ty，tl)为输出，中心坐标用tx和ty表示，该区域边长的一半用tl来表示，左上坐标用(tx-tl)和(ty-tl)来表示，则右下角坐标用(tx+tl)和(ty+tl)表示。在模型中需要下一个尺度更细的输入图像区域，而正方形区域就是注意力机制下的能够体现图像类别特征的核心区域。该注意力提取网络由2部分组成，但又加入了下采样和上采样各2个。a表示注意力机制部分提取的特征，c表示卷积操作提取的特征[26]。

图2 注意力机制Fig.2 Attention mechanism

2 注意力与卷积融合识别模型

构建的融合模型主要结构包括：煤矸石图像采集、卷积神经网络、通道注意力机制、空间注意力机制。融合模型的框架如图3所示。融合模型是以大巷皮带的煤流运输过程中煤和矸石监测图像数据为输入，被检测目标的煤和矸石类别为输出。煤矸石图像采集是利用大巷皮带上方的矿用摄像设备。卷积层2与卷积层1的区别就是在经典的卷积上加入了空间注意力机制。卷积层3融入了通道注意力机制。最后是全连接层和激活层。

图3 融合模型的框架Fig.3 Framework of fused model

融合模型输入数据是四维数据，空间注意力关注前两维数据，通道注意力关注后两维数据。前两维数据是空间信息，即像素位置。后两维是通道信息，即RGB通道及其灰度值。图4是曹家滩煤矿监测的大巷皮带煤流监控图像。

图4 大巷皮带煤流Fig.4 Coal flow in mine roadway belt

2.1 残差神经网络

构建的注意力与卷积网络融合模型是以残差神经网络为基本结构。残差神经网络是一种针对有损压缩的卷积神经网络，图5为残差学习单元。

图5 残差学习单元Fig.5 ResNet learning unit

若神经网络某个神经单元的输入为x，得到的期望输出为H(x)，其学习训练难度会很大。

在残差学习单元中，通过“捷径连接”的方式把输入的x传到学习单元的输出作为最初结果，学习目标就变为恒等映射的学习。该单元输出结果见式(4)

H(x)=F(x)+x

(4)

当F(x)=0时，那么H(x)=x，即为恒等映射。ResNet网络的学习目标就由一个完整的输出变为目标值H(x)和x的差值即残差，见式(5)

F(x)=H(x)-x

(5)

表1所示为残差网络结构，网络分为5部分。分别是5个卷积层。卷积层1有一个7×7×64卷积，卷积层2、卷积层3、卷积层4和卷积层5共有33个块，每个块为3层，共有99层，用于分类的全连接层在最后一层。残差网络结构主要包括卷积与全连接层，不包括激活层和池化层[27-28]。

表1 残差网络结构Table 1 ResNet network architecture

2.2 改进的空间注意力

改进的空间注意力模块如图6所示，这里不同于文献[29]，经过通道注意力模块得到的特征作为本模块的输入。此模块在各个通道使用全局平均池化和全局最大池化。文中用的是全局标准差池化和全局最大池化，输入特征图从H×W×C变成了双H×W×1特征图，再通过单个7×7卷积核卷积后得到一个新的H×W×1特征图。

图6 改进的空间注意力 Fig.6 Improved spatial attention

最后通过一个Sigmod激活函数对权重值进行归一化后将权重作用到输入特征中，就得到了由原始特征图和双重注意力调整后的特征图。

2.3 改进的通道注意力

改进的通道注意力如图7所示，首先将输入做基于宽度和高度的全局平均池化和全局最大池化，其大小均为3×3，这样可以使得提取的高层次特征更丰富。通过2个连续的全连接层和Relu激活函数建立通道间联系并得到各个通道的权重，同时可以减少训练过程的参数，这不同于文献[29]中的共享层。然后，将2个特征通道输出的权重合并。通过Sigmoid运算进行归一化处理并用乘法加权到原来特征进而完成特征提取。

图7 改进的通道注意力Fig.7 Improved channel-wise attention

2.4 注意力与残差网络融合模型算法

注意力与卷积网络融合模型算法如下。

1)输入带标签的煤和矸石2类图像数据并解码，对解码后的数据进行标准化处理后输出，标准化输出定义为

(6)

式中X为图像矩阵；μ为图像的均值；σ为标准方差；N为样本量。

(7)

式中X(i-m，j-n，c)和Y(i，j)分别为输入和输出特征图像中对应通道的像素位置的像素值；k(m，n，c)为第k个卷积窗口通道c的m行n列的权重；bk表示第k个卷积核的偏置。

(8)

(9)

i为第i特征图；j为第j个特征；c为通道；l为第l个卷积层。

通道注意力输出特征为

Fc=g(uc⊕sc)

(10)

g为Sigmoid激活函数。

(11)

(12)

(13)

式中i为第i特征图；j为第j个特征；c为通道；zs为平均池化；kij为卷积核；bj为偏置；g为Sigmoid激活函数。最终得到的特征为

(14)

4)第3步得到的特征作为全连接层的输入，利用Softmax函数将输入特征映射到[0，1]区间进行分类，由式(15)得到每个类的概率为

(15)

式中q为第q(q=1，2，…)类；n为特征维数；θ为可训练的参数。

(16)

(17)

至此，注意力与残差网络融合模型算法结束。

3 实验与结果分析

3.1 数据预处理

对在陕西陕煤曹家滩煤矿获得的500张煤和矸石图片数据预处理和扩充，主要包括以下4部分。

1)数据压缩和去噪：对原始图像数据进行统一标准的压缩处理，减少图像数据信息冗余。利用小波分解除去图像噪声[30]。

2)数据扩充和增强：对图像数据进行水平翻转和垂直翻转；增加或减小饱和度、对比度、锐化等操作。最终得到4 000张煤和矸石图片。通过数据增强技术增强模型的泛化能力，平衡不同类样本间的数量差异。图8和图9分别为对煤和矸石图像做数据增强即增加饱和度、对比度、锐化后的结果。

图8 煤图像的数据增强Fig.8 Data enhancement of coal images

图9 矸石图像数据增强Fig.9 Data enhancement of gangues

3)数据标准化：对数据压缩和数据增强后的图像数据进行统一的标准化处理。

4)数据批处理：对图像数据进行分批处理，减弱模型训练过程中对大内存的依赖，分批次对样本进行训练，依据样本大小设置输入批次。同时分批处理可以防止模型学习过拟合和减弱模型训练陷入局部最优的风险。

3.2 实验配置及参数设置

实验配置为：1080Ti GPU，IntelCorei7-8700K CPU，Window 10操作系统，Spyder平台的Python 3.7环境，Google公司开发的Tensorflow深度学习框架，CUDA 9.0。实验设置数据集80%为训练集样本，20%为测试集，标签分类数为2，训练迭代次数为6 000次，从训练样本选64个作为输入，每次迭代以0.001的学习率并且将Adam作为训练优化器。

3.3 实验结果与分析

利用所构建的注意力与卷积网络融合模型对测试集中煤和矸石图片进行识别，识别结果如图10所示。2张图像中的第1张标签为煤，识别结果是：目标为煤的概率为92.33%。第2张标签为矸石，识别结果是：目标为矸石的概率为95.463%。识别结果与实际一致。

图10 识别结果Fig.10 Recognition results

为验证构建的注意力与卷积融合网络的可行性和有效性，将该模型与不加注意力机制的残差模型、基于空间注意力机制的残差模型、基于通道注意力机制的残差模型以及文献[27]的模型进行对比。5种模型的参数量、批处理运行时间及运行时的显存占用情况见表2。可以看出：文中构建的网络模型在训练参数相对较大的情况下，批处理运行时间与前4种模型的差距不大，但所需的显存占用量较高，因此选择高性能的实验配置是提高文中所构建模型训练速度一个重要部分。

表2 5种网络模型的参数量及运行时间比较Table 2 Comparison of the parameter numbers and the running time

表3是对5种模型识别精确度的比较，结果表明，改进的双重注意力CNN模型比不加注意力机制的ResNet-101模型、基于空间注意力机制的ResNet-101模型、基于通道注意力机制的ResNet-101模型以及文献[27]的模型平均识别精确度分别提高了4.1%,3.4%,2.6%,1.5%，说明构建的注意力与残差网络融合模型对煤和矸石的识别有较高准确度。

表3 5种模型的平均识别精确度Table 3 Comparison of average recognition accuracy

利用统计学中的常用的F1分数来评价文中构建的模型性能，P定义为分类模型准确率，R为召回率，则F1分数为P和R的调和平均数。计算式为

(18)

(19)

(20)

式中TP为矸石为预测结果和测试样本标签；FP为煤为预测结果，矸石为测试样本标签；TN为煤为预测结果和测试样本标签；FN为矸石是预测结果，煤为测试样本标签。样本真实值与模型识别值关系见表4。

表4 样本真实值与模型识别值关系Table 4 Relationship between the true value and the model recognition value

在测试集数据中随机抽取10%的图像，对5种网络模型做测试，各模型的调和平均数得分情况如图11所示。结果表明：文中构建的注意力与残差网络融合模型的测试识别结果明显优于其他4种模型，用于煤和矸石的识别可行有效。

图11 各模型的调和平均数Fig.11 Harmonised averages of models

4 结 论

1)提出了一种注意力与残差网络融合模型算法，以煤和矸石图像数据为输入，实现大巷皮带上煤和矸石的识别。

2)为了提高识别精度，在残差网络中嵌入了改进的空间注意力和通道注意力，实现2个主要维度上采用双重关注来强调有意义的特征。

3)通过实验比较，构建的模型识别准确率为96.2%，优于残差网络、空间注意力+残差网络、通道注意力+残差网络、卷积注意力网络。