嵌入改进注意力机制的镜质组显微亚组分轻量级网络识别模型

王培珍 ，杨志豪，汪正才，薛子邯，刘 林，张代林

(1.安徽工业大学 电气与信息工程学院,安徽 马鞍山 243032；2.安徽工业大学 工程实践与创新教育中心,安徽 马鞍山 243032；3.安徽工业大学煤的洁净转化与高值化利用安徽省重点实验室,安徽 马鞍山 243032；4.安徽工业大学 冶金减排与资源综合利用教育部重点实验室,安徽 马鞍山 243032)

煤岩显微组分的构成与其反应性、黏结性、结焦性等工艺性质密切相关。镜质组为煤中主要的显微组分之一，实现镜质组中各显微组分及亚组分的自动分类与识别，对配煤优化和焦炭质量的预测具有重要意义。目前，煤岩显微组分的定量分析普遍采用的还是数点法，对测定者专业水平要求高，劳动强度大，分析成本高。为此，研究者们尝试采用图像处理技术对煤岩显微组分进行识别。LESTER 等[1]根据亮度与形态学特征，对壳质组和树脂体取得了较好识别效果，但对于其他组分分析效果不甚理想。王素婷等[2]将局部二进制模式与灰度共生矩阵相结合提取煤岩显微组分的纹理特征，再构建支持向量机对煤岩与矿物质进行分类，其正确率最高可达92.77%，但对于三大组别内的显微组分未作进一步分析。WANG 等[3]采用k-means 聚类算法对煤岩显微图像进行分割，再使用随机森林完成煤岩显微组分的分类，其正确率最高可达90.44%，但该方法仅在煤化度Ro＜1.0%时有效且只适用于部分显微组分。宋孝忠等[4]研制了一种能够实现显微镜自动聚焦、自动扫描和图像自动采集功能的煤岩显微图像自动采集硬件平台，并采用kmeans 聚类算法对显微图像进行分割，依据像素点的灰度测算其反射率，从而判断其显微组分类别。由于腔体填充物、荧光及照明等因素对灰度有较大的影响，且随着煤化程度的加深，不同显微组分间灰度差异减小，因而仅仅依靠灰度信息推算显微组分类别的方法仍有较大的提升空间。笔者所在课题组亦曾采用图像分析与模式识别的方法对显微组分进行分类[5-8]，采用传统的模式识别方法提取煤岩显微图像的纹理、灰度(亮度)分布特征，再采用PCA、压缩感知等方法对特征空间进行降维，最后构建极限学习机或支持向量机对惰质组、壳质组及镜质组显微组分自动分类，取得了一定的效果，但这些方法中初始特征集的构建需要丰富的人工经验，对于构建的初始特征集需进行进一步的特征提取以去除冗余信息和降维(即特征工程)，另需大量的实验尝试以确定算法中涉及的参数。

卷积神经网络由于可以自动提取图像的不同层次的特征，因而在图像分类与识别的过程中可以避免繁琐的特征工程，实现端到端的自动识别，被越来越多地应用于模式分类与识别领域。但经典的卷积神经网络规模较大、训练时间长、难以应用于某些实际场景，为此相继出现了一系列轻量级网络模型，如：SqueezeNet[9]、MobileNet V2[10]、ShuffleNet V2[11]等。这些轻量级模型在尺寸大小和速度方面有较大的提升，但其提升的普遍代价是准确率的损失。注意力机制可以使深度卷积神经网络从输入信息中选择出对当前任务目标更关键的信息，同时抑制其他无关信息，从而可以提高分类的效率与准确性。如：HU 等[12]提出SE (Sequeze-and-Excitation) 模块并将其嵌入Res-Net，分类准确率得到有效提升；WOO 等[13]采用空间和通道注意力机制相结合的方式，相比于仅关注通道的注意力的文献[12]取得了更好的效果；针对注意力机制引入的高复杂度问题，WANG 等[14]提出了一种轻量级的架构单元ECA，用较低的计算成本来提高网络性能。

鉴于上述现状及煤岩镜质组中亚组分识别这一特定问题，笔者提出一种基于改进注意力机制的轻量级煤岩镜质组识别网络模型，以实现煤岩镜质组显微亚组分的高精度自动识别。

1 数据集

1.1 样本特征分析

基于现行国家标准GB/T 15588—2013《烟煤显微组分分类》[15]，依据细胞结构保存的完好程度及其区域大小、形态等特征，镜质组分为结构镜质体、无结构镜质体、碎屑镜质体3 个显微组分。其中，结构镜质体细分为结构镜质体-1 和结构镜质体-2，无结构镜质体细分为均质镜质体、基质镜质体、团块镜质体和胶质镜质体。其在油浸反光下典型显微图像如图1 所示[16]。

图1 镜质组显微亚组分典型图像[16]Fig.1 Typical microscopic images of vitrinite submacerals[16]

结构镜质体-1 细胞结构保持完整且排列有序；结构镜质体-2 细胞腔变形甚至消失，但残迹尚存，呈较规则的线条状或团块状结构；均质镜质体较为均一，呈粗细不等的长条状；基质镜质体形态各异，常与其他显微组分或共生矿物胶结，有时呈斑点状或团块状的集合体；团块镜质体主要表现为圆形、椭圆形和纺锤形；胶质镜质体通常充填于细胞腔或其他空腔中；碎屑镜质体为径粒小于10 μm 的镜质体碎屑，多表现为细小粒状或者不规则形状。由此可见，各显微亚组分结构有一定的规律，蕴含较为丰富的纹理信息；形态特征存在明显差异，但部分亚组分形态特征又具有一定的相似性。针对这些特点，若采用传统的小样本方法进行识别，特征维数高且特征量间存在大量的信息冗余，需要采取合适的方法进行进一步的特征提取，涉及的人为因素多且需要大量的实验尝试。为避免特征工程，笔者在后续工作中采用深度学习的方法构建分类模型，实现镜质组各亚组分端到端的自动识别。

1.2 样本数据及增强

煤样来源于山西大同、灵石、吕梁、西山、河东、霍西煤田和河南平顶山煤田、东升煤矿、鹤壁八矿及内蒙古东升煤田等，含主焦煤、气煤、肥煤、瘦煤，按国家标准GB/T 10773—2008《煤岩分析样品制备方法》制样后，在油浸反射光下采用光学显微镜(400 倍放大)采集显微图像。采集获取的典型原始图像如图2 所示，大小为2 448 像素×2 048 像素。选取其中的420 幅显微图像作为初始样本，其中280 幅为训练样本，140 幅为测试样本。因样本数相对较少，若由其直接训练网络模型则易产生过拟合现象，为此采用随机裁剪、旋转、镜像和加噪等处理方式对样本进行增强，增强后的训练集包含1 960 幅图像，测试集含980幅图像。图3 为对典型显微图像进行增强后的结果。

图3 典型图像增强效果Fig.3 Enhancement samples of typical images

2 网络结构及算法

尽管对初始数据样本进行了增强，但现有样本数据量仍难以支撑经典卷积神经网络模型的训练。加之镜质组部分显微亚组分间特征差异较小、甚至存在交织等，使得辨识难度增大。为此，笔者提出一种嵌入注意力机制的轻量级镜质组亚组分识别网络模型，结构如图4 所示。首先对输入的镜质组显微图像进行数据增强；再以ShuffleNet V2 作为基础网络，利用增强的镜质组数据集对在大型数据集上预训练后的基础网络模型进行迁移学习，构建主干网络以提取特征；最后在主干网络的输出部分嵌入注意力机制，并根据镜质组显微亚组分图像的特点对注意力机制进行改进，进一步提取深层次的特征信息，进而得到适用于镜质组显微亚组分识别的网络模型。

图4 嵌入注意力机制的轻量级镜质组显微亚组分识别网络结构Fig.4 Lightweight vitrinite submaceral recognition network structure embedded with an attention mechanism

2.1 基础网络结构

轻量级网络模型中，ShuffleNet V2 具有较高精度和较低的计算复杂度，其在准确率、复杂度和训练速度上综合优势较为突出，可在有限的计算预算下获得较高的识别准确率，笔者选择ShuffleNet V2 作为基础网络用于特征提取。特征提取器每个stage 由一个空间下采样单元和若干基本单元组成。为了避免过多的分组卷积在内存访问时增加的开销，在卷积层输入输出通道采用通道拆分(Channel split)技术代替分组操作，即在基本单元的开头，将C个特征通道(即通道维度)的输入划分为2 个分支，每个分支分别具有C/2 个通道数。拆分后的一个分支不作任何处理以满足并行度，另一个分支由点卷积和深度可分离卷积构成，遵循输入和输出特征通道数相等的准则。卷积完成后，左右2 个部分拼接合并，使输入、输出通道数保持一致，合并后使用通道混洗技术实现信息交流(图5(a))。空间下采样单元如图5(b)所示，由于没有通道拆分(Channel split)，Concat 之后输出通道数为输入的2 倍。

图5 特征提取器单元Fig.5 Units of feature extracting module

2.2 迁移学习

采用常规方法构建深度学习分类模型时，通常需要大量用于训练的已标注数据和较为复杂的调参、较长的训练时间。受煤岩镜质组显微图像样本数限制，直接训练所得识别模型泛化能力差。因此，笔者在大型数据集ImageNet 上完成Shuffle V2 模型的预训练。在此基础上，再在本文增强的镜质组显微图像训练样本集上将预训练模型中靠近输入的若干层冻结，对靠近输出的网络层权值进行微调，实现迁移学习，构建主干网络。

2.3 注意力机制

由于镜质组中部分显微亚组分间特征差异较小甚至存在一定的交错，引入注意力机制以关注目标中更为关键的信息。空间注意力机制一般用于关注浅层有效特征，如空间细节信息；通道注意力机制用于关注有效的深层特征[12,17]，如全局上下文感知信息等。由于文中迁移学习微调的是靠近输出端的权重，用于提取深层特征，所以采用通道注意力机制以关注更高层次的深层特征。

ECA 是一种轻量级架构的通道注意力机制模块[14]，可以较低的计算成本来提高准确率。但该模块使用平均池化的方式对每个通道特征进行压缩，因而图像中细节特征的提取受到影响。而纹理是区分镜质组不同显微亚组分的重要特征。因此，在原ECA基础上，结合煤岩显微图像的特点，采用全局平均池化和全局最大池化2 种输出特征对应位相加的方法，对ECA 进行改进，以充分提取显微图像中不同亚组分的纹理特征和其他高层次特征，并使2 者有效聚合。改进后的结构如图6 所示。

图6 改进的通道注意力机制模块Fig.6 Modified channel attention mechanism module

适当的跨通道信息交互对于实现深度CNN 通道注意是有效的[14]。本文设计的通道注意力机制模块中，首先将输入的特征图采用全局平均池化和全局最大池化相加来聚合特征；然后通过大小为k的快速一维卷积实现跨通道信息交互，同时降低模型复杂度(式(1))。

其中，GMP 和GAP 分别为全局最大池化和全局平均池化；add 为将全局最大池化和全局平均池化输出特征对应位相加；CID 为一维卷积；k为一维卷积内核的大小；σ为Sigmoid 激活函数；w为每个通道生成的特征图的权重，维度为1×1×C。最后将每个特征通道生成的权重作用于原始输入特征图(式(2))。

式中：xc为第c个通道的特征图，二维矩阵；wc为第c个通道的权重;F为基于元素的乘积操作。

为实现适当的跨通道信息交互，需要确定交互的覆盖范围(即一维卷积的内核大小k)。不同通道数和不同CNN 架构其卷积块k会有所不同，通过交叉验证手动调参将消耗大量计算资源。笔者采用一种自适应的方法选择一维卷积核大小，以确定局部跨通道交互的覆盖范围。一维卷积的内核大小k和C之间映射关系φ表示为

最简单的映射是线性映射，即φ(k)=γk-b，γ和b为参数。但线性映射过于局限，又因通道维数C(即滤波器的数量)通常为2 的指数倍，因此，文中将线性函数φ(k)=γk-b扩展成一个非线性函数

在给定通道维度C的情况下，一维卷积的内核大小k自适应地确定

式中，|x|odd为最临近x的奇数；γ和b设为2 和1。

图7 给出网络识别过程中样本图像从输入到特征提取部分阶段的特征(随着网络的加深，通道数急剧增加，特征图数量也随之增加)。由图7 可以看出，不同阶段、不同通道其提取特征的侧重面有所不同。

图7 不同阶段特征Fig.7 Feature graphics of different feature extraction stages

3 实验与结果分析

3.1 环境配置及参数设置

实验所用硬件系统配置为：Intel(R) Core(TM) i9-10 850 K 中央处理器，Nvidia GeForce RTX 3080 显卡，32 Gb 内存。在python 编程环境下，使用pytorch 深度学习框架完成网络架构的实现与学习训练，并对镜质组7 类显微亚组分进行识别。样本图像尺寸统一规范为224×224，批大小batch_size 设为24。

迁移学习中冻结与训练网络中靠近输入的若干层，仅微调靠近输出的网络层权重，权重参数的更新采用Adam 优化算法，学习率设为0.000 1，共训练100 个epoch。

3.2 评价指标

选用混淆矩阵、平均准确率和计算复杂度作为评价指标对实验结果及识别模型性能进行评估。计算复杂度包括模型参数量(Parameters)和浮点运算次数(FLOPs)，其中模型参数量决定模型文件的大小。平均准确率为每个类别下识别准确率的平均值，反映模型在镜质组显微亚组分识别任务中的准确性。混淆矩阵刻画模型对镜质组各显微亚组分识别的详细结果。

3.3 实验结果分析

基础网络ShuffleNet V2 的预训练在大型数据集ImageNet 上进行，然后在本文构建的镜质组显微亚组分数据集上进行迁移学习及实验验证。图8 为本文算法学习过程的准确率与损失函数曲线，其判别基准由煤岩专家人工标注。由图8 可以看出，当迭代次数在0～20 时，准确率上升与损失函数下降均较快；当迭代次数超过50 以后，准确率和损失函数曲线趋于稳定，在测试集上所得曲线的波动性小，识别的平均准确率接近98%。表明本文算法有较快的收敛速度、较好的泛化能力以及较高的识别精度。

图8 本文算法准确率和损失函数Fig.8 Accuracy and loss function of the proposed algorithm

为了验证本文方法对镜质组显微亚组分识别的有效性和可重复性，采用本文构建的模型在测试集上分别对7 个显微亚组分进行识别实验，实验共进行10 组，每组实验从测试集中随机选取140 个测试样本(每个亚组分各20 个)，10 组实验所得平均准确率分别为：96.94%、97.03%、95.98%、98.72%、98.85%、96.74%、98.96%、98.76%、97.85%、98.67%，分布于95.98%～98.96%，满足GB/T 8899—2013《煤的显微组分组和矿物测定方法》关于重复性的要求。10 组实验总平均准确率为97.85%，平均极差为2.15%，表现出较高的可重复性、再现性和识别精度。

图9 为其中1 组实验所得的混淆矩阵，列表示识别模型预测的亚组分类别，行表示其由专家辨识的真实组分。

图9 本文模型所得的混淆矩阵Fig.9 Confusion matrix of the proposed algorithm

混淆矩阵中，结构镜质体-1 有1 个测试样本被错误地划分为碎屑镜质体(图10(a))，团块镜质体、碎屑镜质体各有1 个样本被错误分类至胶质镜质体中(图10(b)、(c))；其余类别均被正确分类。各显微组分(亚显微组分)分类的准确率均高于95%，表明本文所提出的模型对于镜质组各显微亚组分识别均具有较好的适应性。

图10 被错误识别的样本Fig.10 Misrecognized samples

3.4 实验对比与分析

3.4.1不同网络模型结果对比

分别采用3 种经典卷积神经网络(AlexNet[18]、VGG16[19]和ResNet50[20])以及3 种最具代表性的轻量级神经网络(SqueezeNet1_0[9]、MobileNet V2[10]、ShuffleNet V2[11]模型)和相同的镜质组显微亚组分测试样本以同样的方案进行验证实验，结果见表1，不同模型测试结果混淆矩阵如图11 所示。

表1 不同网络模型性能对比Table 1 Performance comparison of different network models

图11 不同网络模型测试结果混淆矩阵Fig.11 Confusion matrixes of some different network models

由表1 和图11 可以看出：与经典网络AlexNet、VGG16 和ResNet50 模型相比，采用本文算法其平均准确率分别提高了3.56%、2.14%和2.85%，模型规模与计算量减少约2 个数量级；与轻量级网络Squeeze-Net1_0 和MobileNet V2 模型相比，平均准确率分别提高了5.71%和4.99%，计算量减少约1 个数量级；与ShuffleNet V2 原模型相比，其计算量虽增加0.15%，而平均准确率提升了5.71%。相较于经典网络和轻量级网络，本文构建的模型有着较低的参数和计算量、较高的准确率。

3.4.2不同注意力机制对网络模型整体性能的影响

为了验证本文改进的注意力机制的有效性，在模型中将注意力机制模块依次替换为4 种目前性能较好的SE[12]、SCSE[21]、CBAM[13]和ECA[14]注意力机制模块，采用同样的方法对模型进行迁移学习与训练，并在本文测试集上进行验证，结果见表2。

表2 不同注意力机制对网络性能的影响Table 2 Effects of different attention mechanisms on network performance

由表2 可以看出，与SE、SCSE 和CBAM 相比，嵌入本文提出的通道注意力机制其模型参数量和计算量略有减少，且平均准确率有所提高。由于改进的通道注意力机制兼顾了图像的细节特征，可使模型在解决类似本文蕴含丰富纹理信息的问题时其整体性能得以提升。

4 结论

(1)本文构建的网络模型，由于在迁移学习与注意力机制等环节都充分考虑了镜质组显微图像的特点，对于煤岩镜质组显微亚组分识别准确率较高，可达97.85%，并具有较高的可重复性。

(2)与其他直接训练的卷积神经网络相比，本文算法网络规模与计算量大规模下降，收敛速度较快，分类的平均准确率较之ShuffleNet V2 原模型可提升5.71%。

(3)改进的通道注意力机制由于兼顾了图像的纹理特征，对模型的整体性能有明显的改善，适合于纹理细节比较突出的图像分类问题。