基于深度迁移学习的煤岩显微组分识别算法

季菁菁， 奚峥皓 ， 李忠峰

(1 上海工程技术大学 电子电气工程学院， 上海 201620； 2 营口理工学院，电气工程学院， 辽宁 营口 115000)

0 引 言

煤岩质量决定着煤岩的燃烧效率，高质量煤岩燃烧可以有效减少碳排放，有利于节能减排发展战略的进一步实施。对煤岩显微组分分析，是对煤岩质量进行评估的有效途径之一[1-2]。但煤岩显微图像组分的复杂多样性，导致在对煤岩组分进行识别时需要人工的参与，使判断结果具有主观性。在工业生产应用中，通常用到的煤岩显微组分分析系统主要由分光光度计和偏光显微镜等组成，其识别分类准确度表现优异。但是，该系统的操作与分析过程均需要专业人员参与其中，普适性较差。

随着计算机视觉技术的发展，针对上述问题，已有学者采用将计算机视觉与图像处理结合的煤岩显微图像的分析识别方法。如：文献[3]提出了基于多重分形谱法的煤矿质分类方法；文献[4]提出了基于轮廓波变换的煤岩壳质组显微组分的分类方法；文献[5]基于PCA与RBF-SVM对煤岩显微镜质组组分进行分类；文献[6]提出一种基于改进极限学习机的焦煤惰质组的分类方法；文献[7]基于空间域处理方法，根据特征亮度值对组分进行分析等等。虽然上述方法对识别分类煤岩组分有一定的效果，但对煤岩组分特征提取工作中仍需要人工参与，无法实现真正的自动化识别分类。

随着深度学习的发展，越来越多的研究尝试将深度学习用于图像处理任务中。相较于传统算法，深度学习可以避免在对图像特征进行提取过程中的人工参与。如：文献[8]中提出的AlexNet 网络在ImageNet上的亮眼表现，证明了在机器视觉领域里深度学习的不可或缺性；文献[9]提出一种基于全卷积神经网络的花岗岩组分分布特征的分析模型；文献[10]提出一种用于大规模图像识别的VGG-16卷积网络等等。虽然这些方法在进行深度学习图像处理时都表现出了良好的性能，但其训练时需要大量的数据集。由于煤岩显微组分图像数据集制取方式复杂，获取成本高，现有的数据集数量无法满足上述网络的训练要求，使得网络很难达到预期识别准确度的要求。而文献[11]提出了一种基于迁移学习的煤岩壳质显微组分识别模型，其适用于小样本数据集的训练。迁移学习可以将在大规模数据集上训练好的网络结构与参数迁移至目标数据集网络中，有效解决对小样本数据集进行识别问题。

本文在文献[11]的基础上，对预训练VGG-16分类网络模型进行了改进，并在ImageNet上完成预训练，将训练好的部分改进网络模型与参数，结合优化的分类器共同组成TR-VGG-16深度迁移网络模型，实现对小样本煤岩显微组分识别。

1 基于TR-VGG-16深度迁移网络模型的构建

1.1 Res2Net模块

为了提高VGG-16分类网络的特征提取能力，引入Res2Net模块，实现对跳跃连接层传输的下采样特征图信息的进一步特征提取。Res2Net模型如图1所示。

经过第一层卷积输出特征后，Res2Net网络根据通道数将特征平均分为S组，每组特征为Rφ，随后对除R1外的每组特征进行卷积操作，其计算公式如式(1)所示：

(1)

其中，Kφ()为对特征进行卷积操作。由图1可知，从第2组特征计算开始，每次Kφ()计算的输入都是由前一组Opφ残差连接本组特征Rφ组成。最后将得到的所有多尺度特征Opφ进行拼接，输入到下一层卷积层，最后得到Res2Net模块的输出。

1.2 深度可分离卷积

深度可分离卷积(Depthwise Separable Convolution)是MobileNet模型的核心组成部分，是一种因式分解卷积[12]。与传统卷积运算作用于图像所有通道不同，深度可分离卷积在进行卷积运算时，将普通卷积运算分解为Depthwise运算和Pointwise运算，运用不同的卷积核作用于图像不同的通道。深度可分离卷积步骤如图2所示。

(a) Depthwise运算 (b) Pointwise运算

首先，进行Depthwise运算，对输入特征的每个通道内的数据进行深度卷积运算；之后进行Pointwise运算。利用大小为1×1×M的卷积核进行逐点卷积运算，M为上一层特征通道数，对不同通道的输出加以组合。输出结果如式(2)、式(3)所示：

(2)

(3)

式中：H′和W′为输出图像的高和宽，H和W为输入图像的高和宽，Ph和Pw为输入的垂直与水平的填充，Sh和Sw为垂直与水平的步幅。

1.3 改进的VGG-16分类网络模型构建

传统VGG-16[13]分类网络模型由13个卷积层，5个最大池化层，3个全连接层和1个Softmax层组成。为了提高网络的特征提取能力，在网络中添加了Res2Net块。随着Res2Net块的加入，网络模型层数加深、参数增多。为减少参数量，提高运算效率，将VGG-16的所有卷积层调整为积核大小为3×3的深度可分离卷积层。改进的VGG-16网络模型如图3所示。

图3 改进的VGG-16分类网络结构

设：煤岩显微组分图像集合为X，对应标签集合为Y，由X和Y构成一个集合A={X,Y}。将A输入，实现特征提取。

Di表示进行深度可分离卷积运算，i为卷积层级。将数据从以D1输入，即从第1层开始卷积操作，依次在经过i层时进行如式(4)的卷积运算。

Di=δ(Di-1),i={1,2,..,10}

(4)

而后经过Res2Net_block进行深度可分离卷积运算。输出如式(5)所示：

(5)

改进的VGG-16分类网络结构通过卷积层和池化层的连接实现对图像特征的提取，保留分类器前的部分，将其作为TR-VGG-16网络特征提取网络结构，以实现图像特征提取和输出。

1.4 TR-VGG-16识别网络模型的构建

已知ImageNet数据集具有规模大、质量优和多样性高的特点，在此用其对预训练模型进行训练。本文对煤岩显微图像的3种组分进行分类识别，在分类器中设置2个全连接层，且第二层全连接层设为3个神经元。经过全连接层的计算过程如式(6)所示：

P=(I+1)×O

(6)

式中：I为输入的神经元，第一层I为改进的VGG-16特征提取网络输出的特征映射向量，O为偏差量。

由于网络的加深，会导致训练过程中，输入数据的分布发生偏移，使其模型收敛速度变慢。因此，在网络中加入批量归一化层(Batch Normalization，BN)，降低模型对参数初始化的依赖程度，提高初始学习率，进而提高网络训练的速度。小批量样本x的集合B={x1…l}，l∈{1,…,m}，m为小批量的尺寸。BN层的输出结果为yl，其计算公式如式(7)所示：

(7)

(8)

其中，xl表示第l个小批量的训练数据；τ为避免分母为0的因子(τ→0)；νl为批量样本的均值；σl为样本的方差。νl、 、σl分别依据式(9)和式(10)计算得到：

(9)

(10)

由于煤岩显微组分数据集数量有限，而过少的数据集在训练中会导致过拟合现象出现，即网络的损失函数较小，预测验证集的准确率偏高。为防止这一现象，在网络中引入Dropout层，其模型如图4所示。

Dropout层的主要功能，是在每个批次的模型训练中，随机让网络某些隐含层节点的权重不工作，减轻训练模型的复杂程度，防止训练过拟合。

由于本文任务是对煤岩显微组分图像数据集进行多分类，所以选用Softmax函数，求得所属类别的概率分布值Softmax(αβ)，其计算如式(11)所示：

(11)

其中，αβ为第β个类别的输出值，n为数据集总类别数。

综上所述，基于TR-VGG-16煤岩组分识别网络结构如图5所示。

图5 基于深度迁移学习的煤岩组分识别网络示意图

为了计算网络每次迭代的前向结果与真实值的差距，进而达到指导下一步的训练向正确方向进行的目的，引入了损失函数。本文选用交叉熵作为该网络的损失函数，定义如下：

(12)

式中：Pv(s)为第s个训练样本在v类下的真实值，Qv(s)为第s个训练样本在v类下类别输出值。

2 实验结果分析

2.1 实验数据

2.1.1 煤岩显微组分数据集

实验选用产自甘肃一带的新生代煤，用来制作煤岩显微组分数据集的煤样。其主要组分分为：镜质组、丝质组和壳质组。如图6所示。

(a) 镜质组 (b) 丝质组 (c) 壳质组

采用国际规定的煤岩显微组分制备方法(GB/T 16773-2013)制作粉煤光片[14]，用图像采集装置，采集偏反光显微镜下的煤岩组分图像。由于实验条件所限，本次实验数据集中仅包含3种煤岩组分，尺寸大小为2 264×2 264的RGB显微图像各15张。为了减少网络计算量，对得到的数据进行预处理，即将原RGB图像转换成灰度图像。

2.1.2 数据增强

较少的数据集进行网络模型训练时会导致模型的过拟合，但由于采集到的数据集具有数量少但图像尺寸较大的特点，所以本文对煤岩组分数据集进行数据增强处理。

(1)图像剪裁：将原有图像剪裁成256×256大小的图像，不足尺寸的则舍弃。将剪裁后的图像用于后续的数据增强。

(2)均衡化增强：使用直方图均衡化方法处理煤岩灰度图像，根据灰度图像的概率密度确定映射函数。概率密度公式如式(13)所示：

(13)

其中，λs为灰度的累积概率密度;mh为灰度级h出现的个数;M为总像素数;l为总数灰度级。

这一处理方式使图像的直方图均匀分布，提高了图像的对比度，使各组分特征的呈现更加明显，从而提高网络模型的识别能力。

(3)噪声添加：在图像上随机添加一些离散孤立的像素点，模拟在真实获取图像过程中可能会遇到的随机干扰情况。本文选择添加高斯噪声、泊松噪声和椒盐噪声的处理方法。

概率密度函数如式(14)～式(16)所示：

(14)

(15)

(16)

(4)图像缩放：将图像沿X轴和Y轴方向进行增缩。设缩放系数为Zx和Zy，缩放前图像像素点坐标为c(x,y)，缩放后像素点坐标为c′(x′,y′)。图像缩放的变换矩阵如下列矩阵所示：

(17)

综上所述，对均衡化增强均值、噪声方差、泊松系数、椒盐噪声比和缩放因子进行设定。其中，缩放因子为0.5～2之间随机缩放，均衡化增强为50，高斯噪声方差为0.01，泊松系数为1，椒盐噪声比为0.9。

筛选后将数据集扩充至1 500张，将其中1 200张图像作为实验的训练集，300张作为验证集。

2.2 实验环境

本文网络在GPU环境下运行，具体配置见表1。

表1 平台硬件与软件配置

对网络进行训练时的训练参数设置：初始学习率为0.001，Dropout概率为0.75，迭代次数为60次，选取Adam自适应学习率算法进行参数优化。

2.3 实验结果

2.3.1 识别准确率

训练完成后，用测试集对模型进行识别性能的评估。本文选用识别准确率(Accuracy，A)对网络模型识别能力进行评价。定义公式如下：

(18)

其中，Gr为正确识别的个数，G为测试集总样本的个数。

为了证明TR-VGG-16模型的有效性，将其分别与不同网络模型的准确率进行对比，对比结果见表2。

表2 不同模型对测试样本识别准确率对比

由表2知，文献[10]所提网络模型的识别准确率仅有81.33%，文献[11]的识别准确率虽高于文献[10]，但也仅为89.33%以上，而本文提出TR-VGG-16网络的识别准确率显著高于前两种网络，其识别准确率可以达到96.33%。

2.3.2 混淆矩阵分析

为了细化体现各组分的识别准确度，选用混淆矩阵对模型识别结果进行对比，如图7所示。

图7 3种网络模型的混淆矩阵

如图7(a)所示，行为实际类别，列为识别结果。从文献[10]方法的混淆矩阵可以看出：其中13个镜质组被识别成壳质组，21个镜质组被识别成壳质组，同时也有少量的其它组分间出现误判情况。由图7(b)可知，文献[11]也存在着多个镜质组与壳质组样本间相互误判的情况。由图7(c)可知，TR-VGG-16对镜质组的识别全部正确，仅存在少量丝质组和壳质组组分间的误判。因此表明，本文提出的TR-VGG-16网络模型具有优异的煤岩显微组分识别能力。

2.3.3 收敛速度

对将文献[10]、文献[11]的网络模型与本文方法的收敛性进行可视化对比分析，分析结果如图8所示。由图中可见，TR-VGG-16网络模型在第10个周期时几近收敛，且其识别准确率达到90%以上，并逐渐稳定；而文献[10]、文献[11]的网络模型较本文网络模型相比，同周期准确率较低且收敛性较差。由此可见，在同等条件下，本文提出的网络模型的收敛性和稳定性明显高于其它两种网络模型。

图8 3种模型收敛性对比

2.3.4 消融实验

由于TR-VGG-16网络是在VGG-16网络基础上，结合迁移学习提出的改进，其中不仅将VGG-16中传统卷积层替换成深度可分离卷积，还结合了Res2Net模块。为了探究这些模块的加入对网络功能的影响，本文进行了消融实验。

实验设定：A1为传统VGG-16网络模型；A2为在A1基础上进行迁移学习的VGG-16网络模型；A3为将A2预训练模型VGG-16中的传统卷积层替换成深度可分离卷积层的网络模型；A4为以A3为基础在预训练模型中加入1个Res2Net模块的网络模型，即本文的TR-VGG-16模型；A5为在A4中多加1个Res2Net模块的网络模型；A6为以A5为基础再多添加1个Res2Net模块的网络模型。 不同模型准确率和参数减少量对比结果见表3。

表3 不同模型准确率和参数减少量对比

由表3可知，将A1与A2、A3网络准确率进行对比，引入迁移学习的A2、A3网络的识别准确率分别为89.33%和90%，均高于A1的70%；由A3与A1、A2的参数量对比可得，随着迁移学习和深度可分离卷积的引入，网络参数量由原来的138.95 M分别减少至38.72 M和12.65 M。由此可知，迁移学习和深度可分离卷积的使用，不仅可以提高网络识别准确率，相较于传统VGG-16网络还能明显减少网络结构的参数量。

为进一步证明Res2Net模块的加入对网络识别准确率的影响，对加入不同数量的Res2Net块的网络进行准确率验证。由表3的A3、A4、A5、A6模型可以看出，加入1个Res2Net模块时，其网络的识别准确率最高，达到96.33%。而随着加入的Res2Net模块增多，其识别率反而大幅度下降。究其原因，由于Res2Net模块的不断叠加，使网络模型深度加深，网络参数量剧增，训练过程出现过拟合现象，最终导致网络识别准确率退减。

3 结束语

本文基于改进的VGG-16分类网络提出一种煤岩显微组分图像识别网络模型TR-VGG-16。旨在通过该模型提升对小样本煤岩显微图像组分识别的准确度。在实验中，引入迁移学习，解决小样本数据集训练问题。通过用深度可分离卷积代替传统卷积，用以减少网络参数量。并且将加入Res2Net模块的数量对模型识别准确率的影响进行验证分析。实验表明，本文方法可以在训练集数量较小的情况下对组分进行准确识别，同时还具有良好的训练稳定性。本文方法识别准确率为96.33%，其收敛速度较快，且具有稳定的识别准确率。尽管本文网络模型有较好的识别效果，但因部分不同组分样本进行细化分类时，存在类别纹理特征相似情况，网络缺乏对这类组分细化辨识的能力，这种情况对网络识别准确率存在一定影响，后续研究可针对这一情况展开。