基于AlexNet-SN网络的煤与煤矸石分类方法

郑 爽，梁云浩，武俊峰，乔 壮，刘付刚

(黑龙江科技大学，黑龙江 哈尔滨 150022)

0 引 言

煤矸石作为煤炭生产过程中产生的副产物，在煤炭形成过程中与煤一同产生，但含碳量较低，混合在原煤中燃烧会降低原煤的燃烧效率，加剧大气污染。一直以来，分选煤矸石是煤炭生产加工过程中的重要环节，传统的人工选矸方式存在工人劳动强度大、不易管理、生产环境差、易发生安全事故等问题。随着科学技术的发展，挖掘和利用煤矸石的内在属性，利用数字信号处理的方式进行煤矸石分拣已成为众多学者的研究热点。其中，来文豪等[1]提出了一种基于多光谱成像技术和目标检测的煤矸石智能分离方法，该方法不仅能够识别出煤和煤矸石，还能获取两者的相对位置和相对大小，对煤矸石的识别和分离具有重要的指导意义；曹珍贯等[2]提出一种基于热成像技术和深度学习算法的煤矸石图像识别方法，利用热成像技术进行煤矸石图像采集，采用卷积神经网络构建煤矸石图像识别模型，并与两个可见光煤矸石图像进行对比实验研究，实验结果表明利用热成像技术能显著提升煤和矸石图像的差异性，具有良好的识别效果；陈雪梅等[3]根据煤和煤矸石表面粗糙度的不同，利用差分二维法来计算表面纹理不同的煤与煤矸石图像的粗糙度，达到识别煤矸石的效果。以上的煤矸石分选方法大都是基于人工设计的灰度、密度、纹理等特征数据，存在提取特征过程复杂、识别精度低等问题。随着计算机科学和人工智能技术的进步，利用卷积神经网络(convolutional neural network，CNN)自动提取特征的图像分类技术[4-7]，该技术已用于人脸识别、医疗图像处理、遥感图像分类、垃圾分类等领域，有望解决传统煤矸石分拣技术中的弊端。本文基于深度学习技术对煤与煤矸石分类方法进行研究，改进了AlexNet分类网络，并通过风格迁移数据增强的方法对煤与煤矸石数据集进行处理，提高煤与煤矸石分类的准确率。

1 AlexNet-SN网络的提出

AlexNet网络是一种经典的卷积神经网络，由ALEX最先提出[8]。AlexNet网络由5个卷积层、6个池化层和3个全连接层组成，第三个全连接层的输出连接到一个1 000路的Softmax层，进行1 000个类别的预测输出。 为了提高模型的准确率，AlexNet网络给出了局部归一化LRN层进行神经激活的放大或抑制[9]，使用LRN层和Dropout来减小网络的过拟合[10-11]，针对不同训练任务LRN层的位置会存在很大的差异，因此在图像分类任务中使用LRN层反而增加了网络调优的困难，使图像分类任务变得更加繁琐。

由于BN层具有提高网络泛化性能的特点，可以代替LRN层和Dropout的作用。随着卷积神经网络越来越深入，在数据训练过程中非线性激活的数据分布会变得越来越发散，导致在进行梯度更新时产生梯度消失，这时训练就会收敛的很慢甚至停止。BN层的主要作用就是解决训练过程中梯度数据分布变化可能引起的梯度消失问题[12-13]，进而提高网络的训练速度。

BN层使用批量归一标准化的方法来平均神经网络每一层神经元的输入值，使其重新分布到均值为0，方差为1的正态分布，使越来越失真的分布返回到更标准的分布，使这些训练的数据重新回落到非线性激活函数的有效区域进行梯度更新，从而避免了梯度消失的问题。当进行反向传播时，经过该层的梯度乘以对应层的参数，即当前向传播，表达式见式(1)。

(1)

反向传播时表达式见式(2)。

(2)

考虑从l层传到k层的情况，可以得出式(3)。

(3)

式中，ωi的累乘就是问题所在，当ωi小于1时就会发生梯度弥散，当ωi大于1时就会产生梯度爆炸问题。BN层的作用减小了ωi影响，因此BN层可以消除梯度消失和爆炸问题。

AlexNet网络在前几个卷积层中使用较大的卷积核进行特征提取，从网络训练参数的角度分析，使用较大的卷积核会增加网络的参数量，减缓训练的速度。而使用数量多且较小的卷积核更容易增大感受野，同时减少了网络模型的参数，加快网络的训练速度，本文选用3×3的卷积核代替原网络前几层中较大的卷积核，利用BN层代替LRN层和Dropout，并将改进后的网络命名为AlexNet-SN，主要测算依据式(4)～式(7)。

2×3×3×C2/5×5×C2=72%

(4)

(28-5)/1+1=24

(5)

(28-3)/1+1=26

(6)

(26-3)/1+1=24

(7)

假设计算满足式(4)，即两层大小为3×3的卷积核的参数量，相较于大小为5×5的卷积核参数量减少了28%；从感受野角度分析[14-15]，设特征图的大小为28×28，卷积步长为1，使用一层5×5的卷积核，由式(5)可得，其输出特征图的感受野为24×24。

当使用两层3×3的卷积核，第一层由式(6)可得，输出特征图的大小为26×26，继续经过第二层3×3的卷积核，由式(7)可得，输出特征图的大小为24×24，即感受野大小为24×24。

由上述结果可知，两层大小为3的卷积核与一层大小为5的卷积核所带来的感受野是一样的。因此，使用数量多且较小的卷积核更容易增大感受野，同时减少了网络模型的参数，加快了网络的训练速度。 本文改进后的AlexNet-SN网络结构如图1所示。

图1 AlexNet-SN网络结构图Fig.1 Structure diagram of AlexNet-SN

2 利用风格迁移增强数据集

为了提高数据多样性，避免样本不均衡，进一步提高分类的准确率，本文利用风格迁移的方法对数据集进行扩充，通过数据增强手段增加数据数量，降低样本不均衡比例。

2.1 风格迁移网络

风格迁移网络是指在不改变图像的高层语义内容特征的基础上，快速将图像A的风格艺术应用到图像B上，生成一幅具有图像A风格和图像B内容的图像C。这样就可以得到具有相同内容但风格不同的图像，对于理解图像和图片表示的研究具有很重要的意义。图2为图像快速风格迁移网络。由图2可知，快速风格迁移网络由两部分组成：图像转换网络fw和损失网络Φ。图像转换网络的主体是深度残差网络[12]，通过迭代训练去更新权重参数W；损失网络采用VGG-19网络[16]，对于损失网络分别定义特征(内容)损失lfeat和风格损失lstyle来衡量内容和风格上的差距。

图2 图像快速风格迁移网络Fig.2 Image fast style migration network

2.2 图像转换网络

本文采用的图像转换网络由4个用于卷积特征计算的卷积层、5个增加网络深度的残差层和2个用于细节还原的反卷积层组合而成[17]。卷积层和反卷积层分别采用短步长进行下采样和上采样。除了输出层外每个卷积层和反卷积层之外，是Relu激活层。 经过两次非线性变换后，输入数据及其初始值通过残差层相加，然后将相加后的值再输入到Relu激活层[18]。图像转换网络的整体结构如图3所示。

图3 图像转换网络结构图Fig.3 Structure diagram of image conversion network

(8)

2.3 损失网络

本文利用内容损失函数和风格损失函数两个感知损失函数来衡量两张图片之间内容和风格的差别。每一张输入的图像x都有一个内容目标yc和一个风格目标ys，图像风格迁移就是把风格ys结合到内容x=yc上。这里损失网络虽然也是卷积神经网络，但是参数不做更新，只用来做内容损失和风格损失的计算。为了确保这个损失网络在内容和风格上具备优良的提取能力，本文采用了VGG-19网络模型，网络结构如图4所示。

图4 VGG-19网络结构Fig.4 VGG-19 network structure

1) 内容损失函数。本文定义的内容损失函数见式(8)。

式中：φj(y)为网络φ的第j层；y为输入；Cj×Hj×Wj为特征图谱的形状。该函数惩罚了生成图像与目标图像的内容偏差，要求生成图像在内容细节上与输入的目标图像极其相似。该损失函数的值越小，表示处理前后的图在内容上越相似，反之越大。

2) 风格损失函数。内容损失惩罚了生成图像与目标图像的内容偏差，所以也希望风格损失去惩罚风格上的偏离，如颜色、纹理、共同模式等方面。为达到此效果，本文提出了风格重建的损失函数，见式(9)。

(9)

式中：φj(x)为网络φ的第j层；x为输入；Cj×Hj×Wj为特征图谱的形状。

2.4 风格图像与模型的选择

本文从不同绘画风格的图像中选取6种风格图像(抽象、漫画、印象、星空、素描、海浪)，然后利用这6种不同的风格图像训练得到6个快速风格迁移模型，6种风格图像如图5所示。

图5 不同风格图像Fig.5 Different style images

利用6个风格迁移模型在目标图像上进行风格迁移，得到的迁移效果图如图6所示。

图6 图像风格迁移效果Fig.6 Image style transfer effect

本文利用经典的Grad-CAM算法[20-21]对给定图像进行热力激活，并通过热力激活强度，得到给定图像相对其所在类别的置信度，这个置信度通过给定图像被激活的热力面积来表示，热力激活的表示分布在0～1之间，得到的结果越靠近1，表示给定图像对其所在类别的置信度越高，反之越低。通过Grad-CAM算法，对6种快速风格迁移模型迁移后的数据进行热力激活，得到不同风格热力激活统计表，见表1。

表1 不同风格热力激活统计表Table 1 Statistics of thermal activation of different styles

由表1可知，煤与煤矸石数据利用星空风格和海浪风格进行风格迁移后，热力激活值最高，数值分别为0.93和0.94。因此，得出星空和海浪快速风格迁移模型，最适合对煤与煤矸石二分类数据进行数据增强。

3 实验分析

本文首先将AlexNet网络与改进后的AlexNet网络进行实验验证分析。将采集的1 600张大颗粒煤与煤矸石图像数据集，按照煤与煤矸石各800张，大小在100～150 mm之间，分别输入到原始AlexNet网络和改进的AlexNet-SN网络进行二分类训练，其中训练集的数据700张，验证集的数据100张。 训练参数的设置具体为：batch_size设置为32，训练轮数为100个epoch，steps_per_epoch为100，学习率为0.000 1，使用RMSprop优化器，binary_crossentropy为损失函数。最终验证集中的正确率(acc)变化如图7所示，损失值(loss)变化如图8所示。

图7 煤与煤矸石验证集正确率Fig.7 Accuracy rate of coal and coal gangue verification set

图8 煤与煤矸石验证集损失值Fig.8 Coal and coal gangue verification set loss value

由图7和图8可知，改进的网络相较于原网络在准确率上有一定提升，同时，改进后的AlexNet-SN网络的训练损失值相较原网络更低，因此改进后的网络性能相较原网络有一定的提升。

为了体现风格迁移数据增强的优势，对煤与煤矸石分类数据集中的训练集图像随机利用旋转、裁剪、加噪等数据增强方式，进行一倍数量的增强扩充得到一个新的数据集；利用快速风格迁移模型，对数据集中的训练集数据也进行一倍数量的增强扩充，得到一个扩充后的数据集，将扩充后的数据集在AlexNet-SN网络模型中进行试验。

利用AlexNet-SN网络，分别对数据增强后的煤与煤矸石二分类数据集进行训练，训练过程中，使用RMSprop优化器，binary_crossentropy损失函数，batch_size设置为32，训练100个epoch，steps_per_epoch为100，学习率设置为0.000 1。两个数据集经该分类网络训练后，验证集上的正确率(acc)变化如图9所示，损失值(loss)变化如图10所示。

图9 煤与煤矸石验证集正确率Fig.9 Accuracy rate of coal and coal gangue verification set

图10 煤与煤矸石验证集损失值Fig.10 Coal and coal gangue verification set loss value

由图9和图10可知，快速风格迁移增强的数据集，相较于传统方法增强的数据集，从训练开始的阶段到训练结束的阶段，在分类训练的准确率和损失值上都有明显的改善。本文对训练结束后得到的数据进行记录，见表2。由表2可知，相比于传统增强方法，利用快速风格迁移增强的方法，在准确率上提高了约1.8%，在损失值上降低了约2.0%。

表2 AlexNet-SN训练结果表Table 2 Results of AlexNet-SN training

4 结 论

1) 对AlexNet网络进行了改进，选用3×3的卷积核代替原网络前几层中较大的卷积核，利用BN层代替LRN层和Dropout，减少了网络模型的参数,加快了网络的训练速度，并在煤与煤矸石分类准确率方面有了一定的提升。

2) 提出了一种风格迁移的数据增强方式，并将该数据增强方法与改进的AlexNet-SN分类网络相结合，与传统的旋转、裁剪、加噪等数据增强相比，该方法的准确率提高了1.8%，损失率下降了约2.0%，该方法为煤与煤矸石的智能分选提供了新思路。