煤矸图像识别网络的小波变换优化

2023-11-21师亚文李务晋吕子奇

煤炭工程 2023年11期

师亚文，李务晋，吕子奇

(1.国能神东煤炭集团洗选中心，陕西榆林 719315；2.中国矿业大学(北京)化学与环境工程学院，北京 100083)

煤矸分离是提高煤质的主要途径。在选煤环节中，国内外普遍采用湿法分选，包括重介、浅槽、浮选、跳汰，但传统分选工艺普遍用水量大[1]，而中国煤炭资源大多分布在缺水地区。相应的干法分选技术，包括风选，空气流化床，但也存在同比单位生产成本较高等一些局限性[2]。现有的针对块状煤与矸石分选较为先进的X射线透射法，由于设备复杂且有辐射危害，需要将射线源安置于铅房中，在应用上也受到了限制[3，4]。基于煤与矸石物理特征的差异进行煤矸识别也是新兴的方法之一，通过激光三维扫描技术测量煤与矸石的体积，利用称重装置对煤与矸石进行动态称重，从而计算出煤与矸石的密度值，实现煤与矸石的识别[5-7]。

基于图像处理技术的煤矸石干法分选研究，近年来开始逐渐扩展深入。利用煤与矸石图像的空间域信息如灰度和纹理特征信息，在特定环境下可以进行有效的煤矸识别，但容易受到环境因素如光照条件的影响，且直接根据所得特征值信息设置阈值进行分类识别的方法，识别稳定性有待提高。文献[8]中，利用灰度均值、方差表征煤与矸石图像的颜色特征，利用灰度共生矩阵相关参数表征煤与矸石图像的纹理特征，并引入支持向量机(Support Vector Machine，SVM)进行分类，虽然识别准确率较高，但训练样本集过小，不具有代表性。文献[9]提出了基于间隔灰度压缩的扩阶共生矩阵并用于表征煤与矸石表面纹理差异；文献[10]利用分形维数表征煤与矸石表面粗糙度。但上述人工提取的特征值必须在同一光照条件下，才能达到区分效果。

所以，利用图像处理技术人工设计和提取特征值，结合SVM等经典机器学习算法，解决煤与矸石分选等传统矿物加工领域问题的模式，虽然有一定的效果，但其难点一是寻找合理有效的特征值来表征实际问题，难点二是保证模型在不同环境条件下的效果。卷积神经网络(Convolutional Neural Network，CNN)作为一种深度前馈人工神经网络，相较于其他经典机器学习算法用于图像识别的模式，其最大特点为网络训练采用端到端(end to end)的训练方式，即可以直接以图像本身作为输入，通过深度网络自动分层提取图像特征，实现图像的分类与识别工作[11-13]。所以，利用CNN作为核心算法来进行煤与矸石的图像识别，可以很好解决手动寻找图像特征难和识别效果不稳定的问题。

然而手动寻找的特征具有更强的可解释性，在计算机视觉应用的众多领域也陆续出现将传统算法与深度学习算法相结合的研究[14-20]。本研究利用卷积神经网络建立煤与矸石的图像识别模型，并在模型中设置小波变换层，利用小波变换对原图像进行变换域处理，从而提升模型训练与识别效果。

1 基于小波变换优化的卷积神经网络结构设计

1.1 卷积神经网络设计

结合煤与矸石图片对比度低，表面纹理特征不明显等特点，选择层数更深的网络结构有利于提取到图片更显著的特征。但随着层数加深，由于梯度消散现象的加重，网络表现会随之变差，同时计算量会大幅增加。通过大量试验与反复调试，在满足有效提取煤矸图像特征、减少计算量、保证识别准确率的要求下，卷积神经网络具体结构设计如图1所示。

图1 基于卷积神经网络的煤与矸石识别模型结构

首先将煤与矸石原始图像给入输入层，归一化处理为100×100的RGB彩色图像，然后输入到第一层卷积层。

卷积层作为卷积神经网络的核心部分，通过卷积核(kernel)进行卷积运算，完成特征提取，然后利用激活函数构建特征映射关系[13]。一层卷积层内包含多个不同的卷积核，每个卷积核均采用滑动窗口的方式遍历输入图片，最终得到多通道特征图，运算过程如图2所示。在这里，第一层卷积层的设置为：卷积核尺度为5×5，深度为3，个数为32，使用全0填充，卷积步长为1，激活函数选择ReLU函数。经过卷积运算与激活函数激活后，输入到第一层池化层。

图2 卷积核提取多通道特征过程

池化层用于在保证信息有效性的基础上，通过减少数据量以提升网络的训练速度[13]。常用的池化方法包括最大值池化(max pooling)和平均池化(average pooling)，其运算过程如图3所示。

图3 典型池化过程计算

本网络中，池化层采用最大值池化，池化窗口为2×2，步长为2。经过池化操作后，得到第一层特征，维度为50×50×32。后续池化层的池化窗口与步长设置与第一层池化层相同。

第二层卷积层，卷积核为5×5，深度为32，个数为64，使用全0填充，卷积步长为1，激活函数选择ReLU函数。将第一层特征作为输入，经过卷积，激活与池化后，得到第二层特征，维度为25×25×64。第三层卷积层的卷积核为3×3，深度为64，个数为128，使用全0填充，卷积步长为1；第四层卷积层的卷积核为3×3，深度为128，个数为128，使用全0填充，卷积步长为1。具体过程与前两层相同。

全连接层结构和一般神经网络的隐藏层相同，即每一层的神经元节点都与前一层的神经元节点相连接，主要用于完成对卷积和池化过程后输出特征的压缩与分类。但由于全连接层最后输出的分类结果并非概率分布，所以需要进行Softmax回归处理，以便网络训练时损失函数的运算。设原网络全连接层输出为y1，y2，…，yn，则处理后的输出为：

将经过四层卷积、激活与池化后所得到的维度为6×6×128的特征展开为包含4608个元素的一维数组，并作为全连接层的输入，通过三层全连接层与Softmax层的分类处理，最终得到输入图像的分类结果。

1.2 CNN特征可视化处理

卷积神经网络的特征提取过程主要是通过卷积计算实现的，但网络中每一层所提取到的特征由于维度问题无法可视化。为进一步理解网络结构，通过反卷积、反激活与反池化过程，将每一层特征进行可视化处理[14]，得出的每一层特征图像如图4所示。从可视化情况可以看出，卷积神经网络在对煤和矸石的输入图像进行运算处理时，第一层卷积池化层提取差异性较大的纹理特征以及表面颜色等特征。由于煤的显微组分中含有大量的镜质组成分，镜质组成分反光导致煤表面亮度变化剧烈，与矸石表面的颜色变化与光泽度产生可识别的差异。随着网络层数的加深，表面特征部位的激活度进一步提高，其余部位的激活度进一步降低，在第四层卷积池化后，煤与矸石特征图像已被表征在不同通道，所以在可视化处理后，煤与矸石的第四层反卷积特征图像出现了明显的颜色差异。

图4 卷积神经网络可视化处理后四层特征图像

1.3 小波变换

小波变换是一种基于小波基函数对信号的变换，其特点是在时域和频域都具有表征信号局部特征的能力，且可以针对不同分辨率进行分析。在进行图像纹理特征提取时，由于针对不同的图像，其纹理可能存在于不同尺度范围中，因而小波变换成为了多尺度纹理特征提取与分析的有效工具[15，16]。

由于图像是二维信号，所以在利用小波变换进行图像处理时，需要将其由一维扩展到二维。这里只需考虑尺度函数可分离的情况，即对于二维尺度函数φ(x，y)有：

φ(x，y)=φ(x)φ(y)

(2)

式中，φ(x)和φ(y)是一维尺度函数，对应的小波函数为ψ(x)和ψ(y)。令ψ1(x，y)=φ(x)ψ(y)；ψ2(x，y)=ψ(x)φ(y)；ψ3(x，y)=ψ(x)ψ(y)为三个二维小波基，共同构成二维平方可积函数空间L2(R2)的规范正交基：

式中，j≥0；l=1，2，3；j，l，m，n∈Z，则对于图像f(x，y)，经过小波分解后，得到一个低频分量，与水平、垂直、对角线三个方向的高频分量，即：

式中，m，n分别为行、列坐标。

通过反卷积的可视化结果可以发现，该模型中卷积网络对表面纹理及光泽复杂的部位激活度高，对平坦的、灰度变化低的部位激活度低。由于卷积神经网络中的池化操作属于下采样操作，随着不断加深的池化过程，图像信息会有所压缩和丢失。在该模型对煤与矸石图像的处理过程中，这种损失主要体现在表面光泽与纹理特征方面。将原始RGB图像与小波高频系数结合后一同输入卷积神经网络，可以补充并强化原始图像的纹理及光泽特征变化，以达到对卷积神经网络的优化作用。组合过程如图5所示。

图5 小波变换层结构

Biorthogonal双正交小波具有更强的线性相位性，其特点是采用一种函数进行分解，采用另一种函数进行重构，从而解决其他小波使用同一滤波器进行分解与重构时对称性和重构的精确性之间的矛盾，同时综合考虑输入图片的分辨率情况与程序整体运算时间，所以在这里利用Biorthogonal小波对煤与矸石图像进行二尺度二维离散小波变换分解。煤与矸石图像二尺度小波分解高频分量如图6所示。由图6可以看出，小波变换层能够有效提取出煤与矸石的表面纹理特征，且第二层高频分量对纹理的刻画更为明显。

图6 煤与矸石图像二尺度小波分解高频分量

2 实验设置

2.1 训练样本集

由陕西省神木县神东煤炭集团大柳塔选煤厂拍摄到的现场煤矸图片共2064幅，其中煤现场图片共964幅，矸石现场图片共1100幅，总计2064幅煤与矸石图片组成训练样本集。

2.2 卷积神经网络模型设置

建立四种含有不同小波变换层的卷积神经网络模型，以探究卷积神经网络对煤与矸石图像的分类效果以及小波变换对卷积神经网络的优化作用。四种网络的设置差异见表1。

表1 小波变换层设置情况

2.3 网络训练与验证测试

为验证网络模型对训练样本集的训练收敛情况，将训练样本集分别输入到4类卷积神经网络，每类网络迭代训练30次，进行10次重复试验后，取每次训练后训练损失值与训练准确率的平均值进行分析，以减轻网络的随机误差产生的影响。

为验证网络模型对现场条件下拍摄图片的识别泛化能力，防止过拟合情况，将2064幅训练样本随机分为10组，轮流将其中9组作为训练样本集，其余1组作为测试样本集，进行10折交叉验证试验，同样每类网络迭代训练30次，并进行10次重复试验后，取平均值进行分析。

为验证网络模型对不同拍摄条件下(主要指光照度)的泛化能力与自身鲁棒性，在密闭遮光箱体中，利用可调光源调节箱体中照度大小，重新拍摄五组照度下的煤与矸石图片各100张，作为测试样本集，其中每组照度下的煤与矸石各50幅。

为对比卷积神经网络识别模型与传统识别模型的识别效果，利用图像处理技术与小波变换的方法，提取灰度图像均值、图像灰度共生矩阵对比度值、小波分解后高频系数方差均值组成煤与矸石图像特征向量，基于SVM算法并利用特征向量建立识别模型e[17]。将测试样本集分别输入已训练完成的四类卷积神经网络识别模型与一类SVM识别模型，对比识别情况。

3 煤矸识别效果

3.1 网络训练准确率与损失值

在利用训练样本集训练网络时，四种模型的训练准确率和训练损失值如图7所示。由图7(a)可知，在不设置小波变换层时，利用卷积神经网络直接对煤与矸石图像样本集进行训练，已可以达到一定效果，经过30次迭代后，训练识别准确率已基本稳定在95%左右，但训练效率较低，需要进行12次迭代后网络识别准确率才能稳定在90%以上。在设置小波变换层后，识别准确率与训练效率均有所提升，其中c类模型效果最好，在训练迭代5次以后，识别准确率即可达到90%以上；在训练迭代20次以后，识别准确率稳定在98%以上。由图7(b)可知，a模型训练迭代30次后训练损失值收敛至1～2，b、d两模型在训练迭代23次后，可将训练损失值降至1以下，而模型c仅需迭代17次。

图7 卷积神经网络训练情况

训练结果表明，在利用卷积神经网络解决煤与矸石图像识别问题时，设置小波变换层可以一定程度上提升训练准确率，同时有效提升网络的训练效率，且仅利用小波变换第二层高频信息与RGB图像结合输入卷积层时，网络模型效果最优。

3.2 交叉验证准确率与损失值

在对网络进行10折交叉验证实验时，四种模型的交叉验证准确率与交叉验证损失值如图8所示。

图8 卷积神经网络交叉验证情况

由图8(a)可知，模型a对交叉验证中的测试样本泛化能力有限，识别准确率稳定在74%～76%，而添加了小波变换层的模型，在识别准确率上均有提升，其中模型b的识别准确率最终能达到82%，模型c效果最佳，识别准确率达到85%以上。模型d识别准确率也较高，但稳定性不足，在训练迭代至第5次与第10次以及第15次与第25次部分，可以明显看出模型d的识别准确率曲线趋势与模型b的相同，说明第一层小波分解出的高频信息对训练的优化效果并不稳定，这是由于第一层高频信息，除了包含图像纹理特征外，还容易提取出大量图像的噪声信号，这对网络的识别工作造成了干扰，而第二层高频信息噪声信号含量较少，所以能表现出更好的优化效果。

与训练损失值不同，交叉验证损失值反映了网络训练的完成程度，网络训练完成度越高，说明分类样本之间距离越大，损失值就越高。由图8(b)可知，在训练迭代16次后，四种模型已体现出了较为明显的差异，将交叉验证损失值为20作为评价标准时，模型c在迭代训练16次后模型对交叉验证的损失值就已达到20以上，且后续损失值仍在上升，说明模型对分类样本区分较快，完成度较好。模型a需要迭代27次，才能将损失值稳定在20以上，说明对交叉验证的区分速度较慢，且在17次迭代后其交叉验证损失值明显低于模型c的交叉验证损失值，说明模型a的完成度低于模型c。模型d与模型b在交叉验证集的损失值方面表现相似，优于模型a但整体效果比模型c差。

3.3 对测试样本集的泛化能力

五类模型在不同照度条件下对测试样本集的识别情况如图9所示。

图9 不同照度下各模型对测试集的识别准确率

由于采集训练样本图像时，现场条件为自然光照下的室内，照度近似为500 Lux，所以五类模型在600 Lux条件下均表现良好。基于SVM算法并利用特征向量建立的识别模型e，在照度发生变化时，模型表现波动较大，说明模型对于外界光源照度的变化较为敏感，鲁棒性较差。相比于模型e，其余四个模型对光照的鲁棒性较好，说明利用卷积神经网络自动提取图像特征并进行分类的方法，能在一定程度上提升模型鲁棒性，减轻环境因素造成的干扰，对不同的光照度有一定适应能力。

对比模型a，模型b、c、d对测试样本集的识别准确率均有明显提升，说明在利用卷积神经网络进行煤与矸石识别任务时，小波变换能起到良好的优化作用，其中模型c效果最佳。对比300Lux照度与其他照度下各模型表现情况可以发现，在较暗的光照条件下，不利用小波变换处理的模型a受影响较小，是由于相机感光元件较小，导致在光照不足时，图像产生了较多噪点，对于小波变换提取高频特征信息造成很大影响，该问题需要在后续工作中进一步解决。