基于图像处理与卷积神经网络的煤矸识别方法

武国平, 梁兴国, 胡金良, 张秀峰

(1.国家能源集团神华准格尔能源有限责任公司， 内蒙古 鄂尔多斯 010300;2.天津美腾科技有限公司， 天津 300385)

0 引言

卷积神经网络(Convolutional Neural Networks, CNN)是机器学习中的重要分支，前馈神经网络(Feedforward Neural Networks)涵盖了卷积计算，而且具备了深度结构，是深度学习(Deep Learning，DL)的代表算法之一。卷积神经网络在分类识别以及预测算法中，具有结构简单、训练高效、分类精度高的特点，是近年广泛应用于计算机视觉(Computer Vision，CV)领域中图像检测、物体识别、姿态估计等，自然语言处理(NLP)，以及自然科学场域中物理学、气象学、地质学等的经典神经网络[1-6]。

基于图像的煤矸识别方法，是实现干法选煤的重要基础。基于卷积神经网络的煤矸识别算法，经过实验、分析、验证，是可以实现高精度的煤矸识别的可靠性算法，是具备实际应用价值的。

1 研究框架

本研究采用卷积神经网络模型，以内蒙古准能集团哈尔乌素项目厂煤矸图像为研究样本，通过图像处理后，运用卷积神经网络模型ResNet18，将图像数据在网络模型中进行训练，并通过该模型将图像内的各种深层特征信息提取出来，从而达成煤矸分类以及识别的功能。总体研究框架的诸多流程如图1所示。

图1 基于图像的煤矸识别与分类研究框架流程

本研究针对煤矸进行的自动分类与识别应用监督学习的相关策略。首先，相关人员逐一标注工业相机采集的煤矸样本数据，从中取出一些标注图像数据当作训练集，另外一些标注图像数据被当作测试集。训练过程中每迭代一次，则将此次迭代训练过程中用到的图像样本当作验证集。最后，自动识别测试集中诸多类型的煤矸，并进行自动分类。

2 样本采集与标注

准能的原煤以含低/高灰，低/高热值的动力煤为主，需实现三分类识别，分别为精煤、中煤、矸石。通过工业相机采集的样本，如图2所示。

图2(a)为准能集团的精煤样本，精煤颜色为黑色，其中部分镜质组在灯光下会呈现镜面反光特征，使得整体呈现黑亮，同时硬度较小导致形状轮廓较为圆润；图2(b)为中煤样本，中煤为精煤与矸石的混合物，颜色偏灰，总体特征介于精煤和矸石之间；图2(c)为矸石样本，矸石根据成分不同呈现不同的颜色特征，此处为白色，同时由于硬度偏大，棱角较为分明。

(a) 精煤样本

(c) 矸石样本

通过现场样本采集，共采集80 000张煤矸图像，后经过人工分选(经验与化验结合)，对80 000张煤矸图像进行人工标注，以指导监督式学习。

3 图像处理

图像处理是煤矸识别过程中一个非常重要的环节。由于采集的环境不同，如光线均匀度不够、亮度变化、分辨率、采集设备自身变化等引起的煤矸图像采集存在亮度不一致、对比度不够、像素不足、图像噪声等问题存在。为了确保神经网络学习与推理的图像具有一致性，需对采集的图像进行处理，避免环境不同导致的识别分类精度下降。该研究采用直方图均衡、中值滤波、归一化进行图像处理，使得输入给神经网络模型的图像质量相一致，增加分类以及识别精度。

3.1 直方图均衡

直方图属于点操作，它逐点变更图像的相应灰度值，尽可能让不同灰度级别均呈现出数量相同的像素点，让直方图逐步达到平衡态势。直方图均衡能够让输入图像转换为在各个灰度级上均有像素点数相同的输出图像(也就是说输出了平的直方图)。直方图均衡用于提升全局对比度，这种方法对于背景和前景都太亮或者太暗的图像非常有用,如图3、图4所示。

图3 直方图均衡处理前

图4 直方图均衡处理后

3.2 中值滤波

中值滤波处理信号时采取了非线性的方法，所以中值滤波器具有非线性的特征。从一定程度上来讲，中值滤波能够消除线性滤波导致的图像细节模糊问题，很有效地滤除图像扫描噪声以及脉冲干扰。中值滤波的进行，既能够除掉孤点噪声，又能够使图像保持自身的边缘特性，图像不会出现显而易见的模糊，更适宜于本科研的煤矸识别,如图5、图6所示。

图5 中值滤波处理前

图6 中值滤波处理后

3.3 归一化

图像的归一化，归一化就是将原始数据归一到相同尺寸，目的是使不同成像条件(拍摄距离)下获取的煤矸图像尺寸具有一致性。根据不同的现场应用中需要识别的煤矸粒度大小，以及采用全卷积的ResNet18网络结构，将图像尺寸归一至224pixels×224pixels，以适应现场应用与网络模型，如图7、图8所示。

图7 归一化处理处理前

图8 归一化处理处理后

使用上述图像处理方式，可以将图像进行有效的质量提升，对模型识别分类精度有大幅提升。

4 神经网络训练与调参

Residual Block是ResNet18的基本结构，每组Block通过ShortCut将其输入和输出进行Element-Wise叠加。该加法比较简单，网络的计算量和参数不会额外增加，反而能够提高模型训练的效果以及速度。这个模型的结构比较简单，但能够非常有力地化解模型层数加深出现的退化现象。具体地，每个Residual Block中包含两个相同输出通道数的3×3卷积。假如存在不同的输出、输入维度，能够针对Residual Block进行线性映射变换维度，并连接到接下来的层。ResNet18基本结构,如图9所示。

图9 ResNet18基本结构

设定输入图像尺寸为224×224×3。

第一步经过卷积核大小为7×7，步长为2，输出为64个通道的卷积层，得到64个大小为112×112的特征图。

第二步通过核大小为3×3，步长为2的最大池化后，卷积为64个56×56的特征图。

第三步将64个56×56的特征图依次输入8个Residual Block，每两组Block的通道数依次递增，分别为64、128、256、512，第二、三、四组Block得到的特征图分辨率依次降低2倍，经过四组block后特征图大小变为7×7。

最后将512个7×7大小的特征图经过平均池化后接全连接层，通过SoftMax输出各类别的概率。

激活函数可以看作卷积神经网络模型中一个特殊的层，即非线性映射层。卷积神经网络在进行完线性变换后，都会在后边叠加一个非线性的激活函数，在非线性激活函数的作用下数据分布进行再映射，以增加卷积神经网络的非线性表达能力[7]。激活函数选用Relu函数。该函数有两个优点，一是在输入为正数的时候，不存在梯度饱和问题；二是Relu函数只有线性关系，不管是前向传播还是反向传播，计算速度都很快，如图10所示。

图10 f(x)=max(0,x)

损失函数借助交叉熵。交叉熵能够描述期望输出(概率)以及实际输出(概率)的相应距离，即交叉熵本身的数值越低时，两个概率分布反而更加接近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，如式(1)。

(1)

5 研究实验过程

5.1 研究实验数据准备

将两组标注后的样本进行拆分，分为训练样本以及测试样本,如表1所示。

表1 样本分类表

其中，训练样本为50 000张，测试样本为30 000张。

用于训练的数据组成为：数据集共50 000张，分为三类。每类数据分别为煤样本20 000张，矸石样本20 000张，中煤样本10 000张。

用于测试的数据组成为：数据集共30 000张，分为三类。每类数据分别为煤样本10 000张，矸石样本10 000张，中煤样本10 000张。

5.2 研究实验模型调参

ResNet18网络训练基于Caffe深度学习框架[8]，BatchSize为32，Base_LR为0.001，激活函数借助Relu来强化非线性，损失函数借助交叉熵损失函数，采取Poly学习策略。训练数据包含50 000张图像，煤、中煤和矸石样本接近2∶1∶2。

6 实验结果

此实验模型处于测试集以及训练集层面的精度，展示了损失函数的需要变化状况，如图11、图12所示。

图11 训练精度结果

图12 训练损失结果

由此可知，模型训练时，训练次数越多其精度也就越大，模型本身的损失函数随之持续降低。

测试集图像中各煤矸识别精度,如表2所示。

由表2可以看到，测试集的测试精度能够超过99%，识别分类精度非常高，超过了传统的煤矸识别工艺，满足工业应用的要求。

表2 测试精度结果表

7 总结

本研究实验显示，ResNet18模型可以用来建立煤与矸石的自动分类以及识别模型。众所周知，神经网络系统的学习必须要借助高水平、数量足的标注数据，用于训练和测试。本研究针对宁夏与内蒙古的煤矸图像设计的图像处理方法与训练的卷积神经网络模型，准确识别煤矸的比例超过99%，模型的分类准确性能够满足工业应用的需要，具备多煤种良好的鲁棒性，可以在不同的原煤煤质下得到相同的分类精度，具备推广应用条件。