基于热成像技术和深度学习的煤矸石识别方法

曹珍贯，吕旻姝，张宗唐

（安徽理工大学 电气与信息工程学院，淮南232001）

煤炭是我国的主要能源之一，由于矸石的热值较低，当煤与矸石混合时，会影响煤的热值，降低煤的利用率，煤炭中的杂质导致煤燃烧不充分，对环境造成污染［1］.煤和矸石的分离是采煤工业中极为重要的环节，传统的采煤方法有干法选煤、湿法选煤和人工拣选等［2］.

采用计算机视觉技术对煤矸石进行识别具有显著优势，逐渐成为当前研究热点，主要分为两种方式：一种为基于传统的机器学习算法对煤矸石进行识别，例如在文献［3-7］中学者们通过图像采集系统采集煤矸石图像数据集，通过图像处理方法提取煤和矸石的颜色纹理等特征数据，结合支持向量机SVM或BP神经网络等训练模型分类器对煤矸石图像进行分类.文献［3-7］需要对原始图像进行处理，特征提取过程需要人为参与，其过程较为复杂、提取特征较少、泛化能力较弱.针对这一问题学者们提出了另一种基于深度学习算法的煤矸石识别方法，通过卷积计算，自动提取煤矸石特征，降低了特征提取的复杂度，如文献［8］和文献［9］分别采用了改进的LeNet-5卷积神经网络和深层卷积神经网络对煤和矸石进行识别，有效地提高了煤矸石识别率.另一方面传统的图像识别方法一般采用可见光图像，容易受到光照、粉尘等环境因素的影响，且部分煤和矸石在灰度纹理等特征上区别不够明显，影响识别准确率.

红外热成像技术是20世纪40年代逐渐发展起来的一项较为成熟的技术，具有穿透性强，受粉尘影响小、能耗小、不受光照影响等优点，几乎所有物体都会产生热辐射，且不同物体具有不同的热辐射能力［10］.

针对上述问题，本文提出了一种基于热成像技术和深度学习算法的煤矸石识别方法.在同一环境温度下，根据煤、矸石的热辐射能力不同，将橡胶传送带（背景）作为参考系，采用热成像仪对煤矸石进行热成像图像采集，AlexNet卷积神经网络模型对煤矸石热成像图像进行训练和识别.

1 图像采集和处理

1.1 煤矸石热成像图像采集

本文采用美国菲力尔公司的FLIR E50热成像仪进行数据采集，以橡胶传送带作为煤矸石图像采集背景，模拟矿上作业环境.选取淮南矿区的煤矸石作为研究对象，选取经过测试近200块煤和矸石进行数据采集.在数据采集前，将煤矸石样本放置在同一环境温度下12 h左右，确保实验前两者在同一温度环境下，防止两者温差对数据的干扰.本次数据采集的环境温度在20℃左右，采集了250张煤的热图像和250矸石的热图像，通过热成像技术将煤和矸石的热辐射特性转化为图像特征可作为煤矸石识别的依据之一.

1.2 煤矸石图像预处理

本文采用数据增强的方法增加训练数据样本，对原始图像进行剪裁、旋转、翻转等操作，在不改变样本标签的前提下将数据量提升至原来的10倍，煤和矸石图像共5000张.如图1所示，为原始图像经过处理后得到的图像，分辨率统一为224×224.

图1 预处理后的煤矸石热成像图像

2 基于Alexnet卷积神经网络的煤矸石识别原理及过程

2.1 煤矸石识别模型工作原理

AlexNet卷积神经网络模型是由Alex Krizhevsky等人于2012年提出的一种经典的学习模型，是基于AlexNet模型煤矸石识模型结构示意图，如图2所示，它包含1个输入层，5个卷积层和3个全连接层，其中前三层卷积层进行了最大池化，将最后一层修改为2维向量输出.

图2 基于AlexNet卷积神经网络的煤矸石识别模型结构示意图

其中：输入层输入待处理图像，卷积层包含多个卷积核，用来计算该层输出的特征图.每个特征图由多个神经元组成，每个神经元的输入通过卷积核与上一层特征图的局部感受野相连接，卷积层的作用是自动学习输入图像的特征［11］.池化层对上一层得到的卷积图进行降维，减少计算量.输入图像经过卷积层和池化层后会输出多组特征图，全连接层将多组特征图依次组合计算，采用softmax模型分类器得到图像分类结果.最大软输出函数softmax由下式（1）确定：

将模型输出转化成合理的概率值，最后输出概率值较大的类别就是模型对输入图像的判断类别.

2.2 煤矸石识别模型的训练及识别过程

（1）数据处理与输入

将预处理好的煤和矸石的热成像图像以7∶2∶1的比例随机分为训练集、验证集和测试集.将分好的图像数据集转化为tfrecord格式文件，将图像数据转化成二进制数据，便于计算机对数据读取.煤矸石内部标签设置为：

（2）煤矸石识别模型的训练

卷积神经网络训练的过程是寻找模型最优化参数的过程，采用梯度下降算法，最小化损失函数，并更新模型中的参数.模型训练前，任意给定模型参数，将l张图像样本X=[x1,x2,…,xl]输入卷积神经网络，经过卷积层、池化层、全连接层，得到输出O=[o1,o2,…,ol]，与实际期望输出Y=[y1,y2,…,yl]存在差值，X为输入的图像样本数据，x为一组矩阵数据，包含图像各个像素点信息.O为实际输出，通过Softmax模型分类器，得到煤矸石类别概率值.煤矸石识别模型为二分类模型，对于煤矸石图像样本xi，卷积神经网络计算得到输出oi，实际值为yi.

定义该样本误差为

其中k0代表煤类别，k1代表矸石类别，采用煤矸石图像训练集对模型进行训练，计算模型损失函数E，本文设置batch_size=32，每训练一次，随机选取32个图像数据样本计算模型总损失，得到损失函数

损失函数中包含两个模型参数W=(ω,b)分别为模型权值和偏置，通过梯度下降算法更新模型参数，得

在卷积神经网络的训练过程中，通过反向传播算法从模型最后一层逐层往前计算每一层的损失函数并更新模型参数.

（3）煤矸石识别过程

将任意一张煤矸石图像xi输入训练好的煤矸石识别模型中，经过卷积层、训练好的卷积核和输入图像进行卷积运算，自动提取煤矸石图像特征，采用池化层对数据降维，全连接层将多组特征图进行组合计算，得到高度提取的煤矸石图像特征，采用Softmax模型分类器，得到一个二维概率输出yi=[P0,P1]，P0+P1=1.其中P0,P1表示该煤矸石图像为煤和矸石的概率，通过概率大小判断煤和矸石的类别.

3 实验结果与分析

为了验证AlexNet神经网络模型在煤矸石识别中的识别效果，本文在内含NVIDIA GeForce GTX 1050独立显卡的PC上进行实验，采用Python3.5版本，TensorFlow深度学习架构和Slim微调模型，在GPU上分别对LeNet、AlexNet、ResNet_50这三种模型进行训练和测试.图3表示LeNet、AlexNet、ResNet_50这三种模型的煤矸石验证集识别准确率，每训练1000步，用验证集对这三个模型进行煤矸石识别准确率测试，可以看出LeNet卷积神经网络模型对煤矸石识别的准确度较低，而AlexNet和ResNet_50卷积神经网络模型对煤矸石的识别效果较好，其中ResNet_50卷积神经网络模型在训练初期的准确率变化较大，相较于浅层网络收敛速度较慢，AlexNet和LeNet模型简单，识别准确率收敛速度较快.

图3 三种煤矸石识别模型的验证集识别准确率

表1 三种煤矸石识别模型性能比较

表1为三种煤矸石识别模型在训练结束后得到的数据，Total_loss为模型训练总损，V_Accuracy为验证集识别的准确率，T_Accuracy为测试集识别准确率.Steps/s表示每秒模型训练迭代次数，从表中可得AlexNet的识别准确率最高，ResNet模型的识别准确率略低于AlexNet，而LeNet识别效果不理想.由于ResNet_50模型复杂、参数多、收敛速度较慢，而LeNet模型简单、容易陷入欠拟合、识别准确率低，综合考虑采用AlexNet模型具有较好的效果.

为了进一步验证煤矸石热成像图像在煤矸石识别应用中的识别效果，在采用AlexNet模型的基础上引入两个可见光煤矸石图像数据集与热成像图片进行对比，如图4所示，Optical image1是由FLIR E50热成像仪拍摄，和上述热成像图像同时生成可见光图像，其背景是橡胶传送带，和煤矸石区分不明显，Optical image2是在光照条件良好，背景和煤矸石有明显区分的环境中采集的煤矸石图像.

图4 煤矸石图像样本

如图5所示为三种不同数据集的验证集识别准确率.表2为训练40000步后模型测试结果.

图5 不同图像样本的煤矸石识别模型验证集准确率

表2 不同图像样本总损失、准确率数据

由图5和表2可知,采用热成像煤矸石图像训练煤矸石识别模型的准确率高于可见光煤矸石图像.以Optical image1作为数据样本训练的煤矸石识别模型测试集准确率只有49.55%，说明光照强度低、橡胶传送带和煤矸石颜色相似，导致煤矸石图像轮廓和纹理的不清晰，难以对煤矸石进行有效识别.以Optical image2作为数据样本训练的煤矸石识别模型测试集准确率有90.20%，说明可以采用可见光煤矸石图像训练煤矸石识别模型用以区分煤和矸石，但是由于矸石和煤在形态和颜色上较为相似，可见光煤矸石图像容易受到光照、背景等环境因素的影响.热成像煤矸石图片测试集识别准确率为97.88%，识别准确率高于可见光图片，可以对煤矸石进行有效识别.

4 结语

针对传统的可见光煤矸石图像特征提取难，煤矸石图片质量容易受光照、粉尘等环境因素的影响，本文提出了一种基于热成像技术和深度学习算法的煤矸石识别方法，采用热成像技术构建煤矸石图像数据集，结合深度学习AlexNet卷积神经网络模型，能够实现煤矸石的准确快速识别，准确率达到97.88%.该方法不受光照环境的影响，安全可靠，不需要额外消耗能源，极大地提高了煤矸石分拣效率，降低了采煤成本.由于煤矸石的种类繁杂，不同环境温度下的煤矸石具有不同的特征，尽可能多地扩充数据集以进一步提高煤矸石识别模型的泛化能力是未来研究的方向.