基于光学图像的煤矸石识别方法综述

张 红，李晨阳

(西安科技大学 通信与信息工程学院，陕西 西安 710054)

传统的煤矸识别方法中人工选矸耗费劳动力有安全隐患，湿选法污染环境耗水严重，射线法识别辐射强度大[1]。而基于光学图像的煤矸石识别方法设备稳定安全系数高、成本低、易于实现，成为现代煤矸识别方法关注和研究的热点。该类方法实现智能化程度较高，能与各种前沿科学技术密切融合，更符合智能化选煤的发展方向[2]。

为了更直观地了解煤矸图像识别方法的发展现状，笔者将基于光学图像的煤矸识别分为传统人为选择特征煤矸识别和基于深度学习的煤矸识别。本文针对这两类典型的煤矸石图像识别方法进行总结，并提出现有煤矸图像识别仍存在的问题，为后续煤矸图像识别技术发展提供建议和改进思路。

1 基于光学图像的煤矸识别方法

基于光学图像的两类煤矸石图像识别方法，其详细处理步骤存在着不同程度的差异性。传统煤矸石图像识别方法步骤如图1所示。

图1 传统煤矸石图像识别方法

该类煤矸石图像识别方法主要分为煤矸石图像数据采集，图像预处理，特征选择和提取，煤矸识别四个部分。其识别算法只需要具备代表性的图像数据集就可以达到较高的识别效果。

基于深度学习的煤矸图像识别方法具体步骤如图2所示。

图2 深度学习煤矸石图像识别方法

在煤矸石图像识别算法中，通过对比两种识别方法在特征提取、模型、识别方面的不同可以发现。传统识别方法手动提取图像特征过程繁琐，且特征提取与分类算法为并行方式，二者并无关联。其生成模型的泛化能力较弱，识别速度较慢，并不能满足实际工业生产需求。而基于深度学习的识别方法不受特征提取方法的限制，通过网络进行特征自主学习且与分类算法串行，这样的结果可使样本分类难易的误差信息反向传输从而自由调整网络模型结构。该类算法的数据泛化性能强且这种自主特征学习训练并可调整的能力，使得基于深度学习的煤矸图像识别方法具有更高的识别准确度和更快的识别速率。

2 煤矸石图像数据采集及预处理

煤矸图像采集受实际工矿环境和采集设备的制约，其采集背景、光照条件、煤和矸石的种类等因素都会对采集的图像质量造成影响。煤和矸石图像样本如图3所示。

图3 煤及矸石图像

2.1 煤矸石图像数据集

目前的煤矸石图像数据集，主要利用工业摄像机等对静置或运动的煤和矸石直接进行图像信息采集。实际场景采集外界影响因素较多，采集困难，可用的代表性样本数少。因此目前大多研究为实验室模拟环境实际工况下的胶带传输背景，利用摄像机和照明灯具等辅助设备采集煤和矸石的图像数据。目前煤矸石识别论文中的图像数据集见表1。

表1 煤矸石图像数据集

针对煤矸图像数据集现存问题，王家臣等[17]将照度概念引入到煤矸识别的研究中，揭示不同光照条件下煤矸图像特征的变换规律，将照度作为采集需考虑的因素；沈宁等[19]对煤矸状态干湿，有无附着煤灰进行了深入研究，揭示了煤矸数据集中的煤矸状态对识别的影响；曹现刚等[24]采集具体煤矸类型扩充种类，提高了煤矸石识别的普适性；李曼等[33]考虑生产环境引起的图像照度变化影响图像质量的问题，引入新的照度因子，实现图像整体亮度调节。

实验中为了满足数据量需求，通常会对采集的图像数据集进行扩充处理。常用煤矸石图像数据集扩充方法除了基本的几何和光学变换[17]外，基于三维建模渲染[21]的生成模型合成方式已经验证了其数据集的有效性。

2.2 煤矸石图像增强

煤矸石数据集会因环境因素存在图像清晰度较低，光照不均匀，含噪声等问题。针对此类煤矸石图像数据集，通过转换图像灰度值[9]、锐化[12]、边缘增强[9]或滤波[22]使处理后的煤矸图像轮廓更清晰，像素信息更准确。陈立等[18]利用小波分析去噪算法对含噪声的煤矸石图像进行小波分解，并对处理后的小波系数进行重构，得到去噪后边缘更加清晰的煤矸图像

2.3 煤矸石图像分割

采集处理后的煤和矸石图像数据集背景复杂，研究初期大多为正方形裁剪操作有时会丢失煤矸石图像的边缘信息。通过选择合适的图像分割方法在分割感兴趣图像区域的同时，避免丢失图像信息并保留煤矸图像边缘特征。Ma X等[5]针对煤和矸石混合的情况，提出小波变换的多分辨率自适应阈值分割方法；余乐、PU Y、庞尚钟等[14，22，31]利用最大类间方差阈值分割算法实现煤和矸石的二值化分割；饶中钰等[26]利用基于距离变换的分水岭算法实现了煤和矸石的精准分割。

由于煤矸图像采集环境的特殊性以及图片质量的不稳定性，传统的分割算法并不能满足复杂情况下的煤矸图像分割，因此未来寻找更优的分割算法也是煤矸石识别中的一个研究方向。

3 传统煤矸石图像识别

3.1 传统煤矸石特征选择与提取

传统的煤矸石图像识别方法通常利用图像灰度特征如灰度直方图等和纹理特征如灰度共生矩阵[3]进行识别，具体涉及到的煤和矸石图像特征参数见表2。

3.2 传统煤矸石识别方法

传统的煤矸石识别方法通过提取和选择人为设计的有利于区分煤和矸石的图像特征，达到识别煤和矸石的目的。

表2 煤矸石图像特征

Ma X等[5]利用小波矩提取煤矸石直方图特征，为实际煤矸石自动分选技术奠定了的理论基础；苏宝金等[8]指出矸石的灰度值是煤的灰度值的三倍；余乐等[14]通过计算煤矸的非线性灰度压缩扩阶共生矩阵，提出了新特征；陈雪梅等[15]实验发现煤块的分形维数大于矸石，两者存在较大的维数间距；饶中钰等[26]提取煤矸灰度共生矩阵中的能量、熵、对比度及反差分矩阵作为煤矸识别的有效特征；赵明辉等[28]提出依据煤矸图像灰度直方图的三阶矩特征参数进行识别并验证了其特征有效性。

传统煤矸石识别方法见表3，Li W等[6]通过构建BP神经网络结合灰度直方图、分形维数和多级小波变换能量值进行煤矸识别，识别率为97.5%，15.364ms/帧；李曼等[23]选用最小二乘支持向量机(LS-SVM)为煤和矸石图像识别分类器结合灰度、纹理及联合特征，测试结果显示煤和矸石分类准确率分别为90.3%和83.0%，平均识别时间为0.153s；薛光辉等[27]通过灰度-梯度共生矩阵纹理特征结合随机森林模型进行识别，识别率为97%。

表3 传统煤矸石识别方法

传统识别方法在追求其高效识别的同时往往忽略算法本身的时间和空间复杂度，大部分具有较高准确率但并不符合实际生产需求，故在论文中忽略识别效率分析。除此之外，人为提取特征参数存在对煤矸图像特征理解不全面不深入的问题。因此，研究学者们利用深度学习卷积神经网络，自主的从浅层到深层提取图像特征，规避了传统煤矸石图像识别方法繁琐的人为特征提取过程，为提高煤矸识别率提供了新的思路。

4 基于深度学习煤矸石图像识别

基于深度学习的煤矸石图像识别利用深度学习卷积神经网络模型通过自主提取特征和学习网络参数实现煤矸石高效识别。识别方法及最终识别效果(取代表性)见表4。

王鹏等[24]通过卷积神经网络提取特征，再经过RPN (Region Proposal Network)输出图像中煤或矸石目标的分类结果，综合准确率可达93%，完成时间为50ms；马岩[21]基于MobileNet轻量型卷积神经网络进行精简和优化，实现了93.2%，3.14ms/帧的识别效果；何克焓等[25]采用基于区域的卷积神经网络识别率达96%以上；赵明辉等[28]使用轻量级目标检测深度学习网络模型CornerNet-Squeeze进行目标检测，依据灰度直方图对煤矸石进行分类，识别率达到91.3%；Lei S等[29]基于CNN构建了一种视觉深度神经网络(Fast coal classification net，FCCN)，样本少也可以达到较高的识别精度；曹珍贯等[32]利用热成像技术在AlexNet深度卷积神经网络模型上进行识别，识别率为97.88%；张永超等[34]提出单激发多盒探测器(SSD)机器视觉算法对煤矸石进行检测；郜亚松等[36]提出一种改进MobileNetV3网络，将原框架中SE模块更换为CBAM(Convolutional Block Attention Module)模块，识别效果提升了2.3%达到了97.7%，GPU下为9ms识别速率；雷世威等[37]基于原始的YOLOV3模型，分别进行改进网络结构的YOLOV3-A模型和改进网络结构和改进边界框回归损失函数YOLOV3-M模型的煤矸石检测，其中YOLOV3-M模型的识别率达到95.4%，识别速率达到21.6ms；郭永存等[38]提出一种新的模型优化方法—迁移权重&简化神经元(Transfer Weight-Reduce Neurons，TW-RN)，识别率达97.461%，2.360ms/帧。

表4 基于深度学习的煤矸石识别方法

5 煤矸石识别研究展望

通过上述的总结与分析，未来煤矸图像识别应着重在以下几个方面展开研究。

1)建立大规模数据代表性强的通用煤矸石图像数据库。现有研究因实际工矿环境复杂性，往往只针对单一种类煤和矸石进行图像数据采集。基于这种特性煤矸石图像数据集的识别虽然取得了较高的识别率，但无法在实际复杂环境下有良好的适应性，其算法稳定性较差没有实际利用价值。因此建立一个公开符合实际场景全面充分的通用大规模煤矸石图像数据库，可以加速煤矸识别算法的发展。

2)煤矸石的特征选择。手动提取煤矸图像特征存在特征提取过程较为繁琐，提取的特征不全面不深入的缺点，导致其算法泛化能力极弱。深度学习卷积神经网络结构复杂，对实验设备要求较高且训练模型参数所需的图像数据集需求较大。因此如何选择快速识别煤矸的特征是目前基于图像煤矸石识别方法的研究重点。

3)识别方式的融合发展。现有煤矸石识别方法对煤和矸石的特征差异理解主要集中在灰度和纹理特征或二者的联合特征上。这些手动设计的特征存在对煤矸特征理解不全面不深入的问题。通过深度学习等智能技术，避免人为主观提取特征的制约，但其特征表达往往不具有物理含义。因此需要通过深入了解煤矸特征的差异，将深层表达特征与人为设计特征通过分析、比较或融合的方式，提升识别算法的性能。

4)实时性需求。煤矸石识别方法在提高识别率的同时，应该更加注重实时性需求。实际工矿环境下煤矸运输速度较快，如何快速完成采集识别是煤矸石识别的重点。实时性和准确率都是煤矸石识别方法需要研究的重点内容。