煤矸分选机器人图像识别方法和系统

2020-11-30曹现刚刘长岳孙凯凯

煤炭学报 2020年10期

李曼，段雍，曹现刚，刘长岳，孙凯凯，刘浩

(1.西安科技大学机械工程学院，陕西西安 710054; 2.陕西煤化韩城矿业有限公司，陕西韩城 715400)

煤矸分选是煤炭生产的重要工作之一，传统的人工分选具有劳动量大、效率低、粉尘多、对人体危害等问题。随着选煤技术的不断进步，人工操作已逐渐被自动分选设备替代[1-4]。目前国内外应用较为成熟的煤矸自动分选设备主要采用γ和X射线检测法。γ射线检测法根据γ射线穿过煤和矸石时衰减量的不同来识别煤和矸石[5]，X射线法是根据煤和矸石对射线吸收量的不同来进行识别的，用高压气阀喷嘴作为执行机构，通过高压气流将矸石分离[6]。该类分选设备，由于煤和矸石下落时间快，对系统执行速度提出了较高的要求，并且射线法易受煤矸含水量的影响，同时还存在射线探测部分环保要求较高，执行部件准确率不高，容易故障等缺点。

近年来，煤矸分选机器人的研究已成为选煤自动化生产的重要课题，其中煤矸的准确识别是实现机器人分选的首要任务。针对这一问题，国内外不少研究人员从图像分析或视觉计算的角度对煤矸识别进行了研究，文献[7-9]通过对煤和矸石的灰度和纹理信息进行分析，得到了较为准确的分类结果，但是这些识别方法的特征提取相对单一，在实际生产环境中准确度易受影响。文献[10-14]对煤矸识别提出了一些新的方法，能得到较好的煤矸识别率，但是都存在识别过程中耗时长、算法复杂、对硬件要求较高等问题。文献[15]将原煤的表面分为4种类型，通过特征递归剔除方法找出了图像的最优特征子集，得到了一种效果波动小，准确率较高的煤矸识别方法，但在矸石中煤含量过高时，此方法有失效的可能性。文献[16]提出了一种将PCA算法用于识别传送带上油石的算法，实现了对油石区域的检测，但是当油石的密度过大时，油石的定位准确度变差，使识别受到影响。目前，基于虚拟仪器技术的机器视觉因其开发周期短、兼容性广、图形化编程、系统可视化等优点已经应用于各行各业[17]。该技术在煤炭生产中，如采煤机自动调高，矿井提升机系统的监测及煤泥浮选等方面均有研究[18-20]，但在煤矸分选机器人中此技术的应用并不多见。

笔者以陕西韩城矿区的煤和矸石为分类对象，确定了适于该类样本图像的降噪处理方法，得到了其灰度和纹理特征中区分度较高、利于识别的相关参数。以LS-SVM为分类器，通过对不同输入向量的训练和对比分析，得到了以灰度特征参数中最大频数对应的灰度值和纹理特征参数中的对比度为联合输入向量，该分类器识别效果更好。随机样本图像识别验证结果表明本系统对实际工况下的煤和矸石基本可实现快速、准确的识别。

1 图像获取及处理

1.1 图像采集系统硬件平台

煤矸分选机器人作为一种新的选煤设备，主要由图像识别系统、控制系统、分拣系统等组成，其主要组成如图1所示。

图像识别系统作为煤矸分选机器人的首要环节，直接影响煤矸分选效果。图像识别系统的硬件主要由相机、光源、工控机等构成。相机是图像采集中的一个关键部件，相机的选择决定了所采集图像的分辨率、图像质量等，关系到整个系统的识别效果。煤矸分选机器人的图像采集相机选择需考虑物料运输带式输送机运行速度、胶带宽度，煤和矸石的粒度大小等因素。镜头采用具有自动对焦功能的高清摄像头，安装时相机与带式输送机分离，这样可以在一定程度上避免胶带振动对图像采集的影响。选择满足采集视场范围的相机，调整相机与胶带的安装距离，以获得较全面的拍摄覆盖角度。图像的灰度和纹理信息是区分煤和矸石的主要特征量。在不同光照强度下，煤和矸石的灰度特征和纹理特征会随之改变，这就导致了特征向量的提取具有不确定性，但在相同照度下，煤和矸石的灰度和纹理特征具有较为稳定的差异[21]。《选煤厂安全规程》规定地表水平面手动选矸地点光照强度不小于30 lux，根据光照强度的要求以及结合实际煤矸分选环境，图像识别系统光照采用自然光加LED补偿光源，以保证获得较好的光照条件。

1.2 图像获取

在实验室搭建图像采集系统，获取训练样本图像，系统实物如图2所示。上位机为研华610L工控机，相机选用罗技C920，其分辨率为1 920×1 080，每秒采集帧数为30 fps，工控机与相机采用USB总线方式连接，光照采用自然光加LED补偿光源，光照强度在70～120 lux。

笔者以韩城矿区桑树坪2号矿井的煤和矸石为分类对象，该矿区煤和矸石主要为瘦煤和页岩。选取300个煤矸样本进行图像采集，得到煤炭样本图片150张，矸石样本图片150张。为了节省存储空间以及提高样本训练及识别的效率，对每张图片提取具有代表的区域并进行编辑，处理后的图像大小为200×200，部分样本图片如图3所示。

1.3 煤矸图像处理

煤矸分选作业工况条件比较恶劣，采集的图像会受到灰尘、光线、设备振动等因素的影响。为了保证图像一定的清晰度，需要对原始图像进行处理。选取3×3，5×5，7×7 三种窗口尺寸，采用高斯、低通和中值3种滤波器对图像进行降噪处理，处理前后图像对比如图4所示。

图4 3种滤波方式处理结果Fig.4 Three filtering methods are used to process the results

由图4可看出，滤波时窗口尺寸越大，图像越模糊，滤波窗口尺寸为3×3时，图像最为清晰，去噪效果最好，因此确定3×3为最佳滤波窗口尺寸。采用最小化平方误差(MSE)和峰值信噪比(PSNR)对降噪效果进行评价。最小化平方误差反映了图像处理前后的变化程度，其表达式为

(1)

式中，样本图像的大小为M×N;P(i,j)为原图像在(i,j)位置的像素值;B(i,j)为滤波降噪后图像在(i,j)位置的像素值。

峰值信噪比反映了图像信噪比变化的统计平均，是一种衡量图像主观质量的方法，值越大代表图像失真越小，其表达式为

(2)

以3×3为窗口尺寸对3种滤波器滤波效果进行对比，由表1，图5可知，相比较于高斯滤波器和中值滤波器，非线性低通滤波器的最小化平方误差更低，而峰值信噪比更高，对于样本图像的滤波效果最好，图像更为清晰，平滑度更好。因此非线性低通滤波更适合瘦煤、页岩样本图像的处理。

表1 3种滤波器结果Table 1 Results of the three filters

图5 煤和矸石3种滤波比较Fig.5 Comparison of three filters for coal and gangue

2 煤矸识别特征选取

2.1 灰度特征选取

灰度特征描述图像或图像区域所对应的表面性质，灰度分析可以得到灰度图像的直方图及基本的灰度衡量特征值。图像灰度特征基本衡量参数有灰度均值、灰度方差和最大频数所对应的灰度值。

分别对75张煤和75张矸石样本图像进行灰度分析，得到煤和矸石的灰度统计直方图和各参数值，各参数值的分布范围见表2。

表2 煤矸样本灰度特征参数分布范围Table 2 Distribution range of gray scale characteristic parameters of coal and gangue samples

从表2中可看出煤和矸石的各衡量参数都有各自的分布范围，其中煤和矸石的灰度均值和最大频数所对应的灰度值存在较大的差异，区分度较高，其分布曲线如图6所示。因此，选取这2个参数作为煤矸灰度识别的特征向量。

图6 煤矸灰度具有较大差异衡量值的分布曲线Fig.6 Distribution curves of coal and gangue gray values with great difference

2.2 纹理特征选取

纹理是物体表面固有的特征之一，其中灰度共生矩阵法是进行图像纹理研究最常用的一种方法，灰度共生矩阵是对空间中相距一定距离的两像素点之间的像素差值进行统计研究后得出的，其反映的是图像灰度关于方向、相邻间隔、变化幅度的综合信息，是一种经典的纹理特征提取方法[22]。

基于灰度共生矩阵，Haralick导出了14个能反映纹理特征的二次统计参数，称为Haralick特征，其中常用的特征参数有能量、对比度、熵、同质性和相关性。对与灰度分析相同的75张煤样本图像和75张矸石样本图像进行纹理分析，得到各参数值的分布范围见表3。

表3 煤矸样本纹理特征参数分布范围Table 3 Distribution range of texture characteristic parameters of coal and gangue samples

从表3中可以看出煤和矸石的各衡量参数都有各自的分布范围，其中煤和矸石的纹理对比度、熵存在的差异较大，具有较高的区分度，其分布曲线如图7所示。因此，选取纹理对比度和熵作为煤矸纹理识别的特征向量。

图7 煤矸纹理具有较大差异衡量值的分布曲线Fig.7 Distribution curves of coal and gangue textures with great difference in measured values

3 最小二乘支持向量机煤矸图像识别

3.1 煤矸识别模型的确定

支持向量机是一种有监督的学习方法，其基本思想是通过内积核函数将输入空间转换到高维特征空间，在新空间中寻找一个最优识别面[23-24]。对于未知样本，支持向量机将其映射到同一特征向量空间，并基于它们落在分割面的哪一侧来预测其所属类别。该方法在解决小样本、非线性以及高维识别问题中表现出许多特有的优势[25]。

在煤矸分选中，煤和矸石混杂在一起，致使部分煤和矸石的灰度、纹理特征参数变得线性不可分，因此，以非线性分类器来进行煤和矸石的辨识能够获得更高的识别率。最小二乘支持向量机是专门处理样本线性不可分问题的机器学习算法[26]，其将支持向量机的不等式约束变为等式约束，降低了求解超平面的难度，极大的提高了算法的求解效率。最小二乘支持向量机算法为设样本集V={(xi,yi)}，i=1,2,…,n;xi为输入样本数据;yi为输出标示;n为样本数量，引入非线性变换核函数K(x,xi)=(φ(x)φ(xi))，最小二乘支持向量机的原始空间可以表示为

(3)

yi[wTφ(xi)+b]=1-ξi,i=1,2,…,n

(4)

其中，J为目标函数;ξ为松弛变量;α为拉格朗日乘子;φ(xi)为非线性变换核函数K(x,xi)=(φ(x)φ(xi))设的函数;C为惩罚因子。构造的Lagrange函数为

b]-1+ξ}

(5)

分别对w，b，ξi，α求偏导数，可得

(6)

式中，w为特征空间中的高维向量;ξi为松弛因子;b为分类阈值。

由KKT最优化条件得到线性方程组

(7)

式中，Ω，α，Y，I分别为

Ωi,j=yiyjφ(xi)Tφ(yj)=yiyjK(x,xi)

α=[α1,α2,…,αn]T

Y=[y1,y2,…,yn]

I=[I1,I2,…,In]

求解原始空间上的线性分类方程组可以得到决策函数为

(8)

利用支持向量机对煤、矸进行分类时，选择不同类型的核函数，得到的分类效果不同。径向基核函数RBF对焦煤、瘦煤、页岩和砂岩的识别率较好[27]。径向基核函数表达式为

K(x,xi)=exp[-σ|x-xi|2]

(9)

用Libsvm平台对选取的决策函数参数进行反复交差验证得到，当参数惩罚因子C=128，径向基核函数宽度参数为16时，煤矸识别准确度较好。

3.2 分类器训练

以灰度特征，纹理特征，联合特征(灰度-纹理)3组参数作为分类器的输入向量分别对75张煤和矸石样本图像进行训练，得到分类视图如图8所示。其中灰度特征参数选用灰度均值和最大频数对应的灰度值，纹理特征参数选用对比度和熵,联合特征参数选用最大频数对应的灰度值和对比度。

图8 分类视图Fig.8 Classification of view

通过分类视图和分类器验证得出煤和矸石样本图像在训练时错分样本数，统计结果见表4。

由表4可以看出，以3种特征得到的分类器对于煤和矸石都能进行很好的区分，其中联合特征得到的分类器具有更高的训练准确度。

表4 分类器训练结果Table 4 Classifier training result

3.3 分类器对比验证

分别以灰度，纹理，联合特征作为最小二乘向量机的特征向量对样本库剩余的75张煤和75张矸石样本图像进行分类器对比验证，分类结果见表5。

表5 样本图像分类准确度Table 5 Sample image classification accuracy

由表5可以看出，以3种特征向量进行煤矸识别均能达到较好的识别准确度，以联合特征进行分类具有更高的识别准确度。

4 煤矸识别程序设计

煤矸识别程序主要由图像采集、图像滤波、联合特征向量的提取、样本分类几部分组成，程序的编写主要在LABVIEW2017平台上完成。其编程流程图如图9所示。

图9 煤矸识别程序流程Fig.9 Flow chart of coal and gangue identification program

4.1 图像采集程序

图像采集由软件实现控制。采集程序通过调用NI Vision下的NI-IMAQdx模块的IMAQdx Open Camera VI，IMAQdx Grab VI，IMAQdx Close Camera VI来完成相机的打开、采集图像、关闭和释放内存等。图像采集显示界面和部分程序代码如图10,11所示。

图11 图像采集程序Fig.11 Image acquisition program

4.2 图像滤波程序

图像处理程序主要由图片读取、图像滤波和图像存储等部分组成。NI Vision中的Filters模块提供了IMAQ LowPass子函数来进行非线性低通滤波器的程序编写。用IMAQ Read File读取已处理样本，格式为8位灰度，调用IMAQ LowPass函数时，将函数尺寸输入窗口设置为3×3，并将处理后的图像通过IMAQ Write File函数以JPG的形式进行存储。

4.3 特征提取程序

特征向量提取程序主要由图像读取、灰度分析子函数、纹理分析子函数、数据存储等部分组成。LABVIEW中的NI Vision模块提供了IMAQ Histograph和IMAQ Histogram两种灰度分析子函数。纹理分析则使用位于Image Processing 函数模块下的Texture模块中的IMAQ Cooccurrence Matrix可直接得出Haralick特征。用IMAQ Read File读取已处理样本，格式为8位灰度，在调用灰度分析函数时，将函数的灰度设置为0～255。将得到的特征参数采用TDMS数据流格式存储。特征提向量提取程序界面如图12所示。

图12 特征向量提取显示界面Fig.12 Feature vector extraction display interface

4.4 识别程序

煤、矸分类程序主要由样本采集、图像滤波、特征向量的提取、LS-SVM分类程序调用和分类结果输出等部分组成。首先对读取的待识别样本进行非线性低通滤波，得出待识别样本的联合特征向量Xt，然后使用LS-SVM工具包调用分类函数对被测样本进行分类识别，得到的Ytest变量即为待识别样本的识别结果。对Ytest元素进行提取，其中元素为0时，代表识别结果为煤，元素为1时，识别结果为矸石。以联合特征作为最小二乘支持向量机的特征向量煤矸样本图像分类，其显示界面及程序如图13所示。

5 煤矸识别系统的验证

通过实验对所提出的煤矸识别方法及系统进行验证，得到其识别的准确性和识别速度。从韩城矿区实际工况条件下随机选取300块煤和300块矸石作为样本进行实验验证，实验平台如图14所示。图像采集相机与样本距离为40 cm，光照强度为100 lux左右。打开识别系统，点击图13(a)中“分类开始”控件，系统控制相机采集图像并进入自动识别，当完成识别后，界面上显示识别结果。同时在图像识别系统程序中设置计时器，记录点击“分类开始”控件时的时间为初始时间、输出识别结果时的时间为终止时间，两者之差为该识别系统的煤矸图像采集和分类识别总时间。样本分类实验结果统计见表6。