面向煤矸分拣机器人的煤矸识别定位系统研究

曹现刚,刘思颖,王 鹏,许 罡,吴旭东

(1.西安科技大学 机械工程学院,陕西 西安 710054;2.陕西省矿山机电装备智能检测重点实验室,陕西 西安 710054)

0 引 言

煤炭是我国主体能源,也是最经济和可高效利用的能源[1-2]。随着智能制造、人工智能等技术的兴起,煤炭智能绿色生产成为我国煤炭行业发展的趋势,因此煤矸的高效分选显得尤为关键[3]。

现阶段选煤方式主要有人工排矸、重介质选煤[4]、浮游选煤[5]、跳汰选煤[6]、选择性破碎等,但这些方法普遍存在识别精度低、占地空间大、投资成本高、环境污染严重等问题[7]。为实现煤炭高效清洁生产,近几年研究学者提出一些新的煤矸分选系统[8-9]。王卫东等[10]应用激光三维扫描和动态称重的方式设计了一种煤矸光电分选系统,根据体积和质量的不同识别煤矸。吴开兴等[11]设计了基于灰度共生矩阵识别算法的煤矸识别系统,根据煤矸灰度纹理特征不同实现自动识别。黄洪涛等[12]根据煤矸纹理特征不同设计了一种煤矸识别分选系统,结合SVM实现自动化分选。杨慧刚等[13-14]应用X射线和光纤传感器相结合的方式设计了一种煤矸分选系统,根据煤矸灰度值不同分选煤矸。陈立等[15]将小波变换应用于煤矸自动分选系统中,利用煤和矸石质量差异将煤和矸石进行分离。郭永存等[16]根据煤矸纹理灰度特征结合X射线方法设计一煤矸分选系统。

综上撰述,不少专家对煤矸识别方法进行了深入研究并取得了大量成果，但对现场复杂环境下煤矸准确识别及定位方法还需要进一步研究。在上述研究基础上,面向所研制的煤矸分拣机器人平台[17]对煤矸高效识别定位的需求,设计了一种煤矸视觉识别定位系统并进行了分析测试。采用基于迁移学习AlexNet[18]网络与RPN方法[19]实现煤矸石在线识别与定位,重点解决了由于现场煤矸石表面黏附物、环境光线强度等复杂环境条件影响下煤矸石高效高识别率算法及定位难题,为煤矸分拣机器人平台现场高效分拣应用奠定了基础。

1 煤矸识别定位流程与算法

1.1 煤矸识别定位系统组成

煤矸分拣机器人是由识别定位系统、主控系统和多机械臂分拣系统组成[20-21]。其中,煤矸识别定位系统主要由识别模块、定位模块组成，如图1所示。识别定位模块采用卷积神经网络作为识别算法,将煤矸原图进行分类并得到煤矸边框位置信息。定位模块通过坐标转换方法将边框位置信息转化为煤矸实际空间定位信息。随后,通过煤矸识别定位系统可视化界面将功能进行可视化输出。

图1 识别定位系统

其中,煤矸图像采集装置包括计算机(内部配置GTX1080图像显卡)、维氏相机(MV-EM510C)、光源、遮光装置、目标传送带,如图2a所示。维氏相机结构如图2b所示,采用单目彩色CMOS感光元件,镜头分辨率为640 pix×480 pix,垂直和水平方向视场角分别为60°和70°。

图2 图像采集装置

识别定位系统可视化界面如图3所示,包括采集输送带上煤矸原图(左上)、识别结果(右上)、通信时间(正下),以及目标分类和及定位信息(正下)。煤矸目标通过输送带时,相机采集煤矸图像并输入识别算法中获取分类及位置信息,随后将经过坐标转换的煤矸识别定位信息以socket通信方式传输给机器人主控系统。

图3 识别定位系统可视化界面

1.2 煤矸图像表面特征分析

选取煤矸表面的灰度特征,测试0～70 lux范围的灰度变化,获取煤矸表面特征变化较大的照度阈值,如图4所示。

图4 煤矸灰度特征的照度测试

由图4可知,煤矸图像灰度值随照度值增大而增大,通过OTSU阈值分割方法[22]获取照度测量范围内灰度阈值,由最佳灰度阈值与折线图交点得到煤矸表面特征变化较大的照度阈值为41.74 lux,以该阈值作为判定煤矸图像表面特征的依据。

煤矸检测模型的结果受煤矸表面特征影响较大,实际工况的环境光、前置工艺和落煤特性是决定煤矸表面特征的主要因素。根据铜川玉华矿选煤厂的分选条件和无黏附物的表面特征定义4种状态和1类不可识别状态:

1)强光下无黏附物状态(No Adhesive State Under High Light,NAS-HL)。定义无前置分选工艺条件下,光强大于照度阈值的煤矸状态。

2)弱光下无黏附物目标(No Adhesive State Under Low Light,NAS-LL)。定义无前置分选工艺条件下,光强小于照度阈值的煤矸状态。

3)强光下黏附物目标(Adherent State in High Light,AS-HL)。定义光强大于照度阈值,因前置分选工艺,导致煤矸表面存在煤泥水和煤泥灰等粘附物的状态。

4)弱光下黏附物目标(Adherent State in Low Light,AS-LL)。定义光强小于照度阈值时,因前置分选工艺,导致煤矸表面存在煤泥水和煤泥灰等粘附物的状态。

5)不可识别状态(Unidentifiable State,US)。定义堆积覆盖情况下,分拣性价比较低的状态。

基于AlexNet网络对NAS-HL和NAS-LL等目标的研究,结合铜川玉华矿的AS-HL和AS-LL等煤矸图像样本,进一步研究基于迁移学习AlexNet网络实现煤矸图像样本的在线识别,同时规避US类目标的识别，如图5所示。

图5 煤矸表面特征状态

1.3 煤矸图像识别方法

针对煤矸分拣机器人对煤矸识别实时性要求及煤矸表面特征分类,提出一种基于迁移学习的AlexNet卷积神经网络提取煤矸目标特征,将通过卷积操作提取到的煤矸特征图输入RPN网络,共享目标识别网络中卷积层Conv1至Conv5,从煤矸石特征映射图中生成一批候选区域,与煤矸石目标识别网络中的ROI池化层相连,通过ROI池化层将候选区域生成固定尺寸的煤矸特征图候选框向量。最后通过Softmax分类器和Bounding Box回归得到煤矸石目标识别结果和预测窗口位置,具体如图6所示。

图6 基于迁移学习的AlexNet框架

RPN网络将整幅图像用作输入,并将图像分割成S×S大小的网格,若某个格子中包含检测目标,则该格子负责检测该目标,并预测位置边框和目标置信度。位置边框信息通过Bounding Box回归进行预测即给定:(Px,Py,Pw,Ph),寻找一种映射,使得:

f(Px,Py,Pw,Ph)=(Gx,Gy,Gw,Gh)

(1)

(2)

式中：Px、Py分别为网络坐标x轴、y轴偏移量;Pw、Ph分别为预设anchor框宽与高边长;Gr,Gy,Gw,Gh为最终边界框坐标值;dx,dy,dw,dh为网络学习目标。

通过对每种尺度预测多个边框来提高多尺度目标预测准确率。

1.4 煤矸定位方法

由图6可知,煤矸识别模型输出预测边界框的像素坐标值(xmin,ymin,xmax,ymax),获取煤矸质心的像素坐标值。

(3)

其中,(x,y)为煤矸质心的像素坐标值,用Q表示,如图7所示。采用张正友标定法,通过MATLAB标定工具箱对维氏工业相机(640 pix×480 pix)的内外参数矩阵进行标定,建立像素坐标系O-uv、相机坐标系Oc-XcYcZc和机架坐标系Ow-XwYwZw的映射关系,获取煤矸在带式输送机上相机坐标系中的质心坐标值。

图7 坐标转换过程

通过标定获取相机内部参数矩阵K,具体如下:

(4)

式中,光心焦距为(fx,fy)=(644.238 2,644.093 7),主光点为(u0,v0)=(330.278 7,233.031 7)。

根据相机内参矩阵K和物距Zc,计算相机坐标系的煤矸质心坐标值。

(5)

根据式(4)、(5)获得煤矸质心坐标从相机坐标系到机架坐标系的转换矩阵Mc。代入相机内参和平台装置参数,计算结果如下:

(6)

根据转换矩阵Mc和相机坐标系的矸石质心坐标(Xc,Yc,Zc),获得机架坐标系下的矸石质心坐标P(Xw,Yw,Zw):

(7)

2 数据集制作及模型训练

2.1 图像采集及数据集构建

样品来自陕西省铜川玉华煤矿和陈家山煤矿。原煤通过分级,获取煤矸数据粒度200～300 mm进行试验,模拟选煤厂人工选矸环节在拣矸输送带最前端架设煤矸图像采集装置。

通过试验装置实时采集输送带上运输的煤矸图像,为保证试验数据清晰度,设置采集图像帧率30 fp/s。整个采集过程使用物料2 253块煤、2 149 块矸石,需采集均等数量的煤矸以保证模型检测效果,避免因分类不均导致的检测模型精度耗损，见表1。

表1 不同光强下煤矸石图像样本

2.2 模型训练

煤矸识别模型使用迁移学习训练,训练过程对数据集进行数据增强。训练阶段使用随机梯度下降方法进行训练,初始学习率为0.001,动量系数设为0.9,权重衰减为0.000 5,参数 gamma 设置为 0.1。使用锚点(anchor)策略,将RPN的分类层的候选框重叠阈值设置为0.7进行极大值抑制,保留300个候选区域进行最后的分类回归。

模型迭代训练10 000次,迭代训练和测试过程中损失率曲线如图8所示,训练模型在迭代训练2 000次左右时损失率不再下降。为查看平均精度(mAP)变化趋势,在迭代训练2 000次基础上增加1 000次,即选用3 000以内的权重文件计算mAP,其mAP曲线如图9所示。

图8 损失率曲线对比

由图9可知,在迭代2 000次之后, mAP达到90.17%,并逐渐趋于平稳,因此选择迭代2 000次的权重文件作为识别模型。

图9 识别模型mAP曲线

mAP计算公式为

(8)

P=TP/(TP+FP)

(9)

R=TP/(TP+FN)

(10)

式中：E为引用阈值数量；P(k)为阈值k时的准确率；ΔR(k)为在阈值k时的召回率变化量；TP为真实正样本数量；FP为虚假正样本数量；FN为虚假负样本数量；k为阈值；P为准确率；R为召回率。

3 煤矸识别定位系统试验

3.1 煤矸识别试验

F1值是物体检测模型综合评价指标,是精确率和召回率的调和均值,因此笔者使用F1对模型的识别性能进行评估,其计算公式为：

F1=2PR/(P+R)

(11)

使用验证集254幅图像对识别模型进行性能测试,统计识别模型对除不可识别状态外4类目标物识别F1值，统计结果如图10所示。方法对AS-LL类识别的F1最低,为78.3%;对NAS-HL类识别F1值最高为90.1%;对NAS-LL和AS-HL类识别的F1值较为均等分别为83.7%和84.3%,检测结果较为理想。

图10 识别分类F1值

正确检测和错误检测的效果图分别如图11、图12所示,其中正确检测的矸石以绿色矩形框框定,正确检测的煤块以蓝色矩形框框定。

图11为模型正确检测的煤矸石目标可视化效果,识别方法在这些环境下可以获得良好的检测性能;图11b和图11c均检测到表面覆盖少量煤灰的矸石目标,这表明当目标矸石表面混有少量煤灰时,模型也能够准确地检测到该目标矸石的存在;图11c中煤矸石目标密集,并没有出现将多块煤矸石作为一块目标进行检测的情况,说明该模型可以有效地检测到距离相隔较小或紧挨的每一块煤矸石;图11d和图11e均正确检测到小块的煤和矸石;图11e和图11f检测出因黏附物造成的表面颜色加深、边缘梯度不明显的煤矸石目标,表明该模型具有很好的抗噪性。

图11 煤矸分拣机器人平台正确检测效果

由图10和图11可看出,强光环境识别效果优于弱光环境,目标表面无黏附状态优于有黏附状态识别效果。在系统中利用卷积神经网络识别煤矸石具有可行性和可靠性,可以准确检测到不同干扰因素、不同背景下的多个不规则形状的煤矸石目标。

图12为模型误检和漏检的测试效果示例,红色圈标记了误检、漏检的煤矸石。在图12a—图12c中存在矸石被误检为煤的情况;图12d中输出了3个结果,其中目标煤块被准确检测,另外2个检测框误将背景视为煤和矸石。以上情况的出现是由于煤尘、光线等干扰因素的影响,导致矸石和煤、背景的颜色特征较为相似,在检测中将矸石误认为是煤;图12e和图12f为不同光线强度和背景环境下小目标煤矸石的漏检情况,因为训练样本中多数煤矸石尺寸较大且位于图像的中央位置,当获取的图像煤矸石尺寸较小,难以准确给出目标的位置和种类信息。针对上述问题,可以对表面特征较为相似的煤矸石进行重点训练、增加小目标煤矸石训练数据等举措以减少误检、漏检情况。

图12 煤矸分拣机器人平台误检和漏检效果

3.2 定位试验

煤矸模型检测能够获得目标煤矸石的分类信息和检测框的左上角与右下角的坐标像素信息(xmin,ymin,xmax,ymax)。为验证采用检测框中心定位的准确性,在上述试验的基础上取检测框正确的15个矸石样本进行定位误差分析试验:将目标矸石的检测框中心点的像素坐标通过定位方法的特定映射方式转换成矸石在机器人系统中的绝对坐标,并计算转换坐标与实际坐标的误差,结果见表2。

表2 检测定位误差分析

由表2可以看出x轴误差最大的为样本4,误差为8.22 mm,y轴误差最大的为样本5,误差为9.45 mm,误差均不超过10 mm,对矸石的定位具有较高的精度,后续控制系统可通过处理矸石检测框信息并结合多机械臂协同分拣策略分配矸石的抓取任务。

3.3 识别定位系统测试

煤矸目标放置输送带上,在0.3 m/s最小带速下按30 fp/s帧率采集煤矸图像数据进行系统测试。依次进行10组通信测试和50组系统响应测试,试验结果如图13所示。煤矸识别定位系统检测时间对煤矸分拣过程有一定影响,根据最小带速、机械臂分拣工作区间1.5 m、识别定位检测视场距离0.6 m,计算不产生漏检和漏拣的最大时间,由式(12)实现系统响应时间是否满足机械臂抓取条件的判定,保证煤矸石的可靠抓取。

图13 通信与系统响应测试

(12)

式中：tw为工作区间分拣时间；U为机械臂分拣工作区间；vd为输送带运行带速；tr为视场检测时间；L为识别定位系统视场区间；T为系统响应时间。

由图13可知,黑色折线图为测试10组数据的系统通信时间,耗时最多25 ms、平均通信时长为17.4 ms,具有较好的数据传输速度。蓝色折线图表征0.3 m/s带速下50组数据测试结果,该系统响应时长主要包括煤矸识别算法、坐标转换及通信时长,系统最大响应时长为350 ms,平均响应时长312.7 ms。综合上述分析,识别定位系统性能满足煤矸实时分选的基本要求。

3.4 识别定位系统的带速匹配试验

根据识别定位系统固定带速下的系统性能测试结果,进行不同带速下基于识别定位系统的检测实验,设置带速为0.3～0.8 m/s(带速间隔0.1 m/s),每种带速下进行50块煤矸样本试验,并记录10组系统响应时长和检测准确率,试验结果如图14所示。

图14 系统响应时间与检测准确率关系

由图14知,随着带速的增加,系统响应时间逐步增大,带速为0.3 m/s时煤矸检测准确率为90.17%,在带速为0.8 m/s时检测准确率为84.41%,准确率下降5.76%。同时,折线图为不同带速下煤矸检测过程的系统响应时间变化,如式(13)所示,系统响应时间取每种带速下10组系统响应时长的均值。试验结果表明系统检测算法随带速的增加,检测准确率受图像采集时的目标模糊影响而下降,继而导致误检和漏检目标增加。模糊目标的检测过程影响,导致识别和定位时间增加,漏检和误检导致数据发送延时,继而使系统响应时间随带速增加而增加。

(13)

式中：td为煤矸检测时间；tc为定位时间；ts为通信时间。

4 结 论

1)结合煤矸分拣机器人试验平台,试验验证基于迁移学习的AlexNet网络模型可应用于煤矸生产工况下,对混合煤矸样本的识别率可达90.17%。为煤矸分拣机器人存在前置分选工艺选煤厂的技术推广提供了技术支撑。

2)设计煤矸识别定位系统,融合基于迁移学习的AlexNet网络模型和坐标转换方法开发煤矸在线识别与定位功能,并设计基于tkinter的可视化煤矸检测界面。测试不同带速下,煤矸识别定位系统的识别率随检测时间的变化。为煤矿智能化,基于视觉识别的煤矸分拣机器人应用,提供了案例研究的价值。

3)根据系统试验结果可知,随着带式输送机速度的提高,煤矸图像样本的检测准确率逐渐减小,且系统响应时间逐渐增大。根据图13和图14中0.3 m/s带速下系统响应时间差值较小,考虑测试数据量和测试样本差异,煤矸识别定位系统的鲁棒性不受其影响。因此,煤矿实际生产条件下,基于高带速、强环境干扰的混合煤矸样本识别方法研究成为未来智能煤矸分选设备发展的关键技术问题之一。