煤矿带式输送机分拣机器人异物识别与定位系统设计

薛旭升，杨星云，齐广浩，马宏伟，毛清华，尚新芒

（1.西安科技大学 机械工程学院，陕西 西安 710054；2.陕西省矿山机电装备智能检测与控制重点实验室，陕西 西安 710054；3.北京联合大学 北京市信息服务工程重点实验室，北京 100101；4.西安重装韩城煤矿机械有限公司，陕西 韩城 715400）

0 引言

煤矿带式输送机作为煤矿生产的重要设备，其安全运行是保证煤矿正常生产的重要基础。自2019年以来，国家发展改革委、科技部等部委连续印发的《煤矿机器人重点研发目录》《关于推进煤矿智能化发展的指导意见》中，均对煤矿开采装备智能化明确提出减人提效、煤矸快速分拣、异物分拣与安全防护等关键技术突破的要求，尤其是对运输过程中矸石及其他非煤杂物智能分拣机器人提出了自动识别、精确定位等需求[1-2]。然而，煤炭生产运输过程中，煤矿输送带会受到综采或综掘等开采出的异物影响而导致撕带、断带等严重事故，例如采煤作业时会截割煤壁中的锚杆，设备自身的金属部件等锋利的异物也会掉落在输送带上，甚至会扎破输送带，具有极大的安全隐患，因此，需对输送带上锚杆、设备自身的金属部件等锋利异物进行识别与定位。

人工检测、雷达检测、金属探测器等传统的异物检测方法检测效率低、成本高、部署与维护困难，且存在安全隐患[3-4]。随着机器视觉技术的不断发展，国内外机构与学者分别探究了机器视觉技术在煤矿带式输送机状态监测、目标检测等方面的应用[5-6]。王志星等[7]采用双目视觉对带式输送机输送带纵向撕裂进行了在线检测。王燕等[8]设计了基于机器视觉的大块异物视觉检测系统。苗长云等[9]研究了基于机器视觉和支持向量机的带式输送机矸石检测方法。杜京义等[10]提出了基于改进YOLOv3模型的煤矿带式输送机异物检测方法。胡璟皓等[11]提出了一种基于深度学习的带式输送机非煤异物识别方法。吴守鹏等[12]针对大块矸石或铁器等识别问题，提出了一种快速区域卷积神经网络（Faster−RCNN）+双向特征金字塔网络的运煤输送带异物识别模型。上述研究针对输送带上煤矸石、异物等提供了有效的检测与识别方法，但这些方法更偏向于针对煤矸石识别，且都未解决目标定位问题。长期以来，马宏伟等[13]、曹现刚等[14]、王鹏等[15]针对煤矿带式输送机分拣机器人异物智能检测与控制开展了研究，分别提出了一种基于机器视觉的煤矸石分拣机器人动态目标稳定抓取轨迹规划方法、设计了一种基于卷积神经网络的煤矸识别定位系统、研究了一种基于机器视觉的多机械臂煤矸石分拣机器人系统，为煤矿输送带分拣机器人异物识别与定位提供了可参考的理论模型与方法，但其分拣目标仍为煤矸石，这与煤矿输送带上异物的特征有本质区别，仍需优化及改进。国外的研究机构及学者大多将三维光学检测（激光与视觉融合检测方法）、近红外测量等技术应用于煤矿带式输送机异物检测与煤岩识别等[16-17]。这些方法对于检测异物具有一定基础，但其异物精确识别与定位问题并未解决。

综上，机器视觉已在煤矿带式输送机目标检测与识别方面具有一定的理论基础，但目前煤矿带式输送机分拣机器人目标识别主要针对煤矸石识别，对造成输送带穿透、撕裂等的异物目标识别的研究较少，且在目标异物精确定位方面的研究也较少。为此，本文设计了煤矿带式输送机分拣机器人异物识别与定位系统，可对输送带上存在的不同类型和不同形状的异物进行识别与定位。首先利用双目视觉实时获取输送带上异物图像信息，并对异物图像进行降噪与增强预处理；然后建立目标异物边缘特征提取与识别模型，通过图像特征匹配的方式解算出异物存在区域，实现异物类型的检测、分类与识别；最后构建目标异物位置区域及坐标，利用多目标质心快速计算方法求取目标异物质心坐标，实现目标异物的定位。该系统为煤矿带式输送机分拣机器人异物分拣提供了有效数据与新方法。

1 系统需求分析

设计煤矿带式输送机分拣机器人异物识别与定位系统的目的是为了实时检测和识别输送带上的异物，为实现快速分拣提供数据支持，确保煤矿输送带安全稳定运行。因为井下环境复杂，且输送带除异物存在外，煤和矸石堆叠也是造成异物识别和分拣困难的重要因素，本文仅研究造成输送带穿透、撕裂等的异物目标，假设煤和矸石处于平铺的状态。因此，在设计煤矿带式输送机分拣机器人异物识别与定位系统时主要要考虑以下几个方面的需求：

（1）输送带在运动过程中要能够实时采集清晰的图像。

（2）过滤输送带背景图像信息，突出目标异物特征。

（3）识别目标异物类型，确定目标异物所在输送带区域信息，标记目标异物并显示坐标信息。

（4）有稳定的数据传输能力，传输速率高且安全可靠。

（5）可以实现远程监控。

2 系统设计

2.1 系统组成

煤矿带式输送机分拣机器人异物识别与定位系统采用双目视觉实时获取煤矿输送带上异物图像信息，提取异物边缘特征，识别目标异物并解算目标异物坐标，实时显示图像识别结果和坐标信息，为煤矿带式输送机分拣机器人提供目标异物坐标信息。煤矿带式输送机分拣机器人系统样机如图1所示。

图1 煤矿带式输送机分拣机器人系统样机Fig.1 Prototype of sorting robot system of coal mine belt conveyor

煤矿带式输送机分拣机器人异物识别与定位系统主要由输送带传送单元、视觉感知单元、信息处理及显示单元组成。

（1）输送带传送单元：主要物料运输的主体。实际煤矿井下开采环境复杂，存在粉尘、水雾、照度低等问题，输送带上除煤、矸石等物料外，可能还存在金属与非金属等物料，见表1。

表1 输送带上的异物类别Table 1 Types of foreign objects on conveyor belt

（2）视觉感知单元：双目视觉固定于输送带上方，用于实时采集输送带上的物料图像。利用局部补光装置使双目视觉具有井下低照度环境的适应能力。

（3）信息处理及显示单元：通过目标异物图像信息建立特征分离、提取与识别模型，有效提升目标异物识别准确率与识别效率；设计输送带实时监控系统，实现异物实时捕捉与显示、位置坐标显示等，如图2所示。

图2 煤矿带式输送机分拣机器人异物识别与定位系统界面Fig.2 Interface of foreign object recognition and positioning system for sorting robot of coal mine belt conveyor

2.2 系统识别与定位方法

为了解决煤矿输送带上存在的异物危害，本文提出了基于双目视觉的煤矿带式输送机分拣机器人异物识别与定位方法，其重点研究基于双目视觉的输送带目标异物图像采集与特征提取、建立输送带异物特征样本库、输送带异物坐标位置解算。方法架构如图3所示。

图3 煤矿带式输送机分拣机器人异物识别和定位方法架构Fig.3 Architecture of foreign object recognition and positioning method for sorting robotsof coal mine belt conveyor

（1）针对输送带异物图像采集问题，提出在图像采集过程中对输送带实时图像进行预处理的方法，并基于Canny算子进行图像信息增强，通过灰度拉伸方法改进图像边缘信息，突出异物边缘特征。

（2）针对异物特征提取与识别问题，利用形态学方法提取异物形状特征，建立异物图像特征样本库，通过图像特征匹配方式解算出异物存在区域，实现异物类型的检测、分类与识别。

（3）针对异物空间位置定位问题，在异物类型成功识别的基础上，建立相机、输送带与目标异物坐标转换关系，利用多目标质心快速计算算法求取异物质心坐标。

3 异物识别方法

3.1 异物识别方法原理

本文通过实时采集输送带上图像数据，对图像特征进行边缘提取，结合目标异物样本图像特征进行匹配，同时，通过实时采集目标异物图像边缘特征刷新样本库信息，从而实现异物识别，异物识别方法原理如图4所示。

图4 异物识别方法原理Fig.4 Principleof foreign object recognition methods

3.2 基于双目视觉的输送带异物检测与识别

针对利用双目视觉采集图像存在畸变严重、输送带上异物定位不准确的问题，利用基于平面模板法实现图像畸变矫正，为解决像素坐标到世界坐标的标定提供方法依据；针对输送带上异物识别困难的问题，设计输送带异物图像增强方法，利用形态学处理方式提取异物形状特征作为样本，结合样本匹配算法实现异物识别。

3.2.1 基于平面模板法的图像畸变矫正

本文采用平面模板法实现图像矫正，通过引入适当的畸变参数，得到离心畸变模型[18]：

式中：(δrd,δtd)为图像点畸变坐标；ks，ps为畸变系数，s为畸变系数的个数，s=1，2，…；o为图像像素点到原点的距离；φ为图像点的倾斜角；φ0为图像正方向与最大切向轴的最大夹角。

畸变矫正后图像点坐标为

式中：(为畸变引起的实际成像点坐标；(u,v)为图像点的理想坐标；(δur，δvr)为图像点径向畸变坐标；(δut，δvt)为图像点偏心畸变坐标。

用近似多项式求取视觉系统内外参数[19]：

式中：n为图像帧数；m为每帧图像上特征点的个数；gij为第i帧图像上第j个特征点的图像坐标；(M，R i，T i，k1，k2，k3，p1，p2，Gj)为 由空间坐标Gj投影到世界坐标反求的图像坐标；M为内部参数矩阵；R i为第i帧图像的旋转矩阵；T i为第i帧图像的平移向量；Gj为 第j个特征点的空间坐标；k1，k2，k3，p1，p2为畸变系数。

利用平面模板法实现图像矫正，并使其图像坐标原点和世界坐标原点重合，保证异物坐标解算时坐标位置的有效性。

3.2.2 异物图像预处理

本文需对原始图像数据进行灰度变换，经过灰度变换处理后，含有颜色信息的彩色图像变成了仅含亮度信息的灰度图像，提高了图像处理速度。为解决灰度化处理后依然无法去除图像数据的噪声干扰问题，采用中值滤波对目标异物图像进行去噪处理，对目标异物的边缘特征信息进行保护，并降低煤块图像信息对目标异物图像的影响。

3.2.3 异物图像边缘检测与特征提取

基于Canny算子对图像边缘特征进行增强，并通过灰度拉伸方法对边缘检测图像进行优化，从而得到准确的图像边缘特征，将图像边缘特征点用笛卡尔坐标(x,y)表示，由于形状边缘一般为封闭曲线，所以也可以用极坐标(θ,ρ)表示，利用该曲线判定形状。设形状的质心(x0,y0)为坐标原点，并建立极坐标系，则形状边缘可以表示为极坐标下的曲线：

本文主要针对杆状目标进行识别，通过边缘特征提取后，准确计算出形状边缘曲线，并区分煤块与杆状异物，从而识别出目标异物。

4 目标异物定位

在异物成功识别的基础上，通过划定异物识别感兴趣区域（Region of Interest，ROI）的方法提高异物识别检测效率，并以输送带为参照，建立视觉与输送带的坐标系转换，利用质心计算方程解算异物空间位置；将ROI作为机械臂末端工作区域，通过解算的异物质心坐标为机械臂末端抓取坐标，将其输送给机械臂控制系统，实现目标异物的抓取，完成分拣任务。

4.1 图像ROI确定

以目标异物边缘特征值为基础，建立目标异物的ROI，降低目标异物图像信息计算量，并为建立目标异物定位坐标系提供区域依据。杆状异物ROI划定方法如图5所示。以输送带为参照，在目标异物边缘特征值的基础上，划定ROI，该区域也为图1中的机械臂I工作区域。

图5 ROI视觉内划定Fig.5 Intra-visual delineation of region of interest

4.2 相机、输送带与目标异物坐标系转换

对图像进行描述一般会涉及2个常用坐标系：图像坐标系(O1xy)和像素坐标系(O0ab)，图像坐标系用于描述图像各点间的位置关系，像素坐标系用于描述图像像素特征。2个坐标系均处于成像平面中，它们的位置关系如图6所示。

图6 图像坐标系和像素坐标系Fig.6 Image and pixel coordinate systems

通过图6可得到坐标(x,y)和坐标(a,b)之间的变换关系，且其满足以下转换模型：

式中：(a0,b0)为图像坐标系的原点O1在像素坐标系下对应的坐标；dx和dy为每个像素点在x轴和y轴的物理尺寸。

将式（6）进行矩阵变换可得

根据ROI设置视觉内部坐标系，并以感兴趣区域OG为坐标系原点，以输送带前进方向为坐标x轴，表示输送带上距离，在输送带平面上与x轴垂直的方向为y轴，与xOGy平面垂直的为z轴，表示视觉高度，转换后坐标系如图7所示。

图7 转换坐标系Fig.7 Converting the coordinatesystem

4.3 目标异物定位算法

异物样本匹配识别成功后，为获得异物准确的位置信息，采用异物的质心坐标来识别异物在输送带上的位置。实际识别时会存在多个异物被识别的情况，通常采用群目标几何中心的群起始算法计算多目标质心，但该算法过于复杂，实时性较差。本文采用一种多目标质心快速计算方法，获取标志异物的外接矩形顶点坐标(x1，y1)、(x2，y1)、(x1，y2)及(x2，y2)，针对目标异物采用如下公式[20]得到异物质心坐标(x0，y0)：

式中：B（q，w）为二值图像像素值，当像素B（q，w）属于该划定ROI时，B（q，w）=1，否则B（q，w）=0。

5 实验验证与分析

5.1 实验平台参数及环境模拟

以煤矿带式输送机分拣机器人系统样机（图1）为研究对象，构建煤矿带式输送机分拣机器人异物识别与定位实验平台，将双目视觉传感器安装于带式输送机上方，主要性能参数见表2。

表2 实验平台主要性能参数Table 2 Main performance parameters of the experimental platform

本文利用LabVIEW软件平台设计识别与定位系统软件，目标异物坐标信息、目标异物类别信息、输送带实时图像和目标识别提取图像等系统程序设计如图8所示。

图8 目标异物坐标信息、目标异物类别信息、输送带实时图像和目标识别提取图像等系统程序Fig.8 System programs such as target foreign object coordinate information, target foreign object category information, real-time image of conveyor belt and target recognition and extraction image

5.2 实验方案

本文以杆状异物为实验对象，通过实验样机验证煤矿带式输送机分拣机器人异物识别与定位系统及其算法的可靠性，实验主要包括对异物图像采集、处理实验；在图像处理的基础上，实现对输送带异物的匹配识别和坐标提取。实验过程及目标异物图像识别流程如图9所示。

图9 煤矿带式输送机分拣机器人异物识别与定位实验Fig.9 Foreign object recognition and positioning experiment of sorting robot of coal mine belt conveyor

通过杆状异物实验样本进行30组实验，图像识别结果见表3。识别率为93.33%。

表3 异物图像识别结果Table3 Foreign object imagerecognition results

5.3 目标异物识别与定位系统实验验证与分析

为了验证煤矿带式输送机分拣机器人异物识别与定位系统对不同长度与不同直径下的杆状目标异物的识别与定位情况，采集了如图10（a）所示的3，5，7 cm不同长度的杆状目标异物和图10（b）所示的5，10，15 mm不同直径下的杆状目标异物，识别率见表4和表5。

图10 不同形状的杆状目标异物Fig.10 Rod-shaped target foreign object with different shape

表4 不同长度的杆状目标异物图像识别结果Table 4 Rod-shaped target foreign object image recognition resultsfor different lengths

表5 不同直径的杆状目标异物图像识别结果Table 5 Rod-shaped target foreign object image recognition resultsfor different diameters

从表4、表5可看出，不同长度下、不同直径下的识别率差距较小，在固定场景下，该系统均能较准确地识别出目标异物。

通过对3种不同长度杆状目标异物和3种不同直径杆状目标异物识别结果表明，本文所设计的煤矿带式输送机分拣机器人异物识别率不受尺寸、材质和颜色等因素影响，对目标异物具有高精度检测与识别效果。

以图10（a）的杆状异物为例，对输送带运行过程中的20个目标异物进行实时定位实验，采用目标异物质心坐标(x0,y0)和经双目视觉实时检测后解算出的目标异物质心坐标(x′0,y′0)进行对比，结果见表6。

表6 目标异物质心位置坐标解算实验结果Table 6 Experimental results for solving the coordinates of the target foreign object's centreof mass position

通过表6实验结果的分析可得出目标异物的坐标误差关系，如图11所示。可看出X轴最大误差为7.32%，平均误差为2.75%；Y轴最大误差为6.5%，平均误差为3.01%，考虑到输送带运动、视觉和系统运行环境等因素，误差在可控范围。

图11 目标异物X，Y轴坐标误差Fig.11 Target foreign object coordinates X and Y axis error

综上可知，采集杆状异物坐标数据满足实际杆状异物定位精度要求。本文研究的目标异物检测、识别与定位系统不受形状、材质和颜色等因素影响，根据样本库的建立与刷新，还可实现盘状、多边形等不同形状异物的识别与定位。

6 结论

针对煤矿带式输送机异物隐患导致的安全危害问题，设计了一种煤矿带式输送机分拣机器人异物识别与定位系统，为实现煤矿输送带异物检测与精确识别提供方法与数据支持，为分拣机器人准确定位并抓取异物提供依据。

（1）设计了输送带异物图像增强方法，利用形态学提取了异物形状特征，为异物在空间位置的解算提供依据。

（2）以输送带为参照，划定异物识别感兴趣区域，提高了异物识别检测效率。

（3）构建了视觉、异物与输送带的坐标系转换方程，利用质心快速计算方法实现对目标异物位置信息的解算。

（4）通过样机实验与验证结果分析表明，煤矿带式输送机分拣机器人异物识别与定位系统能够实现输送带目标异物图像的采集、处理、特征提取、识别和位置定位，识别率为92.5%以上，目标异物位置定位平均误差为3%左右。