智能选矸机器人关键技术研究

张袁浩， 潘祥生， 陈晓晶， 霍振龙， 任书文， 季亮

（1. 中煤科工集团常州研究院有限公司，江苏 常州 213015；2. 天地（常州）自动化股份有限公司，江苏 常州 213015）

0 引言

煤矿机械化、自动化、信息化和智能化是安全高效绿色现代化煤矿的发展方向[1-2]。国家能源局、科学技术部最新印发的《“十四五”能源领域科技创新规划》将煤炭精准智能化洗选加工技术作为重点任务之一，并要求形成煤炭精确分选技术工艺及装备[3]。煤炭洗选是将煤中矸石和杂质去除的过程，对提高原煤质量和推进煤炭清洁高效利用具有重要意义。煤矸随主运输胶带升井后，作业人员需在地面拣矸胶带处对矸石进行分拣，对于直径小于200 mm的矸石一般采用机械动筛法进行处理，针对大于200 mm的大块矸石，仍采用人工拣矸的方式进行分拣，这种方式分拣效率较低，现场拣矸环境恶劣，作业人员劳动强度大。

随着智能检测和机器人控制技术的不断发展，应用智能选矸机器人实现煤矸智能化分选逐渐成为趋势。智能选矸机器人具有煤矸智能识别、目标精确定位、矸石快速分拣等功能[4-5]，能够替代作业人员进行煤矸分拣作业，可大幅降低作业人员劳动强度，提高矸石分拣效率。目前，选矸机器人技术研发和应用进展迅速，涉及到的关键技术大体可划分为煤矸识别技术和分拣执行机构控制技术，即机器人设备根据煤矸识别结果执行分拣动作将煤矸有效分离。目前，国内已有一些煤矿应用智能选矸机器人进行煤矸分选[6-7]，但由于煤矸分拣环境复杂，智能选矸机器人实际应用中在算法识别效率和分拣系统可靠性方面存在难点，关键技术仍需进一步攻关。本文主要介绍了智能选矸机器人应用与研究现状，针对实际应用难点分析了智能选矸机器人研究过程中的关键技术及其存在的问题，指出了智能选矸机器人今后的研究方向，为选矸机器人产品进一步研发提供参考。

1 选矸机器人应用与研究现状

瑞典、德国等欧美发达国家于20世纪中期就开始致力于矿石分选设备的研究，无论是从技术原理还是产品形态等方面，都对国内选矸机器人研发具有一定的借鉴意义[8]。2003年，瑞典Comex公司为不少矿业公司提供了矿石分选解决方案，其研制的采用X射线投射原理的分选设备可用于分拣非金属和金属矿石。由线扫描相机和X射线分析仪构成的识别装置，利用基于工业PC的控制系统和矿石分离算法，可通过矿石物理特性进行颗粒形状识别，以区分不同类型的矿石，并可对矿石颗粒位置尺寸进行计算，由阵列式高压气动喷嘴组成的分拣作业执行机构使目标矿石改变抛离轨迹，从而达到矿石分离的目的。德国Commodas Ultrasort公司基于近红外射线（Near Infrared Spectrometry，NIS）的矿物识别技术，采用高压气动喷嘴分拣方式研制了矿石分选机，应用效果良好。2011年，俄罗斯Rados公司研制的矿石分拣机采用基于X射线荧光光谱分析技术，可通过同时测量矿石表面的4种金属含量对矿石进行分类，并研制了打板式分离执行系统作为矿石分拣执行机构[8]（图1），控制电磁挡板装置使矿石下落轨迹偏离，实现矿石分类。

图1 打板式分拣执行机构和气动喷嘴分拣执行机构Fig. 1 Plate and pneumatic nozzle sorting actuator

进入到21世纪，国内开始引进和研究用于煤矿领域的智能选矸机器人装备，随着机器视觉和机器人技术的不断发展，国内机器人厂商和科研院所经过不断的技术革新，在借鉴国外矿石分选设备采用X射线和阵列式高压气动喷嘴的基础上，研制出了具有自主知识产权的选矸机器人产品。除了利用X射线识别法之外，还应用图像处理技术和深度学习算法进行煤矸识别，可有效对煤矸类别和位置进行识别。针对特定现场的分拣环境，研制了选矸用桁架机器人[9]、并联机器人[10-11]和工业机器人系统，一定程度上实现了煤矸快速分选，并在煤矿现场成功应用。目前，以阵列式高压气动喷嘴作为分拣执行机构的选矸机器人应用较为成熟[12]，优点是能够适配较高的胶带带速，可对小块煤矸进行快速分离。但其在大体积、大质量矸石分拣环境和煤矸密集分布的情况下具有局限性。

针对现场大块矸石分拣特殊环境的需求，研制出了以桁架机器人[13-14]、并联机器人和六轴工业机器人等不同类型机器人为主体配合末端机械手作为选矸机器人的分拣执行机构，机械臂在工作空间内按照既定的运动轨迹完成移动和抓取操作，实现矸石的快速分拣。桁架选矸机器人分拣执行机构如图2所示。桁架选矸机器人有X，Y，Z三个方向的移动副和末端机械手绕Z轴方向旋转的旋转副，具有控制简单、承载能力强的特点。但由于机械臂矸石分拣动作对于矸石定位精度的要求较高，在大量煤矸密集分布状态下，机械手下放的目标抓取点必须在煤矸间隙，在下放过程中机械手不能与目标上表面进行接触，因此，需要利用附加的排列装置使煤矸先进行规则排列。大块煤矸经过排列装置时容易发生堵塞，且排列装置需要足够长的胶带线来布置，现场应用受限。因此，桁架选矸机器人在进行大块矸石抓取动作时，需考虑机械手适应性问题。

图2 桁架选矸机器人分拣执行机构Fig. 2 Sorting actuator of trussed gangue sorting robot

传统并联机器人因承受负载较小，无法在煤矿矸石分拣现场使用。赵明辉等[10]研究了一款选矸用的双臂并联机器人，在分拣动作上创造性地提出用“拨离”代替“抓取”的方式，将矸石分离到胶带一侧，“拨爪”结构可根据矸石的大小进行调节，该方法为解决大质量矸石分拣问题提供了新的思路。并联选矸机器人分拣执行机构如图3所示。

图3 并联选矸机器人分拣执行机构Fig. 3 Sorting actuator of parallel gangue sorting robot

目前国内应用较多的智能选矸机器人产品有TDS智能干选机[6]、GPRT智能煤矸分选机器人[15]、RDS智能选矸机器人和BIS-R智能机器人拣矸系统[16]。主流选矸机器人系统工作原理见表1。

表1 主流选矸机器人系统工作原理Table 1 Working principles of main gangue sorting robot systems

从应用与研究现状来看，智能选矸机器人主要基于X射线和图像识别原理，利用高压气动分拣和桁架机器人抓取进行煤矸分离。智能选矸机器人分拣执行机构主要有桁架式、并联式、串联式等类型，响应速度快，常常以“拨”和“抓”的形式将矸石分离。在胶带运输过程中，智能选矸机器人“拨”需考虑不同矸石尺寸的兼容性及运动路径的优化，“抓”需考虑机械手的作业空间及机器人的承载能力。

2 智能选矸机器人关键技术

智能选矸机器人的出现提升了原煤的入选率，降低了工人劳动强度，实现了煤炭高效洗选和绿色生产的目标，有着巨大的应用前景和商业价值，其关键技术成为煤矿机器人研究的热点。从技术架构来看，智能选矸机器人是计算机、机械、自动化、通信等多学科交叉的产物，其产品结构主要由煤矸识别系统和分拣作业执行系统组成。近年来，机器视觉和机器人技术的迅速发展与应用，为现阶段智能选矸机器人关键技术的攻破提供了更多技术手段。

2.1 图像识别技术

近年来，图像识别技术已被广泛应用于煤矸识别中，与传统煤矸识别技术中的X射线、γ射线识别法相比，图像识别技术需要以工业相机、深度相机作为图像采集单元，以视觉工控机、智能运算平台作为数据处理主机，通过图像识别算法对煤矸图像进行分析，以对煤矸进行识别。煤矸图像识别技术可分为基于传统计算机视觉的煤矸识别方法和基于深度学习的煤矸识别方法，具有智能化程度较高、识别效率高和硬件组成简单等优势。

马宪民等[17]利用煤与矸石的灰度均值和灰度方差的概率分布特征，将其与阈值进行比较实现了煤矸识别。何敏等[18]提出了基于支持向量机和纹理识别煤矸的方法，以灰度均值、灰度共生矩阵最大值、二阶矩、对比度、相关性、熵6个参数作为支持向量机的训练特征进行煤矸识别，该方法存在较高的特征空间维数，在试验样本环境下识别算法较为快速准确，但对于复杂的煤矸分布环境，算法准确率和普适性还有待提高。孙继平等[19]尝试将煤矸图像进行多尺度分解并结合灰度共生矩阵提取煤矸纹理特征，实验结果显示该方法比常规方法提取的特征更有效。Li Lihong等[20]提出了基于纹理分析的自适应窗口，考虑了图像的灰度特征，同时利用图像的空间信息，提高了煤矸识别精度，但无法实现矸石的自动识别与定位。

2012年以后，以卷积神经网络为代表的深度学习算法在图像分类领域展示出了强大潜力，基于深度学习的目标检测算法在工业场景中的应用越来越多。由于深度学习算法识别率较高、鲁棒性强，在煤矸识别方面得到了快速推广应用[21-22]。针对煤矸识别算法识别率低、定位精度差、时延长等问题，曹现刚等[23]研究了基于卷积神经网络的煤矸识别算法，提高了识别率和定位精度。郜亚松等[24]提出了一种基于改进型轻量级深度识别网络模型的煤矸识别方法，提高了模型识别精度和召回率。沈科等[25]将改进后的YOLOv5s模型应用于煤矸目标检测中，利用自校正卷积提取特征，并融合多尺度特征信息，成功降低了模型复杂度并提高了煤矸识别的实时性，有效提高了煤矸识别精度和速度。

从目前研究状况看，基于深度学习的煤矸识别技术较传统煤矸识别技术具有硬件设备简单、识别效率高等优势，其利用深度卷积神经网络对煤矸图像数据集进行训练，自动提取煤矸图像特征，并不断优化网络模型使得模型更加健壮，可准确地输出煤矸检测结果和位置信息，为后续的机器人分拣执行动作提供依据。但由于煤炭行业的特殊性和复杂性，基于深度学习的煤矸识别技术作为选矸机器人的关键技术之一，仍需进一步研究。

（1） 煤矸数据集高效构建方法研究。基于深度学习的目标检测算法在文字识别、人脸识别、车辆识别、安全行为检测等领域已有非常成熟的应用。不同于其他行业，煤炭行业的特殊性使得煤矸识别领域目前仍缺失大规模的煤矸图像数据集。而数据依赖是深度学习中最严重的问题之一，与传统的机器学习方法相比，深度学习对海量训练数据的依赖性非常强，因为它需要大量的数据来理解数据的潜在模式。现有针对煤矸目标检测算法的研究大多是在小样本煤矸数据集上进行算法的训练，模型性能受数据集大小和质量的直接影响。深度学习模型与算法内在优异的性能十分依赖于数据标注，但目前数据标注仍然主要依靠人工来完成，这种方式成本高，周期长。煤矸分拣现场环境较为复杂，获取到的煤矸图像常受到噪声影响，图像模糊，或被遮挡等，且无统一标注标准。如何自动标注大规模低质量数据是一项极具挑战的任务，因此需研究煤矸数据集高效构建方法。

（2） 煤矸识别算法的泛化性提升研究。不同矿区、不同地域的煤矸赋存特性和表面特征状态均具有差异性，现有研究煤矸识别算法的模型一般都是针对某一矿区的煤矸构建的，并不适配多个现场，需要构建一种新型的算法模型，不仅要对煤矸训练集有很好的拟合能力，而且应对未知煤矸数据集有很好的泛化能力。

（3） 煤矸识别算法实时性优化方法研究。为了提高煤矸识别算法的泛化性，一些学者对煤矸数据集进行了处理，例如利用图像增强技术对图像数据张量进行滤波、形态学处理、数据扩充、背景增强等运算，增加识别模型对煤矸复杂环境的泛化能力。但传统图像识别算法下的图像预处理、特征提取、煤矸识别是分开设计的，且与深度学习算法间的融合受到算法本身因素的制约，虽然其泛化性较好，但实时性较差。当面临多矸石分拣任务时，机器人连续高效的分拣动作对煤矸识别算法的实时性要求更高。因此，煤矸识别算法的实时性优化也是图像识别的关键技术内容。

2.2 机器人分拣执行机构智能控制技术

智能控制技术是通过定性与定量相结合的方法，针对对象环境和任务复杂性与不确定性，自主实现复杂信息处理及优化决策控制功能的技术。研究针对选矸分拣执行机构的智能控制技术，可使机器人满足复杂工况环境对其作业精度和运动状态等重要参数的较高要求，是使选矸机器人完成既定作业任务的关键，其主要包括以下关键技术。

2.2.1 面向非结构多约束环境的选矸机械臂运动规划技术

选矸机械臂运动规划是在满足机器人运动学和动力学的约束下，根据现场实际矸石分拣任务要求，对机器人运行轨迹有关的各项参数进行规划，使机器人满足精度、稳定性和分拣任务要求。运动规划问题是提高机械臂自主性和智能化的关键科学问题[26]，是机械臂完成各种复杂作业任务的前提，特别是针对非规则结构障碍物及复杂分布状态的机械臂路径规划问题[27-29]。赵明辉[30]针对采用串联机械臂分拣矸石存在分拣速度慢，且无法分拣大块矸石的问题，研制了双臂并联矸石分拣机器人并研究采用五次多项式插值函数进行机械臂轨迹规划，提高了分拣速度。针对选矸机器人分拣效率低和拣矸过程中的避障问题，夏晶等[31]提出了煤矸分拣机器人动态拣取避障路径规划算法。朱子祺等[32]提出了基于G-RRT*算法的选矸机器人路径规划算法，提高了路径规划效率。

在复杂煤矸分拣环境下，选矸机械臂要在多个障碍物（煤块、矸石）之间穿行，控制分拣目标（矸石）沿一条合理路径从胶带带面空间剔除，障碍物均为不规则物体且呈离散排列。同时，胶带处于低速运行状态，目标在动态移动环境下机械臂避障难度较大。常用的运动规划算法在求解这类问题时可能会消耗大量的时间，在面对特定环境时，存在算法收敛速度慢、实时性差的缺点，无法满足机械臂动态路径规划的实时性要求。研究面向非结构多约束环境的机械臂路径规划技术是选矸机械臂能否成功应用的前提，机械臂在执行矸石分拣作业的同时，必须能够针对静态和动态障碍物进行及时避障，并在既定的速度和加速度下沿实时规划出的路径进行移动分拣作业。目前，基于人工势场法的被动式避障算法[33]、基于PRM（Probabilistic Road Map，概率路图法）和RRT（Rapidly-exploring Random Trees，快速扩展随机树算法）的全局动态规划算法[34-35]已被用来解决非结构多约束环境下机械臂运动规划问题。

2.2.2 基于力反馈的机械臂主动柔顺控制技术

机械臂柔顺控制技术是解决机器人作业质量的关键，在复杂工业场景中已有应用[36]。目前选矸机器人控制系统均采用基于位置的开环控制模式，通过视觉系统提供的矸石目标抓取位置来引导机械臂执行矸石分拣动作。基于纯位置控制的机器人具备一定适应外界可变环境的能力，但在矸石分拣作业过程中，通常要求机械臂跟踪矸石目标并达到与移动矸石的速度和位置同步时对矸石进行抓/拨，由于算法时延、矸石滚动等因素会产生位置误差，机器人本体因受到过大的作用力而造成机械损伤，这种现象在处理密集分布的矸石分拣任务时尤为常见。此外，在开环控制模式下，若机械臂在执行分拣动作时失败，控制系统无法第一时间获取到任务状态，即机器人并不知道此时目标已丢失，特别是在面对大块矸石、大流量矸石分拣环境下，将严重影响机器人分拣效率。因此，针对选矸场景存在机器人与矸石间的力作用时，通过在机器人末端安装力传感器对机器人与矸石间的接触力、力矩进行实时监测，引入作用力、作用力矩控制输出量，将作用力、作用力矩作为闭环反馈量引入控制过程中，通过计算期望力参数与实时反馈力参数之间的误差来修正机器人实际运动轨迹，从而使选矸机械臂具有基于力反馈的柔顺控制能力。

2.2.3 多臂协作分拣任务分配策略及控制技术

不同于工件分拣应用场景，煤矸分布密度较大、分布均不规则，每块矸石的规格形态都不同且是唯一的。当现场不具备安装煤矸排队装置的环境时，较多的出矸量决定选矸机器人系统应采用多臂协作分拣方式以提升整体分拣效率[27]。根据选矸机器人工位和分拣目标，多臂分拣协同控制有以下2种情况：① 独立工作空间下的多目标分拣：多机械臂位于独立工作空间下，作业空间不存在交集，即无需考虑相互独立的机械臂间的碰撞问题。当多机械臂间在无碰撞的前提下，协作分拣属于松协同任务，机械臂只需按照任务分配策略在时间约束下执行运动轨迹即可。选矸机器人多臂协作分拣场景多为独立工作空间下的多目标分拣，其任务分配策略主要为基于目标均分的任务分配策略、基于区域划分的任务分配策略和基于目标溢出的任务分配策略。煤矸分拣场景由于目标分布不均、数量不定会出现漏拣，基于目标均分的分配策略显然并不适用。同样地，基于区域划分的任务分配策略适用于规则排列的目标抓取任务，在该任务分配策略下，胶带根据机械臂个数被划分为多个区域，机械臂分别抓取不同区域中的目标，当现场不具备安装煤矸排队装置的条件时，该方法无法适用。基于目标溢出的任务分配策略在目标分布状态较为复杂、分拣目标较多时，能够使选矸机器人在性能允许的最大分拣节拍下工作，保证一定的分拣效率，减少了漏拣次数。② 协作空间关系下的多目标分拣：指多机械臂在处于同一工作空间或具有工作空间交集的情况下共同协作完成多目标分拣任务，该场景下机械臂之间由于会受到力和位置的整体约束，协作分拣属于紧协同任务，除需考虑上述场景中的任务分配策略问题外，碰撞检测问题是研究重点，也是机械臂轨迹规划的重要问题之一。研究多机械臂碰撞检测方法可通过外部传感器和建模法进行，建模法降低了系统复杂性和成本，较为实用。其中基于图形碰撞检测方法的层次包围盒法和空间分割法是目前比较常用的碰撞检测方法。

3 智能选矸机器人研究方向

现阶段关于选矸机器人系统的研究主要针对简单煤矸分布环境下的图像分类、定位和机器人分拣执行机构控制技术展开。由于煤矿特殊的工作环境和作业要求对选矸机器人技术研究提出了进一步的需求，为使选矸机器人能够从根本上替代人工选矸，结合机器人领域最新研究进展，相关研究可从以下几个方面展开：

（1） 针对现场复杂环境进行技术改进，提高煤矸识别算法的鲁棒性和自适应性。传统机器视觉算法存在特征提取困难、自适应性较差和误报率较高等缺点，研究应将深度学习领域最新研究成果应用于煤矸识别的不同现场场景，不断进行模型适配和优化，提高算法的鲁棒性和自适应性，从而实现煤矸精准识别和定位。同时，由于深度学习识别效果的优劣与训练数据的丰富性息息相关，虽然煤矸识别场景相比于其他目标检测识别场景较为单一，但煤矸分布环境的复杂性导致数据复杂程度较高，对模型特征提取能力和泛化性提出了更高要求。特别是当现场样本不足时，研究基于迁移学习的煤矸小样本训练方法，利用已训练好的大规模数据模型对其他样本的期望值进行预测，以提高深度学习模型的泛化性，便于算法与模型快速部署和适配。

（2） 提升选矸机器人工业现场适用性，研究动态非结构环境下的智能感知技术。智能感知技术是机器人执行复杂分拣作业的重要支撑技术。在智能化应用场景下，选矸机器人要在胶带运行时执行矸石分拣动作，在多约束环境下动态目标及障碍物可能会与机械臂发生碰撞，为确保选矸机器人系统的可靠性和稳定性，需研究动态非结构环境下的视觉伺服技术。同时，现有选矸机器人系统多基于目标矸石二维定位信息引导机器人进行点到点运动，在煤矸密集分布环境下可能会因为抓取点误差产生无效分拣动作；在机械手采用“拨”方式分离矸石的过程中，机器人需要调整末端姿态以有效控制矸石执行避障，但仅根据矸石二维坐标信息无法对矸石分拣过程进行有效控制。因此，研究矸石高精度三维位姿估算技术是智能感知技术的发展方向之一。

此外，选矸机器人还无法自主模拟人工拣矸的动作进行作业，其主要原因是缺乏与外部真实环境进行高级交互的能力，没有全面的感知数据作为反馈信息，无法实现分拣作业过程全局实时闭环控制，故研究面向复杂选矸场景下基于视觉-触觉融合的感知技术是提高选矸机器人智能化程度的关键技术手段。

（3） 面向高级应用场景，研究基于力位混合控制的选矸机器人智能拣矸技术。工业机器人力位混合控制已有大量的理论基础，但在实际应用中实施难度较大，工业现场应用较少。研究基于力位混合控制的选矸机械臂控制技术可实现位置控制和力控制2个控制闭环，能够控制选矸机械臂按照期望轨迹运动的同时，对末端接触力的期望值进行控制，可满足特定高级场景应用的需求。

（4） 以行业需求为导向，探究智能选矸机器人井下选矸可行性。井下对设备防爆性能有严格规定，现有的选矸机器人多针对地面使用场景设计，不适用于井下。除设备防爆要求外，井下带式输送机速度、设备空间、煤尘环境及光照条件等因素也对煤矸识别速度、识别算法鲁棒性和泛化性、执行机构分拣速度提出了更高要求。由于井下就地选矸可提升煤炭开采效率和井下运输效率，井下排矸技术与装备成为了煤炭精准智能化洗选的重要研究课题。

4 结语

智能选矸机器人能够根据现场工况条件，快速、精准地对矸石进行自动识别并分离，符合智慧矿山发展要求，也是煤炭行业机械化换人、自动化减人、智能化无人发展的必然趋势，应用前景广阔。介绍了智能选矸机器人的应用现状，分析了智能选矸机器人的关键技术及其存在的问题，指出煤矸识别技术的改进、适应复杂环境的智能感知技术和控制技术研究、选矸机器人的井下选矸可行性探究是智能选矸机器人今后研究的方向。