基于机器视觉掘进机位姿检测应用现状与趋势

2022-09-14柳学猛

中国矿业 2022年9期

柳学猛，张凯，马跃

(1.国家能源集团宁夏煤业有限责任公司，宁夏银川 750011；2.中国煤炭科工集团太原研究院，山西太原 030006)

煤炭作为我国的“工业粮食”，为我国的工业发展做出了重要贡献。依据我国富煤、贫油、少气的资源禀赋，未来一段时间内煤炭仍将是我国的主要支柱能源。随着煤炭开采深度的增加，煤炭开采的环境日益复杂，为了提高煤炭开采的效率，减少人员伤亡，国家提倡机械化减人、自动化换人，从而建设成无人化的智慧矿山[1]。巷道掘进作为煤炭开采的重要组成部分，掘进智能化是实现智慧矿山的必要条件，其中掘进机位姿参数的检测对掘进机的自动化以及无人化操作具有重要作用。

近年来，国内学者对掘进机的位姿检测进行了众多研究，并取得了一定的研究成果。朱信平等[2]将全站仪与棱镜相结合以实现掘进机的位姿参数的测量；陶云飞等[3]提出了一种基于iGPS的掘进机位姿测量方法并研究了测量误差的分布规律；符世琛等[4]采用超宽带的测量手段，结合定位基站自主行走功能，实现了掘进机的自主定位定向；薛光辉等[5]通过激光跟踪云台与激光标靶实现了掘进机位姿参数测量；冯大龙[6]最早在掘进机的无人驾驶中引入了捷联惯导装置。但以上研究中对于位姿测量的方法仍存在一定的不足，基于全站仪的测量方法测量路径易遮挡，影响掘进机位姿检测的实时性跟连续性；基于超宽带的位姿测量方法容易发生漫反射；由于单个传感器存在局限性，部分学者将多个传感器进行融合用于掘进机的位姿检测，吴淼等[7]将捷联惯导与二维里程计进行了融合，改进了捷联惯导系统的姿态更新算法，二维里程计的使用弥补了惯导系统位置参数漂移严重的不足。

从前人研究可知，单个传感器检测精度较低，难以适应煤矿井下复杂的环境，多个传感器融合的位姿检测方法系统相对复杂，但成本较高，位姿模型解算复杂。机器视觉技术具有非接触、实时性好、获取信息全面等优点，目前在煤矿井下得到了广泛应用，主要的应用方面有煤仓煤位检测[8]、水火灾监控[9]、矿井人员跟踪[10]、综采设备的调直[11]等。本文以悬臂式掘进机为研究对象，分析了基于机器视觉的掘进机位姿检测技术的研究现状，介绍了基于视觉的位姿检测方法所涉及的关键技术，总结了目前存在的难题并指明未来的发展方向。

1 基于视觉的掘进机位姿检测研究现状

掘进机工作面智能化掘进以无人化为终极目标，掘进机无人化操作需实时感知掘进机在煤巷中的位姿，以掘进机的实时位姿参数为反馈，在巷道掘进过程对掘进机进行实时纠偏，从而使掘进机按照巷道设计轴线进行掘进。近年来，不少研究者致力于掘进机位姿视觉检测方法的研究，取得了一定的研究成果。

田原[12]将激光指向仪与视觉系统相结合实现了掘进机的定位(图1)，激光指向仪在掘进机机身产生特征点阵，相机实时采集特征点阵图像，采用图像预处理以及目标识别方法，得到掘进机机身上特征点阵的像素坐标，解算位姿参数模型，得到巷道掘进过程中掘进机在巷道坐标系下的实时位姿。试验结果表明，位姿检测系统的位置参数的偏移量为3.5 mm，姿态角中的航向角的偏差为0.5°，俯仰角以及横滚角的偏差为0.1°。

图1 基于视觉的位姿检测系统组成示意图Fig.1 Schematic diagram of vision-basedpose detection system

杜雨馨等[13]构建了一套基于机器视觉的掘进机位姿检测系统(图2)，该系统由红绿蓝两种十字激光器、防爆相机、激光标靶组成。该系统工作时，双十字激光器发射激光，相机采集激光标靶图像，经过图像预处理以及图像特征的检测，获取双十字激光形成的十个像素坐标，利用相机成像原理以及坐标系的转换关系，得到掘进机在巷道坐标系下的位姿。试验结果表明，在一定测量范围内，系统的姿态角测量误差在0.5°范围内，机身位置误差在20 mm以内，满足巷道掘进过程中掘进机位姿参数测量的实施性与精确性。

图2 基于双十字激光额掘进机位姿检测示意图Fig.2 Schematic diagram of position and pose detectionof roadheader based on double crosshead laser

杨文娟等[14]采用激光束作为掘进机位姿检测的信号来源，系统组成如图3所示，其中激光指向仪发射激光，防爆相机采集激光束，得到激光直线束图像，利用相机投影模型以及直线像素坐标，解算出相机坐标系与定位模型坐标系的转换关系，进而利用全站仪对定位坐标系的标定，得到掘进机在巷坐标系下的位姿。试验结果表明，机身姿态角的测量误差在0.5°范围内，满足巷道掘进过程中对掘进机位姿参数测量的实时性、精确性的要求。

图3 基于两点三线的掘进机位姿检测模型Fig.3 Model of position and pose detection of roadheaderbased on two points and three lines

基于视觉的掘进机位姿检测方法主要以相机为基础，以激光特征为信号来源，通过图像处理技术以及相机投影模型，解算出掘进机机身相对于巷道坐标系的坐标。其中，涉及的关键技术包括图像去噪、图像增强特征检测方法以及利用相机投影模型形成的掘进机位姿解算模型。

2 基于视觉的掘进机位姿检测关键技术

基于视觉的掘进机位姿检测以图像为信息载体，采用图像预处理技术改善图像质量，提取图像中显著的特征，利用显著的特征像素构建掘进机位姿检测模型，从而借助相机投影模型解算掘进机位姿参数。

2.1 图像预处理技术

煤矿井下环境复杂，高煤尘、低光照、强振动对图像质量影响较大，不利于图像特征的提取，为了突出图像中的显著特征，便于识别与解释，需要对图像进行预处理。杜雨馨等[13]采用多尺度Retinex算法对激光标靶图像进行处理，该算法可以对图像像素范围进行动态压缩，且在图像色彩均衡方面有较好效果，实验验证该算法在双尺度且尺度因子分别为σ1=2，σ2=20的情况下，对图像的处理效果较好。

基于视觉的掘进机位姿检测依据激光特征的不同，可分为激光光斑的掘进机视觉位姿检测以及激光直线的掘进机视觉位姿检测。图像特征检测方法以局部特征为主，局部特征通常指与最近邻域相区别的像素邻域，该像素邻域通过构造特征量，来减少图像发生尺度、旋转、变化所带来的影响，所以局部特征通常指局部不变特征。常用的图像局部特征有圆和直线，基于视觉的掘进机位姿检测以激光光斑与激光直线为主，利用圆和直线特征实现掘进机视觉位姿检测。激光光斑的识别以圆特征的检测为基础，常用的圆特征检测有加权质心法、Hough变换法、圆拟合法、高斯曲面拟合算法[14]，其中算法性能对比见表1。

表1 圆特征检测算法性能比较Table 1 Performance comparison of circle featuredetection algorithms

由表1可知，以运算时间为代价的高斯曲面拟合算法精确度较高，加权质心法与圆拟合法运算速度较快但抗干扰能力较弱、精确度较低，Hough变换法虽然运算速度一般但精确度高，在要求运算速度一般的场合下，Hough变换法相对于加权质心法与圆拟合法有较强优势，同时具有与高斯曲面拟合算法一样的抗干扰能力。

2.2 基于视觉的掘进机位姿检测模型

基于视觉的掘进机位姿检测主要利用相机针孔成像原理，并通过相机坐标系、机身坐标系、巷道坐标系的相互变换来实现掘进机位姿的检测。其中，相机针孔成像模型表示三维物体点与图像二维像素点之间的映射关系，这种映射关系通常利用相机内参来表达，而掘进机的外参表示相机相对于参考物之间的矩阵变换。杜雨馨等[13]利用相机成像原理建立了基于双十字激光线的掘进机位姿视觉检测模型，其中双十字激光直线形成双十字激光面，固定于机身的激光标靶得到双十字激光直线，进而利用特征直线检测方法得到特征直线的像素坐标，如图4所示，从而求得双十字激光面的方向向量，利用矩阵变换求得掘进机在巷道坐标系下的位姿。

图4 基于双十字激光线掘进机位姿视觉检测模型Fig.4 Model for vision detection of position and poseof roadheader based on double cross laser

杨文娟等[14]利用相机成像模型建立了基于两点三线的掘进机位姿视觉检测模型，其中相机坐标系的焦点坐标以及三维空间的特征直线、二维图像坐标系的投影直线构成虚拟平面，如图5所示，并利用平面代数的方法得到三维空间的特征直线方向向量，结合三条激光直线的交点在定位模型坐标系的坐标[15]，并利用矩阵的线性变换，得到掘进机的旋转矩阵与平移向量。

图5 基于两点三线的掘进机位姿视觉检测模型Fig.5 Vision detection model of roadheader position andpose based on two points and three lines

3 基于视觉的掘进机位姿检测发展趋势

3.1 提升图像采集硬件

基于视觉的掘进机位姿检测利用图像作为位姿检测的特征来源，但井下低照度、高粉尘的恶劣巷道环境严重影响图像的质量，降低了掘进机位姿检测的精度，所以研究具有较强抗干扰能力的图像采集装置至关重要。开发具有除尘功能的图像采集装置，可以降低煤矿井下粉尘对图像的影响，提高图像质量，降低图像特征提取的难度。张福明[16]研究了一种防爆相机视窗自动除尘装置，该装置主要有清洁装置与数据采集装置，其中数据采集装置由能见度传感器与视频采集装置构成，能见度传感器用来对粉尘浓度进行监控，视频采集装置实时采集能见度传感器的数值，进而通过清洁装置来实现防爆相机视窗的清洁。胡而已等[17]提出相机镜头自揭膜和自动除尘装置，通过对镜头污染程度的判断，进行揭膜操作以及自动清洗。

研究煤矿井下低照度环境下的图像采集装置，有利于提高掘进机位姿视觉检测系统的适应性，促进视觉技术在煤机装备上的应用。杭州海康威视数字技术股份有限公司研究了一种能在低照度环境下进行彩色图视觉体验的黑光相机，该相机提升了图像的信噪比、解析度、色彩还原度等性能，改善了煤矿井下低照度环境下图像采集的质量。

近年来，嵌入式系统因便捷、灵巧，得到快速发展，系统内部集成针对各种特殊场景下的图像处理方法，大大提高了图像采集系统的适应性，同时也集成了大量深度学习以及人工智能算法，提高了图像自适应处理能力，随着新技术的发展，嵌入式系统的集成度将得到有效提高，图像处理能力增强，成本大幅度降低，将会在煤矿井下的图像处理场景中得到大幅应用。

3.2 提高视觉检测系统的冗余性

基于视觉的掘进机位姿检测系统，依靠单一视觉技术对煤机装备进行位姿检测以及定位定向容易受巷道复杂环境的影响，导致位姿检测精度以及定位精度的降低，难以满足煤矿井下的实际应用，因此采用多信息融合的掘进机位姿检测方法，有利于提高检测系统的稳定性，常用于进行融合的技术有激光测距技术、惯导技术、全站仪测量技术等，在结合视觉技术获取信息全面的情况下，弥补视觉测量技术易遮挡、适应差的缺点。

黄东等[18]使用捷联惯导与单目视觉相结合的测量系统，实现了掘进机的位姿测量。其依据运动载体上的相机外参随运动载体的变化而变化，通过捷联惯导得到相机外参中的旋转矩阵，并以激光点图像作为信息来源，从摄像机的成像模型中解算出位置变量。何斐彦等[19]在双盾隧道掘进机中使用了倾角仪与单目视觉的组合完成了双盾掘进机前后盾位姿的检测，其中光学特征点系统由空间几何位置已知的主动发光点构成，倾角仪用来测得特征点系统的旋转角度以及摄像机系统的旋转角度，通过矩阵间的求逆变换以及相机内参变换公式，从而得出前后盾的位姿。

3.3 改进特征提取算法

基于视觉测量技术的位姿检测系统，特征提取的准确率决定着检测系统的精度，煤矿巷道环境复杂，采集的图像特征提取的难度较大，现有的图像特征提取算法依据环境的不同，需要采用不同的特征提取算法，且需要修改算法的参数，环境适应性较差，因此，需要研究环境适应性强的特征提取算法，根据环境特征实时进行调整，进而提高图像特征提取的准确度，提高位姿检测精度，提升系统的鲁棒性。

目前，位姿检测方法大多采用激光束在激光标靶的成像以及激光光学靶标构建视觉特征，需要在相机视野内能够实时采集这些特征，但在煤矿巷道中设备繁杂，容易出现激光光线被遮挡以及相机采集的激光光学靶标不完全，所以需要研究一定条件下相机采集的激光点线图像不完全的掘进机位姿视觉检测方法。