基于视觉导航定位的盾构机器人换刀技术研究

郭俊可，王杜娟

(中铁工程装备集团有限公司，河南 郑州 450016)

0 引言

随着地下空间开发力度的加大，盾构作为集机、电、液、传感器等技术于一体的高度集成化、自动化隧道施工机械，现已被广泛应用于隧道、地铁、综合管廊等领域，对国家城市化和现代化进程起到了重要的推动作用[1-2]。

盾构能否顺利掘进，刀盘刀具的状态起着至关重要的作用[3-4]。盾构掘进过程中，刀盘刀具产生磨损或出现其他问题在所难免，这就需要及时更换刀具[5-8]。但是，盾构的换刀作业空间是一个高温、高压、高湿的环境[9]，对进入开挖舱进行换刀作业的人员有严格的时间限制，同时换刀作业人员安全风险大，换刀作业周期长，这大大增加了项目施工周期和施工成本。

为解决上述问题，开始引入机器人进行自动换刀作业。国内外企业和高校已进行了不少的相关研究，目前的研究多集中在换刀机器人本体设计、运动空间规划、运动控制等方面[10-13]，关于机器人换刀过程中基于视觉导航的精确定位技术研究比较少。本文依托盾构实际需求和工况，针对换刀机器人末端执行器的定位问题，提出基于视觉导航的机器人换刀精确定位方法，并通过试验验证了其可行性。研究成果可为机器人自动换刀技术提供关键性的技术支持。

1 机器人自动换刀方法

机器人换刀采用全自动方式进行，机器人接收到换刀指令后，其控制系统根据盾构刀具智能诊断系统反馈的待更换刀具位置信息以及刀盘角度，将刀盘旋转到合适位置； 蛇形机器人移动到待更换刀具位置，进行刀箱刀具表面泥污清洗，以便下一步机器视觉特征识别和刀具拆卸作业； 清洗作业完成后，换刀机器人移动到指定位置，由机器视觉导航进行特征检测、定位； 完成定位后，抓取待更换刀具，拆卸旧刀具，由机器人将旧刀具存放于旧刀存储箱，然后抓取新刀具，再次移动到指定位置，进行特征识别、定位，将新刀具装入刀箱，完成刀具更换； 确认完成刀具更换后，机器人自动回到机器人舱，等待下一次换刀指令。机器人自动换刀流程如图1所示。

图1 机器人自动换刀流程图

2 视觉导航定位

2.1 视觉导航定位模型

根据视觉系统中相机与机器人执行机构之间的位置关系，目前，机器人视觉导航定位主要有2种手眼模型，即Eye-to-Hand和Eye-in-Hand[14]。2种视觉导航模型示意如图2所示。换刀机器人的作业对象是刀盘上的滚刀，滚刀在刀盘上呈多点位分布，若采用Eye-to-Hand方式，工业相机安装后很难保证能够清晰看到整个刀梁方向的刀具，且相机容易出现安装误差，影响机器人识别定位精度； 若采用Eye-in-Hand方式，相机固定于机器人末端执行器，随机器人末端执行器一起运动，只要机器人末端执行器能到达的地方，都可实现刀具系统的视觉检测定位。故对于换刀机器人系统的手眼模型，采用的是Eye-in-Hand方式。

(a) Eye-to-Hand模型

(b) Eye-in-Hand模型

2.2 视觉导航定位系统组成

机器人视觉导航系统硬件主要包括智能相机、镜头、补光灯和图像采集卡(见图3)。本套系统采用的是康耐视高度集成化智能相机In-Sight 8042，图像采集、处理、通信模块集于相机内，具有多功能、模块化、高可靠性、易于实现机器视觉导航定位等优点。机器人视觉导航系统在作业时，相机到达指定拍照位置后，触发相机拍照； 图像采集卡对图像进行处理，获取刀具的位置信息，将位置信息通过工业以太网通讯传输给机器人控制系统； 机器人控制系统调整机器人到最佳位置姿态，最后引导工业机器人完成作业。机器人末端执行器上设计有一体式的相机和补光灯安装支架，相机安装于补光灯中心，尽量保障光照的均匀，如图3所示。盾构开挖舱是一个黑暗、高压、高湿的环境，故相机和补光灯都采用高承压密封设计。

图3 机器人视觉导航系统硬件组成示意图

换刀机器人视觉定位系统总体采用“机器人控制系统—图像处理模块—控制执行模块”的模式，总体结构如图4所示。机器人控制系统控制相机和补光灯的开关，达到拍照位置后触发相机图像采集，相机进行图像处理后将计算结果反馈给机器人控制系统，机器人控制系统根据定位结果调整机器人姿态，实现机器人末端执行器的准确定位。

图4 视觉定位系统总体结构

2.3 视觉导航定位原理

目前盾构的滚刀采用传统拉紧块的固定方式(如图5(a)所示)，拆刀工序复杂，很难采用机器人手抓完成拆装刀作业。为此，设计了一套既满足切削等基本功能，又便于机器人快速拆装的新式刀具系统，如图5(b)所示。换刀机器人视觉导航定位过程中的特征识别，采用新式刀具系统刀箱上的固有特征进行定位。

1—刀箱； 2—拉紧装置； 3—滚刀。

1—刀箱； 2—锁紧块； 3—抓取杆； 4—螺杆； 5—螺母块； 6—滚刀。

首先，机器人进行图像的离线学习，即图像标定，寻找刀具系统上能够作为特征的识别点。机器人进行视觉定位作业前，先采集1组相对理想的特征作为模板图像M，并经过图像处理得到模板图像的特征中心坐标(x0,y0,z0)和初始角度。

在机器人换刀作业视觉定位过程中，视觉系统重新采集到一张图像A，经过模板匹配，找到特征区域并经过图像处理计算得到特征区域的中心坐标(x1,y1,z1)和当前旋转角度θ1。则可以计算出当前特征点与标定位置特征点的偏差值(Δx,Δy,Δz,Δθ)。智能相机将此偏差值发送给机器人控制系统，机器人控制系统根据偏差值调整机器人的位姿，相对于标定时的机器人抓取点进行x、y、z方向的移动以及xy平面的旋转，从而可以精确抓取到位置。视觉定位工作流程如图6所示。

图6 视觉定位工作流程

换刀机器人通过不断重复上述过程，实现机器人换刀作业过程中各位置刀具的精确定位、拆卸和安装。

2.4 视觉导航定位过程

相较于常见的工业机器人视觉工作环境，全断面隧道掘进机换刀机器人的工作环境恶劣，对视觉的影响因素众多，要实现换刀机器人的正常作业，需要刀盘刀具蛇形机器人系统、刀盘系统和刀盘刀具性能感知预测系统等多个系统的协作配合。

2.4.1 视觉导航定位特征

首先，换刀机器人进行正常换刀作业前，要进行标定和模板制作。根据换刀的作业流程，换刀机器人在拆装刀过程中涉及2个状态下的视觉导航定位： 一个是拆刀过程，此时刀具刀座处于刀箱中； 另一个是装刀过程，刀具刀座被夹持于机器人末端执行器上。上述2种状态下的视觉导航定位使用的特征点不相同。

在机器人拆刀作业过程中，机器人末端执行器要准确定位抓取位置，因此，视觉导航定位的特征点选取刀具刀座上的特征点作为模板图像制作，拟选取的特征点为刀座上的固定板，如图7所示。

图7 换刀机器人拆刀作业过程中视觉导航定位特征

在机器人装刀作业过程中，机器人末端执行器要定位刀箱的准确位置，因此，视觉导航定位的特征点选取刀箱上的特征点作为模板图像，拟选取刀箱一个角的内轮廓作为特征点，如图8所示。

图8 换刀机器人装刀作业过程中视觉导航定位特征

上述特征点都位于刀盘内侧，一方面2个特征都很明显，另一方面他们处于土舱或泥水舱内，相比于刀盘前面板，各种磨损和冲击要小很多，虽具有一定的磨损，但对基于视觉系统定位特征的中心坐标基本没有影响。

2.4.2 视觉导航精确定位过程

由于刀盘上刀具分布位置较广，为减少机器人视觉导航定位的误差，在进行模板图像标定和机器人基坐标系建立时，选取刀梁中间位置刀具，换刀机器人在定位中心位置和边缘位置的刀具都能保持较好的定位精度。

根据2.3节所述的视觉定位原理和常用标定方法，采用九点标定法实现换刀机器人系统和相机系统之间坐标系的统一[15]。

盾构上已配置基于多源数据的刀具状态在线监测系统，可以实时监测刀盘上刀具的当前状态。当发现某把刀具状态异常需要更换时，会发出信号至盾构的大脑——PLC控制系统，控制系统将信息显示给作业人员，等待作业人员下一步动作指令。

由于任意一把刀具在刀盘上的轨迹半径和安装位置基本已知，同时刀盘主驱动配有旋转编码器，因此，可通过上位机系统控制刀盘旋转； 当作业人员根据刀具状态信息判断该刀具的确需要更换时，则将待更换刀具移动至蛇形机器人巡检范围内。

作业人员向刀盘刀具蛇形机器人发出作业指令，蛇形机器人移动至待更换刀具前，对刀具进行清洗作业和检查作业，同步可利用盾构上已配置的土舱可视化系统对待更换刀具进行观察。

待更换刀具清洗完毕，同时确认刀具需要更换后，转动刀盘，将待更换刀具所在刀梁移动至换刀机器人作业位置，等待机器人换刀作业。

换刀机器人收到换刀作业指令后，将舱门打开，换刀机器人调整姿态，移动末端执行器至待更换刀具抓取点附近，进行刀具系统的准确识别定位。

上述视觉定位过程包括2个基本过程： 1)机器人末端执行器抓取点的粗略移动过程。由于刀具分布较广，任意两刀具之间相距较远，故不同位置的刀具难以处于机器人同一相机视野范围内，需要根据待更换刀具的位置相对于标定位置的距离和姿态对机器人抓取点进行粗定位。2)刀具系统的精确定位过程。机器人根据视觉系统计算出的实际位置与标定位置的偏差值进行姿态调整，以精确地抓取位置。2个过程的具体步骤分别如下。

2.4.2.1 机器人末端执行器抓取位置的粗定位

受限于刀盘内部结构以及换刀机器人舱门位置，需要更换刀具时，待更换刀具所在刀梁会旋转至机器人作业范围内，并处于水平方向。

视觉导航粗定位过程示意如图9所示。设标定位置在位置1，作业位置为位置2。由于位置1和位置2相距一般较远，不能处于相机同一拍照视野内，故需要换刀机器人系统根据待更换刀具位置对机器人抓取点进行粗定位，即由标定时的抓取位置1移动到作业位置2。

图9 视觉导航粗定位过程示意图

按照上述过程，就需要换刀机器人由标定位置先移动距离l。由2.4.2节可知，任何一把刀具在刀盘上的轨迹半径基本已知，故粗定位过的移动距离l已知，从而可移动换刀机器人末端执行器至待更换刀具位置，完成机器人视觉导航过程中的粗定位。

2.4.2.2 机器人末端执行器抓取位置的精确定位

按照2.4.2.1节中的方法，机器人进行位置和姿态调整后(粗定位)，由于刀盘刀具安装精度、刀盘制动的延时性以及机器人长距离移动误差的累积，换刀机器人末端执行器距离精确的抓取位置还存在一定偏差。这时需要视觉系统拍照，计算当前抓取位置与标定抓取点的偏差值，然后发送偏差值信号至机器人控制系统，机器人控制系统再进行位姿的精确调整，以达到精确的刀具位置抓取。

图10 视觉导航精确定位示意图

机器人末端执行器本身是一个刚体结构，与机器人末端法兰刚性连接，故可通过机器人控制系统精确控制末端执行器的位姿。

转换为齐次矩阵为

其中，设T为齐次变换矩阵，则

综上所述，换刀机器人末端执行器对待更换刀具的精确定位过程是一个复合过程，即先进行粗定位，再进行精确定位。

3 试验与分析

为验证基于视觉导航定位的机器人换刀技术的可行性，在实验室基于KUKAKR60-3搭建了试验台，进行可行性试验验证。试验台布局示意如图11所示。为了模拟机器人换刀真实环境，试验过程均在黑暗环境下进行。

图11 换刀机器人试验台布局示意图(单位： mm)

3.1 相机通讯和照明测试

视觉导航定位系统中电源单独供电，相机与机器人控制系统通过Profinet通信。下面测试相机的通讯和补光灯照明是否正常。

1)补光灯照明测试。控制系统发送照明指令，查看相应继电器是否及时响应，补光灯是否正常打开，如图12所示。

图12 补光灯照明测试

2)相机通讯测试。控制系统触发拍照指令，查看相机是否正常拍照并返回计算数据，如图13所示。

(a)

(b)

经测试，相机功能及通讯正常，补光灯的照明功能正常。

3.2 视觉定位精度测试

由于机器人采用成熟产品，其末端重复定位精度可达±0.06 mm。因此，本试验主要针对视觉系统进行。视觉系统通过九点标定法，统一了相机与机器人的坐标系，机器人对待更换刀具的定位依赖于视觉定位的精度。因此，有必要测试机器人的视觉定位精度。测试步骤如下：

1)设机器人末端执行器运行在XY平面上，机器人控制系统发出位移指令，命令机器人末端执行器沿X轴正向移动5.000 mm，触发相机的拍照指令； 相机拍照后自动计算位移量，并反馈给机器人控制系统，通过机器人控制系统查看相机返回的位移量。

2)重复步骤1)的操作，机器人发送位移指令，命令机器人末端执行器分别沿X轴负向、Y轴正向、Y轴负向移动5.000 mm，触发相机拍照； 相机拍照后自动计算位移量，并反馈给机器人控制系统，通过机器人控制系统分别查看相机在3个方向上返回的位移量。

试验结果如表1所示。

表1 视觉导航定位精度测试结果

根据上述测试结果可知，机器人视觉导航定位精度可以达到0.5 mm左右，满足使用要求。

3.3 视觉导航定位试验

在实际工况下，待更换刀具的理论位置可以通过计算获取，但实际上由于机械安装误差、刀盘停转定位误差等，待更换刀具很难准确停在理论位置，这就需要视觉导航定位系统对待更换刀具精确定位。在实验室设置有可移动刀箱(如图14所示)，用于模拟待更换刀具位置的变化。试验步骤如下：

1)用示教的方法，保证机器人末端执行器能够顺利进入刀箱，此步的目的在于确定基准抓取点。

2)机器人控制器控制机器人末端执行器移动至拍照位，然后用相机进行拍照，存储当前坐标为基准坐标。

3)进行第1次测试，在不移动刀箱的情况下，依靠视觉定位进行装刀操作。

4)进行第2次测试，刀箱进行平移操作，平移11 mm，机器人依靠视觉定位进行装刀操作。

5)进行第3次测试，刀箱进行平移操作，平移13 mm，机器人依靠视觉定位进行装刀操作。

6)进行第4次测试，刀箱进行旋转操作，旋转15°，机器人依靠视觉定位进行装刀操作。

图14 刀箱位移装置

视觉导航定位测试现场如图15所示。

(a)

(b)

视觉导航定位误差如表2所示。

表2 视觉导航定位误差

4次视觉导航定位测试中，机器人末端执行器均顺利进入抓取位置，同时定位精度亦满足使用需求。

4 结论与展望

依托盾构实际工况，针对盾构机器人换刀作业过程中刀具的精确定位问题进行了研究。本文提出了机器人换刀作业过程中的视觉精确定位方法，并在实验室搭建机器人换刀试验台进行了一系列基于视觉导航定位的机器人换刀技术试验研究，得到如下结论。

1)机器人换刀作业过程中，末端执行器的定位采用机器视觉导航定位，根据试验结果可知，定位精度可以达到0.5 mm，满足盾构机器人换刀作业对精度的要求。说明换刀机器人末端执行器采用机器视觉方法进行精确导航定位具备可行性，可将视觉技术应用于盾构机器人换刀技术中。

2)由于实际施工过程中，盾构刀盘土舱或泥水舱内部环境黑暗、高压、高湿，要想实现视觉系统的稳定可靠运行和精确定位，必须保证视觉系统的防护等级； 同时，机器人换刀作业前，要尽量保证待更换刀具清洁。

3)基于视觉导航定位的盾构机器人换刀方法，为解决换刀机器人在恶劣作业环境中刀具精确定位的问题提供了一种思路，对盾构实现自动化机器人换刀作业具有重要意义。

关于盾构机器人换刀视觉导航定位技术，只在实验室进行了验证。但是在实验室条件下，机器视觉环境相对理想，实际工况下，换刀环境非常复杂，视觉系统在复杂环境下的鲁棒性会受到影响，未来换刀机器人将搭载在真机上，在实际工况下进一步进行视觉导航定位技术的试验验证和研究。