基于视觉引导的机械臂对接规划

颜小豪, 刘 楠, 王 毅, 陶 佳, 杨长辉

(1.重庆理工大学 机械工程学院,重庆 400054,E-mail:a15310882290@163.com;2.军事科学院 系统工程研究院,北京 100071)

随着劳动力成本的不断提升,各行业对于无人化、智能化的需求越来越多,机器人的应用也越来越广泛,一些需要机械臂完成对接操作的工作任务也不断涌现。如在无人加油站中,通过机器人给机动车自动加油就需要机械臂驱动油枪与机动车油箱实现对接[1]。普通设备都是采用标准化的结构,而针对一些非标准化的结构就需要设计针对性的识别及对接方法。

刘崇伟等针对大型运输设备上的电池充电补给任务,设计了一款刚柔结合充电机械臂,实现充电补给时安全柔顺的对接[1]。刘金国等人为在轨机器人设计了一种新型末端执行器用于空间站在轨加油对接作业,该末端执行器可实现快速隔离开关在管道中的自动对接[2]。王旭峰等为准确获取无人机自主空中加油对接时受油插头与加油锥套的相对位姿信息,提出一种机器视觉辅助的插头锥套式无人机自主空中加油方案[3]。Gregory P. Scott等人设计了一种机器人加油系统用于在海上为海军军舰等特殊设备加油[4]。Tommaso Gasparetto等人提出了一个浮动机器人仿真平台,用于模拟演示卫星在轨移动性。并且为机器人设计和开发了对接机构,以实现对接过程自动化等[5]。目前针对机械臂作业过程中的对接操作,大都采用设计对应的对接机构或辅助对接方法,而对视觉引导以及机械臂对接姿态规划较少,本文针对一种特定环境下的对接作业,采用视觉技术提高机器人的识别和定位精度,设计相应的识别方法,对机械臂完成对接作业时的姿态进行研究,并规划其对接姿态。

本文针对的目标是针对某特种车辆的油箱进行自动加油对接作业的环境,这种环境下,由于待加油车辆每次停放位置都存在差别,因此每次加油对接任务前,都需要对特种车辆油箱加油口进行识别和定位,在此基础上驱动机械臂完成对接动作,同时机械臂对接作业时需要保证末端执行器与加油口平面法向向量方向一致。为了解决这类问题,本文提出了一种基于RGB-D视觉引导的六自由度加油机械臂对接方法,通过RGB-D相机识别对接口卡槽,再通过第五关节分离法规划机械臂对接,实现对某特种车辆油箱加油口的顺利对接,并通过实验验证视觉识别的准确性和基于该方法规划的机械臂对接作业姿态的适用性。

1 材料与方法

1.1 加油过程与对接口

本文针对某特种车辆油箱进行自动加油对接的作业环境,某特种车辆油箱示意如图1。在此环境下加油机械臂执行对接作业时需要末端执行器与加油口平面法向向量方向一致才能顺利完成对接动作,如图2所示。

图1 油箱示意图

图2 作业姿态示意图

本文所使用的某特种车辆油箱对接口如图3所示,对接时需由阳端卡槽对准阴端卡齿,阴端前进的同时匀速旋转120°完成对接,如图4 对接头对接示意图。该对接头阳端最显著的特征为多个同心圆组成的对接口表面和3个与对接口表面形成鲜明对比的卡槽。

图3 对接口示意图

图4 对接头对接示意图

1.2 基于RGB-D相机的对接口识别方法

加油机械臂对接时需要提前获取目标的位姿信息,为了能适用该机械臂的工作环境,本文采用了RealSense D435i型RGB-D相机及环形光源搭建了机械臂的视觉模块,环形光源中心嵌入相机,并将其搭载在末端执行器上,如图5。

图5 末端执行器安装光源、相机、输油管

根据对接口的特征,本文首先通过识别三个卡槽,再利用卡槽计算油口旋转角度,从而得到目标对接口的位置。

由于对接口所处环境较为复杂,为了能准确检测出对接口的角点信息,首先需要对对接口进行初步定位,确定其感兴趣区域ROI(region of interest),采用MeanShift均值迁移模糊算法进行边缘平滑滤波,中和色彩分布相近的颜色,侵蚀掉图像中面积较小的颜色区域。对处理之后的图像采用霍夫梯度法,设置合适的迭代半径,即得到圆盘的大致圆形轮廓如图6所示。

图6 对接口的初步定位

得到对接口的初步信息后采用基于灰度图像的Shi-Tomasi角点检测算法[17],采用亚像素角点处理,得到如图7所示。通过对检测出的角点位置信息进行计算,就可以得到相应的对接口中心位置信息。

图7 对接口中心点

相机下获取到的对接口中心位置信息还需转换成机械臂基座标系下的位置信息。首先采用张正友标定法[18]对相机进行内参标定,得到该相机的内参矩阵为:

再使用相机自带的SDK对该相机的两个红外摄像头之间的参数进行标定,得到旋转矩阵和平移矩阵。最后将彩色图像与深度图像进行映射,就可以得到对接中心的深度信息,进而得到油口中心(Xcenter,Ycenter)在相机坐标系下的位置(Xco,Yco,Zco)。根据第五关节分离法可知对接中心的姿态信息,从而得到相机坐标系下的对接口中心的位姿。

最后采用Tsai-Lenz眼在手上的手眼标定算法[19],对相机与机械臂之间的转换关系进行标定,从而得到机械臂基座标系下的目标位置信息。

1.3 基于第五关节分离法的加油机械臂对接姿态规划

为保证机械臂带动末端执行器进行加油对接时的姿态满足加油口对接要求,本文通过第五关节分离法对加油机械臂的对接姿态进行规划。第五关节分离法即根据机械臂的结构形式,在机械臂的第五关节处把机械臂分成机械臂本体与末端执行器两部分,通过分别对这两部分进行分析求得机械臂对接姿态。第五关节分离法大都应用于腕关节处三个轴线交于一点的六自由度机械臂,并且在使用时需要对末端执行器的姿态进行规划,而本文基于第五关节分离法提出一种腕关节处三个轴线相互垂直的机械臂进行姿态规划。

使用第五关节分离法对机械臂进行姿态规划就可以简化对于末端执行器姿态分析,进而减少机械臂对接所需时间、优化对接作业流程。基于第五关节分离法规划对接姿态时,在机械臂的第五关节处把机械臂分成机械臂本体与末端执行器两部分,如图8所示。

图8 基于第五关节法规划机械臂对接姿态

首先根据相机识别到的目标姿态逆解第五关节的信息,得到末端执行器部分的位姿信息,之后固定末端执行器部分的姿态,再对机械臂本体部分正运动学求解,从而求出整个机械臂对接时的姿态信息,最后驱动机械臂完成对接。完成一次对接后,后续针对同类车辆,由于其目标姿态固定,再次对接时只需规划机械臂本体部分姿态即可。

1.3.1 运动学分析

通过对机械臂进行正运动学分析就可以知道机械臂末端到基座坐标系的变换矩阵,该机械臂的D-H参数表如表1所示。依照该加机械臂结构以及D-H参数表建立机械臂连杆坐标系,如图9。在标准D-H法中相邻连杆坐标系的齐次变换关系如式(1):

表1 机械臂D-H参数表

图9 机械臂坐标系

(1)

根据标准D-H法中相邻连杆坐标系的齐次变换关系式(1)以及该加油机械臂的D-H参数表可以算出该加油机械臂任意两相邻关节的转换矩阵如式(2)所示为1和2关节的转换矩阵。

(2)

(3)

由式(3)可得:

联立以上两式可得:

d4=(d6r23-py)cosθ1+(px-d6r13)sinθ1

令A=d6r23-py,B=px-d6r13,C=d4,则

(4)

其中:

D=a2cosθ2+a3cos (θ2-θ3)

E=-a2sinθ2-a3sin (θ2-θ3)

F=a2sin2θ2+a3sinθ2sin (θ2-θ3)+a2cos2θ2+

a3cosθ2cos (θ2-θ3)

G=sin (θ2-θ2+θ2)

H=cos (θ2-θ2+θ2)

1.3.2 仿真验证

使用MATLAB下的Robtics Toolbox工具箱对该机械臂进行运动学分析仿真验证。如图10所示,为该机械臂处于初始状态,即机械臂关节角度为(0,0,0,0,0,0)时的机械臂模型。从图10可以看出当机械臂的关节角度为(0,0,0,0,0,0)时末端执行器的位置为(0,-0.295,1.513)。当任意选取一组机械臂关节数据,例如(20°,30°,40°,60°,50°,60°)使用公式(3)可以计算出末端执行器的位置为(-0.147,-0.332,1.436)与图11仿真结果一致。

图10 机械臂初始位置

图11 任取关节角度的机械臂位置

假定图9的初始位置为机械臂的初始状态,模拟三次不同位置使用第五关节分离法规划机械臂对接姿态如图12。仿真结果表明,本文对机械臂的运动学分析正确,规划机械臂对接姿态有较好的适用性。

图12 模拟对接作业

2 结果与讨论

2.1 实验平台搭建与实验流程

为了验证对接口识别与定位的准确性和第五关节分离法在此类情况下规划机械臂对接姿态的适用性,本文搭建了机械臂对接作业实验平台,并分别进行是否采用第五关节分离法规划对接姿态的实验。

本文使用的是Aubo-i10协作机械臂,搭载了特制的末端执行器用于夹持对接装置以及安装相机。实验其它采用的设备有模拟目标平台、RealSense D435i型的RGB-D相机、处理器为R7-5800H的电脑等。该机械臂结构以及搭建的实验环境如图13所示。

图13 机械臂实验平台

整个机械臂对接作业实验流程如图14所示。

图14 机械臂对接作业实验流程图

首先通过相机识别到目标的位置信息,使用第五关节分离法规划此类情况下机械臂姿态时,根据目标对接口的固定姿态固定末端执行器部分的姿态,对机械臂本体部分即前五个关节规划姿态;而不使用第五关节法规划对接姿态时,在获取到目标位置后,直接规划整个机械臂的姿态。在第一次结束对接作业后,由于目标的姿态不变,所以后续使用第五关节分离法时也只需获取目标位置后直接规划机械臂本体即可。而不使用第五关节分离法则需循环整个流程。

2.2 对接口识别以及加油机械臂对接

假定从相机获取目标位置到末端执行器到达目标点为完成一次对接作业。如图15实验过程所示:(a)相机获取目标位置;(b)机械臂带动末端执行器运动到目标位置;(c)机械臂带动末端执行器转动到达目标点。

图15 实验过程示意图

随机设置十组不同的目标对接口位置,在不同目标对接口位置下,目标对接口的姿态相同而位置不相同。相机分别识别十组目标位置,并与示教器手动对接的位置进行比较,xyz三个方向中任意一个的位置信息相机识别与示教的误差在2 mm内则满足对接要求,测试结果如表2 视觉识别情况统计。在相机识别结果满足对接要求的情况下,分别测试使用第五关节分离法完成一次对接作业时间和不使用第五关节分离法完成一次对接作业时间。实验结果如表3所示。

表2 视觉识别情况统计

表3 完成对接作业情况统计

2.3 实验结果讨论

十组实验对于目标位置的识别成功率为100%,十组相机识别目标位置与示教目标位置在xyz三个方向的比较误差均在2 mm内,即满足对接的要求。其中误差达到2 mm的为两组,四组误差为1 mm。四组误差小于1 mm。使用第五关节分离法规划机械臂对接作业姿态的平均完成对接作业时间为9.95 s,而不使用第五关节分离法规划机械臂对接作业姿态的平均完成对接作业时间为10.29 s。使用第五关节分离法规划机械臂对接姿态与不使用第五关节分离法规划机械臂对接姿态相比。使用第五关节分离法规划对接姿态时,减少了3.3%完成对接作业所需时间。10组实验中,有8组减少了完成对接作业所需时间,1组与不使用第五关节分离法规划机械臂对接姿态完成对接作业所需的时间持平,1组完成对接作业所需时间多出0.1 s。实验结果表明:在这种环境下该视觉识别方法对于该对接口识别效果良好,满足对接的位置精度要求。使用第五关节分离法规划该机械臂的对接姿态有较好的适用性,并且能有效减少机械臂完成对接作业的时间。

3 结论

本文针对一些特殊环境下的机械臂对接情况,此类环境下要求机械臂对接时末端执行器姿态与目标平面姿态一致。针对其对接口的特征设计了相对应的识别方法,使用第五关节分离法规划其对接姿态。分析了该机器人的正逆运动学并使用MATLAB进行了仿真验证。在实验室搭建了实验平台,进行视觉识别以及是否使用第五关节分离法的机械臂对接作业对比实验,实验数据表明:十组实验识别成功率为100%,十组相机识别目标位置与示教目标位置在xyz三个方向的比较误差均在2 mm内,即满足对接的要求。使用第五关节分离法规划机械臂姿态时机械臂完成对接作业平均完成时间为9.95 s,而不使用时完成对接作业的平均时间为10.29 s。使用第五关节分离法时,平均减少了3.3%的对接作业时间。结果表明:在这种环境下,针对该对接口的识别方法的识别准确度达到对接要求,使用第五关节分离法规划该机械臂的对接姿态有较好的适用性,并且能有效减少机械臂完成对接作业的时间。