基于双目视觉的机器人虚拟拖动示教技术的研究

詹文赞，徐赐军，杨金堂，周诗洋，余峰

(1.武汉科技大学机械自动化学院，湖北武汉 430081;2.湖北理工学院机电工程学院，湖北黄石 435003)

0 前言

近些年来，人力成本上升，产品更新速度不断加快，机器人广泛用于各行各业，如焊接加工、码垛、喷涂、机器装配等复杂行业，机器人的使用不但减少了劳动力降低了劳动成本，而且提高了产品的生产质量和效率，是未来工业化发展的必然趋势[1]。在实际运用中，机器人的轨迹规划是一个重要且复杂的问题，机器人的轨迹规划影响到机器人的运动性能，如常见关节的刚性冲击、末端执行器低频振动等[2]。

传统的轨迹规划分为关节空间规划、笛卡尔空间规划和机器人示教，均有各自的优缺点：关节规划控制简单，但是末端运动轨迹无法满足要求，适用于简单轨迹的规划；笛卡尔空间规划的运动轨迹比较直观，但容易进入机器人的奇异位置；机器人示教方法可分为在线示教和离线示教，优点是十分灵活可以进行复杂轨迹规划，但是对编程人员要求较高，需要调整机器人姿态，拓展性低，无法进行推广[2-4]。对于机器人复杂轨迹的规划，刘明亮等[5]和刘俊利等[6]利用D-H法对机械臂末端执行机构进行运动学分析，后进行关节正逆运动学求解运算，而采用建立D-H坐标系再进行正逆运动学求解进行计算时，正逆运动学计算复杂且误差较大，无法进行机器人复杂路径的规划，难以适应现代工业的高速发展。

基于此，本文作者使用拖动示教的方法进行机器人运动轨迹的规划，通过记录运动轨迹并记录对应的位姿，利用运动学仿真获得机器人运动过程中的关节角度参数；建立了双目视觉位姿获取平台，使用平台捕捉示教轨迹并获得位姿数据，通过坐标变换技术研究机器人虚拟样机和末端执行器虚拟样机融合方法；在ADAMS软件中进行机器人虚拟样机模型的构建，以获取的位姿数据作为虚拟样机的驱动函数，进行ADAMS运动学仿真后获得示教仿真轨迹，提取示教轨迹并与仿真轨迹比较；仿真轨迹达到预期后，测量机器人运动过程中关节角度，后导出机器人各个关节的运动参数，实现机器人按照期望的示教轨迹运动。

1 机器人末端位姿获取

1.1 末端位姿获取平台

示教拖动轨迹是一段持续的动作，需要进行精准连续位姿捕捉。双目视觉能将场景内的三维空间信息迅速还原和对运动目标进行持续捕捉，设计易于被识别的目标靶面，将目标的位置信息转化成数据的方式进行保存。基于此，构建以双目视觉为原理的末端位姿获取平台，实现对运动目标的追踪和定位。其工作流程如图1所示。

图1 末端位姿获取平台运行流程

基于双目视觉的末端位姿获取平台由双目镜头、双目支架、PC上位机、末端示教器和图像处理器构成。示教器位姿信息经过双目镜头到图像采集卡，所采集图像经过机器视觉软件处理获得示教器末端的位姿。实验平台如图2所示。

图2 机器视觉实验平台

1.2 末端位姿获取方法

机器人末端位姿获取系统采用张正友相机平面标定法[7]。采用Halcon标定板，将标定板在多个位置进行移动和转动，并使其铺满两相机的视野，同时分块保存左右相机的标定图像；标定程序根据图像信息确定相机视野中心，同时在标定板位于视野中心位置时建立工件坐标系。

双目相机标定位姿如图3所示，可看出相机之间的空间位置关系,并结合表1，得到标定相机之间平移的距离为141.2 mm，而实际安装距离为140 mm，基本符合实验要求。由表1得出左相机的光心像素坐标为(710.5，551.8)，实际相机的分辨率为1 920像素×1 200像素，与光心坐标相差不大。相机坐标系之间旋转矩阵近似为单位矩阵，符合双目相机之间近似平行且无旋转的关系。

图3 双目相机标定位姿

表1 左右相机标定参数

图像处理是机器人末端姿态获取的重要技术。图像预处理后，进行图像特征提取。而图像特征提取主要采用Hough变换将边缘像素连接起来组成区域封闭边界的一种方法[8]。Hough变换是将靶面上具有圆的特征点转化成一个个点并将其连接成一起，使其成为一条三维曲线，将图像提取问题转变成数据计数问题[9]。根据靶面特征，靶面有4个大圆，靶面与写字板夹角不同的时候识别的轨迹可能为圆和椭圆，其对应的轨迹方程为公式(1)所示

Ax2+Bxy+Cy2+Dx+Ey+1=0

(1)

基于Hough的轨迹检测方式建立了一个关于(A,B,C,D,E)的五维矩阵，计算图像中每个像素的梯度信息，寻找合适的阈值得到边缘；将图像中的边缘点与矩阵(A,B,C,D,E)进行映射，并任意对矩阵(A,B,C,D,E)进行累加，累加至边缘点变换完成。矩阵(A,B,C,D,E)最多且最接近的一列为轨迹方程的参数，根据轨迹方程进而确定示教器中心点和特征靶面圆心的的坐标值。靶面特征提取如图4所示。

图4 靶面特征提取

确定示教器中心坐标与靶面圆的圆心坐标后，如图5所示，坐标系O-XYZ为工件坐标系，工件坐标系与写字板中心重合。建立以示教器上表面中心为原点，ZL轴为垂直靶面且方向向里，XL轴与靶面靶边平行且方向向右,再根据笛卡尔坐标系右手定则建立靶面坐标系。经过平移、旋转操作使世界坐标系与示教坐标系重合，可得到示教器坐标系与工件坐标系重合的旋转参数(α，β，γ)。

图5 位姿表示

记OL在世界坐标系上的点为Pi=(xi,yi,zi),P2在边线的中点上，XL轴与下表面交点为P3。YL轴与下表面交点为P4,而将工件坐标系与示教器坐标系重合需要进行两个步骤。

(1)进行平移，使工件坐标系原点与示教器坐标系原点进行重合。平移向量为T。

(2)

(2)规定世界坐标系旋转顺序为Y轴、X轴、Z轴，使工件坐标系与示教器坐标系重合。

将世界坐标系绕Y轴旋转β角，根据欧拉旋转定理[10]，则有旋转矩阵RY(β)使特征点P2与YOX平面重合。

(3)

(4)

根据特征点P4的值求出β的值。当求出的β值为负时，β的值则为(β+π)。

(5)

将世界坐标系绕X轴旋转α角，则有旋转矩阵RX(α)使示教器坐标系的ZL轴与世界坐标系的Z轴重合。

(6)

(7)

根据特征点P4的值求出α的值。当求出的α值为负时，α的值则为(α+π)。

(8)

将世界坐标系绕Z轴旋转γ角，则有旋转矩阵RZ(γ)使得两坐标系重合。

(9)

(10)

根据特征点P3的值求出γ的值。

(11)

根据靶面尺寸和特征点P2、P3可以计算出示教器靶面中心的坐标，坐标和旋转参数(α，β，γ)反映了工件坐标系和示教器坐标系之间的关系。

2 机器人虚拟拖动示教

2.1 虚拟拖动示教技术

虚拟拖动示教方法基于双目视觉技术及虚拟样机技术实现机器人末端执行器轨迹的规划方法。具体操作如下：末端轨迹人工示教并通过双目视觉的位姿获取平台捕捉示教的轨迹，获得机器人末端执行器的位姿数据；分别建立工业机器人及末端执行器的虚拟样机，并构建虚拟环境中工业机器人基坐标系与工件坐标系的关系矩阵，实现工业机器人虚拟样机及末端执行器虚拟样机的融合；以工件坐标系为虚拟样机全局坐标系，使用末端位姿数据作为末端执行器虚拟样机的运动学仿真驱动条件，使末端执行器示教轨迹在虚拟环境中再现。由于工业机器人虚拟样机及末端执行器虚拟样机的融合，工业机器人虚拟样机随末端执行器的运动而转动相应关节，从而获取机器人关节运动参数。其流程如图6所示。

图6 基于机器视觉的示教运行流程

2.2 虚拟模型构建

根据机器人基坐标系和工具坐标系定义分别在机器人虚拟模型中构建基坐标系XWYWZWOW、工具坐标系XLYLZLOL。工具坐标系在具体机器人中相对于基坐标系相对固定。例如以机器人第六轴工具安装法兰中心为工具坐标系原点，则两个坐标系下的坐标变换矩阵设为T0，令工具坐标系XLYLZLOL下已知点为P0，则该点在基坐标系XWYWZWOW下的坐标为

(12)

根据靶面标定方法可知，示教器靶面坐标系XMYMZMOM相对工件坐标系XGYGZGOG的坐标已知。令工件坐标系到机器人基坐标系的变换矩阵为T1，则靶面坐标系原点OM在基坐标系下的坐标为

(13)

在机器人虚拟拖动示教模型中，若将靶面坐标系某一已知状态与机器人复位状态下的工具坐标系重合，如图7所示，即点P0为工具坐标系原点OL，且与靶面坐标系原点OM重合，则根据坐标变换关系式(1)和式(2)求出工件坐标系相对机器人基坐标系的变换矩阵T1，即可确定虚拟拖动示教模型的工件在基坐标系的位置。

图7 坐标原点之间的关系

根据变换矩阵T1确定工业机器人虚拟样机、末端执行器虚拟样机及工件虚拟模型的坐标关系，可以将末端姿态获取的数据转换成机器人的工具坐标系运动输入，实现机器人虚拟拖动示教模型的构建。

2.3 虚拟模型拖动

利用ADAMS软件进行虚拟模型的拖动，需要在软件中对虚拟样机机器人的关节添加运动副，以及在机器人末端执行器的运动副中添加驱动时间函数，驱动完成后才能使机器人运动起来。添加该机器人的运动副类型主要涉及固定副与转动副，机器人关节均为转动副，将底座进行固定添加驱动时间函数则为机器人末端驱动的条件。

模型上定义驱动是将运动副作进一步约束，这种约束使构件之间按照预期的规律运动。在机器人末端执行器添加空间点驱动，驱动函数由6组试验数据组成，利用多自由度驱动的功能，定义3个平移驱动及3个旋转驱动，设置X向运行的时间函数为CUBSPL(time,0,SPLINE_1X,0)，其他5条样条曲线如是设置，最终驱动时间函数设置如图8所示。

图8 运行时间函数的设置

2.4 虚拟拖动示教关节数据获取

空间点驱动后得到机器人末端仿真轨迹，机器人末端执行器完成预期目标轨迹后，建立关节之间角度测量，主要内容如下：分别找出关节质心并建立Maker点，找出两关节之间连接线，根据两关节质心并在关节线上寻找合适的点构成两关节之间的测量角，依次构建出6个关节之间的测量角度。

角度测量构建完成后再次进行仿真驱动并输出关节运动的角度随时间变化曲线，以便实现机器人离线轨迹规划编程。

3 实验

示教实验以毛笔为末端执行器，将毛笔与机器人执行器相接并构成新的机器人末端执行器。获得示教器靶面坐标系与双目视觉标定坐标系之间的欧拉角α、β、γ，即获得机器人末端执行器的位姿，获得的示教器位姿如图9所示。图9中的6组数据，前3组数据为靶面中心坐标的位置，后3组为示教器靶面坐标系与工件坐标系之间的旋转参数(α，β，γ)。

图9 毛笔靶面识别结果

将6组数据分别保存到6个试验数据文本中。试验数据中第一列为时间，第二列为6组数据之间的一组数据。导入试验数据样条曲线，其中图10(a)为3条轴向位移与时间的变化曲线，图10(b)为3个轴向转角与时间的变化曲线。

图10 示教器运行时间函数的设置

对虚拟样机机器人共添加了6个转动副和12个固定副。添加完成后需要对仿真模型进行检查，在机器人末端执行器上添加驱动点Maker46和末端轨迹输出点Maker47，设定完成后模型如图11所示。

图11 ADAMS虚拟机器人模型

导出书写“Z”过程的关节运动曲线，将机器人关节运动曲线依次命名为J1～J6。其中J1～J6随时间的变化如图12所示。可以看出J1～J6关节角度随着时间持续变化，运动仿真过程中机器人关节无明显抖动，且过程中运动平稳。

图12 机器人关节角度输出曲线

进行多次毛笔书写示教并轨迹提取实验。如图13为示教书写“中”字完成后的图像。图13所示为机械臂末端轨迹，轨迹交叉着抬笔、书写与点笔的痕迹。将仿真轨迹中多余的轨迹去除并构成一条新的轨迹，并将新轨迹与示教进行拟合，得到图14(a3)(b3)(c3)。

图13 毛笔末端仿真轨迹曲线

图14 机械臂末端轨迹图

实验结果表明：示教的轨迹与仿真轨迹趋势相同，且仿真轨迹包含过程中书写、提笔等详细过程，完全记录了书写的过程，但也存在轨迹不重合的现象。通过分析，示教器为毛笔，毛笔笔头柔性较大，仿真过程中无法体现毛笔笔头的柔韧性，因而造成轨迹拟合的误差，但示教的轨迹与仿真轨迹趋势相同，表明示教轨迹满足机器人拖动轨迹的要求。

4 结论

建立双目视觉位姿获取平台和六自由度串联机器人虚拟样机，通过机器视觉识别技术捕捉人工示教轨迹，将平台捕捉的示教器的位姿数据赋予虚拟样机机器人，并基于ADAMS进行运动学仿真，仿真后采集到的关节数据可直接由于机器人编程。结果表明：通过机器视觉技术，可方便、准确、快捷将示教轨迹在虚拟样机机器人中再现，直观了解机器人运动过程中各个关节及末端执行器的运动状态，为机器人轨迹规划及离线编程提供了依据。