基于双目视觉的机器人快速示教系统*

2021-11-03潘海鸿杨竑宇梁旭斌

组合机床与自动化加工技术 2021年10期

潘海鸿，杨竑宇，田硕，梁旭斌，陈琳

(广西大学机械工程学院，南宁 530004)

0 引言

随着机器人技术的不断发展，工业机器人已经在人类社会的工业生产领域当中占据着举足轻重的地位。普通工业机器人在运动前需要经过示教，目前传统方式是示教再现[1-2]和离线编程[3-5]。示教在线方式需要反复调整机器人末端执行器位姿，整个示教过程耗时耗力，降低机器人的工作效率，并且操作人员在机器人运动的同时要靠近机器人观察，存在人身安全风险。离线编程方式安全性较高，但需要根据不同的工件单独建立模型，面对多变的工件种类和加工需求，繁重的前期工作使生产效率有所降低。

针对上述传统示教方式的缺点，许多学者将双目视觉技术与机器人示教相结合以提高示教效率。文献[6]提出一种基于双目相机的立体视觉示教方法，基于模糊集理论对机器人进行重复运动控制，直到机器人到达指定的示教点。文献[7]在示教过程中采集物体的双目视觉图像，通过数字图像处理方法提取物体边缘，计算物体中心三维坐标，通过维度变换的空间拟合差值方法，生成示教路径。上述方法主要通过图像处理和数据优化的方式对加工路径进行分析和计算，提高示教效率，但是缺乏机器人末端工具姿态数据来源，在实际应用上有一定局限。为此，文献[8]提出利用双目视觉系统连续拍摄带有标定物的示教手柄图像，记录手柄运动轨迹。该方法将示教手柄在相机坐标系下的位姿信息转换到机器人基坐标系实现复杂轨迹复现。但该方法不具有通用性，要求机器人末端执行器与示教手柄外形一致。文献[9]提出基于视觉引导的工业机器人示教编程系统，利用带有标定物的示教工具进行连续示教并转化为机器人运动指令，实现示教轨迹复现。文献[8-9]使用“眼在手外”[10]的方式搭建视觉系统来观测示教工具，一旦系统完成标定后，机器人和视觉系统都不能够移动，这在一定程度上限制机器人的示教空间和运动范围。

针对上述双目视觉技术在机器人示教中应用的局限性，提出将双目视觉模块安装在机器人末端工具上，形成“眼在手上”模型的机器人快速示教系统。研究快速示教系统坐标系变换关系，对设计的手持示教装置采用最小二乘法进行标定，最后使用该系统进行快速示教复现实验和移动示教实验。

1 双目视觉示教系统

1.1 双目视觉测距原理

双目视觉结构基于人类双眼观察外界的原理[11]，将同一目标在两个摄像机下的图像信息进行处理和计算，使用三角视差法计算目标在双目立体视觉系统中的深度信息，从而获取目标在三维立体空间中的位置、形状和姿态等信息。

在平行双目视觉系统结构中，两相机平行放置，两相机的坐标系仅存在一次平移变换。如图1a所示，左右相机两光心之间的连线b称为基线，投影点PL和PR之间的坐标差值d称为视差，使用视差d和相似三角形原理，计算点P在平行双目立体视觉系统中的三维坐标信息。

(a) 成像平面移动前 (b) 成像平面移动后图1 平行双目视觉模型

图中，坐标系oL-xLyLzL和oR-xRyRzR分别是两相机以光心为原点的相机坐标系。两相机平行放置，两相机光轴平行，即坐标系oL-xLyLzL和坐标系oR-xRyRzR平行。图1a中的A平面和B平面分别为左右相机的成像平面，点P(X,Y,Z)在左右相机的成像平面上的投影点分别为PL(XL,YL,ZL)和PR(XR,YR,ZR)。为求得视差d，将右相机的成像平面平移至左相机成像平面，使两成像平面重叠，获得PR在左相机成像平面上的投影点PR′(如图1b)，则有：

d=XL-XR

(1)

ZL=ZR=f

(2)

式中，f为相机焦距。

为求得P点在双目视觉坐标系下的三维坐标信息，设K为右相机成像平面的平移位移，即两相机光轴之间的距离(基线长度b)。f和K均通过双目相机参数标定获得，根据相似三角形定理，视差d与深度Z之间的关系为：

(3)

同理，点P的X和Y为：

(4)

1.2 双目视觉示教系统坐标转换

双目视觉示教系统主要包括机器人，双目视觉模块，手持示教装置，存在5个坐标系，如图2所示：BCS(机器人基坐标系)、TCS(机器人末端夹持工具坐标系)、CCS(双目视觉坐标系)、SCS(黑白方格棋盘坐标系)和PCS(手持示教装置末端坐标系)。其中，BCS是以机器人本体底座中心位置为原点构建的坐标系，也是机器人运动的参考坐标系；TCS是以机器人所夹持的工具末端点为原点的坐标系；CCS是以双目视觉系统中左相机的光心为原点所构建的坐标系；SCS由黑白方格棋盘的内角点结合角点之间的几何关系构建；PCS是以手持示教装置位姿测量杆件末端点为原点的坐标系。

图2 双目视觉示教系统坐标系示意图

5个坐标系及其坐标转换关系示意图如图3所示。可知5个坐标系构成运动闭合链。T5为BCS到PCS的位姿变换，如式(5)：

T5=T1·T2·T3·T4

(5)

式中，T1为BCS到TCS的位姿变换关系；T2为TCS到CCS的位姿变换关系，即手眼关系[12]；T3为CCS到SCS的位姿变换关系；T4为SCS到PCS的位姿变换关系。

图3 坐标变换关系图

根据T5可求得手持示教装置位姿测量杆件末端(即示教点)在BCS下的位置和姿态信息，用于后续实现示教点的位姿复现。

2 手持示教装置参数标定

图2中手持示教装置上包含两个坐标系，分别为SCS和PCS。标定目的是确定SCS与PCS之间的位姿变换关系T4，若直接使用设计尺寸确定两坐标系之间的旋转平移变换关系将存在较大误差。因此，提出一种SCS到PCS的平移向量标定方法，结合SCS到PCS的设计旋转角度(0～90°)计算T4，标定步骤如下：

步骤1：获取视觉标定板的角点三维坐标信息：将视觉标定板平铺放置在双目视觉有效视场范围内，计算获取视觉标定板的所有角点在双目视觉坐标系下的三维坐标信息；

步骤2：求解T3：随机选取视觉标定板上的多个角点(至少3个)，使手持示教装置末端依次对准所选择的角点，同时采集手持示教装置上黑白棋盘方格图像；计算黑白棋盘方格的角点信息，采用“三点法”构建位姿矩阵原理获得T3:

图4所示的黑白方格棋盘3个内角点分别为P1、P2、P3，在CCS下的坐标记录P1、P2、P3，记作P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)；根据三点的空间坐标构建在CCS下的空间向量，以点P1为公共点，点P2和点P3分别与点P1构成向量，且两向量互相垂直，形成SCS的X、Y轴(式(6)和式(7))，根据右手直角坐标系确定Z轴(式(8))。

Xw=(x2-x1,y2-y1,z2-z1)

(6)

Yw=(x3-x1,y3-y1,z3-z1)

(7)

(8)

将向量Xw、Yw、Zw化为单位向量，建立SCS相对于CCS的旋转矩阵R为：

(9)

最后将点P1坐标值(x1,y1,z1)设为特征识别单元坐标系的原点，即该坐标系的平移向量，最终构建出CCS与SCS之间的位姿变换矩阵T3为：

(10)

图4 黑白方格棋盘

步骤3. 求解T4：设CCS下SCS到PCS的平移向量为Tg，则：

(11)

(12)

将i个标定点在CCS下的位置信息带入式(12)，得：

(13)

由SCS与PCS的旋转关系确定旋转矩阵Rt。构建PCS时沿SCS的Y轴做一次旋转角为45°的旋转变换，则Rt如式(14)所示：

(14)

3 实验验证

3.1 视觉示教系统搭建

搭建双目视觉示教系统实验平台，包括川崎RS010NA型工业机器人、双目视觉模块，进行示教复现测试，视觉系统参数见表1。

表1 视觉系统参数

双目视觉的机器人快速示教系统示教过程：①通过按钮切换到所需的轨迹拟合模式；②在双目视觉模块的有效视场范围内，操作手持示教装置对准设定点，进行设定点的位姿示教；③双目视觉系统捕捉手持示教装置在示教时的图像并计算位姿测量杆件末端位姿信息，并将位姿信息转换到BCS下，形成机器人运动路径信息；④根据所选的轨迹拟合模式和示教点信息进行路径规划，形成机器人运动代码并控制机器人复现示教，完成机器人快速示教。此外，在超出视觉系统视野范围的示教需求场合或为减少因视野边缘存在较大畸变而造成示教精度低的影响，可通过操作机器人移动至新的位置，使手持示教装置在视觉视野中央范围内进行示教，如图5所示。

(a) 移动前 (b) 移动后图5 移动示教

3.2 示教复现测试

在空间中选取示教点，使用手持示教装置对准设定点进行示教，再使用机器人进行示教位姿复现，具体流程如下：

在空间中选取25点，将它们从靠近相机视野中心到远离相机视野中心排列，并依次记为Qi(i=1,2,…,25)。使用手持示教装置对准Qi，并记录下此时机器人上位机显示的末端位置信息XiYiZi；然后使用机器人进行示教复现，测量机器人复现位置与示教点位置之间的误差，如图6所示。机器人末端焊丝的直径为1.2 mm，取焊丝中心为机器人末端点，使用塞尺进行误差测量，结果如图7所示。

图6 示教复现误差测量

图7 X、Y、Z方向误差

通过示教复现测试数据可知，示教点的位置XYZ与机器人示教复现位置X′Y′Z′之间的平均距离误差为2.427 mm，表明所提出的双目视觉示教系统的原理是正确的。同时，从实验结果可知靠近相机视野中心的设定点位置复现误差较小，远离相机视野中心的设定点位置复现误差较大。这是由“相机畸变”导致的，远离相机视野中心的畸变较大。为此，提出采用移动示教对误差较大的设定点(10个点)进行第二次测试，减小相机畸变对实验结果的影响：移动机器人位置，使手持示教装置处于相机视野中央范围内并示教复现，结果如表2所示。

表2 移动示教后的复现误差

图8 移动示教前后25个点的位置误差

图9 移动示教前后25个点的平均误差

如图8、图9所示，对比机器人不动的固定示教和机器人移动的移动示教测试结果可知，经移动示教后25个点的复现位置误差明显下降：X方向平均误差下降10.7%，Y方向平均误差下降36.7%，Z方向平均误差下降22.1%，平均位置误差下降25.3%。实验结果表明移动示教对示教复现精度存在一定的优化效果，可减小因“相机畸变”带来的影响。