双目视觉引导机器人定位抓取技术的研究

曾劲松，薛文凯，徐博凡，郎梦梦

(郑州大学 机械工程学院，郑州 450001)

0 引言

在装配生产线中，工件的定位与抓取是工业机器人的一项重要应用，而目前的生产线上多数的工业机器人是通过预先示教的方式来控制机器人的抓取姿态到达预定的位置[1]。同时自动化流水线上常常采用倍速链来输送其上承托工件的工装板，当工装板位置不能固定或工件类型有多种时，则机器人无法完成抓取任务，这种方式在很大程度上影响了机器人的灵活性和生产效率，增加了运营成本[2]。在少数运用视觉引导机器人抓取的场合都是直接对工件进行定位[3-4]，当具有多种工件类型时需要采取不同的视觉方案进行定位，且复杂工件直接定位具有一定难度，使视觉系统不具有通用性。

为了解决以上问题，增加生产线柔性，本文提出了基于双目视觉定位工装板的机器人抓取系统，通过装在机器人6轴末端的两个工业相机来获取目标区域的图像，并通过图像预处理、工件类型识别、寻找特征点、左右图像匹配、三维位置求解、工件定位几个步骤对工装板上待装工件进行定位、识别，进而引导机器人抓取。为了求解方便以及系统的通用性，在工装板上至少开三个定位孔来确定工装板的位姿，通过工装板的位姿间接求出工件位置和机器人抓取姿态。

1 系统原理及组成

建立的双目视觉引导机器人抓取系统结构如图1所示。

图1 系统结构图

整个系统主要由图像获取单元、图像处理及计算单元和机器人执行单元三部分组成。图像获取单元是由安装在机器人末端的两个工业相机组成，由机器人带动相机到拍照区域，获取工作区域图像；图像处理及计算单元负责对相机获取的图片进行处理并计算出待抓取工件的位置和姿态；执行单元负责驱动机械手及电动夹爪实施抓取操作。

当机器人收到任务开始信号后，带动两个相机至拍照位置，由左右相机分别获取目标区域图像，并将图像通过以太网传送至工控机。由工控机对图像进行处理，包括识别工件类型、找出定位孔中心位置、计算工件相对于机器人基坐标的位置和姿态，再将数据传输给机器人，机器人根据计算结果制定控制参数，使夹爪运动到指定位置，驱动电动夹爪抓取工件。

2 工装板前期处理

在工业生产中，因为倍速链输送机具有输送载荷大、速度稳定等优点，所以常常作为自动装配线的首选输送单元，与之配套的就是其上承载工件的工装板。同一个自动化装配线往往具有多种类型的待装件需要运输，不同类型的工件可能形状各异、特征不同，视觉直接定位工件中心难度较大。考虑到输送线上工装板相对于工件固定，在工件未遮挡的工装板闲置位置做至少3个靶标可以通过双目视觉对工装板进行定位，进而求出工件位置，这种间接定位工件的方式适用于多种类型工件的定位且特征识别唯一，具有通用性。在靶标的选取上，因为圆形靶标具有拟合方便、拟合精度高、加工方便等特点，故本文选用圆形靶标作为识别特征。为了提高工装板平面的拟合精度，在工装板上加工6个圆形靶标，并用黑色尼龙塞将孔塞紧，来增加定位孔与工装板表面的对比度以及防止孔下方背景的干扰。玩具小车装配线所用工装板及部分工件如图2所示。

(a)前期处理后工装板 (b)放有待装件的工装板1

(c)放有待装件的工装板2 (d)放有待装件的工装板3图2 玩具小车组装线工装板

3 双目视觉定位工件

3.1 标定

标定是为了求出计算工装板位姿的所有参数和图像畸变矫正参数，是机器视觉应用中的关键步骤，标定结果直接影响整个视觉系统的精度[5-6]。在双目视觉引导机器人抓取中标定包括摄像机标定、双目标定和手眼标定。

3.1.1 摄像机标定

摄像机标定是根据摄像机模型建立摄像机图像像素位置与场景点位置之间的关系，已知特征点的图像坐标和世界坐标求解摄像机的模型参数。根据针孔成像模型[7]，空间任一点p在世界坐标系坐标(Xw,Yw,Zw)与其图像投影点p′坐标(u,v)的关系表示为：

(1)

其中，s为比例因子，dX、dY分别表示每一个像素在x轴和y轴方向上的物理尺寸，(u0,v0)为图像的中心点坐标，f为焦距，R1为摄像机坐标系转换为世界坐标系的旋转矩阵，T1为摄像机坐标系转换为相机坐标系的平移向量。

根据上述摄像机透视投影模型，本文采用张正友等人提出的基于2D平面标靶的摄像机标定方法[8]，其相对与其它3D立体靶标方法和自标定方法具有操作简单和设备成本低等优点。具体做法为两个摄像机由机器人带动从不同方位分别拍16张棋盘格标定板图片，运用张正友标定法求出式1中各个参数值，完成摄像机标定。

3.1.2 双目标定

双目标定主要是指摄像机参数标定后确定两个相机的结构参数R2和T2，通过摄像机的图像坐标与三维世界坐标的对应关系求得这些参数[9]。由摄像机标定可求出左右相机的外部参数分别为Rl、Tl与Rr、Tr，则Rl、Tl表示左摄像机与世界坐标系的相对位置，Rr、Tr表示右摄像机相对于世界坐标系的位置。对任意一点，假设它在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为xw、xl、xr，则：

xl=Rlxw+Tl

(2)

xr=Rrxw+Tr

(3)

根据式(2)和式(3)消去xw可得：

(4)

因此两个摄像机之间的几何关系R、T可以用以下公式计算：

(5)

(6)

3.1.3 手眼标定

手眼标定是为了建立摄像机坐标系与机器人坐标系的关系，进而求出摄像机坐标系相对于机器人基坐标系的关系。其标定方法为：控制机器人末端带动摄像机在不同的位置，对已知尺寸的棋盘格标定板进行拍照，获取图像。通过计算摄像机不同方位的外参数和机器人工具坐标系在不同方位相对于机器人基坐标的关系求出摄像机坐标系相对于工具坐标系的关系。

根据手眼标定的基本方程式[10]：

CX=XD

(7)

其中，C、X、D均为4×4矩阵，表示某两个坐标系之间的转换关系。X是待求参数，C由两次摄像机定标的外参数得到，D由机器人控制器给出。由上式可知，机器人带动摄像机移动三次(旋转轴不相互平行的平移运动)拍照，可以将X解出。在实际计算时会根据摄像机标定时拍摄的16组图片和对应的机器人位姿多次求解，根据最小二乘法确定误差最小的一组解作为最终X值。

3.2 图像特征提取

图像处理目的是为了找出以上图像中定位孔的中心位置，首先对图像进行中值滤波，去除图像在生成和传输的过程中受到的各种噪声干扰和影响，使图像更加接近真实值，然后进行二值化处理，由于在前期对工装板进行了良好的处理，使用固定阈值就可以很好地将定位孔与背景进行区分，但是阈值的选取也有一个合适的范围，太大的话影响圆孔的识别，太小又会将圆孔与背景连成一片，经过测试，将阈值设为105时，可以很好的将目标区域与背景区分开，其处理效果如图3c所示。将目标区域区分开后，寻找区域轮廓。因为在工件上没有与定位孔大小相似的圆干扰识别，且在图像拍摄过程中由于相机安装角度有倾斜或者定位圆孔不在图像中心，导致圆孔在图片上表现为椭圆，故将合适大小的区域轮廓进行椭圆拟合，根据偏心率将不接近圆的轮廓剔除，剩下的即为6个定位孔，6个定位孔圆心就是最终需要寻找的特征。图像处理流程效果图如图3所示。

(a)原图像 (b)中值滤波

(d)二值化 (e)寻找轮廓

(f)椭圆拟合局部图 (g)提取圆心局部图图3 图像处理效果图

3.3 工件空间坐标计算

在双目视觉中只要知道空间中同一点在左、右摄像机像面上的点，就可以确定出该点在相机坐标系下的三维坐标，故在图像处理部分提取出左、右图像各6个定位孔圆心的位置后，需对12个点进行排序匹配，使其两两对应，根据式(8)～式(10)求出定位孔中心的空间位置。

(8)

x=zXl/fl

(9)

y=zYl/fl

(10)

求出6个定位孔中心在相机坐标系下的空间位置后，根据最小二乘法拟合出一个最优的平面作为工装板平面，以6个点的平均值即工装板的中心为坐标系原点，以工装板平面作为坐标系xoy平面，z轴垂直于工装板向上建立工装板坐标系，同时求出工装板坐标系相对于相机坐标系的转换关系。待装件在工装板坐标系位置固定，且已知。至此，求取工件相对于机器人基坐标系所需的坐标转换关系已全部求出，按步骤计算即可，在此不再赘述。

4 实验

为了验证系统的可行性以及精度，在玩具小车装配生产线上进行抓取测试。实验采用新松SRC G5型号机器人、basler acA2500-14gm型号工业相机、理光FLHC1214-2M型号镜头、OPT 200mm环形光源、SMC LECP1N1D-LEHF40K2-80型号电缸夹取工件、研华AIIS-1240型号工控机。实验现场如图4所示。

图4 实验现场图

在环形光照明条件下，相机距工装板600mm左右，将工装板放在相机视野中的不同位置拍照，拍照完成后将照片传至工控机软件处理图像并计算出工件空间位置和三维旋转角度，然后将计算结果通过机器人控制模块发送给机器人控制柜引导机器人夹爪到指定位置，完成抓取。实验结果如表1所示。

表1 视觉定位结果与工件实际位置比较(单位：mm)

由多次实验结果可知，在机器人基坐标系下X、Y、Z单方向的误差绝对值小于0.3mm，总体误差在0.5mm以内。满足工业机器人执行抓取任务时的精度要求，并具有较好的通用性。

5 结束语

本文研究了基于双目视觉引导的工业机器人抓取系统，该系统以机器人和电动夹爪为执行机构，由工控机获取相机拍摄的图像并完成数据处理。实现双目视觉引导机器人抓取并应用于实践，为了增加系统的通用性，通过识别生产线工装板上6个定位孔来间接定位工件，这样在实际生产中，只要保持工件与工装板的相对位置不变，可以通过视觉系统识别出工件类型、计算出工件位姿，将工件类型和工件位姿数据发送给机器人，由机器人自动调节夹爪夹取距离并定位工件位置完成抓取，大大提高了生产线的柔性。整个系统软件开发是运用c++编程语言在visual studio 2012上完成。实验结果验证了理论分析的正确性和定位的准确性，节约了人力成本，提高了生产效率，为工业生产提供了良好的解决方案。