基于单目视觉的工业机器人自动化定位方法研究

郁正纲 YU Zheng-gang；丁伟 DING Wei；李玮 LI Wei

（①江苏安方电力科技有限公司，泰州 225300；②国网江苏省电力有限公司双创中心，南京 210000）

0 引言

在生产流水线中，工业机器人主要依靠示教或离线编程的形式来引导机械手抓取和放置工件，这种方式存在较大局限性，主要体现在两个方面[1]：一是工作环境发生变化后，由于缺乏应变能力，机器人的操作范围严重受限，导致任务中断或失败；如果工件在传送过程中发生位置偏移，机器人依旧执行既定操作，则会降低工件放置的精确度。二是自动化水平偏低的工厂应用工业机器人参与生产流程，必须搭建配套的生产线，导致前期投资增加。随着工业生产需求的多样化，如何使工业机器人准确识别工件并引导机械手抓取工件已成为自动化生产领域面临的挑战之一。机器视觉技术具有精度高、信息量大、检测范围广、开发潜能大等特点，将其应用于工业自动化中能够快速精确识别工件、测量目标尺寸和位姿[2]。本研究针对工业机器人机械臂抓取过程中的工件识别与定位问题进行探究。

1 单目视觉定位模型构建

本研究选取M2S036 工业相机采集工件图像，为满足机器人抓取所需要的三维空间信息，必须构建小孔成像模型，将图像投影至二维平面中，确定相机成像内外部参数，并运用算法计算目标姿态与空间位置。如图1 所示。

图1 小孔成像模型

1.1 图像坐标系与像素坐标系的转化

假设重心坐标（u0，v0）和像素点的物理尺寸dx、dy，可以得到如下转换关系式：

1.2 三维空间坐标的计算

基于相同发射光心点O，将OOc作为摄像机的焦距f，通过矩阵转换得到图像坐标系oxy 与相机坐标系OcXcYcZc转换关系式：

世界参考坐标系OwXwYwZw与相机坐标系构成OcXcYcZc存在刚体变换关系，可通过矩阵的齐次转化得到两者转换关系式：

其中，R、T 分别表示旋转矩阵、平移矢量，均属于相机外参矩阵。

联立上述公式可得到世界参考坐标系OwXwYwZw矩阵函数：

图像传感器的像素阵列为m×n，目标的长度Lx、宽度Ly，目标长边像素点个数lx、宽边像素点个数ly，得到公式[3]：

计算均值并将其带入世界坐标矩阵函数中，即可得到目标三维空间坐标数据。

2 基于单目视觉的目标识别与定位算法

2.1 工件图像预处理

本文使用局部直方图均衡化进行处理，具体流程为：首先，输入原始图像及其图像灰度fj（j=0，1，…，L-1），计算灰度像素数量nj（j=0，1，…，L-1）；其次，根据图像灰度及灰度像素数量计算得到图像直方图Pf（fj）=nj/n，其中n 表示图像总像素数量；再次，得到累积分布函数c（f），计算映射后的图像灰度gj=INT[（gmax-gmin）c（f）+gmin+0.5]；最后，统计像素灰度数量ni（i=0，1，…，p-1），得到直方图Pg（gi）=ni/n，i=0，1，…，p-1。结合fj与gj的映射关系，得到的图像直方图呈均匀分布。

2.2 工件图像特征提取

因此，本文采用随机树算法进行图像特征点匹配，具体流程如图2 所示。基于随机树的特征匹配算法原理为：建立随机树分类器Y，将图像特征点匹配问题转换为待匹配特征点与模板特征点集合C 中的哪个特征点相符Y（k）∈C={-1，1，2，…，N}，如果Y（k）=-1 则表示匹配失败。随机树为一颗二叉树，从根节点开始，每个节点划分两个子节点，依据分类准则判断输入对象进入哪个子节点，从而完成特征点分类。

图2 随机树算法流程图

Harris 角点检测法对于图像变化具有较强的适应性和旋转不变性，本文首先运用该方法对模板图像特征点进行检测，计算图像窗口移动所产生的灰度变化，寻找角点并将其作为图像特征点；然后以特征点为中心建立图块p（n×n），将所有图块输入随机树，计算不同类型图块的统计概率；最后判断图块走向，除特征点外，随机选择图块中的两个像素点，对其灰度值进行比较，若m1＞m2，则图块走向右节点，反之则走向左节点。选定比较像素点后，下一个图块进入该节点时，仍以之前选取的两个像素点的比较为判断准则。节点比较公式为：

式中，I（p，m2）为图块p 中像素点m 的灰度值。将所有图块输入随机树后，在叶节点处得到相应的概率分布情况，即待检测特征点的分类准则。

本文使用多棵随机树对不同区域的特征点进行分类，同时图块多大会降低分类准确性和计算效率，综合考虑上述因素最终经过多次参数调整验证，确定了随机树的棵数为30，层数为11，图块尺寸为17，建立随机树分类器，得到图块p 的概率分布：

其中，Y（p）为图块分类结果，c 为特征点类别，η（l，p）为图块到达第l 棵树的叶节点，为到达叶节点中图块p 的数量和所有图块数比值。

最后，根据所有特征点图块的概率分布情况对待检测点进行类别匹配，建立图块与模板图像中某图块的匹配关系：

2.3 工件位姿估计

计算目标工件的图像姿态，即求取目标工件主轴与图像坐标系Xw轴的夹角θ，若夹角θ 位于Y 正方向则θ＞0，若夹角θ 位于Y 负方向则θ＜0。假设目标两条平行边上像素点坐标，计算该点斜率来确定其与主轴的夹角[4]：

本文采用张正友标定法获得图像坐标系与相机坐标系的转换关系，使用Tsai-Lenz 标定法确定相机坐标系与机器人坐标系的转换关系，然后基于随机树算法通过特征点的像素坐标、世界坐标求得目标工件的实际位姿，从而引导机械臂抓取工件。

3 试验结果与分析

3.1 设定实验条件

本研究根据实验需要搭建了单目视觉定位系统，该系统由ABB-IRB120 型工业机器人、Mecanum 轮移动平台、Artcam-130mi-nir 工业相机、气动手爪、控制器组成。实验控制系统中，由上位机进行图像处理和总体控制，工业相机接口为GigE，通过千兆以太网实现与上位机之间的通讯。

3.2 特征匹配算法性能验证

本研究将该算法与基于RANSAC 方法改进的SIFT算法性能进行对比。杂乱、倾斜、遮挡、阴暗四种情况下，两种算法的特征匹配效果如图3、图4 所示。两种算法的特征点匹配率以及匹配时间如表1 所示。

表1 随机树算法与改进SIFT 算法的特征点匹配结果

图3 基于随机树的特征匹配效果图

图4 基于改进SIFT 算法的特征匹配效果图

从表1 可以看出，在遮挡、阴暗环境下，随机树算法和改进SIFT 算法检测到的特征点偏少，匹配率较低；在杂乱、倾斜环境下，两种算法检测到的特征点较多，运算时间较长。可以发现，随机树算法的匹配率更高、运算时间更短，原因在于该算法在目标识别之前就通过离线训练对稳定特征点进行了筛选，剔除了不稳定的特征点；改进SIFT算法在线检测特征点过多，并且直接进行在线匹配，经过RANSAC 算法剔除错误的匹配点后，导致匹配率较低。

3.3 工件定位实验

使用ABB-IRB120 型工业机器人进行工件定位实验。本研究共进行6 组抓取实验，每次实验中抓取不同位姿的工件，并记录平均抓取位置误差，实验结果如表2 所示。同时，机械臂完成抓取作业后，需将工件放置在特定工位，共进行6 组放置实验，记录每次实验的平均放置误差，实验结果如表3 所示。

表2 单目视觉系统抓取作业最大误差

表3 单目视觉系统放置作业最大误差

可以看出，单目视觉定位系统放置作业X、Y、Z 方向的最大误差范围为1.1～6.3mm，比抓取作业的精度稍高，这是因为进行放置作业时，指定工位点的标志图案摆放整齐，相机采集到的正俯视图与图像模板的姿态相近，因此计算得到的工件位姿误差较小。

4 结论

本研究提出了一种基于随机树的特征匹配算法，实现对目标工件特征点的识别与定位，该算法较基于RANSAC改进的SIFT 算法相比具有更高的性能，匹配率更高、匹配速度更快。工件定位实验结果表明单目视觉定位系统能够精确识别与定位工件，较好地引导移动机械臂完成工件抓取与放置作业，对于提升工业生产效率具有重要意义。