面向零件装配的机器人工件识别＊

钟佩思 付 琳 刘 梅 王 晓 郭世贺

（①山东科技大学先进制造技术研究中心，山东 青岛 266590；②山东科技大学机械电子工程学院，山东青岛 266590；③青岛高测科技股份有限公司，山东 青岛 266114）

在制造业普遍存在的工艺中，产品装配处在整个工艺流程的后半段，其工作量占产品制造总工作量的20%左右[1]。目前的工业装配机器人大多数由人工提前规划机械手的移动轨迹，机器本身没有自主性，生产过程缺乏柔性，与周围环境的交互性不强，将机器视觉与智能控制相结合完成目标工件的识别能够有效提高机器人的自主装配性能[2−3]，适应复杂的生产环境。基于视觉的目标工件识别关键技术在于特征点的提取与匹配，鉴于实际工业应用中数据量大、实时性强的问题，提出一种特征点提取与匹配方法实现特征点的精准提取与快速匹配是当前需要解决的难题之一。

经典的特征提取与匹配算法有SIFT算法[4]、ORB算法[5]、SURF算法[6]和BRISK算法[7]。这些算法在处理图像时有各自的优势，同时也存在许多不足，ORB速度快但匹配精度低，SIFT可以做到精准匹配但耗时较长，对此，很多学者提出了改进方案：潘峰等[8]在传统ORB算法的基础上提出将图像划分多个网格进行特征点提取，保证提取到的特征点均匀分布，但在融合GMS后计算时间增长数十倍，降低监测效率；单雨丝等[9]用OBR算法提取特征点后，利用图像的色调、饱和度和明度信息对匹配特征点对进行两次筛选提高匹配正确率，但对于图像的颜色分布有一定的约束；丁国绅等[10]利用光学系统在光谱维度上的差异改进SIFT算法，提高图像空间性质的测量精度，但由于存在相似点，改变源图像与目标图像的顺序都会极大影响最终的匹配结果；Zhao L M等[11]提出了一种改进的AGAST算法融合ORB算法以适应复杂环境下光照和旋转尺度的变化，引入旋转不变性和标度不变性均无的AGAST算法不是最佳的选择；Kim T等[12]提出根据局部特征重要性来适当减少特征点，在自然场景图像中应用效果较好，但容易导致不完全匹配；Wang Z F等[13]为提高ORB算法的匹配精度，提出从特征点中提取不同仿射变化下的描述符的稳定位进行特征匹配。上述算法大多适用于较为简单的场景，复杂生产线的装配需要精度更高且鲁棒性强的特征提取与匹配算法来实现目标工件的高效识别，进而提高整个装配过程的效率。

本文提出基于双层旋转滤波器的特征提取与匹配方法进行目标工件的识别，实现机器人装配环节的柔性化和智能化，分别将待识别工件图像与工作场景中采集到的图像中的有效特征点提取出来加以筛选，再对其中的相似特征点进行匹配，实现目标工件的识别。通过试验对比分析本文方法与3种传统方法的识别效果，搭建基于机器视觉的轴孔装配实验平台，验证该方法的可行性。

1 目标工件识别方法

本文提出一种基于双层旋转滤波器的目标工件识别方法，采用双层旋转滤波器进行积分图像运算得到所有尺度下每个像素点的响应值，完成特征点的初步提取，通过非极大值抑制[14]和直线抑制对提取到的特征点进行两轮过滤，剔除响应值低的不稳定特征点和边缘直线上的不稳定特征点，利用rBRIEF算法生成描述符，用Hamming距离进行特征点的匹配，用RANSAC提高匹配精度。

1.1 特征点提取

传统的双极性高斯拉普拉斯滤波器采用两个圆组合而成，如图1a，近似拉普拉斯的效果最好，具有良好的旋转不变性，但计算量较大；DOB滤波器用两个正方形组合取代BLOG中的两个圆，如图1b，可以用积分图像法进行运算，并且在重复性方面优于SIFT，缺点是旋转不变性较差；DOO滤波器采用八边形组合，如图1c，结合了前两者的特点，具有一定的旋转不变性；双层旋转滤波器将一正方形旋转使其交错呈45°来近似BLOG中的两个圆形，如图1d，能更好地近似高斯拉普拉斯算子，旋转不变性较好、稳定性强且运算速度较快。

图1 4种近似拉普拉斯的滤波器

双层旋转滤波器在不同尺度下内外核的大小如表1所示。

表1 不同尺度下的滤波器内外核大小

对每个像素采用不同尺度的双层旋转滤波器分别计算内外层的灰度和，除以相应层的面积后做差得到该像素点在该尺度下的响应值。为了能够包含积分图像的最后1行与最后1列的像素点，将积分图的大小设置为（宽度+1）×（高度+1）。

由于ABCDEFGH滤波器的形状是八角形，本文在积分图像的基础上进行扩展，将双倾斜积分图像与传统积分图像运算相结合，计算像素响应值。ABCD灰度和采用传统积分图像计算如下：

式中：I表示指定像素点的积分图像值。

EFGH采用2个不同倾斜积分图像计算如下：

式中：IF和IT分别表示平坦倾斜积分图像、双倾斜积分图像的灰度值。

将两者灰度和相加减得八角形内外层灰度和，再除以相应层面积得到该像素点在该尺度下的响应值，如图2所示。

图2 双层旋转滤波器下计算像素点响应值流程图

利用双层旋转滤波器计算得到的像素响应值可以判定特征点的稳定性，响应值小的特征点稳定性差。本文采用非极大值抑制来选取置信度高的特征点，如图3所示，将n层上的每个像素点与其周围1圈进行比较标记响应值小的像素点，然后与n+1和n−1层的像素点比较获得尺度空间的局部极值点，去除响应较弱的点。

图3 某像素点与其局部邻域内26个像素点的位置示意图

经过非极大值抑制，保留了置信度较高的特征点，但在边缘或者直线上还存在一些特征点，该类特征点性能较差。利用极值在平行边缘方向和垂直边缘方向主曲率大小不同的特点，通过Harris矩阵计算某特征点的主曲率比，根据主曲率比与阈值的关系决定该点的去留。如式（3），计算Harris矩阵：

式中：Lx和Ly分别表示函数L沿X和Y方向的偏导数。

设定阈值t为20，若结果满足式（4），则该特征点属于直线，剔除该特征点，否则保留。

至此，完成了对工件上各特征点的提取任务，并对不稳定特征点进行了2轮过滤，剩余特征点将用于下一步的匹配工作。

1.2 特征点匹配

为了给提取出的像素点引入方向角度，加强算法的旋转不变性，本文利用rBRIEF算法得到二进制向量形式的描述符，然后用Hamming距离判断描述符的相似程度进行特征点的匹配。

首先，计算特征点主方向，选取P为中心点，围绕P截取48×48的正方形区域S，然后计算S区域的矩、特征点主方向、质心坐标，如下：

式中：I(x,y)表 示 (x,y)处的像素灰度值。

为了能够消除噪声影响，提高描述符的抗干扰性能，需要对所选取的S区域进行平滑预处理，本文采用9×9大小的盒状滤波器，利用积分图像的方法降低计算量的同时还能保证准确度。

以Gaussian分布方式选择像素点对。在S区域中选择n个像素点对 (p,q)。比较像素点对的灰度值。将S区域按旋转矩阵R进行旋转，使得到的描述符具有旋转不变性，通过对比像素点对的2个像素灰度值来构造二进制描述符，计算公式如下：

式中：I(pi)、I(qi)分别表示第i个像素点对的两个像素灰度值。

利用Hanming距离，对比两个字符串对应位置相异的个数作为特征点对的匹配结果。经过初次匹配后可能会出现较多异常点或误匹配，为提高算法精度，引入RANSAC算法实现结果的优化。

2 验证

为了验证本文方法的匹配性能，分别在图像旋转和图像缩放状态下，将SURF、BRISK、ORB以及本文方法进行对比。

2.1 旋转不变性结果分析

图4为旋转状态下SURF、BRISK、ORB以及本文方法的匹配效果对比，表2列出详细匹配信息。

图4 旋转状态下4种算法的匹配效果对比

表2 旋转状态下4种算法的匹配情况

由表2和图4可知，SURF算法是在所有尺度上检测特征点，匹配精度最高达到99.37%，但匹配用时达到9.12 s，主要是由于描述符生成过程较慢；匹配速度最快的ORB算法出现很多误匹配点对，因其提取算法不能保证旋转不变性；BRISK算法的匹配速度约是SURF算法的1/5，由于该算法在尺度空间内进行FAST特征点检测，并且描述符计算类似于BRIEF算法，同时其正确率高于ORB算法，这是因为BRISK先将高斯平滑后的采样模板旋转一定的角度，然后在模板中对比采样，保证了特征点的旋转不变性；如图4d，本文提出的方法的匹配线段相对均匀，每个工件上都有匹配点对，没有杂乱线段，匹配数量介于SURF算法与ORB算法之间，匹配正确率稍微低于SURF算法达到了99.14%，速度也较快，归功于双层旋转滤波器的旋转不变性和利用积分图像的方法缩短耗时。

2.2 尺度不变性结果分析

图5给出了在缩放状态下SURF、BRISK、ORB以及本文方法的匹配效果对比，表3列出了4类算法的详细匹配信息。

图5 缩放状态下4种算法的匹配效果对比

表3 缩放状态下4种算法的匹配情况

由表3和图5可知，图像缩放时4种算法的匹配性能与图像旋转时基本保持一致，SURF算法的匹配速度较慢，不适用于实时工作场景；ORB算法出现很多误匹配点对，特征点提取阶段没有考虑标度变换的情况；BRISK算法的匹配精度达到99.06%，BRISK描述符将长距离组的局部梯度作为特征点角度，保证了特征点的尺度不变性；本文提出的方法的匹配正确率达到99.45%，归功于双层旋转滤波器的尺度不变性，另外非极大值抑制与直线抑制过滤掉不理想特征点，提高了匹配精度，且速度略低于ORB算法，满足零件装配中的工件识别任务。

3 应用实例

3.1 平台搭建

（1）视觉处理环境

所需设备：传送带、工件群、相机、计算机、LED补光灯和固定支架等，如图6所示。

图6 视觉处理工作环境

（2）机器人控制与抓取的实验平台

所需设备：YS-H7Multi开发板、步进电机驱动器、3个步进电机、驱动电源、机械臂、末端执行器和USB连接线等。

3.2 结果分析

为了验证本文提出的基于双层旋转滤波器的特征点检测与匹配方法对目标工件识别的有效性与实际装配应用的可行性，进行轴孔装配试验：

（1）对采集到的图像进行处理，通过本文匹配方法能够有效识别出目标工件，如图7所示。

图7 目标工件识别

（2）获得目标工件轴的形心的三维坐标为A（23.74，−35.16，169.45），待装配工件孔的形心的三维坐标为B（32.17，19.62，180.36），令工件识别所用的时间为t，此时目标工件轴的形心坐标为C（37.74，−35.16，169.45）。根据机械臂运动学分析和路径规划，控制机械臂运动至A点抓取目标工件，夹持至待装配产品B点进行装配，抓取与装配过程如图8所示。

图8 轴孔装配过程

图8a为初始阶段，图像采集与图像处理，在获得抓取信息之前机械臂保持此状态；图8b为机械臂抓取阶段，经视觉模块处理获得目标工件和待装配产品的三维坐标，运行程序控制机械臂运动到目标工件位置，根据工件形心位置抓取目标工件；图8c为机械臂装配阶段，控制机械臂夹持目标工件轴运动到待装配产品位置，根据轴与孔的轴线一致性，将轴插入孔之中，完成装配工作；图8d为机械臂复位阶段，完成装配工作之后，机械臂放下工件空行运动至初始位置。

4 结语

针对工业机器人生产柔性低、工件识别鲁棒性差的问题，提出一种基于机器视觉的工件识别方法应用于零件装配领域。该方法利用双层旋转滤波器的尺寸不变性和旋转不变性的优良特性实现特征点的均匀提取；采用rBRIEF算法生成带有方向信息的特征点描述符增强匹配的正确率；采用Hamming距离进行特征点匹配缩短计算时间；采用RANSAC算法对匹配结果进行优化，得到最佳匹配结果。试验结果表明此方法的综合性能优于其他几种传统算法，可以兼顾较高的匹配速度与匹配精度。通过搭建试验平台进行轴孔装配试验，结果表明提出的方法可以用于产品装配。