基于双目视觉的食品分拣Delta机器人定位抓取技术

米西峰 尚展垒 范媛媛 孟晓川

(1. 焦作师范高等专科学校，河南 焦作 454000；2. 郑州轻工业大学，河南 郑州 450002；3. 燕山大学，河北 秦皇岛 066004)

近年来工业技术和互联网技术的快速发展，促进了机器人技术的进步[1]。Delta机器人是一种自由度较少的工业机器人，由于速度快、精度高，被广泛应用于食品、医疗等轻工业领域[2]。双目立体视觉将工业机器人的运动范围从二维平面扩展到了三维空间，使机器人柔性、灵活和高效更佳。

机器人分拣的前提是目标定位和抓取方式的选择，目前，国内外许多学者对定位和抓取方式进行了研究。刘海龙等[3]提出了一种基于机器视觉的机器人定位技术，能够更准确地引导机器人实现立体定位，误差小于0.5 mm，可以满足工业生产的一般性需求。曾劲松等[4]提出了一种基于双目视觉引导的机器人定位与抓取技术，实现了对目标的精确定位和抓取，系统的距离定位误差小于0.5 mm，而且该方法适应性强，可用于抓取各种工件。林义忠等[5]回顾了当前视觉机器人抓取系统关键技术的研究现状，分析总结了相关的图像识别技术，并探讨了这些技术未来的发展方向。倪鹤鹏等[6]提出了一种基于机器视觉的Delta机器人分拣方法，该方法的最快分类速度为110次/min，误抓取率小于2‰，漏抓率为0。上述方法在实际生产中，机器人定位与抓取存在实时性差、操作不稳定、效率低等问题，应用范围受到限制。

研究拟提出一种基于双目视觉的Delta机器人柔性抓取方法。采用张正友标定方法对相机进行标定，通过弦中点Hough变换对目标物进行识别和定位，根据PID跟踪抓取控制Delta机器人抓取动态目标，并通过试验验证方法的可行性，以期为机器人智能化的发展提供一定的参考。

1 系统概述

机械手要抓住传送带上的物体，必须有性能良好的视觉控制系统[7]。整个系统不仅需要快速识别目标并获取目标位置和形状信息，还需要控制机械手快速抓取目标并将其放置在指定位置[8]。图1为Delta机器人的系统结构。主要由视觉系统和运动控制系统组成，运动控制为核心部分，主要完成机器人本体的运动规划和抓取。视觉系统完成信息的采集、分析和交互等功能。

图1 系统结构

2 定位与抓取技术

系统总体流程如图2所示，该系统的主要部分有：图像采集、双目相机内外参数标定、图像识别与定位、控制抓取[9]。文章主要研究图像识别与定位和抓取策略。

图2 系统流程图

2.1 相机标定

使用张正友标定方法对相机进行标定，棋盘格标定板可以自行打印[10]。获取外参数R、t和内参数kx、ky、u0、v0。

在实现一台相机标定的基础上，对左右相机进行标定，即求解两台相机的内外矩阵参数。两台相机的关系矩阵如式(1)和式(2)所示[11]。

(1)

(2)

式中：

R——左、右相机之间的旋转矩阵；

R1——左相机的旋转矩阵；

R2——右相机的旋转矩阵；

t——左、右相机之间的平移向量；

t1——左相机的平移向量；

t2——右相机的平移向量。

世界坐标系一点Qw在两个相机中的坐标为Qc1和Qc2。双目世界坐标和相机坐标之间的关系可以通过式(3) 和式(4)中所示的变换关系获得[12]。

Qc1=t1+R1Qw，

(3)

Qc2=t2+R2Qw，

(4)

式中：

Qc1——世界坐标系一点Qw在左相机的坐标；

Qc2——世界坐标系一点Qw在右相机的坐标。

将式(3)和式(4)进行联立可去掉Qw，得到两个相机位置的矩阵关系如式(5)所示[13]。

(5)

2.2 图像识别与定位

Hough变换是几何图形识别的基本方法之一，原理是连接边缘形成平滑的边缘。当X-Y平面上的圆转换到a-b-r空间上，圆上点对应于参数空间中的所有圆锥面，这些圆锥面必须有一个点相交，如图3所示。

图3 圆的Hough参数变换

获取二值图像上的任何特征点(由特征点和背景点组成)，将该点A0连接到其他特征点An的线段，并将这些线段的中点组成的曲线为该点的中点曲线，如图4所示[14]。

图4 A0点的中点曲线

对于圆上的随机点A0，将圆上的其他点A1～An连接到该点A0，在圆中形成一组弦，有一个共同的端点A0。弦中间的平滑线形成一个新的内切圆如图5所示。

图5 A0点的内切圆

基于弦中点Hough变换的检测原理：在含有圆的二值图像中，圆上点的内切圆与圆心相交，在圆的中心，必然有较多的内接圆，而在其他位置，中点曲线通过的次数要少得多，原圆的内接圆如图6所示。

图6 原圆的内切圆

圆的一般方程是：(x-a)2+(y-b)2=r2，包含3个自由参数。圆心坐标和对应的半径如式(6)和式(7)所示[15]。

(6)

(7)

式中：

(x1,y1)、(x2,y2)——特征点的坐标；

(a,b)——圆心坐标；

r——圆半径，mm。

因目标的半径不同，设最大和最小半径分别为rmax和rmin，通过式(8)对图像是否满足目标特征进行判断[16]。

(8)

最后，显示图像。|(x-a)2+(y-2)2-r2|≤ε圆环存在，完成弦中点Hough变换圆检测。

通过视差获取目标的三维信息[17]。图7所示目标的识别和定位过程。目标物体图像库为分拣食品图像(包括55 g彩色果冻、70 g和210 g番茄罐头)。

图7 识别与定位流程

2.3 抓取策略

Delta机器人抓取时的运动轨迹大致为“门”型运动轨迹，曲线如图8所示[18]。在每次抓取中，将执行机构分为3个阶段：上升P1P2、平移P2P3和下降P3P4[19]。然而，两个角点处“门形”轨迹的加速度会阻碍轨迹的平滑过渡，导致机器人振动，这是降低运动精度的主要因素之一。

图8 门字型轨迹曲线

为了在伺服电机速度和扭矩不超过标定值的情况下保持Delta机器人连续平稳地移动，文中选择五次多项式变换算法应用于机器人圆弧段的轨迹规划。

Delta机器人的目标跟踪和抓取过程需要在确定抓取位置后不断调整和减小Delta机器人与目标之间的距离。

动态抓取过程只需在XY方向实时跟踪，检测到目标后获取目标当前位置P和传送带的速度。机械手开始移动，传送带仍在运行。在动态抓取过程中，目标从一个点P移动到另一个点P′，通过迭代算法获得Delta机器人与目标交点的Q点坐标。该系统采用PID算法对Delta机器人在X轴和Y轴上进行调节控制。详细的调整过程如图9所示。

图9 Delta机器人PID跟踪控制

在抓取过程中，传送带与Delta机器人不断匹配，需要不断减小两者之间的误差[20]。当Delta机器人的位置和速度与目标匹配时完成抓取。

3 结果与分析

3.1 试验参数

为了验证所提出控制方法的有效性，分别进行单目标和多目标抓取试验，并与文献[21]中的控制方法进行比较。为了确保准确，多次测试取平均值。测试设备为联想PC，操作系统为windows 10 64位旗舰，英特尔i5 2450m CPU，2.5 GHz主频，8 GB内存。相机采用Basler的acA2500-14gc，镜头采用Basler的c125-1218-5m，光源采用白色LED条形光源，伺服电机采用松下MSME202SGM，伺服电机控制采用雷赛smc64804四轴运动控制器。试验参数见表1。

表1 试验参数

3.2 试验分析

3.2.1 单一目标抓取 选择某食品厂生产的55 g彩色果冻进行分选试验，并与文献[21]的方法进行比较。在测试过程中，500个果冻被随机放置在传输线上。Delta机器人通过视觉系统的引导完成分拣工作。表2为不同方法的单目标分拣试验结果。

从表2可以看出，在不同的输送速度下，试验方法具有最优的抓取成功率。当输送带速度从120 mm/s增加到200 mm/s时，两种方法的抓取成功率降低，文献[21]的方法抓取成功率从99.0%减少到95.0%，试验方法从100.0%减少到98.0%。两种控制方法的对比分析表明，试验方法提高了精度、稳定性和分拣效率，能够满足单一目标分拣要求。

表2 不同方法单一目标分拣试验结果

3.2.2 对多目标进行抓取 将某食品厂生产的70 g和210 g小包装番茄罐头用于分选试验，并与文献[21]的方法进行比较。将500 个罐子随机放置传输线上，包括380罐70 g番茄罐头和120罐210 g番茄罐头。Delta机器人在双目视觉系统的引导下，将进入目标分拣区的番茄罐头按照规格分拣到相应的铝托盘上，完成分拣操作。表3为不同方法的多目标分拣试验结果。

表3 不同方法多目标分拣试验结果

从表3可以看出，在不同的输送速度下，试验方法具有最优的抓取成功率。当输送带速度从120 mm/s增加到200 mm/s时，两种方法的分拣成功率降低，文献[21]的方法从93.0%降低到84.0%，试验方法从97.4%降低到94.0%。这是因为试验方法在视觉系统的引导下，能够准确地抓住目标物体的中心，从而满足不同规格物体的分拣要求。在输送带速度为120 mm/s的试验过程中，试验方法完成了500次抓取操作，成功抓取70 g番茄罐头375次和210 g番茄罐头112次，在抓取210 g罐头的过程中有3次掉落。在传送带速度为200 mm/s的试验过程中，抓取了70 g番茄罐头362次和210 g番茄罐头108次。在抓取210 g罐头的过程中有5次掉落。经分析是因为执行器的吸盘较小，在惯性的作用下掉落，通过更换吸盘该问题得到了解决。

4 结论

研究提出了一种基于双目视觉的Delta机器人柔性抓取方法。采用张正友标定方法对相机进行标定，通过弦中点Hough变换对目标进行识别和定位，根据PID跟踪抓取控制Delta机器人实现对动态目标的抓取。结果表明，该方法能够准确、快速、稳定地实现单一目标和多目标动态抓取，系统的动态抓取成功率在94.0%以上，满足机器人抓取的需要。试验对基于双目视觉的Delta机器人柔性抓取研究尚处于起步阶段，目前仅进行圆形食品的分拣试验，后续将进一步探索增加食品的种类以及复杂目标物的定位抓取。