花生传送带作业精准定位方法研究

谷林峰 李 亚 丁彦玉 孙 科

(1. 天津市轻工与食品工程机械装备集成设计与在线监控重点实验室，天津 300222；2. 天津科技大学机械工程学院，天津 300222)

目前，花生批量分拣生产线主要依赖于人眼识别缺陷，人工挑拣次品、分装成品，劳动成本大，误检率高，且抗疲劳能力差。近年来，机器视觉技术[1-2]被逐渐应用于农作物流水生产线的自动分拣工作[3-4]，生产效率大幅提升。实践中，固有传送带生产线利用单目视觉引导机器人进行抓取的操作最为普遍，其核心问题是需要现场完成摄像机标定和手眼标定过程[5]。多数基于传送带的标定方法[6-7]都忽略了目标的重心高度信息，并不适用于花生等立体目标的定位分拣过程。利用场景特征[8]和结构光平面[9]等获取立体定位信息的手眼标定方法，但其三维信息的求解过程较复杂，难以在手眼无重合工作空间的现场环境下实施。

文章以拣选大批量花生的典型传送带生产线为对象，根据花生的分拣要求，拟提出一种能在现场简便操作的标定方法，并根据花生形态(图1)作出重心定位补偿。利用自制的高精度标定块，并使用与其过渡配合的标定针，引导机器人手臂末端插入指定标定孔，求取摄像机与机器人坐标系的位姿转换关系，避免传统方法以肉眼判别接触点的误差影响；针对不同大小的油炸花生分拣高度不一致的问题，建立关于花生图像轮廓与花生高度变化的关系模型[10-11]，以传送带为基准面对每颗花生进行高度补偿，避免单一平面标定对花生定位精度的影响，提高其对立体目标的定位抓取精度，旨在为基于传送带作业的目标三维定位提供一种求解思路和方法。

图1 花生形态

1 系统组成

现场标定系统(图2)由工业级CMOS面阵相机、E6B2-C增量式旋转编码器、低角度条形光源、传送带模块、TS6-600四自由度SCARA机器人等组成，单目相机固定在上料端正上方，传送带输送待分拣花生到达机器人工作区域，进行分拣操作，部分系统根据产量要求，添加多台机器人对应一个视觉模块，协调运作。

2 标定原理

油炸花生流水线生产中，相机与机器人之间无重合工作空间，固定单目相机与远端机器人的标定[12]是通过标定块在传送带上移动前后的位置照片和编码器读数计算对应移动距离，工具坐标系末端多次触碰参考物指定点，求解出机器人与传送带的旋转平移关系，标定一旦完成，各部分位置关系将固定不变。

2.1 建立坐标系

为更好地描述各坐标系之间的相对位置关系，传送带坐标系Ow-XwYwZw、相机坐标系Oc-XcYcZc与机器人坐标系OB-XBYBZB如图3所示。

2.2 成像几何关系

根据透视投影关系，从传送带坐标系转换至像素坐标系的过程属于三维坐标转二维坐标，根据Zhang[13]提出的平面标定方法，计算摄像机内部参数。设传送带坐标系点Pw(Xw,Yw,Zw)投影至像素坐标点p(μ,υ)，暂不考虑Zw高度信息，以矩阵形式表示：

1. 光源 2. 标定板 3. 相机 4. 机器人 5. 编码器 6. 传送带

图3 坐标系的建立

(1)

式中：

α——比例因子；

fμ、fυ——μ、ν轴的比例因子；

β——μ、ν轴的倾斜程度；

(μ0、υ0)——图像主点在像素坐标系下的坐标位置；

R、T——旋转平移矩阵。

2.3 改进刚性变换矩阵

传送带坐标系与机器人坐标系之间的变化可看作刚性变换，空间位置点P相对于传送带坐标系的描述为PW，转换成该点相对于机器人坐标系的描述PB表述为：

(2)

式中：

(3)

根据旋转平移关系得：

(4)

式中：

γ——两平面坐标系X轴之间的夹角；

Tx、Ty——传送带坐标系相对于相机坐标系的X、Y方向平移量。

2.4 优化过程

3 图像处理过程

因大小不同的花生重心高度不一致，且花生外形近似椭圆体，仅靠传送带水平面的二维平面位置信息不适用于花生的分拣过程，只有在平面标定后进行椭圆拟合算法提取花生轮廓，将花生重心高度补偿给机器人分拣位置，才能提高分拣精度。

3.1 图像预处理

为了更清晰地显示花生的轮廓信息，按照一定的变换关系，将采集到的花生图像转化为灰度图像， 运用Blob分析法对图像进行二值化，图像分割得到前景和背景，连通域提取得到ROI区域(图4)。

3.2 花生轮廓提取

为了后续图像处理中更准确地进行轮廓椭圆拟合，计算出花生的重心位置，首先需要获取花生的边缘轨迹。基于花生预处理后的二值化图像，在花生边缘的法线方向会呈现断层式的灰度变化，对二值化图像进行逐行逐列扫描，选取适合的阈值σ，记录扫描过程中前后灰度变化Δ，若Δ>σ，记录该像素点，否则舍弃，最终求得所有点的集为花生边缘轮廓(图5)。

3.3 椭圆拟合

根据Fitzgibbon等[14]提出的运用直接最小二乘法，对轮廓至少6个拟合点进行椭圆轮廓拟合，一般圆锥曲线表示为：

ax2+bxy+cy2+dx+ey+f=0。

(5)

假设提取的轮廓点为(xi,yi)，建立函数F(a,b,c,d,e,f)为轮廓点与预期的椭圆曲线的代数距离，最小化代数距离函数，并添加约束条件4ac-b2=1，防止拟合轮廓为抛物线或双曲线，最终得椭圆轮廓(图6)。

3.4 重心位置校正

图4 图像预处理

图5 花生轮廓曲线

图6 花生轮廓椭圆拟合

(6)

式中：

K——径向畸变量级(决定图像畸变程度)。

3.5 生成高度信息

取传送带平面的两点实际距离为L，采集图像平面上点p1(μ1,υ1)、p2(μ2,υ2)，即传送带平面的实际距离与图像像素距离之间存在映射因子Fac：

(7)

因花生呈长椭圆体，在传送带上运输时椭圆长半轴R近似平行于传送带平面，通过映射因子取像素坐标系中椭圆短半轴r计算花生实际轮廓宽度(见图7)。以传送带平面为基准，可将花生重心高度补偿至机器人定位信息中。

4 标定过程及试验分析

为了提高平面标定精度，针对生产线手眼安装位置，设计适合于现场操作、简便易携的“9+2”高精度标定块，呈3×3矩阵排列的9孔为高精度孔，其余2孔为定位孔，并使用能与其过渡配合的标定针(图8)。

4.1 相机与传送带标定

标定过程中，缓慢转动传送带使固定标定板依次在图9的视野前部P1、中部P2、后部P3采集图像，提取P1、P2、P3位置点坐标，记为(μ1,υ1)、(μ2,υ2)、(μ3,υ3)。

图7 花生高度信息

图8 “9+2”标定块和标定针

建立传送带坐标系，以P3点为原点，X轴正方向为传送带运动方向，利用坐标点反正切函数可求取像素坐标系与传送带坐标系绕Z轴夹角γ：

(8)

4.2 传送带与机器人标定

使编码器读数归零，匀速转动传送带使标定板从P3位置移动至机器人工作区域位置P4(见图10)。

为避免机器人末端接触指定点的误差干扰，利用标定针引导机器人末端准确地进入标定孔，读取机器人坐标和编码器读数。移动至后部P5，记录P4至P5的移动距离，求出传送带坐标系与机器人基坐标系的转换关系。标定多个机器人时，需重新从P3位置进行标定，重复以上操作，减小累积误差。

4.3 试验分析

利用文中介绍的标定方法，图像采集过程如图11所示。通过标定试验，映射因子为0.128 mm/pix。

手眼转换矩阵为：

图9 相机视野与传送带平面关系

为准确地评价该方法的标定精度，取10颗大小不等花生分别固定于传送带上，在相机视野下进行拍照，匀速转动传送带至机器人工作区间内，计算得出机器人坐标系下的坐标位置与标定孔的实际坐标位置，进行10次重复试验。由表1可知，试验标定方法最大偏差为0.93 mm，理论点与实际点的欧氏距离平均值为0.46 mm，远高于传统手眼标定精度。

取100粒大小不等的花生进行有无高度补偿对比抓取试验，记录机器人抓取成功率。试验表明系统平面重复定位误差可控制在±1 mm，添加高度补偿值后，抓取成功率由87%提高至97%，能够满足传送带分拣要求。

图10 机器人工作区域与传送带平面关系

图11 标定过程图像采集

表1 标定试验数据

微小误差可能来源：传送带传输过程中不稳定，出现左右摆动问题；花生传输过程中与传送带发生相对滑动；编码器脉冲读数不准确，导致传输方向误差；通讯模式有延迟等问题。

5 结论

根据花生生产线现场操作条件，改进了传统手眼标定方法，利用专门定制的“9+2”标定块进行平面标定，并对花生处理提取轮廓信息，进行重心高度补偿。结果表明，该标定方法便于在生产现场实际操作，降低了传统手眼标定矩阵求解难度，可满足基于传送带作业的机器人分拣精度要求。但对于相机、传送带平整度及安装精度要求较高的，需后期对此方面问题继续探索，使之得到广泛应用。