基于Sylvester方程变形的荔枝采摘机器人手眼标定方法

莫宇达，邹湘军，叶 敏，司徒伟明，罗少锋，王成琳，罗陆锋



基于Sylvester方程变形的荔枝采摘机器人手眼标定方法

莫宇达，邹湘军※，叶 敏，司徒伟明，罗少锋，王成琳，罗陆锋

（华南农业大学南方农业机械与装备关键技术重点实验室，广州 510642）

针对视觉荔枝采摘机器人的Eye-in-Hand视觉与机器人关联方式的手眼标定问题，该文提出一种基于优化的求解齐次变换矩阵方程的手眼标定方法。该方法通过机器人带动其臂上的双目相机从多个位置观测标定板，使用Sylvester方程变形对手眼标定近似方程线性化，再对简单的初值进行优化计算，最终得到精确的标定结果。该方法的软件用C++/OpenCV开发实现，并进行了多个试验。试验结果表明，视觉与机器人关联后，定位误差与机器人运动次数相关，当距目标1 m左右，静态时的视觉系统误差均值为0.55 mm；动态工作时，视觉关联机器人重复定位误差的均值为2.93 mm，标准差为0.45 mm，符合具有容错功能的视觉荔枝采摘机器人的实际使用需求。使用基于Sylvester方程变形的手眼标定方法标定的视觉荔枝采摘机器人，在野外环境下，总体采摘成功率达到76.5%，视觉系统成功识别、定位采摘点的情况下，采摘成功率达92.3%。

机器人；标定；视觉；荔枝；采摘；立体

0 引 言

山地果园荔枝的收获方式主要为人工采摘，每年都有果农因采摘受伤。同时由于农村劳动力的减少，使用智能机器人采摘荔枝将是果园未来的发展趋势。国内外，机器人收获农作物的视觉感知系统研究较多[1-6]。其中华南农业大学多年来对荔枝与荔枝采摘点的视觉识别与机器人采摘进行了深入的研究[7-11]。各种对采摘机器人的研究[1,3-7,8-11]表明，视觉与机器人的关联及精确定位，是实现采摘机器人主动视觉和自动采摘的关键技术与前提。

视觉机器人的视觉与机器人主要关联方式有2种：Eye-to-Hand和Eye-in-Hand。对于Eye-to-Hand的视觉与机器人关联方式，有着视觉系统与机器人坐标系关联简单、安装方便等优点。同时因相机的安装位置固定，静置使视觉系统的精度高，一般用于固定区域的目标定位与识别[12-13]。但对于机器人的大范围搜索未知目标、目标跟踪和实时定位等功能，Eye-in-Hand的手眼系统是机器人实现主动视觉的主要途径[14]，比Eye-to-Hand更具优势。Eye-in-Hand系统在工业机器人中应用比较广泛，随着机械臂接近目标，摄像机与目标的距离也会变小，摄像机测量的绝对误差会随之降低[15]。该优点特别适合野外环境下的采摘机器人作业，原因在于野外环境下存在地面不平、风扰动、光照变化等不确定因素，目标的真实采摘点不会长时间固定在视觉系统采集图像瞬间的定位坐标上，受到扰动后的实际坐标偏离了原来的位置。Eye-in-Hand的视觉与机器人关联方式允许采摘机器人使用主动视觉，具有大范围搜索采摘目标，并在一定距离内实时测量采摘点相对机器人的位置关系的优势。

Eye-in-Hand的视觉与机器人关联方式需要确定视觉系统坐标系与机械臂关节坐标系的转换关系：手眼标定。早在20世纪80年代，美国Tsai等[16-17]就提出了经典的手眼标定方法，并将其数学模型归结为求解=矩阵方程。之后，各种更高效的手眼标定算法与数学模型相继提出[18-25]。

本文将阐述一种求解手眼标定归结方程的方法。该方法使用Sylvester方程变形，把实际情况下的归结方程线性化，配合拉格朗日乘子法与共轭梯度法，对传统的2步法所求结果进行优化，得到更准确的手眼标定结果。该方法的标定软件最终使用C++/OpenCV实现，视觉和末端采摘执行器安装在一个国产的小型六轴机器人上，进行视觉系统误差的动态试验以及视觉关联机器人重复定位精度试验，统计分析平均定位误差与误差离散情况。最后，在野外环境下的山地果园进行了荔枝采摘试验，验证其标定方法与结果的可靠性。

1 手眼标定原理与过程

手眼标定需要使用辅助标定物——棋盘格标定板。手眼标定涉及标定板、相机系统、机器人、机器人的机械臂4个对象的空间位置关系。因此，首先要对这4个对象各自的坐标系进行设定，然后是4个坐标系之间空间位置关系的求解。

1.1 标定板与双目相机的空间位置求解

对双目相机进行单目与立体标定后，设此时的双目相机坐标系为{}、标定板坐标系为{}。以标定板左上角的角点为标定板坐标系{}的原点，标定板水平方向为坐标系{}的轴方向，标定板垂直方向为坐标系{}的轴方向。当标定板置于左右相机的视场范围内时，可通过角点检测算法来确定左右图上每个角点的像素位置。标定板坐标系{}设定及标定板角点检测见图1所示。

通过左右图像角点位置与对应关系，确定每个角点的图像视差（disparity）d。根据双目视觉的定位原理，即方程（1）和方程组（2），可求出每个角点相对于坐标系{}的空间三维坐标P。

方程（1）与方程组（2）中c与¢分别为左右相机的图像中心与光心轴（水平）方向偏移量。其中c为左相机的图像中心与光心轴（垂直）方向的偏移量。T为左右相机坐标系的水平方向距离、为左右相机的镜头焦距参数。以上参数，均可由双目相机的单目、立体标定得到。、、分别为空间某角点相对相机坐标系的真实三维坐标，、分别为该角点在左图像二维平面的二维坐标，为该角点的图像视差。

根据坐标变换描述与坐标点关系，某角点相对于坐标系{}的空间三维坐标P=[X，Y，Z，1]T与相对于坐标系{}的空间三维坐标P的关系可用下列矩阵方程（3）表示。

由于标定板棋盘格的边长已知，角点相对于坐标系{}的空间坐标P均可直接得到。根据方程（3），可利用最小二乘法求解坐标系{}与坐标系{}的空间位置转换关系矩阵。

1.2 传统的手眼标定

经典的2步法由Tsai 等[16]提出，至今仍有很高的实用价值。之后相继提出的在线标定过程[18-23]与经典的2步法基本一致。

标定的基本设备如图2所示，标定板3固定在机器人2前方的水平位置，相对机器人静止，双目相机1镜头朝向标定板3。

图3为手眼标定涉及的坐标系定义的示意图。小型六轴机器人以简单的线条表示。

设机器人自身坐标系为{}，即{}表示机器人基坐标系，机械臂末端的坐标系为{}，即{}表示机械臂末端的空间位姿。手眼标定时，标定板相对机器人静止，标定板坐标系{}与机器人坐标系{}之间的位置转换关系矩阵恒定。双目相机使用稳定的机构固定在机械臂末端上，相机坐标系{}与机械臂末端坐标系{}的位置转换关系矩阵亦恒定。

机器人控制机械臂移动双目相机，使标定板完整出现在左右相机图像中，进行次图像采集。理想状态下，第次时各坐标系的位置转换关系可由方程（4）表述。

方程（5）中为4×4的零矩阵。设

则可把方程（5）简单表示为矩阵方程（7）。

方程（7）中，A和B分别是第和（+1）次图像采集过程中相机的位姿变化和机械臂末端的位姿变化矩阵。图像采集次数越多，则方程（7）的组数越多，联合计算的结果会更精确。把方程（7）中的4×4的齐次矩阵分解，左上角3×3元素组成旋转矩阵，右上角3×1元素组成平移矩阵，如把A分解为R与P，得方程（8）。

分解方程（8）得到矩阵方程组（9）。

根据方程组（9）中第1式变换，可以得到矩阵方程（10）。

由方程（10）可知旋转矩阵R与R相似，旋转角相同。如果用旋转轴（3×1的空间向量l、l）和旋转角表示R与R，有以下关系

方程（11）（12）中，旋转轴l、l以及旋转角可使用罗德里格斯（Rodrigues）变换求得。假设机器人控制相机运动2次，相机采集3组图像数据后，可以得到以下4个方程，组成方程组（13）。

参照公式（12），根据方程组（13）的第1、第3式，可得到矩阵方程组（14）和矩阵方程（15）。

方程（15）中“×”表示向量（一维矩阵）的叉乘。解方程（15）得到R后，代入方程组(13)的第2和第4式即可解得P，最终解得手眼关系。

2 基于Sylvester方程变形的手眼标定原理

2.1 Sylvester方程变形

设有矩阵方程（16）如下

方程（16）中，∈（×）∈（×）∈（×），（×）是行列的矩阵。方程（16）被称为Sylvester方程。根据文献[26]，方程（16）可变形为矩阵方程（17）。

I是阶单位矩阵，I是阶的单位矩阵，是Kronecker乘积。其中与分别为与按行序列重新排列成的×1的矩阵。

2.2 基于Sylvester方程变形的手眼标定

使用Sylvester方程变换进行归结方程求解早在20世纪末已被提出。研究者Andreff等[21]就利用Sylvester方程变换把方程组（13）进行线性变换，从而用线性方法简单求出理想状态下的手眼标定归结方程（7）。但此类方法忽略了实际数据采集时产生的误差。当相机对标定板进行第次观测时，考虑到相机采集图像的误差、双目相机定位的误差、机器人各运动轴伺服电机的误差、实际环境扰动对机构影响等干扰因素，实际上位置转换关系应为方程（4）的近似，见式（18）。

因此，把与+1次数据相减后，变换所得到的归结方程，并不如方程（7）那样完全相等。实际情况下，2次观测的数据所得到的手眼方程应为Sylvester方程的形式，见矩阵方程（19）。

方程（19）中C是元素接近零的矩阵。

受变形方程（17）的启发，结合实际情况，手眼标定方程求解变为矩阵方程（20）的求解。

组数据可组成形式简单的矩阵方程（23）。

方程组（24）中，x（=1,2,3,…,16）为的16个元素。通过拉格朗日乘子法构建无约束优化方程，并使用共轭梯度法[27]对无约束方程进行最优化计算，可快速解出的最优值，得到手眼关系。

3 试验与分析

3.1 试验设备

图像采集硬件采用USB 2.0接口的MicroVision MV-VD120SC型号工业相机，组成双目视觉系统。相机的分辨率为1 280×960像素，帧率为15 fps。相机的镜头型号为Computar M0814-MP的8 mm定焦镜头。使用AFT-MCT-OV系列高精度棋盘格型金属标定板，格边长30 mm×30 mm，打印精度为0.01 mm，尺寸400 mm× 300 mm×5 mm。使用GSK RB-03机器人，末端负载3 kg，各运动轴重复定位精度±0.05 mm，使用自制的有限通用轻量化的末端执行器[11]。自主开发的视觉软件运行在工业计算机中，操作系统：Windows 7，CPU: Intel core i5-4590 3.3 GHz，内存：4G 1333 MHz。

3.2 机械臂运动对视觉系统定位误差影响

双目视觉定位精度与视觉系统机构的稳定性相关[2]，而双目视觉定位与相机标定结果成为重要影响因素。只有当标定结果准确反映相机镜头畸变、光心距离、相机间关系等结构的实际情况时，双目视觉系统定位才会精确。但视觉机器人手眼标定过程是动态的，需要机械臂带动双目相机进行视觉采集，因此，动态的在线手眼标定过程必然会影响相机标定结果的准确性。有必要分析机械臂运动对双目视觉定位系统误差的动态影响。

相机坐标系是无法使用物理手段直接测量的，这导致了无法直接测量视觉定位的系统误差。然而标定板精准的打印精度提供了间接测量的方法：标定板上任意2个相邻角点之间的距离均为(30±0.01) mm，而双目视觉所测算出的角点间距离与视觉定位对角点的定位精度有关，定位精度越高，视觉测算出的角点间距离越接近真实距离。这里，双目视觉所测算出的角点间距离与真实距离的差距，称为“测距误差”。测距误差能直观反映双目视觉定位的精度。

当双目相机安装到机械臂末端后，保持机械臂静止，进行双目相机的单目与立体标定。标定后，把标定板放置在距离相机1 m左右的位置，使用双目相机对标定板上每个角点进行三维定位，计算所有相邻角点间的距离，统计测距误差集1。在机械臂改变双目相机的空间位置后，对标定板的每个角点进行三维定位，统计测距误差集2。如此类推，连续进行了组测距误差的测量，得到数据集{S,=1, 2, 3, …,}。

3.3 视觉关联机器人重复定位精度

Eye-in-Hand视觉机器人对某点的联合定位过程如下：通过双目视觉定位，计算空间中某点相对于相机坐标系{}的坐标值，再根据坐标系{}与机械臂末端坐标系{}的位置转换关系矩阵计算相对坐标系{T}的坐标值p，最后根据坐标系{}与机器人基坐标系{}的位置转换关系矩阵计算相对机器人坐标系{}的坐标值p。

视觉定位数据转换过程见图4。

根据联合定位过程，视觉关联机器人的联合定位精度主要取决于3点：1）双目视觉定位准确性；2）手眼关系矩阵准确性（由手眼标定所得）；3）机械臂末端坐标系与机器人自身坐标系转换关系矩阵（由机器人运动学正解所得）。

以上坐标系{}、{}与{}是无法用物理手段直接测量的，这导致了视觉关联机器人的定位精度亦无法直接测量。此外，双目定位精度、转换关系矩阵，两者从手眼标定过程就开始影响手眼标定的结果，而手眼标定过程的机器人运动也会影响双目视觉定位的精度。综上，视觉关联机器人的联合定位误差，是由上述三者复杂耦合产生的，极难找到合适的数学模型去定量分析每个环节与误差产生的关系。

尽管如此，视觉关联机器人的联合定位精度是可以间接测量的。假设视觉机器人以不同姿态对空间某一固定点进行多次联合定位，所有定位结果都会在空间中接近该点的真实位置。

视觉机器人以不同姿态对相对机器人静置的标定板上的每个角点进行次联合定位，每次对同一角点的定位结果都会不同，但必然会随机分布在该角点真实位置的附近。角点的三维定位数据集的质心与数据集中的每个点的空间距离的平均值，可以看作视觉关联机器人的在该点的重复定位误差。而不同点的重复定位误差，其集合的标准差，可以反映重复定位误差的浮动情况。具体流程见图5。

3.4 户外采摘

为了进一步验证在此重复定位精度下的视觉荔枝采摘机器人能可靠地进行主动视觉采摘任务，机器人安装有限通用轻量化的末端执行器[11]，配合自主开发的立体视觉荔枝采摘点定位系统，在山地果园进行采摘试验。试验时间在7月13日早上，天气晴朗，温度29 ℃，阳光猛烈，背光阴影处采摘。试验地点在广东省惠州市镇隆山顶村荔枝专业合作社果园，海拔200 m左右。荔枝品种为淮枝。

具体采摘流程：1）相机标定；2）手眼标定；3）机器人主动视觉发现荔枝；4）荔枝采摘点定位；5）定位结果转换到机器人坐标系下；6）采摘、放置和系统复位。

3.5 结果与分析

3.5.1 机械臂运动对视觉系统定位误差影响试验结果与分析

进行了109组测距误差的测量，得到每个测距误差集的平均误差与机械臂运动次数的关系，见图6。

由图6可知，机械臂的运动次数越多，平均测距误差值越大。相机标定后，在原始状态下，平均测距误差为0.55 mm，在机械臂运动25次后，平均测距误差约0.8 mm，在机械臂运动45次时更是达到1 mm以上。

图6结果产生的原因在于受野外条件所限，试验时机器人固定于非刚性不平整的泥土地面，加上机械臂的运动导致了双目相机的结构发生了微小变化，原始标定结果已不能完全准确地反映相机镜头畸变、光心距离、相机间关系等结构的实际情况。由于试验用相机为组装式相机，即镜头与感光元件是分离和独立的，因此，机械臂的运动会导致相机结构的松动、变形，从而产生相机结构变化的情况。

根据图6所示趋势，运动次数的增加会影响相机立体定位的精度。而立体定位精度会直接影响手眼标定精度，间接影响目标重复定位精度和视觉关联机器人采摘点定位精度。在相机标定后，手眼标定、重复定位试验和采摘试验均需要机械臂的运动。

为了避免机械臂的运动次数过多而导致目标重复定位精度和视觉关联机器人采摘点定位精度降低，本文对视觉关联机器人重复定位精度试验与户外采摘可靠性试验进行以下操作：

1）手眼标定过程中的图像采集次数，即机械臂运动次数不会多于15次，但大于10次。2）机械臂运动总次数达40次时，对机器人重新进行相机标定与手眼标定。

该操作合理分配了用于手眼标定和标定后应用阶段的机械臂运动次数，既保证手眼标定过程中数据采集的正确性、优化方法得出结果的准确性，也兼顾应用阶段的视觉机器人联合定位精度的准确性。

3.5.2 视觉关联机器人重复定位精度

完成相机标定与手眼标定后，立即进行重复定位精度试验，对传统手眼标定算法与基于Sylvester方程变形的优化标定算法分别进行3组、共6组的重复定位试验。每组试验前均需重新进行单目标定、立体标定与手眼标定，然后机器人控制相机以20个不同位姿对标定板进行图像采集。标定板有88个角点，6组试验共对528个角点进行20次重复定位（即=20），共采集10 560个三维坐标数据。统计传统手眼标定算法与基于Sylvester方程变形的优化标定算法所导致的视觉关联机器人重复定位误差，见表1。

表1 2种标定方法对比

把528个角点联合定位所测得的三维定位数据集的质心与数据集中的每个点的空间距离（欧氏距离）的平均值分别列出并制成散点折线图，可直观地看出每个点的重复定位误差及标定方法的误差分布情况，见图7所示。

a. 传统标定方法

a. Tranditional calibration method

根据图7所示，对比传统标定方法，基于Sylvester变形方程的最优化标定方法误差数据均值更低，分布范围更小，更均匀、稳定。其结果最终定量地表现在表1所示的误差与标准差中。

根据图7数据分布及表1的统计数据，使用基于Sylvester变形方程的最优化标定方法的视觉机器人，相机工作距离为1 m左右时，视觉关联机器人重复定位试验的重复定位误差均值2.93 mm，标准差0.45 mm，即视觉关联机器人重复定位误差为（2.93±0.45）mm，比传统标定方法的（4.44±0.55）mm精度高、稳定性强。

结合图4的测距误差趋势图，分析视觉关联机器人重复定位误差产生的主要原因是机械臂频繁带动双目相机运动导致了视觉系统原本稳定的机构发生了变化，降低了视觉定位精度。

对于采用了机构与视觉的容错设计的末端执行器[11]的荔枝采摘机器人，基于Sylvester变形方程的最优化标定方法的精度已在理论上满足荔枝采摘的要求。

3.5.3 户外采摘可靠性

试验进行了51次采摘，机器人采摘成功见图8。

采摘试验结果详情见表2。

表2 采摘试验详情

表2数据显示，视觉荔枝采摘机器人总体采摘成功率达到了76%以上。在视觉系统准确地识别定位荔枝采摘点后的采摘成功率达到了92.3%。

造成采摘失败的原因可能有以下2点：1）荔枝采摘点的识别与定位；2）野外环境存在各种扰动，真实采摘点在采摘过程中有偏移原来位置的可能。

由于相机放置于末端执行器的正上方，采摘过程中可能会与采摘点上方的枝叶碰撞，从而也使真实采摘点偏移。因此，即使视觉准确识别定位采摘点后，仍会出现采摘失败的情况，采摘率的成功率是符合实际情况的。在采摘点定位失败的情况下，采摘失败，符合实际情况。

从采摘点识别定位成功后的采摘成功率92.3%可知，该手眼标定方法计算的手眼标定结果是可靠的，且完全能满足本文所述视觉荔枝采摘机器人的实际采摘要求。同时，总体采摘成功率76.5%可知，本文所述视觉荔枝采摘机器人能在野外环境进行荔枝采摘作业。

4 结 论

本文阐述了双目视觉定位和手眼标定的基本原理，提出了一种基于Sylvester方程变形的优化计算手眼标定关系的方法，该方法利用变形Sylvester方程使原本的手眼归结方程转换成线性方程，更容易进行有约束优化计算。重复定位实验和野外荔枝采摘试验结果表明：1）用基于Sylvester方程变形的优化计算手眼标定方法进行手眼标定的视觉荔枝采摘机器人，重复定位精度为（2.93±0.45）mm，对比传统手眼标定方法的定位误差（4.44±0.55）mm，精度高、稳定性强；2）基于Sylvester方程变形的优化计算手眼标定方法得出了手眼标定关系，总体采摘成功率76.5%，采摘点识别定位正确的情况下，采摘成功率达92.3%，可靠性强，能满足本文所述视觉荔枝采摘机器人的作业要求。

[1] Rath T, Kawollek M. Rbotic harvesting of Gerbera Jamesonii based on detection and three-dimensional modeling of cut flower pedicels[J]. Computers and Electronics in Agriculture, 2009, 66(1): 85－92.

[2] Zou X J, Zou H X, Lu J. Virtual manipulator-based binocular stereo vision positioning system and errors modelling[J]. Machine Vision and Applications, 2012, 23(1): 43－63.

[3] Shigehiko H, Kenta S, Satoshi Y, et al. Evaluation of a strawberry-harvesting robot in a field test[J]. Biosystems Engineering, 2010, 105(2): 160－171.

[4] Kanae T, Tateshi F, Akira A, et al. Cherry-harvesting robot[J]. Computers and Electronics in Agriculture, 2008, 63(1): 65－72.

[5] Mehta S S, Burks T F. Vision-based control of robotic manipulator for citrus harvesting[J]. Computers and Electronics in Agriculture, 2014, 102: 146－158.

[6] 纪超，冯青春，袁挺，等. 温室黄瓜采摘机器人系统研制及性能分析[J]. 机器人，2011，33(6)：726－730.

Ji Chao, Feng Qingchun, Yuan Ting, et al. Development and performance analysis on cucumber harvesting robot system in greenhouse[J]. Robot, 2011, 33(6): 146－158. (in Chinese with English abstract)

[7] 熊俊涛，邹湘军，陈丽娟，等. 采摘机械臂对扰动荔枝的视觉定位[J]. 农业工程学报，2012，28(14)：36－41.

Xiong Juntao, Zou Xiangjun, Chen Lijuan, et al. Visual position of picking manipulator for disturbed litchi[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(14): 36－41. (in Chinese with English abstract)

[8] 郭艾侠，邹湘军，邹海鑫. 基于二次阈值的荔枝果与结果母枝图像识别[J]. 计算机工程与设计，2014，35(2)：557－561.

Guo Aixia, Zou Xiangjun, Zou Haixin. Recognition on image of litchi and their main fruit bearing based on twin-threshold method[J]. Computer Engineering and Design, 2014, 35(2): 557－561. (in Chinese with English abstract)

[9] 叶敏，邹湘军，罗陆锋，等. 荔枝采摘机器人双目视觉的动态定位误差分析[J]. 农业工程学报，2016，32(5)：50－56.

Ye Min, Zou Xiangjun, Luo Lufeng, et al. Error analysis of dynamic localization tests based on binocular stereo vision on litchi harvesting manipulator[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(5): 50－56. (in Chinese with English abstract)

[10] Wang C L, Zou X J, Tang Y C, et al. Localisation of litchi in an unstructured environment using binocular stereo vision[J]. Biosystems Engineering, 2016, 145(5): 39－51.

[11] Zou, X J, Ye M, Luo C Y, et al. Fault-tolerant design of a limited universal fruit-picking end-effector based on visoin positioning error[J]. Applied Engineering in Agriculture, 2016, 32(1): 5－18.

[12] 孙琦，罗志增. Eye-to-Hand机器人系统的平面工件识别研究[J]. 杭州电子科技大学学报，2010，30(1)：46－49.

Sun Qi, Luo Zhizeng. The research of plane part recognition based on the eye-to-hand robot system[J]. Journal of Hangzhou Dianzi University, 2010, 30(1): 46－49. (in Chinese with English abstract)

[13] 解杨敏，刘强. 高精度自动贴片机视觉系统定位算法研究[J].光学技术，2008，34(3)：449－454.

Xie Yangmin, Liu Qiang. Research on locating algorithm of vision alignment system in automatic high precision chip mounter[J]. Optical Technique, 2008, 34(3): 449－454. (in Chinese with English abstract)

[14] 许海霞，王耀南，万琴，等. 一种机器人手眼关系自标定方法[J]. 机器人，2008，30(4)：373－378. Xu Haixia, Wang Yaonan, Wan Qin, et al. A self-calibration approach to hand-eye relation of robot[J]. Robot, 2008, 30(4): 1－8. (in Chinese with English abstract)

[15] 张云珠. 工业机器人手眼标定技术研究[D]. 哈尔滨：哈尔滨工程大学，2009.

Zhang Yunzhu. Research on Hand-eye Calibration technology of industrial robot[D]. Harbin: Harbin Engineering University, 2009. (in Chinese with English abstract)

[16] Tsai R Y, Lenz R K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEE Transactions on Robotics and Automation, 1989, 5(3): 345－358.

[17] Shiu Y C, Ahmad S. Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the form AX=XB[J]. IEEE Transactions on Robotics and Automation, 1989, 5(1): 16－29.

[18] Chou J C K, Kamel M. Finding the position and orientation of a sensor on a robot manipulator using quatemions[J]. Robot, 1991, 10(3): 240－254.

[19] Hoaud R, Domaika F. Hand-eye calibration[J]. Robot, 1995, 14(3): 195－210.

[20] Wei G, Arbter K, Hizinger G. Active self calibration of robotic eyes and hand-eye relationships with model identification[J]. IEEE Transactions on Robotics and Automation, 1998, 14(1): 158－166.

[21] Nicolas A, Radu H, Bernard E. On-line hand-eye calibration[C]// International Conference on 3-D Digital Imaging and Modeling, 1999. 3DIM 1999. 1999: 430–436..

[22] Angeles J, Soucy G, Ferrie F P. The online solution of the hand-eye problem[J]. IEEE Transactions on Robotics and Automation, 2000, 16(6): 720－731.

[23] Malm H, Heyden A. Simplified intrinsic camera calibration and hand-eye calibration for robot vision[J]. Intelligent Robots and Systems, 2003, 1: 1037－1043.

[24] 杨广林，孔令富，王洁. 一种新的机器人手眼关系标定方法[J]. 机器人，2006，28(4)：400－405.

Yang Guanglin, Kong Lingfu, Wang Jie. A new calibration approach to hand-eye-relation of manipulator[J]. Robot, 2006, 28(4): 400－405. (in Chinese with English abstract)

[25] 王君臣，王田苗，杨艳，等. 非线性最优机器人手眼标定[J]. 西安交通大学学报，2011，45(9)：15－21.

Wang Junchen, Wang Tianmiao, Yang Yan, et al. Nonlinear optimal robot hand-eye calibration[J]. Journal of Xi'an Jiaotong University, 2011, 45(9): 15－21. (in Chinese with English abstract)

[26] 马飞. 矩阵方程AX+XB=C的迭代解法[D]. 厦门：厦门大学，2002.

Ma Fei. Iteration method of the matrix equation AX+XB=C[D]. Xiamen: Xiamen University, 2002. (in Chinese with English abstract)

[27] Hestenes M R. Methods of conjugate gradients for solving linear systems[J]. Research of the National Bureau of Standards, 1952, 49(6): 409－436.

[28] Fletcher D, Ian P. 3D math primer for graphics and game development[M]. Beijing: Tsinghua University Press, 2005.

[29] Bradki G, Kaehler A. Learning OpenCV[M]. Tsinghua University Press, 2013.

Hand-eye calibration method based on Sylvester equation deformation for lychee harvesting robot

Mo Yuda, Zou Xiangjun※, Ye Min, Situ Weiming, Luo Shaofeng, Wang Chenglin, Luo Lufeng

(,510642,)

Establishing the correlation between vision system and robot is the key and premise for the fruit harvesting robot based on binocular vision to successfully harvest fruit. And the robot with eye-in-hand vision system can use the active vision to search harvesting targets in a great scope and find out the position of picking points related to the robot’s coordinate in real time. For the accurate hand-eye calibration of the lychee harvesting robot with eye-in-hand vision system, a hand-eye calibration method based on optimization solution of the homogeneous matrix equation was proposed. Binocular camera was installed on the end of the robot's manipulator. The calibration board was placed in front of robot and the calibration board was stationary relative to the robot. By controlling the robot’s movement, binocular camera can observe the calibration board from multiple positions. Then the relative position relationship data between binocular camera and calibration board can be collected by stereovision location. Also, position data of manipulator’s end relative to robot coordinate system can be calculated using the robot kinematics. These data above can be used to establish an approximate equation of hand-eye calibration. Sylvester equation deformation was used to transform the approximate equation into a linear equation that made the problem into a linear optimization problem with some constraints. Lagrangian-Multiplier method was applied in changing the constrained optimization problem to a global optimization problem, and the conjugate gradient methods was a good choice for solving this global optimization problem. The result calculated by traditional method was used as the initial value that a more accurate solution can be solved out by iteration. This hand-eye calibration method was a module of our software “Stereo Vision Lychee Picking Point Recognition and Localization System” which had already been implemented using C++ and OpenCV. The software ran in an industrial control computer cooperated with the harvest robot and binocular vision system and were tests for three experiments. The first experiment was the robot’s mechanical arm movement influence on the ranging error of binocular vision system. This experiment showed that when the binocular cameras had been installed on the terminal of robot’s mechanical arm, the mean ranging error of binocular vision was associated with the movement times of robot’s mechanical arm. When the binocular cameras’ working distance was about 1000 mm, the initial mean ranging error of binocular vision would be 0.55 mm. And then, with the increase of movement times of robot’s mechanical arm, the mean ranging error of binocular vision presented a rising tendency. When the movement times of robot’s mechanical arm was more than one hundred, the mean ranging error of binocular vision would be more than 2 mm. Hence, the best movement times of robot’s mechanical arm used to hand-eye calibration can be 15. This experiment also showed the probable cause of repeat joint positioning error of robot with eye-in-hand visual system. The second experiment was the repeat joint positioning error of the robot with eye-in-hand visual system. The mean repeat joint positioning error of the robot generated by our hand-eye calibration method base on Sylvester deformation equation was 2.929 mm, which was better than the 4.442 mm error generated by traditional method . Meanwhile, the standard deviation of repeat joint positioning error of the robot was 0.454 mm, which was better than the 0.554 mm standard deviation of error generated by traditional method. The second experiment showed our hand-eye calibration method was better than the traditional method in the aspect of precision. At last, we used this harvesting robot to harvest lychee in a real lychee orchard. This experiment can show the reliability of our hand-eye calibration method in the natural environment. We tested 51 times, the ratio of successful picking was more than 76%. Moreover, when the software accurately recognized and located the lychee picking point, the ratio of successful picking could reach 92.3%. This experiment showed that the proposed hand-eye calibration method and the transformation result calculated using our method had a strong reliability and could satisfy the actual picking requirements of lychee harvesting robot.

robot; calibration; vision; lychee; picking; stereo

10.11975/j.issn.1002-6819.2017.04.007

TP391

A

1002-6819(2017)-04-0047-08

2016-05-30

2017-02-13

国家自然科学基金资助项目（31571568）；广东省科技项目（2015A020209111）；广州市科技计划（201510010140）。

莫宇达，男（汉族），广东肇庆人，主要从事机器视觉、农业采摘机器人研究。广州 华南农业大学工程学院，510642。 Email：vettdetmore@live.com

邹湘军，女（汉族），湖南衡阳人，教授，博士生导师，主要从事农业采摘机器人、智能设计与制造、虚拟现实等研究。广州 华南农业大学工程学院，510642。Email：xjzou1@163.com

莫宇达，邹湘军，叶 敏，司徒伟明，罗少锋，王成琳，罗陆锋. 基于Sylvester方程变形的荔枝采摘机器人手眼标定方法[J]. 农业工程学报，2017，33(4)：47－54. doi：10.11975/j.issn.1002-6819.2017.04.007 http://www.tcsae.org

Mo Yuda, Zou Xiangjun, Ye Min, Situ Weiming, Luo Shaofeng,Wang Chenglin, Luo Lufeng. Hand-eye calibration method based on Sylvester equation deformation for lychee harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(4): 47－54. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.04.007 http://www.tcsae.org