面向采摘机器人的视觉伺服控制技术研究进展

赖颖杰， 张世昂， 朱立学

（仲恺农业工程学院机电工程学院，广东 广州 510225）

0 引言

传统的果实采摘是一个烦琐且极其耗费劳动力的过程，为了更好地提高劳动生产效率、降低劳动强度，采摘机器人的研究应用已成为当下农业生产的迫切需要，并且具有重要的实用价值和广阔的应用前景。采摘机器人面对的作业环境不确定性强，因此视觉伺服控制技术成为采摘机器人系统的重要控制手段，为了更精准地识别果实并高效完成采摘，选用适应性强的视觉伺服控制方法显得格外重要。

视觉伺服控制系统主要包括视觉系统、机器人控制器和机器人结构系统。视觉伺服控制是把相机采集到的图像信息作为反馈信号，图像信息经过处理后可用作感知机器人当前位置与目标物体之间的相对位置，将计算得到的控制信号传入机器人控制器用来规划机器人的运动轨迹，引导机器人到达指定的位姿，完成相应的动作。目前视觉伺服控制主要研究基于位置的视觉伺服、基于图像的视觉伺服及混合视觉伺服，国内外学者对视觉伺服控制技术已经做了较为深入的研究，但该技术在农业机器人领域的研究应用不多，且存在一些问题难以解决[1-7]。如基于位置的视觉伺服受结构模型的参数误差影响大，基于图像的视觉伺服处理算法较为复杂等。本文结合经典视觉伺服控制方法研究进展和原理，对比总结各种控制方法的优缺点和研究重点，对关键问题分析解决方法，同时提出对采摘机器人适应性强的视觉伺服控制技术，并对技术发展趋势进行展望。

1 视觉伺服控制技术研究进展

机器人视觉伺服控制的概念最早于20 世纪80 年代被提出，之后逐渐成为机器人研究领域中的一项关键技术。视觉伺服控制技术包含计算机视觉、运动学和机器人控制等多个知识领域，国内外学者对此已经进行了广泛的研究。1973 年，SHIRAI Y 等[1]首次提出研发利用视觉反馈来完成装配工作的机器人。美国斯坦福研究所在20 世纪80 年代研究出一种典型的手眼系统机器人Shakey（图1a），其通过不断的迭代信息来完成相应的动作规划[2]。20 世纪90 年代，由于计算机硬件和相关算法的不断升级，视觉伺服控制技术得到高效且快速发展。周尧[3]提出一种以Jaguar 移动机器人平台为基础，基于RGB-D 相机的eye-in-hand 采摘机器人视觉伺服控制系统（图1b）。CHAUMETTE F 等[4-5]提出的视觉伺服控制相关方法对有关视觉伺服控制的研究提供了重要的指导作用。杨军莉[6]完成了基于遗传神经网络的6 关节工业机器人视觉伺服系统的设计。张德伟等[7]提出基于图像单应性矩阵的混合视觉伺服控制方法，使机器人在深度信息不足的情况下仍可精准到达指定位姿，完成相应操作。

图1 视觉伺服机器人Fig. 1 Visual servo robot

目前，视觉伺服控制技术主要应用在易操作的制造业领域和工业领域，在复杂的农业生产环境下，面向采摘机器人的视觉伺服控制技术研究较少且实用性不强。

2 基于位置的视觉伺服控制方法

基于位置的视觉伺服控制方法（position based visual servoing，PBVS），首先需要对机器人视觉系统进行标定，将相机得到的目标二维图像信息转化成相对于相机的三维位置信息，实现二维到三维空间的信息转化，即把得到的图像信息表达在三维笛卡尔坐标中。通过将反馈得到的实时目标位姿信息与给定的目标期望位姿信息相对比得到的误差信号传入视觉伺服控制器，机器人关节控制器利用处理后得到的控制信号来驱动机器人，实现机器人对目标的定位或跟踪，形成系统的闭环控制，其结构如图2 所示。该方法的最大优点是系统的误差信号和控制信号都是定义在三维空间的位姿信息，机器人可以在笛卡尔空间里找到最优的动作轨迹。

图2 基于位置的视觉伺服控制结构Fig. 2 Structure of PBVS

因为目标的位姿信息是根据图像信息转化得到的，因此PBVS 的控制精度跟机器人的结构模型和相机系统标定有关，且对标定参数误差敏感。LIU Y C 等[8]提出的线性模型相机标定法是传统的三维空间标定方法，类似经典的标定方法对标定环境要求较高且需要高精度的标定板，其信息转化计算过程也较困难。近年来，随着相关视觉技术的不断升级，国内外学者对相机标定技术的研究也取得了一定的成果。邹朋朋等[9]提出一种基于畸变矫正与平面单应性矩阵结合，可同步求解相机内外参的双目相机标定方法。LUIS R 等[10]提出利用最小二乘法对图像数字化和镜头畸变引起的误差进行建模，从而获得特定点三维坐标的标定方法。陈文艺等[11]提出基于双神经网络的相机标定方法，既遵循了成像模型又提高了相机标定精度。目前应用较普遍的标定方法为张正友标定法，其标定精度高且操作过程相对容易[12]。

因为PBVS 是用期望位姿和实时估计位姿的差值作为视觉伺服控制器的输入量，因此机器人的位姿估计和机械臂的控制是PBVS 的关键技术。

在位姿估计方面，ZHAO Chunhui 等[13]利用卡尔曼滤波获取和跟踪图像特征点运动，从而可实现对多相机视觉系统的实时位姿估计。ZHANG Lijun 等[14]在分析了图像特征点信息容易丢失的情况下，提出了利用扩展卡尔曼滤波的位姿估计方法。RUPP M 等[15]在扩展卡尔曼滤波的原有基础上加入了自适应和迭代环节，极大提高了位姿估计精度及系统鲁棒性。刘安东等[16]提出了利用滚动时域估计的机械臂位姿估计方法，克服了机械臂作业的运动空间约束。

在机械臂控制方面，研究者已经提出了许多有效的控制算法，如PID 控制、自适应控制、鲁棒控制和神经 网 络 控 制 等[17]。MARUTHUPANDI A 等[18]利 用 视 觉反馈的PID 控制方法对机械臂实现了位置跟踪。KEIGHOBADI J 等[19]在基于位置的视觉伺服系统的基础上加入了自适应控制算法，保证了机械臂视觉伺服系统的鲁棒性及稳定性。BURGER W 等[20]设计了基于PBVS 的二阶滑模控制器，实现了对7 自由度机械臂的位姿控制。REZA R A 等[21]提出一种基于多目标粒子群优化算法的最优分数阶模糊PID 方法，通过模糊控制器来控制双连杆机械臂末端到达期望的位置。周孚成[22]提出基于状态空间方程的H∞鲁棒性控制方法，有效降低了系统结构模型和外部扰动的不确定性所带来的影响。

基于位置的视觉伺服控制技术在采摘机器人上的研究应用并不多。金玉成等[23]提出基于RealSense 深度视觉的手眼协调策略来完成采摘机器人的视觉伺服控制。宋家慧等[24]提出基于回归数据的采摘机器人视觉伺服策略研究，可以准确得到果实中心位置坐标，从而稳定地控制末端执行器完成采摘作业。PBVS 在农业生产的非结构环境下，每次应用环境的改变都需要对系统进行重新标定，且该方法无法时刻保证机器人或者目标始终处于相机的视野范围之内，对采摘机器人的适应性不强。

3 基于图像的视觉伺服控制方法

基于图像的视觉伺服控制方法（image based visual servoing，IBVS）是直接在图像信息中计算误差，将得到的实时图像特征与给定的期望图像特征作对比，得到的误差信号传入视觉伺服控制器，机器人控制器利用得到的控制信号对机器人进行动作规划，使末端不断调整自己的位姿，实现机器人对目标的定位或跟踪，其结构如图3 所示。

图3 基于图像的视觉伺服控制结构Fig. 3 Structure of IBVS

这种控制方法可以省去烦琐的相机标定及三维重构过程，有更好的伺服控制鲁棒性。但因为误差信号是定义在二维空间的，而机器人控制器的输入信号是定义在三维空间，因此需要找出目标图像特征参数变化率与机器人关节位姿变化率的映射关系，即图像雅可比矩阵，但该矩阵求解计算量大且易存在奇异点和局部发散性，因此IBVS 控制精度和控制器的设计有很强关联性。

雅克比矩阵是对多元函数一阶求导后按照一定顺序排列组成的矩阵，它可以达到让多元非线性函数在期望点线性逼近的目的。机器人末端位姿的变化率和目标图像特征参数变化率的关系、机器人关节位姿变化率和机器人末端位姿的变化率关系为

J即为目标图像特征参数变化率和机器人关节位姿变化率的对应关系，研究者们常把J称为图像雅克比矩阵或特征敏感矩阵。由此可以看出，图像雅克比矩阵是随着机器人位姿变化而变化的，并且在IBVS 中还需要求其逆矩阵，因此IBVS 的一大难点就是求解图像雅克比矩阵。

求解雅克比矩阵常用的方法有解析法、在线估计法和学习法。解析法是通过已知结构模型计算得到图像空间特征关于机械臂末端位姿的表达式。在线估计法适用于结构模型模糊或较复杂时，利用算法处理获得的数据使得到的雅克比矩阵不断估计调整，因此该方法初始值的选择非常关键。学习法主要是利用人工神经网络不断训练学习，从而更简便地得到雅克比矩阵。

近些年来，刘广瑞等[25]提出基于Kalman 滤波的方法对系统的雅克比矩阵进行在线估计。王博等[26]提出基于迭代最小二乘法的动态拟牛顿法对图像雅克比矩阵进行估计。周孚成[22]提出基于H∞的粒子滤波估计算法，对图像雅克比矩阵进行估计。梁喜凤等[27]提出基于自适应无迹卡尔曼滤波的图像雅克比矩阵估计方法，有效减少了系统噪声对图像雅克比矩阵估计精度的影响。

为解决图像雅可比矩阵奇异性问题，JIANG P 等[28]提出了一种基于奇异值分解的权值修正策略，可实现目标精确跟踪。谷雨等[29]提出一种基于图像矩阵的视觉伺服控制方法，有效解决了由于图像局部特征改变从而导致图像雅可比矩阵结构改变和奇异性等难点。阳建峰[30]提出一种基于遗传优化RBF 神经网络的无标定视觉伺服控制方法，不需要求解图像逆雅克比矩阵。

国内IBVS 在采摘机器人上的研究应用正处于初步阶段。宋健[31]提出基于图像的采摘机器人模糊视觉伺服控制系统研究，具有较好的时效性和鲁棒性。赵庆波等[32]提出采用基于图像的视觉伺服控制方法对采摘机器人进行控制，并引入模糊PID 控制方法，提高了系统的动、静态性能。因为采摘机器人作业环境复杂多变，影响系统的噪声更多，图像特征信息更难确定且稳定性不高，因此在复杂作业环境下IBVS 的控制器设计和实际应用难度更大。

4 混合视觉伺服控制方法

混合视觉伺服控制方法（homography based visual servoing，HBVS）结合了基于位置和基于图像两种视觉伺服控制方法各自的优点，以获取的目标图像特征的图像坐标误差和相机旋转误差作为机器人控制器的输入信号，从而控制机器人到达指定的位姿，该方法不需要计算图像雅可比矩阵，也保证了对于系统结构模型和标定参数误差的鲁棒性。

MALIS 等[33]提出了首个基于位置和基于图像的混合视觉伺服控制系统（2-1/2-D 视觉伺服系统），其中基于位置的视觉伺服和基于图像的视觉伺服分别对机器人末端的旋转和平移进行控制，其结构如图4 所示。2-1/2-D 视觉伺服方法，需要在事先获取相机内参的条件下，计算当前图像与理想图像对应的单应性矩阵，将单应性矩阵分解为旋转分量和平移分量反馈回控制器，对应控制机器人末端的旋转和平移，控制器输入的误差信号e 定义为

图4 混合视觉伺服控制结构Fig. 4 Structure of HBVS

这种伺服控制方法虽然不需要计算图像雅可比矩阵，但是目标图像对应特征间的单应性矩阵需要实时计算并且对其进行分解，其计算量大且复杂。除此之外，该方法还可能出现目标不在相机视野范围内的情况。在计算单应性矩阵时，传统的解法是采用线性最小二乘法估计。李嘉惠等[34]提出一种基于改进RANSAC 算法的单应性矩阵估计方法，有效增加了正确匹配率，相对提高了单应性矩阵的精度。吴柔莞等[35]提出一种基于具有修正功能的无监督级联单应性估计算法，相比传统方法，该方法具有更准确的估计能力。

国内外都极少有学者研究混合视觉伺服的控制方法在采摘机器人上的应用。徐同庆[36]提出基于图像的视觉伺服控制和改进模糊神经网络的滑模控制算法相结合的策略，有效提高了系统稳定性和采摘机器人的工作效率。HBVS 结合了IBVS 和PBVS 的优点，可以较大程度减小作业环境对采摘机器人的影响，总体对采摘机器人有更强的适应性，因此该方法有更广的应用范围和更好的应用前景。

5 各视觉伺服控制方法对比

从当前视觉伺服控制的研究现状看，常见的3 种视觉伺服控制方法各有优缺点，对比如表1 所示。

表1 视觉伺服控制方法的优缺点Tab. 1 Advantages and disadvantages of visual servo control methods

6 结束语

采摘机器人使用视觉伺服控制的目的是为了让机器人末端执行器能够根据视觉系统提供的控制信息，按照最优的轨迹精准运动到目标点，并利用采摘末端精确顺利地摘下果实。而果树种植地貌类型复杂多样，因此采摘机器人开展工作的难度较大，受到的干扰也更多。相比之下，混合视觉伺服控制的方法更适合采摘机器人，其减弱了平移自由度与旋转自由度之间的相互影响，从图像空间与笛卡儿空间双方面考虑问题，可以较大程度地降低复杂环境对机器人伺服控制系统的影响，有效改善了非结构因素对机器人系统的干扰性和全局稳定性，但当下该方法在采摘机器人上的研究应用还不够成熟，结合采摘对象的精确定位需求，视觉伺服控制技术在以下4 个方面还有待开展深入研究。

（1）为了使采摘机器人顺利进行视觉伺服控制，必须保证目标时刻处于相机视野范围内，否则将直接导致伺服作业失败。未来可以有针对性地研究使用多相机视觉系统来完成视觉伺服控制，这有助于拓宽机器人的活动空间和增强系统稳定性。

（2）为了高效引导采摘机器人执行采摘任务，在使用视觉伺服控制时必须考虑实时性问题，即需要快速、鲁棒地处理获得的图像特征信息以控制机器人流畅地做出相应的动作，因此除了提高硬件条件外，根据实际工作场景选择适用性强的视觉算法和控制算法显得尤为重要。

（3）采摘机器人视觉伺服控制的性能很大程度上取决于所选的图像特征，不当的特征选择可能将直接导致视觉伺服的失败。因此，如何通过人工或自动选择性能最优且适量的特征，后续如何进行特征处理，以及如何把全局特征与局部特征有效结合起来并加以应用，这些都需要进一步的研究。

（4）采摘机器人的工作环境复杂且多变，而传统的采摘机器人视觉伺服控制系统主要都是基于视觉传感器的伺服控制，视觉传感器很容易受到环境突变的影响，需要处理的数据量大且工作范围有限。为了使采摘机器人能更全面地感知工作环境且高效地完成作业，机器人系统有必要融合其他外部传感器协同作业，实现多信息交互，从而扩展机器人的有效工作空间，提高控制性能。