基于图像的无标定机器人视觉伺服的研究

罗永超，李石朋，李 迪

（1.华南理工大学广州学院 电气工程学院，广州 5 108002；2.华南理工大学 机械工程学院，广州 510006）

0 引言

视觉伺服是研究如何将计算机视觉数据合理高效的运用到机器人的控制过程中的工作[1]。常规的做法是根据标定后的相机与机器人的手眼关系数据，对目标（特征点）位置与当前机器人末端位置的距离进行估计，然后指引机器人朝向目标运动。在这个过程中，伺服的效果和效率受到标定精度、环境噪声及设备性能（如图像处理速度）的影响[2]，所以在实际应用过程中，基于标定的视觉伺服受到很大的限制，例如受不同因素的影响，即使在控制系统中运用的标定算法精度很高，但是在实际中性能所要求的模型也不容易得到，摄像机镜头由于存在畸变等因素，导致摄像机的标定区域只能被限制在一定区域内，系统的标定结果有效是以满足标定条件为前提，在某些特定环境下难以对摄像机进行标定[3]。鉴于基于标定的视觉伺服存在很多的问题，1994年Hosoda等[4]提出了无标定视觉伺服，由于无标定视觉伺服技术不需要对视觉伺服系统的参数进行精确标定,这不仅省去了繁琐的系统标定流程，而且使机器人视觉伺服系统在复杂工作环境的适应性得到了加强，但是无标定视觉伺服技术目前还主要局限于基于图像的视觉伺服控制系统的理论研究，存在路径规划、快速性和抗扰性等方面的固有缺陷。

因此，本文在总结当前机器人视觉伺服研究的基础上，通过搭建MATLAB仿真平台，对基于图像的视觉伺服（IBVS），基于位置的视觉伺服（PBVS）和基于图像无标定的视觉伺服（UIBVS）三种控制系统就跟踪目标的运动轨迹，收敛速度和抗扰能力进行了仿真对比分析，为进一步提高UIBVS的收敛速度，优化其路径规划，增强其控制系统的抗干扰能力提供了思路和理论基础。

1 基于位置的视觉伺服控制系统

在基于位置的视觉伺服控制结构中，给定的初始三维图像期望位姿信息和经过反馈得到的三维估计位姿信息都是以笛卡尔空间的形式出现，在笛卡尔空间中，控制系统的伺服任务是消除机器人末端执行器和目标物体间的相对位姿。利用传感器对目标物体进行图像信号采集，进而构建当前的位姿信息，并将当前位姿与期望位姿对比后将二者的差值传输给视觉控制器，形成闭环反馈[5,6]，其控制流程图可用图1表示。

图1 基于位置的视觉伺服控制结构

这种方法有笛卡尔空间轨迹最优的特点，但在任务开始前需要对多个参数进行标定才能准确的对目标图像进行位姿构建，包括相机内参数、手眼关系、机器人模型、目标图像模型等[7,8]，标定工作需要专门的技术[9]，且随着任务的进行其精度易受外部环境影响。

2 基于图像的视觉伺服控制系统

基于图像的视觉伺服控制系统，给定图像特征信息与反馈图像特征信息均是在图像特征空间进行定义，通过对系统得到的当前图像的特征与给定的期望图像相关特征进行比较，得到以上两种图像间的特征误差关系，并将此误差关系作为控制系统的输入信号，形成了闭环反馈控制系统。控制信号通过对机器人进行控制，使其末端执行器通过不断移动，调整自己的位置，并实时比较当前图像与期望图像特征误差，直到检测的特征误差为0，末端执行器停止运动，伺服任务完成{Piepmeier，2004 #44；Piepmeier,2004 #44；Chaumette,1998 #45}。由于使用这种伺服控制系统进行控制时，图像特征信息的处理是非常重要的一步，所以准确完成图像雅可比矩阵的求解是基于图像的视觉伺服控制系统的重要任务[10]。相比于PBVS，IBVS的控制结构更为简单，其只使用处理和提取特征后的图像信息与二维图像的期望特征进行比较，而不需要进行三维重构，因此IBVS对于相机的标定误差有更高的鲁棒性，且对二维信号的获取不需要预先对相机及机器人的系统参数进行标定，从原理上IBVS更适合无标定视觉伺服技术在实际工作中的应用。

3 无标定视觉伺服动态控制系统模型构建

本文采用“eye-in-hand”的机器人手眼关系[11]，针对所要跟踪的目标，我们把其相对于图像上的实时位置定义为s（q，t）=[s1，s2，…，sm]T，它是一个既与时间t有关，又和关节q有关的复合函数；把定义为理想位置，则在图像平面上视觉伺服任务的控制目标可以通过以下目标函数进行描述[12,13]：

根据非线性方差最小化原理，视觉伺服策略推导过程如下：

动态高斯-牛顿法下方差最小化函数：

将式(2)在（qk，tk）点展开泰勒级数：

此时E（q，t）具有最小值，对其求极值：

式中o（Δ2）—E（q，t）是关于时间和关节角增量的二阶导数。

对上式合并整理后离散化得：

Δt—采样周期,重新带入并整理得：

式(6)是目标物体的运行速度，对误差在下一时间增量时刻的矢量进行线性预测。当qk+1为0时，ek只与qk成函数关系，此时偏差速度与时间增量的乘积项为0。

图像雅克比矩阵是机器人关节角的函数，利用“eye-in-hand”系统对运动物体进行跟踪时，当机器手移动，相机就跟随它一起移动，目标图像特征函数是既与机器人关节角有关，又和时间有关的复合函数[14]。由于摄像机一直在运动，所以系统所得到的图像雅克比矩阵也在变化，需要实时估计图像雅克比矩阵的变化量，因此，针对“eye-in-hand”系统，摄像机固定系统的无标定视觉伺服算法已经不能满足系统的要求，需要新的算法。由式(6)，令：

4 仿真结果与分析

本文的仿真实验通过MATLAB2018b进行，并使用了Peter Corke创建的machine vision toolbox和robotics工具箱[15]。仿真摄像机焦距为100mm，固定增益λ=0.125，图像平面大小为640×480，此时图像噪声noise=0。

机器人与相机的相对位置结构为EIH（eye-inhand）。虚拟相机视野中随机目标初始位置和期望位置如图2所示，其中蓝色圈表示相机初始位置，红色星表示期望位置。

图2 伺服任务中目标位置与初始位置

为了研究在不同控制系统中机器人末端运动轨迹，收敛速度的优化情况，在相同的仿真环境中，从随机目标中选取4组相互对应的初始位置和期望位置，通过机器人末端在三种不同视觉伺服控制系统中从初始位置到期望位置的轨迹变化情况，收敛速度变化情况，进行仿真对比分析。

图3是在基于图像、基于位置、基于图像无标定的视觉伺服控制系统中机械手末端从初始位置到期望位置的轨迹变化模拟情况。

图3 机械手末端从初始位置到期望位置的轨迹变化模拟情况

通过对比可以发现，从相同的初始位置到期望位置，IBVS中机械手末端的轨迹路径最优，PBVS中机械手末端的轨迹路径最差，在实际运行环境中可能出现目标超过视野范围，导致伺服运动失败。机械手末端在UIBVS与IBVS两种控制系统中基本具备优化程度非常相近的运行轨迹，由上分析可得，与有标定的视觉伺服控制系统相比，UIBVS的路径规划性能也比较好。

图4是在基于图像、基于位置、基于图像无标定的控制系统中机械手末端速度收敛的模拟情况，其中图4(a)是PBVS的收敛情况，图4(b)是IBVS的收敛情况，图4(c)是UIBVS的收敛情况。

图4 机械手末端从初始位置到期望位置的系统收敛模拟情况

通过对比可以发现，在不同控制系统中收敛速度差别较大，尤其是在PBVS和IBVS中伺服运动初始阶段振荡幅度较大，在实际环境中进行视觉伺服可能会因目标超出视野范围而失败。在UIBVS中速度变化方向基本一致，且较快收敛到零点，说明UIBVS收敛特性最优。

为了研究以上三种视觉伺服控制系统的抗干扰能力，在上述实验的基础上，根据工业环境中噪声特点，增加系统白噪声noise=1，通过在相同条件下系统图像误差变化情况进行比较，结果如图5所示，其中图5(a)图是PBVS图像误差变化情况，图5(b)是IBVS图像误差变化情况：图5(c)是UIBVS图像误差变化情况，其中U、V分别表示不同特征点在x、y方向上图像误差。

图5 噪声环境中机械手末端从初始位置到期望位置的系统收敛模拟情况

分析图中图像变化情况可知，受噪声的影响，PBVS在伺服过程中震荡剧烈，最终伺服失败，IBVS和UIBVS虽然完成了伺服任务，但在伺服初期图像误差变化起伏明显，出现了较大的震荡，如果要使基于图像无标定的视觉伺服系统得到更好应用，需要增强其对噪声的抗干扰能力和对环境的适应性。

5 结语

本文在总结当前机器人视觉伺服研究的基础上，通过搭建MATLAB仿真平台，对IBVS，PBVS和UIBVS三种控制系统就跟踪目标的运动轨迹，收敛速度和抗扰能力进行了仿真对比分析，从仿真结果可以看出，基于图像的无标定视觉伺服系统具有较快的收敛速度，但其在路径规划和抗扰能力方面表现欠佳，需要进一步优化，这为接下来对UIBVS的进一步的研究提供了方向，并奠定了一定的理论基础。