双目免标定视觉伺服系统

2024-01-03刘楚天陈晓瀚胡嘉成

机械工程与自动化 2023年6期

刘楚天，陈晓瀚，胡嘉成

(广东工业大学机电工程学院，广东广州 510006)

0 引言

视觉传感器搭配机械臂进行作业在整个工业生产中是很常见的。传统的基于视觉传感器的控制方式多是基于位置的视觉伺服方式,这种方式一般都需要对系统进行标定,需要标定的部分包括相机内部参数、机器人运动学参数以及相机与机器人之间的手眼关系。通常这种方式要求工作环境与标定环境一致,但在有毒、高温、水下等环境中都没有办法进行标定操作。标定的过程是非常繁琐的,对操作人员有一定要求,且标定过的系统结构发生了变化其参数也会发生变化,需要重新进行标定。为了解决这些问题,免标定视觉伺服的方式被提出,例如使用神经网络去拟合手眼关系、基于卡尔曼滤波估计图像雅克比矩阵、基于自抗扰控制器(Auto Disturbance Rejection Controller)的免标定视觉伺服控制等[1]。

所谓的免标定视觉伺服是指在不进行相机以及手眼标定的情况下,利用视觉系统控制机器人完成目标任务的方法。基于图像的视觉伺服常用于免标定的视觉伺服控制中[2,3]。基于图像的视觉伺服是需要图像特征的,通常控制六轴机器人需要四个特征点,但在某些情况下目标可能并没有丰富的图像特征,如轨迹跟踪[4]。因此,需要一种在少特征的情况下也能进行免标定视觉伺服的方法。本文提出了一种双目免标定视觉伺服系统,并从系统的软硬件设计、系统图像雅克比矩阵估计算法、控制器算法三方面展开论述,最后通过定位实验说明本系统的可行性和有效性。

1 双目免标定视觉伺服系统总体结构设计

双目免标定视觉伺服系统主要由三部分组成,分别是机器人执行部分、视觉传感部分以及控制器部分。整个系统的硬件部分包括视觉传感器、六轴机械臂以及上位机。双目免标定视觉伺服系统结构框图如图1所示。

图1 双目免标定视觉伺服系统结构框图

六轴机械臂作为系统的执行机构,实时地接收上位机发送的控制指令,在接收指令之后其内部关节速度控制器控制各关节达到指令设定值。视觉传感器利用其自身可以通过光学元件感知外界信息的特点为系统提供丰富的信息。上位机是整个系统的大脑,系统的图像雅克比矩阵估计算法、图像特征提取算法、机器人的控制算法都是在其中进行的。上位机与机器人之间的硬件连结是由双绞线完成的,软件上的通信是由socket实现的,视觉传感器和电脑的信息传输是通过USB数据线完成的,各个算法以及模块之间的信息交换也都是在上位机上完成的。

为了使各个模块之间相互独立,本系统采用多线程的方式,以降低图像处理时耗长对整个系统的不利影响。图像处理模块实时地对视觉传感器获得的图片进行图像处理,包括滤波、二值化、边缘检测、目标提取等,并将获得的信息构造成图像的特征向量发送给另外两个模块。图像雅克比矩阵估计模块会实时地接收图像处理模块发送的图像特征向量信息以及机器人发送的关节角信息,通过算法结合上述的信息估算出系统下一步的图像雅克比矩阵并发送给控制模块。控制模块实时接收上面两个模块发送的信息,并计算出机械臂关节的运动速度,实时调整机械臂的运动控制机器人完成定位任务。

2 系统主要算法设计

2.1 系统图像雅克比矩阵估计

(1)

(2)

其中:s(t)和s(d)分别为当前图像特征和期望图像特征。

在绝大多数机器人系统中,控制两输入的都是关节运动速度。对于这样的系统,我们可以建立如下微分映射关系,即:

(3)

(4)

其中:J=JpJr为系统的图像雅克比矩阵。

图像雅克比矩阵实质上是对非线性的手眼映射关系在某一时刻线性逼近,这就需要对每一时刻的图像雅克比矩阵进行在线估计。本文选择线性离散卡尔曼滤波算法对系统的图像雅克比矩阵进行实时在线估计。

将系统的图像雅克比矩阵的各个元素看成是某一线性离散系统的状态变量,定义系统的状态变量为:

(5)

根据卡尔曼滤波算法基本理论和滤波公式,首先对系统的状态进行先验估计:

(6)

计算先验误差协方差矩阵:

(7)

获取卡尔曼增益:

(8)

其中:K(k)为k时刻的最优卡尔曼增益;C(k)为k时刻的测量矩阵;Rv为测量噪声方差阵,一般是常量,取Rv=0.5I8。

矫正状态估计误差方差阵:

(9)

获取系统状态的最优估计:

(10)

x(0)是初始图像雅克比矩阵所转换的初始向量。初始图像雅克比矩阵获取方法是在机器人的初始位置任意给定l步线性无关的试探运动(l即为机器人的自由度,本文为6),得到相邻两次的机器人的关节角变化,Δp1,…,Δpl,并在每次运动时观察相应的轨迹起始端的像素坐标变化Δf1,…,Δfl,从而获取初始的图像雅克比矩阵估计值J(0),即:

(11)

2.2 视觉伺服控制器

定义系统误差为图像误差e(t)=s(d)-s(t)。在跟踪过程中,为了加速系统响应,引入了比例控制策略:

va=c1J+e(t).

(12)

其中:va为机器人的关节角速度;c1为比例控制系数;J+为J的伪逆矩阵。

通过李雅普诺夫函数来验证系统的稳定性[5]:

(13)

考虑到系统的图像雅克比矩阵模型式(4)和图像误差e(t),则式(13)的导数为:

(14)

由李雅普诺夫稳定性理论可知:当JJ+正定时,闭环控制系统逐渐趋于稳定;当JJ+半正定时,该系统无法通过李雅普诺夫函数判断是否是稳定的。

在实际的系统中,可以通过合理地选择图像特征以及限制机械臂的关节运动范围来使JJ+保持正定,从而避免系统的不收敛。基于图像的免标定视觉伺服系统控制原理框图如图2所示。

图2 基于图像的免标定视觉伺服系统控制原理框图

3 实验与结果

3.1 实验平台与实验任务

本文通过机械臂末端定位实验对所提出的双目免标定视觉伺服系统的可行性进行了验证,搭建的系统实物图如图3所示。

图3 搭建的系统实物图

本系统选择六自由度协作型操作臂作为执行模块,其控制器通过双绞线与上位机相连,并实时地将机器人的关节角信息发送给上位机。将两台工业相机安装在操作臂末端使其固连,可以保证两台相机与机器人末端的速度是一致的。这两台相机实时地获取目标点的图片并通过USB数据线发送给上位机。上位机接收到图片信息以及其机器人关节角信息后会调用图像处理算法、系统的图像雅克比矩阵估计算法、控制算法并将处理后得到的信息发送给机器人控制器驱动机器人进行运动。本实验的图像目标是两个点,用以验证少目标点的情况下本系统可以完成机器人的视觉免标定定位实验。整个实验都是在没有进行相机、手眼以及机器人运动学参数标定的情况下进行的。

本实验的目标是将机器人从初始位置移动到期望位置,即将图像中的目标点从初始位置移动到期望位置。初始的图像特征向量为:

s=[u11,v11,u12,v12,u21,v21,u22,v22]T=

[450,320,504,312,186,352,281,345]T.

(15)

其中:(u11,v11)为相机1中第1个特征点初始位置的像素坐标;(u12,v12)为相机1中第2个特征点初始位置的像素坐标;(u21,v21)为相机2中第1个特征点初始位置的像素坐标;(u22,v22)为相机2中第2个特征点初始位置的像素坐标。

期望的图像特征向量为:

[400,212,451,205,137,160,241,151]T.

(16)

本系统所选用的噪声值是通过多次实验效果确定的,上文已介绍,这里不过多赘述。

3.2 实验结果

经过多次重复实验,可以证明本系统可以达到预计目标。其中一次的实验初始图像、期望图像以及经过实验后的最终图像如图4所示,可以看出实验后的图像与期望图像是很相近的。在定位过程中各图像中图像特征点的图像误差变化过程如图5所示。由图5可以看出:每个点都是从一开始就朝着缩小图像误差的方向运动,直到最后收敛到0附近。