基于仿人智能控制的无标定视觉伺服

龚 飞，谢 明，王梦佳，朱莹莹

(南京工业大学，江苏 南京 211816)

基于仿人智能控制的无标定视觉伺服

龚 飞，谢 明，王梦佳，朱莹莹

(南京工业大学，江苏 南京 211816)

设计了无标定视觉伺服的仿人智能控制器，仿真完成了无标定双目视觉下机械臂的五自由度运动空间定位。选取点特征作为双目视觉图像特征，设计了视觉特征模型与多模态视觉伺服控制器，并在Matlab平台下设计了五自由度运动空间的视觉定位仿真实验，验证了方法的有效性。

无标定；双目视觉；仿人智能控制；Matlab

0 引言

自20世纪以来，机器人的诞生是科技领域最重大的成就之一，也是衡量一个国家科技水平的重要标志[1]。作为当前主流的高新技术，机器人是机械设计、控制工程、计算机、人工智能、传感器多学科交叉产物，并朝着示教/再现、传感控制到智能控制等研究方向不断发展。目前机器人已经被广泛应用在众多领域，已有成功应用在餐厅、商场等场合的服务机器人和实现搬运、抓取、电焊等动作的工业机器人，具有很好的应用前景。比尔·盖茨甚至预言，机器人将改变世界，成为生活中不可代替的一部分。

目前工业机器人被广泛用在搬运、拾取、包装、切割、焊接等领域，这些都离不开机械臂末端的定位问题，如何快速、准确的定位到目标物体是我们研究的重点[2]。本文以MOTOMAN-MH5S工业机器人为例，研究了具有视觉定位功能的智能系统[3]。

1 系统组成

基于视觉伺服系统的工业机器人实时跟踪系统由以下几部分组成：机器人、上位机、摄像机、图像处理系统、工作台、定位系统、目标物体等。通常PC机作为上位控制器，通过摄像机进行数据采集，对目标工件进行拍摄，然后图像处理校正实际位置与期望位置的偏差，并计算出机器人末端执行器的运动轨迹，对目标物件进行实时定位。

本实验室有MOTOMAN-MH5S六自由度的关节型机器人，由S轴(旋转)、L轴(下臂)、U轴(上臂)、R轴(手腕旋转)、B轴(手腕摆动)、T轴(手腕回转)构成，如图1所示。

图1 MOTOMAN-MH5S工业机器人

2 位姿描述和连杆坐标系

2.1 位姿描述

在三维空间中设有一刚体P，通常用该刚体的位置和姿态信息来描述该刚体的几何形状，其中刚体的位置和姿态信息又被称为位姿。建立坐标系之后，可以用3×1的位置矢量来确定空间中任意一点的位置。例如建立一个直角坐标系{A}，则刚体P的坐标为：

其中AP是位置矢量，用来表示机器人末端在空间中的位置，Px、Py、Pz是 P点三个坐标分量。另外再定义一个直角坐标系{B}，将刚体 B固接与坐标系{B}，则通常用坐标系{B}的单位矢量来表示刚体B相对于坐标系{A}的方位，即一个3×3的旋转矩阵：

图2 空间刚体的位姿

2.2 连杆坐标系

平移和旋转运动是工业机器人相邻连杆之间的最基本的运动，用矩阵的形式来表示关节的平移和旋转，即坐标变换。刚体的齐次坐标描述已是空间姿态描述较为普遍的方法，相邻连杆之间的关系通常用 Denavit和Hatenberg提出的D-H方法来确定，即用4×4的齐次变换矩阵来描述，可以表示任意数量的平移和旋转关节的各种复杂转动[4]。对于 6关节的机械臂而言，可以用 18个参数来描述机器人结构的固定部分，则只有6个参数是描述关节角度变量，是运动学中随机器人变动的部分。

机械臂运动分析中，通过一个4×4的齐次变换矩阵来描述坐标系之间的位姿关系，公式表示如下：

机器人末端位姿可以通过矩阵T反过来求解出来，即在极坐标系中，末端的坐标为(px，py，pz)，得到末端连杆变换矩阵。

3 仿人智能控制器设计

3.1 仿人智能控制理论基础

仿人智能控制理论（HSIC）于 1979年提出，主导思想是研究模拟人的控制行为功能，即定性地推理映射和定量控制映射[5]。其二次映射模型的主要组成环节有：特征模型辨识与记忆、多模态控制与决策、推理与决策机构等。控制器采用的控制模态根据不同的特征状态做相应的调整，完成控制器的设计[6]。首先根据反馈误差信息对特征模型 Φ（φ1，φ2，…，φn）进行辨识，识别出系统动态特征状态φi，然后根据推理与决策机构Ω来判断，选择出系统多控制模态 Ψ（ψ1，ψ2，…，ψn）中对应的控制模态ψi，最后完成定量地控制器输出。

3.2 特征模型与视觉伺服控制器

仿人智能控制理论是通过模拟人的智能，弱化了控制器对模型精度的依赖，为了降低模型精度对控制器设计的影响，在控制器的设计中添加了先验知识，依据被控对象的特性来划分特征模型。

本文用仿人智能控制理论来解决无标定视觉伺服的动态非线性问题，根据手眼映射关系划分出了特征模型，设计了多模态的视觉控制器，保证了在像平面内图像特征收敛[7]。首先在上诉理论的基础上划分出了特征模型集 Φ={φ1，φ2，φ3，φ4}，分别对应了不同的控制模态；然后，设计了多模态控制器，根据映射模型的异同，将图像特征的误差量映射到笛卡尔空间；最后，根据李雅普诺夫稳定性原理来判定系统稳定性。

本文假设机械臂末端和目标点在笛卡尔空间中分别是 pe、pt，其对应在像平面的投影是 fe、ft，则图像特征误差 ef=fe-ft，笛卡尔空间距离偏差 ep=G(p1-p2)，则点特征在像平面的信息误差表示如下：

特征量 Efp用来表示点特征的偏差量最大的特征元：

然后根据特征量 Efp划分出手眼映射关系的特征模型集。

通过设定的阈值来划分特征状态，并判断机械臂末端当前位置与期望位置之间的距离。根据此特征模型集Φ={φ1，φ2，φ3，φ4}给出了其与之相对应的控制模态 Ψ= {ψ1，ψ2，ψ3，ψ4}。

视觉伺服控制器主要考虑到图像特征误差的特征模型，先判断当前手眼系统的特征状态φi，然后选择对应的控制模态ψi，最后输出对应的图像特征误差的调整量。其控制策略如下：

不同的控制模态采用不同的雅克比矩阵来调整机械臂末端的位姿，使机械臂末端能够快速接近期望位置，其中要考虑到机械臂在空间运动中速度的限制，并且要保证机械臂的空间运动不能过超出像平面空间，还需要设定控制模态输出量满足特定的关系。不同控制模态所采用的目标函数如式(8)所示。

这四个公式分别对应四个控制模态所采用的目标函数，对 F(q)进行泰勒级数展开，系统采用固定的采样周期，使得目标函数最小化，并且对函数进行一阶二阶求导，最后整理求得：

为了确定手眼关系控制器的稳定性，我们利用李雅普诺夫稳定性原理来检验，定义了函数：

我们忽略约束条件，为了满足手眼系统的稳定性要求，要使得导数v.＜0，即 K＞0，可保证视觉系统在像平面内误差收敛。

4 实验分析

我们用 Matlab 2012a搭建了视觉伺服仿真平台，采用双目 eye-to-hand构型，机械臂工具箱采用 Robotics Toolbox Release 9.8，设计了无标定视觉系统的五自由度运动空间的定位仿真图如图3所示。

图3 无标定五自由度运动空间定位

该系统分为手眼系统模块和控制器模块设计，设计的五自由度仿人智能控制器的控制模态参数如表1所示。

表1 五自由度仿人智能控制模态参数

通过仿真得到像平面空间的图像特征误差曲线如图4所示。

图4 像平面空间图像特征误差曲线

由图4可以看出，机械臂五维运动空间的图像特征误差量为逐渐衰减，最后目标图像特征误差量趋于0。各个图像特征误差量都在1个像素内，实现了基于图像特征的机械臂视觉定位。

三维笛卡尔空间的机械臂运动轨迹如图5所示，笛卡尔空间机械臂位置误差曲线如图6所示。由图中可看出，从起始位置到期望位置，机械臂实现了笛卡尔空间运动的末端误差最小。其中机械臂末端点P1在笛卡尔空间中的误差为 ep1=[0.0091，-0.0112，-0.0354]T，P2的误差为 ep2=[0.0031，-0.0102，-0.0254]T，定位误差在0.01 m内，基本上实现了机械臂末端点在笛卡尔空间中运动误差趋于零。

Uncalibrated visual servoing based on human simulated intelligent controller

Gong Fei，Xie Ming，Wang Mengjia，Zhu Yingying
(College of Automation and Electrical Engineering，Nanjing University of Technology，Nanjing 211816，China)

In this paper,we design a humanoid intelligent controller with uncalibrated visual servoing,the simulation of the five degree of freedom motion of the robot arm is accomplished with the uncalibrated of the binocular vision.We choose point feature as the feature of the binocular vision image,and design the visual feature model and the multi mode visual servo controller,and the visual simulation experiment of the five degree of freedom motion space is conducted under the Matlab platform,we demonstrate the effectiveness of the method.

uncalibrated；binocular vision；humanoid intelligent control；Matlab

TP391.4

A

10.16157/j.issn.0258-7998.2015.11.004

龚飞，谢明，王梦佳，等.基于仿人智能控制的无标定视觉伺服[J].电子技术应用，2015，41(11)：14-16，23.

英文引用格式：Gong Fei，Xie Ming，Wang Mengjia，et al.Uncalibrated visual servoing based on human simulated intelligent controller[J].Application of Electronic Technique，2015，41(11)：14-16，23.