机械手的双目视觉定位抓取研究

摘要：随着工业机器人应用的日益扩大，要重点关注和探讨机器人视觉系统及其应用技术，进行机械手的手眼配置结构设计，通过双目手眼机械手进行目标工件的定位抓取设计，体现其定位速度快、精准度高、柔性化和环境适应性特点，较好地适应工业智能化的视觉定位应用需求。

关键词：机械手;双目;视觉定位;抓取

一、引言

随着工业智能化的发展，传统机器人无法满足现代工业智能化的高标准，要借助于双目图像处理与特征提取技术、机械手手眼标定技术、立体匹配技术和机械手控制技术，进行双目手眼机械手的双目视觉定位抓取设计和应用。

二、基于工业机械手的双目视觉系统概述

双目立体视觉是基于图像视差原理，由两个摄像机从两个不同视点和角度获取两幅数字图像，获取三维场景中景物的三维几何信息和三维空间立体图像，重建周围景物的三维立体形态。工业机械手的双目视觉系统可以通过成像设备获取机器人作业空间中物体的三维位置或姿态信息，分析、理解工业机械手的信息，使机械手自动执行特定的任务，成为工业机械手的“眼睛”。其内部构成包括有双目摄像机图像采集模块、摄像机和机械手标定模块、图像处理模块、立体校正和立体匹配模块、三维信息提取模块和工业机械手控制模块。

工业机械手主要包括有机械部分、传感部分和控制部分，以控制部分的控制器设计为核心，有不同的架构形式，如平面关节型、链式坐标型、圆柱坐标型、球坐标型、直角坐标型等，大多采用线性和旋转型关节，并由伺服电机组成各个关节。文章重点研究六自由度链式关节型MOTOMAN-UP6机械手及双目视觉控制系统。

三、机械手的双目视觉定位抓取系统设计和应用分析

（一）机械手双目视觉建模方法

为了更好地实现立体匹配，要进行机械手的双目视觉系统建模和算法应用，可以根据工业机械手的实际应用特征采用D-H建模方法，确定机械手的位姿，即机械手的空间位置和姿态，需要设定三个位移坐标和三个旋转坐标。通过机械手末端上固连的坐标系来描述机械手末端执行器在空间的位姿，对此可以采用齐次坐标变换方法，将机械手部位位姿或空间物体位姿转换为基坐标系，并基于机械手位姿和齐次变换的前提进行速度分析，获悉机械手工具末端速度与机械手各个关节变化速度之间的微分映射关系，通过机械手雅可比矩阵加以描述和表达。

（二）双目立体匹配

要基于成像点的视觉差为前提，对双目摄像机采集到的三维空间中物点的特征在两个成像平面进行立体匹配，也即在不同的两个成像平面上找到同一特征点的成像坐标，在确定立体匹配关系之后获取相应匹配区域的视差图像，得到三维空间所需物点的三维坐标，实现三维场景的目标视觉定位。

文章采用基于特征点的稀疏匹配和基于极线约束的图像区域稠密匹配的方法，进行双目立体匹配和定位抓取实验。具体内容为：一是基于特征点的稀疏匹配方法。主要是利用特征拐点、圆心、边缘角点、地标点等稀疏的特征信息为匹配基元，基于强特征点的信息进行对应匹配，体现出较大的不连续性和分散稀疏特征，难以进行三维物体的重建和整幅图像的深度信息恢复。具体实施步骤为：对双目图像进行预处理—分割出左右图像所需的特征点区域—提取特征点，如：圆心、边缘角点、拐点、地标点等—进行特征点合集的立体匹配—计算匹配点对的视差—获取匹配点对应三维物点的深度信息。二是基于图像区域的稠密匹配方法。基于邻域的性质在图像中选取某个像素一定邻域大小的子窗口，找寻与子窗口图像相类似的区域，可以设置相应的阈值，提取并保留高于阈值的特征点。三是基于特征点的稀疏匹配和基于极线约束的图像区域稠密匹配结合方法。先利用具有强特征点的标准图像进行特征点的稀疏匹配，计算出基础矩阵，再对其进行极线校正，最后利用基于图像区域的稠密匹配方法进行匹配。四是双目图像极线校正。可以采用基于线性的算法进行双目立体视觉的极线计算和校正，先利用稀疏匹配方法计算图像的基础矩阵，再将其用于待校正的双目图像对，使双目图像对极限和双目成像平台的扫描线相叠合，再以成像点与极线距离最小化为约束条件，进行图像射影畸变的校正和优化。

（三）机械手的双目视觉定位抓取系统

文章选取由六个伺服电机组成的六自由度串联型机械手，包括双目摄像机标定和机械手手眼标定参数初始化模块、双目图像采集与处理模块、目标物体相对机械手的坐标计算模块、机械手定位控制模块，形成一种开环的链式结构，能够到達机械手所在空间范围内的任意一点。同时，还要设置一种辅助性的机械臂夹爪，在对机械臂工具坐标系进行标定的前提下，设计机械臂夹爪，将其放置于整个支架和法兰盘连接部分的中心位置，利用四点法计算求取TCP，在机械手默认的TCP基础上，在z方向上增加20厘米，以此作为夹抓的TCP坐标。

四、小结

总之，考虑到基于双目视觉机械手的复杂性，要重点研究机械手的双目视觉集成与设计，分析机械手双目视觉极线校正和立体匹配的方法，完成机械手双目视觉控制系统的设计和应用。

参考文献：

[1]袁仁辉.基于机械手的双目视觉定位抓取研究[D].秦皇岛：燕山大学，2016.

[2]殷莉甜.水下双目视觉定位系统开发与应用研究[D].广州：华南理工大学，2016.

作者简介： 菅振邦，菲尼克斯亚太电气（南京）有限公司。