基于双目视觉识别的定位和抓取方案分析与研究

宋 慧，王 刚，宗成国，钟佩思

（1.青岛黄海学院，山东青岛 266427；2.青岛海西重机有限责任公司，山东青岛 266590；3.山东科技大学，山东青岛 266590）

0 引言

智能识别技术目前在诸多领域得到广泛的发展和应用。根据视觉传感器[1]的数目属性，可将识别方式分为：单目视觉识别、双目视觉识别和多目视觉识别等。其中，单目视觉识别机器的结构较为简单，集成度低，适用性良好，但是只能获取二维平面内的参数信息。随着视觉传感器的数目的增加，其功能更强大，可高效获取三维空间内的状态信息，但集成性困难，实时性较差。目前，对于双目识别技术的研究较多，与多目识别相比，更易于实现，而且坐标获取的精度同样较高。

双目识别设置有2个对称的信号采集相机[2]，可通过三角式测量[3]机理实现状态信息的定位，在工件的定位或元件的抓取方面有着非常好的应用效果。但是，由于被定位或抓取对象往往存在表面光滑、反光等问题，对于图像识别带来较大的难度，导致定位存在偏差。采用合理的视觉算法[4]对于提升双目识别的准确性和可靠性有着重要的意义。

1 视觉识别控制方案

1.1 视觉识别算法

在高效率的生产模式下，要求工业机器人具有快速的工作能力，这就要求系统具有先进的目标识别算法和准确的定位控制。目前，作为图像识别应用效果良好的TLD（Tracking Learning Detection）跟踪算法在障碍目标较少的情况下，有着较高的通用性，但是算法相对复杂，需要的运算时间较长，在PC控制端实时性不佳。此外，该算法在图像跳动的处理方面存在一定的问题，因此不能够直接应用于基于双目视觉识别技术的定位和抓取精确控制。

在双目视觉识别控制中，仍不可避免地会出现偶然目标信息丢失的情况。这是由于挂载的摄像头一般无法实时运动，使得图像目标无法持续位于最佳位置，而且很多机械手臂在路径搜索[5]过程中也存在遮挡摄像头的问题。为此，可将增强的Camshift算法应用于双目视觉识别控制中，这样以来，若图像中无法识别目标参数，则会自动扩大搜索区域范围或移动摄像头，避免短时间内对于视觉范围内位置信息的丢失。该方案在基于图像识别的搜索机器人运行轨迹控制中有着良好的应用效果。

1.2 目标识别方法

目标识别是工业机器人执行定位和抓取任务的首要前提，要求识别算法具有较高的鲁棒性，而算法无法直接应用于机械控制，需要对识别目标进行准确地定义或描述，这也是确保算法可靠性和机械手快速动作的关键。目前，对于目标的识别方法主要有：几何模型法、外观视图法、局部特征法等。对于双目视觉识别控制，可综合运用几何模型法和局部特征法，根据模型特征进行匹配[6]，提升识别的准确度。

1.2.1 几何模型法

根据机械手工作原理可知，基于几何模型的目标识别方法要求提前预知传感器数据，通过定位或抓取对象的目标信息建立相应的数学模型，其算法的原理框图如图1所示。

图1 几何模型法的原理框图

图2 局部特征法的原理框图

基于几何模型法的目标识别过程具有独立性，其在处理目标信息时不考虑图像的颜色、纹理等信息。在建立数学模型时，首先通过传感器获取大量的关联信息，然后基于定位目标的特征完成各个关联属性的确定，形成属性关联函数，便于目标关系的求解和提取。对于目标关系的提取，目前应用较多的方法有表面模型法、不变性特征法等。这个方法均通过图像目标和数学模型的对比和匹配分析执行参数的提取任务，获取真实的目标对象。匹配对于目标参数的提取起到关键的作用，常见的匹配方法有距离法、最小二乘法、树匹配法[7]等。

几何模型法适用于简易的图像处理，其不受光线强弱的影响，得出的数据直观，便于分析和处理。为了提升几何模型法的能力，需要进行大量的非在线训练数据，整个过程需要耗费大量的时间，计算周期较长，但效果显著。为弥补时间缺陷，可引入局部特征法。

1.2.2 局部特征法

相比于几何模型法，局部特征法更集中于局部信息的提取，因此总体的计算量较小。局部特征法主要采用区域内图像特征描述参数信息，根据相关的匹配算法、识别控制最终实现目标对象的获取，其原理框图如图2所示。

1.2.3 局部特征法

局部特征法在实现过程中基于3个关键的步骤：特征提取、特征匹配和模式识别。在进行目标识别时，首先依据特征点的位置导出非在线的数据资源，然后将这些数据与在线目标库进行对比，得出最匹配的特征点，最后根据评价结果获取识别信息。局部特征法的关键在于局部特征的选定，一般选取图像中的角点、边缘、闭合区域等。

2 定位和抓取实现方案

2.1 基于位置控制方案

在双目视觉识别控制中，最终实现机械手定位或抓取工作的方法主要有：位置法和图像法。基于位置控制方案是一种高精度的伺服控制方法，其将视觉信息进行数字化，在三维坐标中定义相关的误差数据，在进行数据识别时，根据目标特性和构造的几何数学模型推断出目标点与双目摄像头之间的位置关系。根据该位置关系控制伺服电机的运动状态，以反馈的形式不断调节位姿和状态，最终达到所期望的位姿。整个过程中，运动指令均通过目标点的相对坐标来制定和传达，其在双目视觉识别控制中的反馈过程如图3所示。

基于位置的控制方式对于目标点的描述更为直观，适用于机械手臂路径的各种运算方法，满足机械手的学习惯性。此外，也可以手动进行位置控制，即在空间内将直接进行运动规划，此时，可以将机械手位姿的期望与伺服控制分开，分别进行分析和研究。但是，该控制方法也有一定的缺陷，在较大运行速度下，控制精度相对较低，运算效率受几何模型的复杂程度影响较大，而且对于整个误差标定[8]的敏感度较高。

图3 基于位置控制方案

2.2 基于图像控制方案

基于图像的伺服控制方案以典型的图像特征为信号，对机械手的运行轨迹进行反馈。过程中需要对图像雅克比矩阵进行反复运算，直到得出平面图像特征变化量与机械手位姿变化量之间的关系。从本质上讲，图像的特征误差是机械手控制信号的主要来源，也是反馈控制的关键。基于图像控制方案的反馈环路如图4所示，其最重要的内容为误差估计。目前，常见的图像雅克比矩阵运算方法有学习法、经验法和在线估计法等。其中，学习法适用于误差的初值选择，结合神经网络算法和离线示教法等，使得算法更为合理。经验法要求对于图像目标的几何模型具有预先的认知能力，否则难以得出标定的雅克比矩阵。在线估计与经验法类似，但无需预先标定。

图4 基于图像控制方案

3 结束语

一般地，基于图像识别技术的定位或抓取控制需要首先对目标进行建模，建模的方法和信息采集方案是机械手获取最佳控制精度的关键。双目视觉识别技术在机械手的定位和抓取控制方面有着良好的应用效果，但是对于特殊工况，比如目标本身几何特性不明显，其精度难以采用常规方法控制。文中所分析和研究的目标识别方法和伺服控制方案对于复杂场景中具有显著的准确率，但目前仍存在一定匹配失误问题。如何进一步提升目标识别算法的鲁棒性是双目识别控制的重点和难点。