基于ABB 机器人的目标定位与抓取实现

王钰

（天津职业技术师范大学，天津 300222）

工业机器人综合了机械、计算机、数学、自动控制以及传感等多门学科，是现代自动化控制领域的先进技术。随着新技术的不断完善，工业机器人在自动控制上取得了飞速发展，在运行准确性和稳定性上得到了极大的提高。相比人力而言，机器人拥有可重复劳动、抓举力量大等优点，被广泛应用在多种工业领域中，其中利用ABB 机器人进行工料抓取就是一种常见技术。操纵ABB 机器人目标定位与抓取实现一般是通过机器视觉引导和编程控制2 种方法实现[1]。编程控制方法操作简单，但是缺点也十分明显，当工况发生变化时就会产生错误，需要重新校对，严重降低了工作的灵活性和适应性[2]。采用机器视觉引导方法可以通过视觉引导获得工料中心坐标，再转换成机器人坐标以指导机器人实现定位抓取。

机器视觉的应用主要包括引导、识别、测量和检查4 类。机器视觉引导是在工业环境中引导机器人。在任何机器视觉引导中，第一步都是使用模式匹配技术在相机的视野内定位特征物体，而特征物体的定位通常决定机器视觉引导的成功或失败[3-5]。机器视觉引导是使用机器视觉来报告特征物体的位置和方向。机器视觉系统可以定位组件的位置和方向，将组件与指定的公差进行比较，并确保特征物体处于正确的角度，机器视觉引导将特征物体的位置和方向报告给机器控制器，使机器人能够定位特征物体[6]。

机器视觉引导方法的本质是通过选择的相机获取工料的图像，并将相机视域进行划分形成固定坐标系，通过相关校准方法和转换公式，将由相机获取到的坐标转换成工料的真实坐标。相机获取视域的坐标系通过像素进行划分，即获得相机中工料的像素坐标，在确定工料像素坐标和现实坐标的坐标轴平行的前提下，通过选择数个标的物进行检测校准，获得其分别对应的像素坐标和现实长度，进而建立两者之间的联系。

由于坐标转换和校准过程中存在部分误差，可结合相机安装位置相对关系通过多参照物标定实现坐标转换运算，达到将相机获得位置坐标转换成现实坐标进而指导机器人实现定位抓取的目的。采用这种方法可以大大提高企业的经济效益，对工业机器人的研究也具有十分重要的指导意义。

1 系统组成

系统的主要组成部分包括海康威视摄像头、瑞士ABB IRB 120 机器人型六轴工业机器人、控制器和电脑。其中采用的海康威视摄像头生产于杭州海康机器人技术有限公司，其是面向全球的移动机器人和机器视觉产品提供商。

公司依托近千人专家级的研发团队，布局移动机器人、机器视觉等业务领域，通过对软硬件产品及平台的研发创新，致力于持续推动智能化，引领智能制造进程。其研制的工业相机搭载了优异的图像传感器，动态范围高、信噪比好、图像质量优异，具备出色的功耗设计，兼容机器视觉标准协议和GenlCam 标准，可以满足多种工业需求。

IRB 120 机器人是ABB 第四代机器人系列的最新产品，仅重25 kg，荷重3 kg（垂直腕为4 kg），工作范围达580 mm。在尺寸大幅缩小的情况下，IRB 120继承了该系列机器人的所有功能和技术，为缩减机器人工作站占地面积创造了良好条件。紧凑的机型结合轻量化的设计，成就了IRB 120 卓越的经济性与可靠性，具有低投资、高产出的优势。IRB 120 的最大工作行程为411 mm，底座下方拾取距离112 mm，广泛适用于多种工业领域。综合来看，IRB 120 具有敏捷、紧凑、轻量的特点，控制精度与路径精度都较高，是物料搬运与装配应用的理想选择。

将通过摄像头获得的视域对其进行处理，通过软件编程确定工料中心并将确定出的结果转换成像素坐标传达出去。为了完成视觉引导，利用多参照物标定的方法将通过摄像头获得的像素坐标与现实坐标进行联系，可以利用相关的计算公式进行坐标转换。将像素坐标经过计算转换成现实坐标后传递给ABB 机器人控制器，进而控制机器人实现定位抓取。

2 坐标转换和标定过程

在机器视觉引导之前，特征物体定位是最关键的第一步。如果图案匹配软件工具无法准确定位图像中的特征物体，则它将无法启动和识别特征物体。虽然特征物体定位听起来很简单，但在现实生产环境中，组件外观的差异可能会使这一步骤变得非常具有挑战性。

由于照明或遮挡引起的外观变化可能使特征物体定位困难，尽管视觉系统经过培训，基于图案识别组件，但即使是最严格控制的过程也允许组件外观有一些变化。组件呈现或姿势失真效应也可能导致组件定位变得困难，为了获得准确、可靠、可重复的结果，视觉系统的特征物体定位工具必须足够智能，以便快速将培训图案与在生产线上移动的实际项目进行比较[7-8]。

在摄像头获得工料视域后通过自带后处理软件对获得的视域进行处理，重点获得工料中心的位置，采用两分法对视域内的图像进行处理并获得工料中心的像素坐标。为了将像素坐标转换成现实坐标，分别建立4 个坐标系，即摄像头坐标系、像素坐标系、现实坐标系和世界坐标系。

其中像素坐标系以（0，0）的像素点为原点，记为Op，X轴记为u，Y轴记为v，坐标系内任一点的坐标为（u，v），单位为像素。现实坐标系以对应像素坐标系的点为原点，记为O，X轴记为x，Y轴记为y，坐标系内任一点的坐标为（x，y），单位为mm。

像素坐标系与现实坐标系的关系如图1 所示。

图1 像素坐标系与现实坐标系的关系

现实坐标系在ABB 机器人底座坐标点以Ow为参照点建立坐标系，坐标系中任一点坐标为（xw，yw，zw），单位为mm。在摄像头坐标系中，利用成像原理，摄像头中心与光轴一致，即像素坐标系和图像坐标系的水平轴和垂直轴与成像面的水平轴和垂直轴是平行的，任一点的坐标为（xc，yc，zc），单位为mm。

现实坐标系与摄像头坐标系的转换一般都是联立平移和旋转来完成，用数学公式表达为：

式（1）中：R为现实坐标系和摄像头坐标系的转换矩阵；Pw为现实坐标系中一坐标；T为现实坐标系和摄像头坐标系之间原点的差值。

通过成像系统转换将摄像头系统变成像素系统，其模型关系是S/FOV=f/WD，其中S、FOV、f和WD分别代表传感器尺寸、视域、焦距和物距。当ABB 机器人工作时，它的工作距离zc就是工料据它的距离。工料中心的现实点与像素点的相对数学关系为：

也就是说现实坐标系和像素坐标系的数学关系为：

根据工作台安装位置的固有因素，确定zc和zw为常数，保持不变。所以，可以进一步得到：

通过选择多个标的物的参照点做对照，可以得到像素坐标系和现实坐标系的转换，利用Matlab 软件进行计算可得到转换矩阵为：

3 数据传输和抓取实现

ABB 机器人传输实数数据的方式大致可以分为2种：①使用模拟量输出信号传输实数数据。由于模拟量信号自身抗干扰性能差，并且需要加装模量信号扩展模块，因此，在传输大量的实数数据的场合中，一般很少使用模拟量信号。②使用组输出信号传输实数数据。组输出信号不仅可以通过加装数字量I/O 信号扩展模块实现，也可以通过加装现场通信模块的方式实现。

利用编程软件将摄像头获得的数据与ABB 机器人进行交互。首先是摄像头向处理器输送出通过摄像头获得的工料中心点的像素坐标，处理器将收到的工料中心点像素坐标通过数学计算公式转换成现实坐标系的现实坐标，并传送到ABB 机器人进而知道其抓取实现。通过ProfiBus 现场总线通信的形式来传输机器人当前位置数据，首先，将读取的机器人当前位置数据使用PackRawBytes 指令按照Float 形式进行打包；然后，将其存放到已经声明的rawbyte 类型容器变量的连续四个字节中；最后，使用FOR 指令进行循环解包操作，即将打包好的数据使用UnpackRawBytes 指令解包到声明的byte 类型四维数组变量中，每一个字节对应数组变量中的一维byte 元素。

视觉引导对工作台目标工料持续关注，在收到数据后将数据输送给ABB 机器人目标工料的现实位置坐标，ABB 机器人根据获得的抓取点坐标进行移动，到达目标工料的现实中心坐标后，通过控制末端控制ABB 机器人对目标工料进行抓取实现，将目标工料放置在放置处，完成一次工作流程。待本次抓取任务实现以后，会再等待进行下次任务目标工料信息，待收到目标指令后，进而完成新的一轮循环工作，直至任务结束。

4 运行结果

抓取实现后，还要对运行的结果进行精准度的验证，就是通过验证坐标转换确保目标定位的精准度，选择新的标的物坐标点进行计算。首先在现实坐标系中选择一点取得其现实坐标，再利用摄像头获取该点在像素坐标系中的像素坐标，通过数学公式转换计算，可以得到该像素坐标点的理论计算现实坐标，将其与最初的现实坐标进行对比，计算其偏差大小，判断是否在允许范围内。

对大量实验结果进行模拟计算，得到不同标的点的实际坐标和定位坐标以及其坐标偏差，分别如表1和表2 所示。从表1 和表2 的统计和计算结果可以看出，X和Y方向的偏差最大值为0.812 mm，均值为0.645 1 mm，标准差为0.006 01，基本满足目标抓取要求。

表1 多次模拟的坐标结果

表2 不同标的点的坐标偏差

5 结论

随着工业技术的不断进步，机器人被广泛应用在机械加工、搬运等工业领域中。利用ABB 机器人结合机器视觉进行定位和抓取，并通过多点标定得到坐标转换模型，设计出一种ABB 机器人的目标定位与抓取实现。通过编写软件实现数据交互将标定坐标转换成现实坐标指导机器人实现工料抓取。并经过数次实验获得相关数据进行分析后确定定位误差在允许范围内，实用性强。通过这种方法可以大大提高经济效益，对工业机器人的研究也具有十分重要的指导意义。