机器视觉引导机器人定位抓取设计及应用

关键词：机器视觉；工业机器人；抓取引导；姿态信息

中图分类号：TP242.2 文献标识码：A

0引言

随着工业生产的不断发展，工业机器人已成为生产过程中不可或缺的重要角色。工业机器人具有高效、精准、稳定等优点，能够极大地提高生产效率和产品质量。但是，在实际应用中，机器人的抓取准确率仍然是一个重要的问题。特别是对于一些形状复杂、尺寸不规则零件的拆堆垛场景，机器人的抓取精度难以保证，无碰撞检测干涉分析功能。因此，如何提高机器人抓取零件的准确率和稳定性，成了一个需要解决的难题。

机器视觉技术是目前应用较为广泛的视觉技术之一。该技术就是用机器代替人眼来做测量和判断，通过工业相机、图像采集卡将被摄取目标转换成图像信号，传送给图像处理软件，得到被摄目标的形态、空间位置信息，根据矩阵式分布的图像像素分布形状、亮度、颜色和边线等信息，转变成数字化信号。图像系统对这些信号进行各种运算来抽取目标的位置、相似程度、距离和质量等特征，从而为机器人的抓取操作提供准确的引导。

本文提出了一种基于2D机器视觉的抓取引导方案，主要包括软硬件配置、图像处理、姿态计算及机器人控制等步骤。通过实际安装应用验证，该方案能够有效地提高机器人抓取零件的准确率和稳定性。同时，该机器视觉引导机器人方案也常应用于搬运、安装和焊接等场景。为实现工业自动化生产提供了有力的技术支持。

1视觉系统的原理

首先需要进行2D机器视觉系统的标定，然后，需要将目标零件的2D图像提取出来，用图像处理算法得到目标零件的位置和姿态信息。接着，根据目标零件的位置和姿态信息，计算出机器人的抓取位置和姿态信息。最后，将计算出的抓取位置和姿态信息发送给机器人，机器人移动到抓取位置，进行抓取动作（图1）。

光源：按光源的安装方式分类，分为外置光源、内置光源。外置光源根据不同的使用场景，一般使用的有LED条形光源、LED环形光源。

照相机：按类型分为网络相机、工业相机、智能相机。其中智能相机是一种高度集成化的微小型机器视觉系统，具备图像处理功能；工业相机是机器视觉系统的组成部分之一，无图像处理软件。网络相机为普通家用相机。

图像采集卡、图像处理软件：图像采集部分主要由LED光源、工业镜头以及工业相机互相配合组合而成，而图像处理部分则是由图像处理软件来实现，因此，在原理结构上，图像采集卡连接着工业相机与图像处理软件。

PC：工业计算机，用于安装及运行图像处理软件。

执行单元：外部检测传感器，通过检测零件状态把IO信号发送至可编程控制器。

2视觉系统的软硬件配置

软硬件配置是图像采集的前提，直接影响采集图像的精度。本方案采用的图像采集设备为工业相机，其优点是采集速度快、精度高、适应性强等。在某汽车企业气缸盖自动搬运下线堆垛应用测试过程中，使用了FANUCRobotR-30iB 2000IC工业机器人、GEIC695CPE330的PLC、康耐视工业相机以及SICK测距传感器，并使用了VisionPro进行图像处理。设计一套完整的视觉引导机器人定位抓取系统，需要对PLC、工业相机、PC和工业机器人等进行软硬件配置。

2.1PC系统环境设置

PC作为视觉系统的上位机，对硬件有严格的要求。为避免运行过程中网口相机丢包问题，PC系统环境设置如下：

（1）PC系统环境设置卡巨型帧为选择9KB或9014B，其中网卡建议使用Intel芯片的独立千兆网口，行业上普遍使用英特尔I350、I210等芯片组网卡。不同网卡类型，网卡属性有差异，需灵活变通设置。

（2）设置网卡接收与传输缓存区到最大。英特尔网卡为2048，realtek为512（图2）。

（3）其次关闭网卡休眠节能选项，网卡属性中找到电源管理，取消勾选允许计算机关闭此设备以节约电源。把PC电源选型设置为高性能模式，关闭Windows防火墙。

设置完成后，对网络环境参数进行确认。网卡详细信息中，确认传输速度为1.0GB/s，如速度为100MB/s。

2.2工业相机参数设置

工业相机采用POE供电方式，千兆网口工业相机需使用超五类及其以上规格网线cat5e/cat6连接。万兆网口工业相机，根据接口类型，分为光口与电口线缆，电口需使用7类网线cat7，本方案使用网线cat6连接至PC端网卡端口。安装MVS客户端+SDK，设置相机参数如下。

（1）检查相机Transport Layer Control属性下GevSCPS PacketSize，GevSCPD参数数值。

（2）检查PacketSize（GEVSCPD上方的参数）的数值是否为8164/1500。

（3）修改GevSCPD值，视具体情况，调大GevSCPD400＞800＞1200。

（4）开启相机端Pause帧功能，此功能需同步设置网卡端参数，流量控制—启用Rx和Tx。

（5）Pause帧功能，适用于长时间运行下，少量丢包的场景，可调节SCPD来控制。

2.3GEPLC与工业机器人的连接

工业机器人上安装零件抓手，抓手动作的驱动执行由GEPLC进行控制。为减少编程工作量，本方案采用PROFIBUS通讯协议，把GE PLC IO信号映射至工业机器人，利用工业机器人编程进行逻辑控制。为实现GEPLC与工业机器人通讯连接，两者的设置如下。

（1）打开GEPLC软件，选择通信方式，设置IP地址，添加机器人GSD文件。

（2）设置Station站号，配置IO输入输出长度16ByteOut，16ByteIn。

（3）打开机器人示教器选择通信方式，设置设备的IP地址（与PLC在同一网段）。

（4）设置机器人站号（与PLC保持一致），配置通信IO长度（与PLC保持一致）。

（5）机器人IO分配，保存参数配置，冷启动机器人。

2.4PC与工业机器人的连接

在制造行业中，视觉引导机器人定位的控制方式，一般为视觉系统处理图像后输出图像坐标，把坐标发送给PLC进行逻辑处理，最后PLC把坐标发送给机器人执行动作。本方案通过编写机器人KL文件，用TCP/IP协议，PC作为服务器，工业机器人为客户端，视觉系统处理图像后，直接发送给工业机器人，具体设置如下。

（1）设置PCIP地址（与工业机器人在同一网段）。

（2）设置工业机器人Socket Message通讯。机器人系统要求V8.30P，Option软件要求User Socket Msg（R648）。

（3）编写KL通讯脚本（图3），在TP中调用测试。

3图像采集与手眼标定

图像采集是2D机器视觉的第一步，也是整个方案的关键步骤。在采集图像时，首先要确认相机的标距，不同的工业相机及镜头参数范围不同。工业相机通过镜头将物体的影像采集到CCD上，然后将影像通过传输线路传送到计算机中，进行图像处理[1]。进入视觉系统的-标定环节，其中包括相机内参和外参的标定，以及坐标系的确定。

在手眼标定中，相机安装有两种模式，相机安装在机器人外部桁架或其他固定物上即眼在手外模式，相机安装在机器人末端（6轴或7轴）即眼在手上模式。本方案采用眼在手上的模式，选择合适大小的棋盘格放置于机械臂外的固定物上，通常要尽可能靠近未来生产所使用的工件位置。棋盘格的位置应保证机器人在不同的姿态下，其被相机可见。一个较可靠的手眼标定需要大概9组数据对，如果需要达到较好的效果需要30组数据对。

在VisionPro图像处理软件中，插入棋盘格标定工具，做图像矫正，这个工具会输出一个矫正后的图像，非线性校准的作用主要是为了消除镜头的径向畸变，以及相机非垂直安装引起的透视变形，得到畸变相对较小的图像。其次插入图案匹配工具，这个工具用来寻找9组标定时需要用到的9个特征点，并记录9组像素坐标。同时让机器人依次按照顺序走图案匹配工具寻找到的9个点，并记录机器人坐标TCP。插入9点标定工具，将上面的像素坐标依次填入到未校正坐标栏，将上面的机器人坐标依次填入到已校正坐标栏，标定后这个工具的输出图像坐标是已经和机器人坐标系重合（图4）。

4姿态计算

图像采集后，进入图像姿态计算环节[2]（图5）。首先让机器人去试抓零件，并且记录机器人抓取时的坐标，在不动零件情况下，插入图案匹配工具，对当前的零件轮廓检测、特征提取做模板[3]，根据特征点的位置和数量，计算出零件在图像上的姿态信息。然后把原点改为机器人试抓时的TCP坐标。为方便编程，我们对图像的姿态信息进行转换，使之换算为偏置值坐标[4]。

5机器人控制

图像处理软件进行姿态计算后，通过TCP/IP协议，把X＼Y＼R坐标发送给机器人（图5）。在机器人抓手上，安装测距传感器，计算Z方向的坐标。通过逻辑编程，实现零件的堆垛功能（图6）。该方法能够有效地引导机器人准确地抓取零件，并将其放置在目标位置[5]。本文所提出的方法在减少编程工作量和提高机器人自适应性方面具有显著优势，在不同的应用条件下均表现出良好的抓取效果。

6结束语

通过本设计及应用可以发现，2D机器视觉系统可以实时获取目标零件的位置和姿态信息，并将计算出的抓取位置和姿态信息发送给机器人，机器人可以准确地移动到抓取位置，并成功抓取目标零件。在工业生产中，这种基于2D机器视觉的零件抓取方式具有很大的应用潜力，可以提高生产效率和生产质量，减少人力成本和安全风险。

作者简介：

蒙旭喜，本科，工程师，研究方向为智能装备集成。

莫利汉，本科，助理工程师，研究方向为电气自动化。

黄怀翔，本科，工程师，研究方向为智能装备集成。

梁文琼，本科，助理工程师，研究方向为数字工厂开发。