基于视觉的机器人抓取电梯门板定位系统设计

张建业， 潘 丰

(江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡214122)

工件的识别和定位是工业机器人在生产线上有效应用的重要环节。目前机器人已广泛应用于工业生产线上，但很多都是在示教人员的示教编程或离线编程下完成一些预先设定的固定动作和功能［1-2］。如果工件周围的环境发生了变化，则就很可能导致机器人任务失败［3］。

机器视觉是使机器人具有像人一样的视觉功能，从客观事物的图像中提取出有用的信息，从而实现各种检测、判断、识别和测量等功能。将机器视觉技术和机器人技术相结合，利用机器视觉的定位功能使机器人具有自己的“眼睛”以获取工件的位置信息，引导机器人完成抓取、搬运等工作［4］。

针对机器人抓取电梯门板的高精度、高速度和智能化要求，文中设计开发了基于视觉的机器人抓取电梯门板的定位系统，且针对电梯门板尺寸较大单相机定位精度差、不稳定的难题，提出了采用双相机的方法保证定位的精确性和稳定性，并基于康耐视VisionPro 视觉开发软件设计了视觉定位程序。实际应用结果表明，该系统能够准确、稳定地定位电梯门板的位置。

1 视觉定位原理及系统组成

1.1 视觉定位原理

视觉定位原理如图1 所示。

图1 视觉定位原理Fig.1 Diagram of the visual location principle

由图1 可以看出，电梯门板来料的标准位置是偏移量为零的位置，实际生产中工人通过吊装设备将电梯门板放置在来料台面上，每次放置的位置都有变化。由于电梯门板尺寸较大为2 120 ×430 mm，角度计算偏差稍大经过坐标系原点旋转后会在门板的另一端造成较大偏差，且门板越长偏差就越大;而相机的视野有限，再加上不同门板采集图像时噪声的干扰，会使得单相机定位精确度不够、稳定性不高。为解决此问题本系统采用双相机定位的方法，通过求取两个相距较远的点拟合的直线角度保证定位的精度和稳定性;因机器人上料时电梯门板一端距离地面较近，则两相机只能安装在吸盘抓手的一端，因此两个点分别取电梯门板一端两个矩形孔的左上顶点A 和B。

两个相机分别采集电梯门板一端的两个矩形孔图像，相机1 视野中的A 点通过寻找特征边La1和La2的交点提取，相机2 视野中的B 点通过寻找特征边Lb1和Lb2的交点提取。

机器人工件坐标系Or原点建在特征点A0处，选取点A 计算位移偏移量，直线AB 计算角度偏移量。首先采集基准位置电梯门板图像，计算点A0(x0，y0)、B0的坐标和直线A0B0的角度α0(其中A0为原点x0= 0，y0= 0)，并分别保存为基准位置坐标和基准位置角度;然后每次来料时，采集图像计算此时点A(x，y)和直线AB 的角度α，可知偏移量ΔX = x －x0= x，ΔY = y －y0= y，Δα = α －α0。

1.2 系统总体结构设计

根据定位检测的要求，设计了如图2 所示的机器人视觉定位系统的硬件总体结构，由相机、镜头、光源、图像采集卡、机器人和工控机等组成。两个相机安装在机器人吸盘抓手一端，光源安装在相机下面，图像采集卡安装在工控机PCI 插槽中，工控机和相机以及工控机和机器人都通过以太网相连接，工控机是系统的核心，承担着图像处理、界面显示和通信的重要任务。

图2 定位系统硬件组成Fig.2 Hardware components of the location system

当机器人抓手到达图像采集位置后，发出图像采集信号控制相机采集图像，采集的图像通过千兆以太网传送给工控机;工控机获取图像后通过图像处理算法计算出位置偏移量并发送给机器人，引导机器人调整自己的抓取位姿，如果定位失败则需要人工调整门板位置重新定位。图3 为视觉定位系统的整体定位流程。

1.3 视觉系统的硬件选型

1.3.1 工业相机 相机是机器视觉系统的核心部件，由感光芯片的不同主要分为CCD 相机和CMOS相机。一般情况下CCD 相机芯片的感光度比CMOS相机芯片敏感，图像效果好，故本系统采用CCD 相机。根据实际生产要求确定的相机分辨率、帧率以及接口类型等参数，采用德国 Basler 公司scA1300-32gm 工业相机。相机的主要参数见表1。

图3 视觉定位系统流程Fig.3 Flow chart of the visual location system

表1 工业相机主要参数Tab.1 Main parameters of industry camera

1.3.2 镜头 光学镜头是机器视觉系统中必不可少的部件，直接影响成像质量的好坏。根据相机分辨率的大小、视野范围和工作距离等要求，采用日本TAMRON 公司的M118FM16 型号的百万定焦工业镜头。镜头的主要参数见表2。

表2 镜头主要参数Tab.2 Main parameters of lenses

1.3.3 光源 图像的质量对整个视觉系统极为重要。在机器视觉系统中好的打光设计可以克服环境光干扰，保证图像质量稳定，增强图像的对比度，使目标与背景的边界清晰，形成有利于图像处理的效果图像。

本系统采用的是OPT 公司OPT-RI12000 型号的红色环形LED 光源，主要考虑了以下几点因素:

1)采用环形光源，角度是90° 直射方式，可以使光照均匀，增强图像对比度;

2)由于电梯门板的反光性相对较强，所以采用波长较长的红色光源可以使采集到的图像效果更加均匀、稳定;

3)光亮稳定，使用寿命长。

1.4 系统安装方式

根据来料位置允许误差范围为±50 mm 相机视野可控制在160 ×120 mm 左右;提取的特征点A，B距离是260 mm，则两相机的光心距离保持在260 ±5 mm;受机器人工作最大高度限制相机工作距离不超过470 mm 等实际情况，设计了如图4 所示的视觉定位系统的安装方式。

图4 视觉定位系统安装方式Fig.4 Installation of the visual location system

2 坐标系的转换

由于系统采集到的图像使用的是图像坐标系，而机器人是通过调整工件坐标系实现位姿的调整，所以需要建立图像坐标系与工件坐标系的关系。系统中包括3 个坐标系:图像坐标系、世界坐标系和机器人工件坐标系，Z 轴坐标由激光传感器确定，视觉系统是在二维平面内的定位，3 个坐标系都是二维坐标系，不考虑Z 轴。

3 个坐标系的关系如图5 所示。

图5 3 个坐标系的关系Fig.5 Relationship chart of the coordinate systems

由图5 可知，要实现图像坐标系到机器人工件坐标系的转换，首先要进行相机标定，实现图像坐标系到世界坐标系的转换;再进行机器人手眼标定，实现世界坐标系到机器人工件坐标系的转换。

2.1 相机标定

视觉定位过程中需要确定电梯门板表面点的位置与其在图像中位置的关系，即需要构建相机成像的几何模型，相机标定即是求解模型参数的过程［5］。相机标定分为线性标定和非线性标定。成像过程中普遍存在透视畸变和径向畸变［6-7］。其中，透视畸变主要是因为相机光轴与电梯门板平面不垂直造成的，属于线性畸变;径向畸变主要是镜头自身的工艺造成的，包括桶形畸变和枕形畸变，属于非线性畸变。为了能够准确反映其对应关系，提高视觉定位的精确度，采集的图像需要畸变矫正，采用非线性标定法。

非线性标定即通过建立摄像机成像的非线性模型，根据标定板图像中特征点的像素坐标和世界坐标的对应关系求解出摄像机的内外参数及畸变参数。系统中非线性标定采用VisionPro 中的CogCalibCheckerBoardTool 工具，相机1 和相机2 的标定方法相同，下面以相机1 为例说明标定方法。

1)采集标定板图像。标定板分为棋盘格标定板和网格点标定板，由于当棋盘格标定板采用“详尽棋盘格”搜索特性时标定精度优于网格点标定板，所以采用棋盘格标定板。标定板图像的采集环境和工具配置与相机正常工作时一致，根据相机视野和精度的要求制作了平面大小为270 × 190 mm，网格大小为5 mm ×5 mm 的标定板。

2)提取标定信息。获取标定板图像后，采用CogCalibCheckerBoardTool 工具提取图像的特征点;标定模式选择非线性，特性搜索模式选择详尽棋盘格。图6 为搜索到的特征点分布，图7 为特征点的坐标值。

图6 特征点分布Fig.6 Feature point distribution

图7 特征点坐标Fig.7 Feature point coordinates

3)相机标定。求解相机成像模型的参数，包括透视和径向畸变模型参数以及线性转换模型参数;系统运行时，采用求得的模型完成对畸变图像的矫正，并将图像坐标系转换为世界坐标系。图8 为具体的标定信息。

图8 标定结果Fig.8 Calibration result

RMS 误差是特征点位置的均方根误差，误差越小标定效果越好，计算公式如下:

其中:N 为找到的特征点的个数;i 为特征点的编号;e 为某个特征点的位置误差，等于此点通过相机标定转换求得的世界坐标与未校正前此点真实的世界坐标间的距离。CogCalibCheckerBoardTool 工具中把RMS 误差分为了5 个等级:(0，0.1)为优秀，(0.1，0.5)为良好，(0.5，2)为合格，(2，5)为差，(5，+ ∞)为非常差。由图8 可以看出，相机标定的RMS 误差是0.381 760，由此可知标定结果良好。

2.2 手眼标定

手眼标定完成世界坐标系到机器人工件坐标系的转换，其关系如图9 所示。

图9 世界坐标系和工件坐标系关系Fig.9 Relationship of world coordinate system and workpiece coordinate

由图9 可以看出，两坐标系主要的关系是缩放、旋转和偏移。Ow是世界坐标系，Or是机器人工件坐标系，M 点是坐标系中的任意点，坐标分别为(xwm，ywm)和(xrm，yrm)。则世界坐标系和机器人工件坐标系的关系可表示为

其中:fx，fy为世界坐标系X，Y 方向的缩放比例;α 为旋转角度;x0，y0为两坐标系原点偏移量。采用CalibNPointToNPointTool 标定工具计算其转换关系。

1)确定特征点。通过工具CalibNPointTo-NPointTool 实现坐标系转换需要一组特征点的坐标值，特征点的选取要对比度好、清晰、计算精确度高，图1 中的点A 即是本系统选取的特征点。

2)记录坐标并转换。常用的坐标系转换方法有四点法和九点法，点数越多精确度越高，因此文中采用九点法。让机器人分别沿其X，Y 方向移动两次，每次移动20 mm，共记录9 个点，移动到每个点时分别记录下其未校正坐标和原始的已校正坐标。图10 为特征点的部分坐标，图11 为坐标系转换的结果。系统运行时，通过此转换即可完成世界坐标系到机器人工件坐标系的转换。

图10 特征点坐标Fig.10 Feature point coordinates

图11 坐标系转换的结果Fig.11 Coordinate system transformation Results

3 视觉定位系统软件设计

3.1 开发环境介绍

视觉定位是机器人抓取上料的关键环节，在图像处理的核心算法上必须保证高精度、高效率和高稳定性，这样无疑要做大量的实验，增加系统开发的难度和周期［8］。VisionPro 是美国Cognex 公司研发的一套基于PC 的完整的、强大的软件开发包，包含了定位、图像标定、检测、通信等复杂而高效的图像处理算法，并且支持Gige，FireWire 和Camera-Link 等硬件平台。本系统基于VisionPro 采用·NET语言进行二次开发，保证系统的稳定性和高效性，同时加快应用程序开发周期，降低开发成本。

3.2 提取特征点坐标

3.2.1 转换坐标系 采用CogAcqFifoTool 工具采集图像。此时图像采用的坐标系是图像坐标系，根据上述坐标系转换方法进行坐标系的转换，使偏移量的计算都在工件坐标系下完成，这样可以直接为机器人使用。

3.2.2 模板匹配 模板匹配可以在几何变换中找出特征图像和其检测目标之间的坐标对应关系。由于来料位置的变动会使相机采集的图像特征位置相应变动，采用模板匹配的办法实现对特征边搜索区域的粗定位，再用VisionPro 中的CogPMAlignTool工具提取图片的特征位置信息并通过CogFixtureTool 工具建立其与特征边搜索区域的坐标对应关系，即使来料门板位置发生了变动也不会影响对特征边的提取，保证A 点和B 点的稳定提取。

CogPMAlignTool 工具有多种模板匹配算法，主要包括PatQuick，PatMax 和PatFlex，由于对计算速度的要求以及CogPMAlignTool 工具只是用来粗定位，所以采用PatQuick 算法。选择的模板在整个图像中要具有唯一性，保证可以唯一的、稳定的匹配到此模板，在此系统中选择两条边相交处矩形孔的直角为匹配模板。CogPMAlignTool 工具模板匹配分为两个阶段，即离线模板训练和在线模板匹配。首先使用CogPMAlignTool 工具中的图像掩膜编辑器绘制自己需要训练的特征模板进行离线训练并保存;然后对采集到的新图像进行模板匹配，寻找模板并计算相似度;最后把CogPMAlignTool 工具匹配到的特征位置变化信息传达给CogFixtureTool 工具实现模板与特征边搜索区域的坐标相对应关系。两相机的模板匹配结果分别如图12、图13 左上角方框所示。

图12 相机1 模板匹配和点特征点AFig.12 Template matching and feature point A of Camera 1

图13 相机2 模板匹配及特征点BFig.13 Template matching and feature point B of Camera 2

3.2.3 提取特征点A，B 首先拟合特征边，然后求两条拟合特征边的交点。特征边是通过求取边上的点拟合的，特征边上点的求取采用VisionPro 中CogFindLine 工具的卡尺实现，本系统中使用40 个探索长度为14 mm、投影长度为4 mm 的卡尺提取特征边上40 个特征点，同时考虑到外界噪声对图像的干扰，在拟合特征边时忽略5 个偏差最大特征点，以提高拟合的精确性。

把CogFindLine 工具拟合的两条特征边Restlt.GetLine()传递给CogIntersectLineLineTool 工具求取两条特征边的交点，CogIntersectLineLineTool 工具有两个输出终端X 和Y，即表示交点的坐标值。特征点A，B 提取的结果分别如图12、图13 左上角两条拟合直线的交点所示。

3.3 计算偏移量

如图1 所示，把电梯门板放在抓取标准位置，机器人抓手移动到拍照位置采集图像，经上述图像处理计算出A0(x0，y0)点的坐标;作为基准位置坐标，采用函数CogMath.AnglePointPoint()计算出直线A0B0的角度α0作为基准角度。

当来料位置发生变化时，用此时计算的点A(x，y)的坐标减去基准位置坐标，即可求得

采用函数CogMath.AnglePointPoint()计算出直线AB 的角度α，减去其基准角度即可求得

4 系统功能测试

为了测试视觉定位系统的功能，选取90 个门板进行重复性测试，并不断地调整系统参数，使系统尽量达到最佳工作状态。具体调节参数见表3。

表3 系统工具参数Tab.3 Parameters of system tools

测试结果表明:当电梯门板来料位置允许偏差ΔX 和ΔY 在±50 mm 内、Δα 在±5°内时，视觉系统可以稳定提取特征并实现精确定位。定位误差在±1.5 mm 内，最大定位误差为1.36 mm，平均误差0.863 mm，误差统计分析见表4。整个视觉定位系统的运行时间稳定在2 s 以内，系统可完成数据追溯和参数设定，满足实际工业应用要求。

表4 误差统计分析Tab.4 Statistical analysis of error

5 结 语

在电梯门板上料系统中，将视觉定位技术应用于机器人，使其能够获取电梯门板位置信息并调整自己的抓取位姿，以替代人工劳动力提高了生产效率，提升了机器人的智能化水平和工作灵活性，从而扩大其在工业生产中的应用范围。对于像电梯门板这样大物件的定位，为保证定位精确性和稳定性采用双相机定位的方法。目前，该视觉定位系统已经在实际生产中应用，能够快速、精确、稳定地引导机器人完成电梯门板的上料任务，具有较大的实用价值。

［1］翟敬梅，董鹏飞，张铁.基于视觉引导的工业机器人定位抓取系统设计［J］.机械设计与研究，2014，30(5):45-49.

ZHAI Jingmei，DONG Pengfei，ZHANG Tie.Positioning and grasping system design of industrial robot based on visual guidance［J］.Machine Design and Research，2014，30(5):45-49.(in Chinese)

［2］王金涛.基于手眼视觉的工业机器人自动分拣系统研究［J］.工业技术创新，2014，1(2):216-220.

WANG Jintao.Research on industrial robot automatied sorting system based on eye-in-hand vision［J］. The Industry Technical Innovation，2014，1(2):216-220.(in Chinese)

［3］廖万辉，李琳.基于机器视觉的工业机器人定位系统［J］.微计算机信息，2009，25(3):242-244.

LIAO Wanhui，LI Lin.Stereo vision for tracking and location system working on industrial robot［J］.Microcomputer Information，2009，25(3):242-244.(in Chinese)

［4］张小清，周广兵.基于机器视觉的动力电池分拣机器人定位系统［J］.物流工程与管理，2012，34(1):95-98.

ZHANG Xiaoqing，ZHOU Guangbing. Location system of power battery sorting robot based on machine vision［J］. Logistics Engineering and Management，2012，34(1):95-98.(in Chinese)

［5］廖晓波，李众立，廖璇.砖窑卸垛机器人视觉定位系统研究［J］.控制工程，2013，20(4):650-654.

LIAO Xiaobo，LI Zhongli，LIAO Xuan. Research of brick destacking robot vision orientation system［J］. Control Engineering of China，2013，20(4):650-654.(in Chinese)

［6］王晓华，傅卫平.零件的双目视觉识别定位与抓取系统研究［J］.制造业自动化，2010，32(11):129-132.

WANG Xiaohua，FU Weiping. Research on recognition and location system of work-piece based on binocular vision［J］.Manufacturing Automation，2010，32(11):129-132.(in Chinese)

［7］薛白，段锁林，邹凌.考虑径向畸变的机器人视觉系统的参数标定［J］.计算机工程与设计，2012，33(11):4407-4411.

XUE Bai，DUAN Suolin，ZOU Ling.Calibration of camera parameters with radial distortion for robot vision system［J］.Computer Engineering and Design，2012，33(11):4407-4411.(in Chinese)

［8］晏祖根，李明，徐克非，等.高速机器人分拣系统机器视觉技术的研究［J］.包装与食品机械，2014，32(1):28-31.

YAN Zuigen，LI Ming，XU Kefei，et al.High-speed robot auto-sorting system based on machine vision［J］. Packaging and Food Machinery，2014，32(1):28-31.(in Chinese)