基于双目定位的离合器下料系统设计

秦朗朗， 潘 丰

(轻工过程先进控制教育部重点实验室 江南大学，江苏 无锡 214122)

基于双目定位的离合器下料系统设计

秦朗朗， 潘 丰

(轻工过程先进控制教育部重点实验室江南大学，江苏无锡214122)

机械臂在生产线上抓取组装完成的离合器后，需要准确地将离合器放置在自动导引车(AGV)的下料位置。针对AGV入库时位置不确定，机械臂无法准确实现下料问题，设计了一种基于机器视觉技术的离合器下料定位系统，并针对AGV尺寸较大、单相机定位存在精度差、定位不稳定的重要问题，采用双目定位提高精度和稳定性。实际使用结果表明：基于VisionPro视觉软件设计的AGV特征识别视觉定位系统具有很好的定位结果，定位精度为±0.5 mm，运行时间小于2 s；能够引导机械臂快速、准确地完成离合器下料任务，满足工业实际应用的需求。

机械臂； 机器视觉； 离合器； 自动导引车； 双目定位

0 引 言

工件准确高效下料是工业机械臂和自动导引车(automatic guided vehicle,AGV)在生产线上有效利用的关键步骤[1]，当前,机械臂和AGV已经广泛使用在工业生产线中，但在很多工业应用当中机械手都是在技术人员的离线编程或者示教编程下,实现某些特定的提前设计的固定举措和功用[2]。假如待测工件周围的下料环境即AGV入库位置产生了变化，很可能导致机械臂下料工作的失败，这类由于机械臂无法判别外部环境变化的弊端极大地局限了机械臂在工业生产中的使用[3]。

机器视觉技术[4]可以将机械臂技术和机器视觉技术相融合，利用视觉的定位功用使机械臂拥有自身的“眼睛”获取待测工件的位置信息，引导机械臂实现抓取、运输、下料等任务[5]。

机械臂抓取离合器以后，需要准确无误地将离合器安放于AGV上，针对其在精度、速度和智能化方面的需求，设计了一种离合器下料系统；对于尺寸较大的AGV使用相机定位存在精度差、定位不稳定的技术难题，采用双目定位的方法提高精度和准确度。

1 视觉定位原理及系统组成

1.1 视觉定位原理

视觉定位原理如图1所示，每次AGV入库后的位置都有所变化，如图1中AGV的位置所示。因为AGV尺寸为2150mm×950mm，尺寸较大，所以角度偏差的计算经过坐标系原点旋转以后会在AGV的另一端得到放大，而且小车尺寸越大，偏差越大。为解决这个技术问题，设计了一种使用双相机实现双目定位的方法，通过采集两个相距较远的特征点，拟合出一条直线，计算位移偏移和角度偏移，从而提高定位的准确度和稳定度；将两相机安装在AGV两端特征孔的正上方，据此，两个相机分别取小车两个特征圆形孔求出两特征点即特征孔的圆心A和B，如图1中所示。

两个相机分别采集AGV两端上方两个特征圆孔的图像，根据小车入库位置容许偏差范围为±45mm，选择相机视野范围为160mm×120mm，相机1视野中的A点通过寻找圆C1的圆心提取，相机2视野中的B点通过寻找圆C2的圆心提取。

图1 视觉定位原理

1.2 系统硬件结构设计

依据定位的工业要求，设计了离合器在AGV表面下料的双目视觉定位系统的总体结构如图2所示，主要有工业相机、工业镜头、特制光源、图像采集卡、机械臂、AGV和工控机等组成。两个相机安装在AGV两端上方，光源安装在相机的下面，图像采集卡安装在工控机PCI插槽中，工控机和相机、机械臂通过以太网连接在一起，工控机是系统的中枢，负责图像处理、通信和界面显示的重要工作。

图2 定位系统硬件组成

机械臂从组装生产线抓取离合器到位、AGV入库到位后，工控机发出图象采集命令控制工业相机采集小车图像，采集到的图像经过千兆以太网传递到工控机；工控机得到图像后通过预先设计的图像处理算法计算出位置偏移量并发送给机械臂，机械臂根据接收的信息调整自身下料位姿完成下料任务，如果两次视觉定位都失败，则需要手动调整AGV的位置，重新进行定位分析；完成了一块离合器的下料任务后，机械臂抓取组装线上的下一块离合器，继续完成下料。

1.3 系统硬件选型

1)工业相机

根据视觉定位系统要求，精度±0.5mm、视野范围160mm×120mm、以太网数据接口类型、图像传输速率要求快等，选择德国Basler公司应用成熟的scA2500—20gm型黑白工业相机, 分辨率为2590×2048，接口为GIGE，帧速率为20f/s，镜头接口为C-Mount。

2)镜头

根据工业相机分辨率的大小、相机采像视野范围和相机工作距离等要求，使用TAMRON公司研发的M118FM16型号的百万像素工业镜头，焦距为16mm，接口类型为C，光圈范围为1.4～16。

3)光源

在设计AGV双目视觉定位系统过程中，经过多次打光试验，为了能够得到清晰、对比度明显的原始图像，最终选用奥普特公司研制的OPT—RI15000系列的90°直射红色环形LED光源，选择该光源主要原因：

a.需要采像的特征点是圆形孔，环形光源发出的光线能较好地覆盖需要采像的目标特征点，角度选择90°直射方式，能够保证光照均匀，确保较强的图像对比度。

b.AGV表面镀锌，反光较强，红色光源发出的红色光线波长相对较长，可以保证相对均匀、稳定的图像效果。

c.LED光源的光亮稳定、使用寿命长，性价比高[6]。

1.4 系统安装方式

机械工艺可以保证AGV的入库位置误差范围为±50mm，据此，为了能够采集到小车上特征点的图像，需要保证相机视野范围在160mm×120mm左右。由于受到机械臂工作时的空间干涉等情况，设计了如图3所示的双目视觉定位系统的相机安装方式。

图3 双相机安装方式

2 系统坐标系转换

由于下料系统根据相机获取到的图像进行视觉定位，使用图像坐标系，而机械臂通过调整工件坐标系来实现姿态的调整，所以需要将机械臂工件坐标系和图像坐标系统[7]。视觉定位系统在开发过程中涉及3个坐标系之间的转化：机械臂工件坐标系、世界坐标系和图像坐标系[8]。由于AGV入库后离合器的下料位置在同一水平面，所以z轴坐标固定，即视觉系统是在二维空间平面内的定位，三个坐标系都是二维坐标系，不考虑z轴。

3个坐标系的相互转换对应关系如图4所示，要完成图像坐标系到机械臂工件坐标系之间的转换，需要进行2个标定过程[9]：1)通过相机标定完成图像坐标系至世界坐标系的转化；2)通过机械臂双目标定完成世界坐标系到机械臂工件坐标系的转化，转化的过程如下。

图4 坐标系关系

2.1 图像校准与标定

视觉定位过程中需要确定AGV两端特征点的位置和在图像中具体位置的坐标对应关系，这个时候需要搭建相机成像过程中的几何模型[10]，相机标定的过程，本质就是解出相机成像中几何模型参数数值的过程。在视觉定位过程中为了能够准确地确定AGV两端特征点的位置和在图像中具体位置的坐标对应关系，提高视觉定位过程中的精确程度，需要对相机获取到的图像进行畸变校正，本文使用非线性标定完成校正。

1)采集标定板图像:标定板分为棋盘格标定板和网格点标定板，系统为了得到更高的标定精度，使用棋盘格标定板中的“详尽棋盘格”用来完成标定工作。捕获标定板图像信息过程中，要求周围的环境以及采集图像所使用的工具配置均与相机在生产过程中正常工作时一致，根据系统工业相机工作时的视野范围和精度要求制作了一块大小为130mm×90mm，每个网格大小为5mm×5mm的标定板，如图5。

2)提取标定信息：采集到标定板的原始图像之后，使用CalibCheckerBoard工具将棋盘格图像的特征位置点分析提取；工具使用时选用“非线性标定”模式，选用“详尽棋盘格”特征搜索形式。如图5所示。

图5 特征点分布和部分特征点坐标值

3)相机标定：相机标定过程的本质是将相机成像过程中几何模型的相关参数求取出来，几何模型参数包含透视畸变模型参数、径向畸变模型参数以及线性转换过程参数；视觉系统运行过程中，使用标定过程中建立的几何模型完成原始图像的畸变矫正，然后将图像坐标系转变到世界坐标系。图6列出了标定过程中涉及到的一些标定参数信息，其中包含有一些几何模型参数以及均方根RMS误差。

图6 标定结果

图6所示的RMS误差指标定过程中标定板上特征点坐标位置的均方误差，用RMS误差来评估标定过程中标定精度的高低。RMS误差数值越小，表示图像标定的效果就越理想，公式如下

(1)

式中e为标定板上某个特征点的位置误差；i为标定板上特征点的编号；N为标定板上特征点的个数。特征点的位置误差的实质指标定板上某特征点经过相机标定之后求得的世界坐标值与进行标定之前此特征点原始的世界坐标值之间的位置距离相减求得的差值。CalibCheckerBoard工具中将上述RMS误差整体划分成了5个评价区间：0～0.1为优秀；0.1～0.5为良好；0.5～2为合格；2～5为较差；5～+∞为非常差。系统中相机标定的RMS误差为0.381706，所以标定结果良好，满足标定要求。

2.2 机械臂和视觉之间的标定

定位系统通过双目标定过程进行世界坐标系到机械臂工件坐标系的转化，其转化关系如图7所示。

图7 世界坐标系到机械臂工件坐标系转化

如图7所示，世界坐标系与机械臂工件坐标系之间是按照比例缩放、二维平面旋转和位置偏移进行转换。其中坐标系xwowyw为世界坐标系，坐标系xroryr为机械臂工件坐标系。选取的N点为两个坐标系中的任意点，将N点在两个坐标系中的坐标依次表示为(xwn,ywn)和(xrn,yrn)。

3 定位系统算法设计

3.1 样板匹配

AGV入库位置的变化会造成工业相机采集的图像的变化，显然,图像中的特征点会相应地发生变化。文中使用样板匹配的办法完成对特征点搜索范围图像的粗略定位，使用PMAlign工具将图像中的特征点信息提取出来，使用Fixture工具建立图像中的特征点和样板中的特征点坐标位置信息对应关系，可以保证入库AGV位置的变化不会影响对特征点的准确提取。

为了可以匹配到唯一、稳定的样板信息，样板匹配过程中选择的样板在整个图像中需要具有唯一性，系统选取AGV两端的特征孔作为待匹配的样板特征。图8给出了相机1和相机2待匹配的特征孔图像，用来完成样板特征与采集图像之间的坐标位置对应关系。

图8 样板匹配特征孔图像

3.2 圆的拟合及特征点A和B的提取

产品粗定位后，根据匹配到的样板特征，在相对应位置处，即特征孔的位置处，拟合圆。使用FindCircle工具来实现圆的拟合，根据需要设置工具的具体参数，其中包括卡尺数量、圆环圆心位置坐标、圆环查找方向和卡尺投影长度[11]。工具运行的底层算法，是在圆环的每一个分段搜索范围内沿着设定的检测方向寻找具有最大对比度的点，最后使用最小二乘法对寻找到M个最大对比度点进行圆的拟合，从而得到拟合圆[12],如图9。

图9 相机1特征圆C1的拟合

如图9所示，特征圆通过寻找特征孔边界上最大对比度的点，根据这些点拟合而来，特征圆上点的求取采用VisionPro中FindCircle工具中的卡尺实现。系统使用60个探索长度为14像素，投影长度为4像素的卡尺提取特征圆上60个特征点，同时为了避免外界环境噪声对获取到的图像的干扰，在拟合特征圆的过程中排除掉5个偏差最大的异常点，从而提高拟合圆的准确性。

FindCircle工具拟合的两个特征圆的两个输出终端Results.GetCircle().CenterX和Results.GetCircle().CenterY即为圆心的坐标值，两个圆心将作为两个特征点进入下面的研究之中。

3.3 求取偏移量

如图1所示，将AGV放在下料标准位置，相机采集图像，经上述图像处理拟合出标准位置特征点A0(x0,y0)，将A0点作为小车的基准位置坐标，并将A0点定义为坐标系原点，则A0点的坐标即为(0,0)；将拟合圆C2的圆心B0看作是另外一个特征点，坐标记为(x1,y1)；这时直线A0B0的角度α0就可以作为基准角度，直线A0B0的角度可以使用CogMath.AnglePointPoint()函数计算。A0点坐标值、B0点坐标值、α0的角度值即小车在标准位置下料时的基准位置参数，机械臂记录基准位置参数，为后续计算位置偏移量做准备。

小车入库位置发生变化后，由位置变化后的特征点A(x,y)的坐标减去基准位置坐标，即可求得位置偏移量Δx=x-x0=x,Δy=y-y0=y；角度变化值得计算需要使用CogMath.AnglePointPoint()函数求解位置变化后小车表面拟合的直线AB的角度 ，角度α减去机械臂记录的基准位置角度即可求得角度变化值ΔAngle=α-α0。

4 系统测试

为了验证视觉定位系统的功能是否满足工业要求，选取90次小车入库的情况进行实际测试，在测试过程中根据实际情况调整视觉工具参数，保证系统达到最佳定位状态。表1给出了调整后的具体参数值。

表1 系统工具参数

最终测试表明当AGV入库位置容许偏差Δx和Δy在±50 mm范围内、角度偏移量在±5°范围内时，视觉系统可以稳定的提取特征并实现精确定位，定位误差在±0.5 mm内，最大定位误差为0.36 mm，平均误差0.263 mm。由误差统计数据分析知：平均值为0.263 mm,标准差为0.285 mm,方差为0.051 mm。经验证，整个双目视觉系统的运行时间保持在2 s之内，视觉系统可实现历史数据追溯和视觉工具参数设定，符合实际工业生产需求。

5 结束语

在离合器下料系统中，将视觉定位技术应用于机械臂技术中，使机械臂具有自己的“眼睛”，方便获取AGV位置变化的信息并及时调整下料位姿，顺利地实现下料任务、提高了生产效率、解放了人工劳动力、提高了机械臂的自动化水平和作业灵活性，有利于扩大机械臂在工业生产领域的应用范围。对于AGV这样的大尺寸工件定位，角度的偏移量要求精确度较高，采用双相机定位的方法可以确保角度计算的可靠性和精确性。当前，该双目视觉定位系统已经应用在实际工业生产中，可以高效、精确、稳定地引导机械臂实现离合器下料任务，具有很大的应用价值和意义。

[1] Wang Weilin,Li Changying.A multimodal machine vision system for quality inspection of onions[J].Journal of Food Engineering,2015,166:291-301.

[2] Edwards J.Looking at machine vision[J].IEEE Signal Proces-sing Magazine,2014,31:9-117.

[3] 任继昌,杨晓东.基于互信息的高精度双目视觉测距方法研究[J].控制工程,2015(1):199-204.

[4] 贾 佳,白瑞林,钱 勇,等.嵌入式彩色图像传感器重构系统的设计与实现[J].传感器与微系统，2011，30(3):121-124.

[5] 基于机器视觉的非结构化道路检测算法研究[J].传感器与微系统，2010，29(1)：39-41.

[6] 廖晓波,李众立,廖 璇．砖窑卸垛机器人视觉定位系统研究[J].控制工程,2013,20(4):650-654.

[7] 姜 平,周根荣.基于计算机视觉的织物疵点自动检测[J].传感器与微系统，2006，25(1)：73-75.

[8] 张小清,周广兵．基于机器视觉的动力电池分拣机器人定位系统[J].物流工程与管理,2012,34(1):95-98.

[9] 晏祖根,李 明,徐克非,等.高速机器人分拣系统机器视觉技术的研究[J].包装与食品机械,2014,32(1):28-31.

[10] 翟敬梅,董鹏飞,张 铁．基于视觉引导的工业机器人定位抓取系统设计[J].机械设计与研究,2014,30(5):45-49.

[11] 梁晓波,程文明．基于双目视觉的集装箱自动识别定位系统的设计[J].机械,2015,42(1):7-10.

[12] 隋修武,齐晓光,李大鹏.基于双路线阵CCD的自动电子数粒机[J].传感器与微系统，2012，31(5):122-125.

Designofclutchunloadingsystembasedonbinocularvisualpositioning

QIN Lang-lang， PAN Feng

(KeyLaboratoryofAdvancedProcessControlforLightIndustry,MinistryofEducation,JiangnanUniversity,Wuxi214122,China)

The robotic arm needs to put clutches in automatic guided vehicle(AGV)accurately after scraping clutches from the assembling line.As the storage location of AGV is uncertain and the robotic arm can’t accurately realize the blanking,use the technology of machine vision to design a localization system of vision-based clutch unloading.Aiming at problem that the size of AGV is too large and localization of single camera is unstable and precision is low.Use binocular localization to improve the precision and stability.Practical application result show that the designed AGV feature recognition and location system which based on VisionPro vision software,has wonderful locating results,the location precision is ±0.5mm,and the run time is less than2s,besides,it can guide robotic arm to realize the clutch blanking task precisely,and quickly,meeting the requirements of industrial application.

robotic arm; machine vision; clutch; automatic guided vehicle(AGV); binocular localization

10.13873/J.1000—9787(2017)10—0080—05

2016—09—15

TP 319

A

1000—9787(2017)10—0080—05

秦朗朗(1993-)，男，通讯作者，硕士研究生，研究方向为控制工程及应用，E—mail:18762670760@163.com。潘 丰(1963-)，男，教授，博士生导师，主要从事工业过程优化控制研究工作，E—mail:pan_feng_63@163.com。