基于机器视觉的物料自动分拣系统研究*

张卫芬，汤文成

(1.东南大学成贤学院 机械与电气工程学院，南京 210088；2.东南大学 机械工程学院，南京 211189)

0 引言

产品分拣是工业自动化生产中的一项重要生产环节，传统的人工分拣或示教工业机器人分拣无法适应现代工业对劳动生产率和生产过程自动化水平的需求，将机器视觉技术与工业机器人相结合可使分拣作业具有更高的柔性和可靠性[1]。卢振利等[2]从烟盒的特征检测入手，利用Matlab工具识别真伪香烟，并通过控制机器人手抓对香烟进行分拣。周军等[3]基于机器视觉技术研究出一种针对核桃仁的颜色和完整度来进行新疆核桃仁分级的方法。Tuong Phuoc Tho等[4]根据颜色、形状等特征对番茄进行分级并识别定位，实现番茄的自动分拣。本文基于机器视觉技术对目标物料进行分拣，用相机获取物料的图像并进行预处理，采用多阈值模板匹配算法完成物料的匹配，实现了对目标物料的检测和识别，最后利用工业机器人抓取物料从而完成分拣。

1 分拣系统硬件组成

图1为本分拣系统的实物图，主要由机器人系统、视觉系统、控制系统、传送带系统以及分拣物料组成，采用艾派科技有限公司的APE机械手，机械手的末端执行器为气动吸盘来抓取目标物料。采用海康威视MV-CA013-20GM型工业智能相机，130万像素，最大帧率90fps。采用视清MFA230-5M12型镜头、康视达光源及光源控制器，工业相机安装在传送带的上方。利用相机拍摄物料并发送至控制系统，控制系统计算物料坐标，实时控制机械手运动并完成抓取和分拣作业。本系统采用同步带传送待抓取物料，同步带长度为1m，宽度为120mm，由调速电机进行驱动。传送带旁装有编码器用来反馈传送带的运转速度、距离和方向。分拣对象为形状不同的立方体物料。

图1 基于机器视觉的分拣系统

2 相机标定

相机标定实质上是坐标系的转换，需要确定图像像素坐标系、相机坐标系和世界坐标系的对应关系。本文相机标定的模型是基于小孔成像模型，以相机坐标系为桥梁建立世界坐标系与计算机的图像像素坐标系之间的对应关系，可得[5]：

(1)

表1 相机标定内参数表

表中，fx和fy分别表示图像像素坐标系下u轴和v轴的尺度因子，cx和cy是相机的主点在图像中的像素坐标。同时得到径向畸变系数k1=0.06235849，k2=-0.3479458，切向畸变系数p1=-0.007430375，p2=-0.01178197。

3 基于物料位置坐标的图像去重复算法

图像采集过程中容易出现重复信息，即同一工件被重复拍摄。为此，本文采用基于物料位置坐标的图像去重复算法来进行图像的去重复操作处理，以免在分拣过程中出现物料的误抓现象[7]。

相机在采集图像时，相机的拍照频率直接决定着整个系统运行的流畅性，本系统中CCD拍照频率为：

f=V×N/D

(2)

式中，V为皮带速度，N为每个物体拍摄次数，D为相机视场长度，拍照频率与物料大小和物料间距无关。

为避免重复拍照，根据物料位置的图像坐标来去除重复采集，采用如下去重复算法：

(1)定义集合A为图2a中所示即第一张照片相机视场中m个物料的坐标集合，即A={(xi,yi,zi)T}>,i=1,2,3······m，定义集合B为图2b中所示n个物料的坐标集合，即当传送带前进ΔT时间后CCD所拍摄的第二张照片中坐标集合。即B={(xj,yj,zj)T}>,j=1,2,3······n。

(2)记图2b中CCD所拍摄的第一个对象的Y坐标为yb(b

(a) T0时刻物料位置

(b) T0+ΔT时刻物料位置 图2 相机视场和物料位置

4 目标的图像处理与精确识别

目标识别是实现自动分拣的基础，目标识别有基于模板的匹配算法和基于特征的匹配算法[8]。本文在对图像预处理后利用模板匹配的算法对目标进行精确识别。

4.1 图像预处理

由于图像在采集过程中会存在杂质和噪声，对图像分析和识别带来影响，因此需对图像进行预处理，处理过程如下：首先通过摄像机将采集的图像，使用中值滤波将图像进行平滑处理，去除噪声和干扰点，其次采取局部阈值分割法将图像进行二值化处理，使用形态学闭操作方法去除图像中的杂点，通过连通区域是将获得的区域进行连接封闭。图像预处理过程如图3所示。

(a) 原始图像 (b) 中值滤波后的图像

(c) 二值化处理 (d) 图像预处理结果 图3 图像处理过程

4.2 模板匹配

模板匹配是一项在一幅图像中寻找与另一幅模板图像最相似部分的技术[9]。匹配过程如下：将模板图像每1°旋转一次并旋转360°存于模版库中。设待匹配图像宽高为M×N，模板图像宽高为m×n，将模板图像的左上角与待匹配图像左上角重合，取待匹配图像中一与模板图像尺寸一致的区域进行对比，每次平移一个像素后仍执行同样操作，因此在源图像中搜索的次数为(M-m+1)×(N-n+1)，根据匹配原则，得出待匹配图像中与模板图像最为一致的匹配子图。本文采用归一化相关匹配原则，该算法以图像的灰度信息为基础，通过利用匹配子图和模板图像灰度值的相关函数，从而判断图像的匹配程度，找出匹配位置[10]。

相关函数定义如下：

(3)

归一化相关匹配定义如下：

(4)

式(3)和式(4)中(x,y)表示匹配子图在源图像中的坐标，T(i,j)为模板图像中(i,j)坐标上的像素值，I表示待匹配图像，R(x,y)为计算结果，R(x,y)越大，说明待匹配图像与模板图像越匹配，匹配程度越好。归一化结果NC(x,y)为 1，表示完全匹配，若为 0 时，表示匹配度最差[11]。根据此匹配方法，本文提出基于灰度信息的多阈值模板匹配算法，具体过程如下：

(1)将模板图像和目标图像分层，每层像素均同比例缩小，第一层为原尺寸的1/16，第二层为原尺寸的1/8，第三层为原尺寸的1/2，最后一层为原图像；

(2)对第一层逐行逐点进行匹配，得出相应的R(x,y)值，将R(x,y)值与每个模板每层预先设置的阈值T比较，当R(x,y)≥T则认为该区域为感兴趣区，进行步骤(3)，否则重复该步骤；

(3)当找到感兴趣区域后，即进入第二层继续匹配，当所得R(x,y)值与该层阈值T之间存在R(x,y)≥T时，则进入下一层进行匹配。否则重复该步骤直至遍历所有区域；

(4)当进入最后一层即原始图像时，对该上一层确定的坐标为(m,n)的感兴趣点相邻8×8区域进行模板匹配计算，取R(x,y)的最大值，该点所在的模板区域即为目标匹配区域，若Rmax(x,y)≥Tmax，则匹配成功，否则认为匹配失败或部分匹配。

由于待匹配图像与模板图像存在偏转角度，结合上述匹配算法，本文提出如下位姿匹配算法：

(1)将模板n(模板角度n°)使用平移匹配算法若匹配成功，则进行步骤2，否则对下一模板n+15(模板角度n+15°)进行粗匹配，直至匹配成功；

(2)对模板n+1(模板角度n+1°)继续匹配，若得出的模板匹配函数值R(x,y)增大，则继续向后匹配，否则向前匹配，与模板n-1匹配，直至当前模板与上一模板匹配函数值R(x,y)出现下降则认为上一模板为最佳匹配。

图像处理完整过程和模板匹配结果如图4所示。

(a) 原始图像 (b) 中值滤波后的图像

(c)二值化处理 (d)图像预处理结果 (e)匹配结果 图4 图像处理完整过程和模板匹配结果

由于模板图像的质心坐标和目标图像的质心坐标可能不一致，因此需通过坐标系的转换来计算目标图像的质心坐标位置。根据模板图像与目标图像之间的关系，本文采用仿射变换来进行图像变换[12]，设模板图像上点为(x,y)，目标图像上点为(x′,y′)，其变换关系为：

(5)

式中，s为尺度变化参数，本文取s=1，θ为旋转度，tx和ty分别为x和y方向的平移量。根据模板图像的质心坐标由式(5)可知目标图像的形心坐标。

5 实验验证

5.1 系统的工作流程

光电传感器触发后，CCD拍图同时通知机械手记录编码器值，编码器安装在皮带最右端，编码器与皮带同步运动，记录编码器脉冲值反馈给机械手实现精准定位。机械手启动计时器，物料位置通过网络传送给机器人控制器，机器人进行计算和路径规划。机器人启动运动，运动到同步点上方，并同步(期间开真空)，向下运动吸取物料。整个系统的工作流程如图5所示。

图5 系统工作流程图

5.2 实验结果

为验证上述算法的可行性和有效性，根据所搭建的实验平台，在传送带上放置不同类型的待抓取对象。实验时，机械手到相应位置吸取目标物料后把物体放到指定位置，在该指定位置上方放置另一个相机，利用该相机拍照来获取目标物料的中心，将该中心与相机的中心进行比对可求出机械手在抓取物体时的X和Y偏差值。对其进行了51次数据的获取，如图6所示分别为X和Y方向中心的偏差值的51组数据，从数据中可以看出，在X方向存在一个较大的变化的值，通过计算51次重复性精度，得出X方向的重复性精度为1.83994mm，Y方向的重复性精度为1.04632mm，此误差即为总体累计误差。由于工业机器人末端执行器为气动吸盘，工业机器人在5mm的范围内都可以将目标物体吸取到[13]，因此，工业机器人可以准确抓取目标物体以实现快速分拣。

图6 X方向和Y方向中心偏差

6 结束语

本文研究了一种基于机器视觉的物料分拣系统，以不同形状的立方体为分拣对象，介绍了分拣系统的硬件组成，采用基于物料位置坐标的图像去重复算法减少了目标的重复检测，根据归一化相关算法进行模板匹配，采用基于灰度信息的多阈值模板匹配算法进行加速匹配，从而实现视觉引导下的工业机器人的识别和定位。实验结果表明，系统在目标识别和定位时准确可靠，稳定性好，有利于实现分拣系统的智能化和自动化水平。