一种基于机器视觉的复杂零件分拣系统

李 梦,王旭扬,韩帮国

（安徽信息工程学院，安徽 芜湖241000 ）

零件分拣是工业生产中不可或缺的重要环节，国内大部分工厂仍然采用人工分拣，分拣的效率低、出错率高。随着生产速度的加快，已无法满足实际的生产需求[1]。与此同时，随着机器视觉在工业领域，特别是工控分类的逐渐广泛应用，目前已经借助视觉分类和机器人控制技术，达到了信息自动化采集与分类识别，完成自动分拣与搬运码物动作[2]。美国Adept 公司研发的图像处理系统可以在复杂的光照条件完成目标的抓举与放置[3]。德国KUKA机器人结合系统ISRA视觉技术，对2D与3D的零件进行识别，精确控制机器人预设方位完成任务[4]。日本FANUC 公司研发的机器人集成视觉功能，可以检测位置偏差与定位误差补偿[5]。瑞典ABB 机器人公司推出的Flex Picker 机器人可以快速准确的抓取目标跟踪性能好[6]。纳斯达克技术公司生产的Quattro 4 轴并联机器人支持在传送带上快速抓取放置[7]。国内视觉技术起步较晚，却发展迅速，但与国外的分拣精度与控制技术还存在一定差距。如台达集团研发的DMV 机器视觉系统，与机械手自由组合拾放系统[8]。

目前现有的国内、外基于视觉的分拣系统设备虽然不少，但是价格都比较昂贵，设计复杂，维护困难，大多针对零件的某一关键尺寸，借助机器视觉进行测量，或是针对多个关键尺寸采用多次测量。本文通过机器视觉对复杂零件进行多尺寸测量与误差级联运算完成合格判断，借助串口通信对下位机控制，分离出不合格品，系统成本低、测量精度高、识别准确率高、分拣速度快。

1 系统整体设计

本文针对复杂轴类零件设计分拣系统，系统主要包括机器视觉图像处理模块、多尺寸级联误差分类模块、分拣系统设计模块3 部分组成。机器视觉处理模块对摄像头采集到的零件图像进行处理，得到零件外轮廓尺寸。根据零件加工要求，将图纸中指定的多段关键尺寸组合成级联分类器，对单个关键尺寸的误差范围值进行串联求与运算。当满足所有关键尺寸的测量结果均处于图纸规定的误差范围内时，级联分类器输出为真，判断为合格品。当检测出不合格品时，通过搭建的PLC 分拣系统进行不合格品的有效分离。

2 机器视觉图像处理系统设计

借助机器视觉算法对采集的零件图像进行处理，完成对零件轮廓的尺寸测量。主要包括以下部分组成：镜头畸变矫正、像素参数标定、图像预处理、零件几何尺寸测量。

视觉系统建立在摄像头成像模型搭建的实际场景与拍摄图像之间映射关系，从三维空间到二位平面的图像信息转换。由于成像过程中镜头不可避免地存在失真、非线性的镜头畸变[9]，所以需要对镜头畸变进行矫正，提高测量精度。

2.1 镜头畸变与矫正

2.1.1 径向畸变矫正

径向畸变是理想成像点与实际成像点不重合而产生的距离值，导致物体成像变形，产生弯曲畸变。研究径向畸变，以光学中心的畸变为0，当远离光学中心时，畸变现象越明显，最终产生枕形或桶形畸变变形。

径向半径r2=x2+y2，r=0 处通过泰勒级数进行展开后，保留前几项。可得：

(x,y)为畸变点原始位置，(xcorrected，ycorrected)为畸变矫正后的位置。

2.1.2 切向畸变矫正

由于薄透镜制造工艺可能存在的缺陷，使得透镜本身与图像平面发生倾斜，具体表达式如下：

2.1.3 镜头矫正处理

本文中，选用圆形标定板在VBAI 中构建模板完成对镜头的矫正设置，形成标定模板后进行训练，得到的矫正后平均误差为0.0003mm，镜头的测量精度得到很大提高。

2.2 像素参数标定

本文中零件尺寸以mm为单位，根据与像素坐标转换关系，完成像素当量的标定[10]。选择OpenCV 55mm的棋盘标定板，对直线距离进行标定。对标定后的棋盘进行宽度尺寸测量，白色与黑色棋盘的间距均为2.50mm，与实际物理长度值完全相同。

2.3 图像预处理

2.3.1 图像灰度化

图像为彩色RGB图像，会增加整体计算时间和内存使用量，影响最后检测效果。对原始彩色图像进行灰度化处理。根据人眼特性和人类对颜色的心理反应研究发现，物体的亮度Y 可以用不同比重的RGB 三基色表示，RGB 比重分别为：0.299,0.587,0.114处理采集图像。

2.3.2 Brightness亮度设置与图像优化

对灰度图的参数：亮度值Brightenss，对比度值Contrast，伽马值Gamma进行设置，强化图像处理结果，在此基础上对存在的金属反光的部分进行逻辑运算进行去除。

2.3.3 Basic基础形态学设置

为了提高边界检测的准确性，在提取阈值时更便于设置，对图像进行反转设置，显示为图像底片像素值。

2.4 零件几何尺寸测量

零件尺寸测量通过边缘检测算法对上述预处理步骤中得到的图像结果进行灰度变化，提取图像中不连续的边缘点，采用Fit Line 直线拟合优化算法对所有离散的边缘数据点进行拟合求解，通过直线拟合成绩LFS 对去除外围远点后直线的拟合精度进行评价，获得最优拟合直线。最后对拟合后的直线测量像素间距，并在此基础上转换为物理距离。

边缘检测算法是在兴趣区域ROI 中对图像中的点从左上角开始从左到右、从上到下逐点扫描，对每个像素值都以其为模板中心进行模板运算，获得图像中的孤立点与其邻域内像素点灰度值差异。

当结果高于门限阈值时，说明该孤立点邻域的灰度值有较大差异，将根据阈值T来认定是否为边缘点。

在理想阈值T的基础上设定裕量（hysteresis），当搜索到大于等于“理想阈值量与裕量之和”的像素点时，定义为上边缘点，当寻找到小于等于“理想阈值量减去裕量”时，该点记为下边缘点。尽可能减小噪声干扰，提高边缘点分辨的精度。

对检测到的所有离散边缘点进行Fit Line 直线拟合优化算法处理：

1.根据像素半径从特征数据集中选择数据子集。像素半径用于确定有效的像素点，指像素点到拟合直线之间的最大距离。开始拟合时，算法先随机选择两个点作一条直线，并在此条直线像素半径范围内组成一个子集。

2.针对数据子集拟合直线，并计算所有子集的像素点到直线的平均平方距离值。平均平方距离值（MSD）用于衡量拟合的直线质量。是数据集中所有像素点到拟合直线之间距离平方的平均值。MSD数值越小，拟合直线越好。

3.除去上次拟合的数据子集，对剩余的数据重新拟合，并计算MSD值，重复步骤过程，当所有数据均被拟合后，选取最小的MSD值作为候选直线。

4.对候选直线进行优化，算法不断去除最远外围点后拟合的直线，通过计算直线拟合成绩（Line Fit Iteration,LSF）求解精度最高的直线：

其中，PR2为像素半径，像素点越靠近拟合线，MXD值越小，LFS值越大。当拟合直线的成绩达到要求分数时，则返回最佳拟合直线。

拟合出所有边界直线后，测量的尺寸距离的像素值，通过像素的参数标定，获得实际的物理长度值。

3 多尺寸级联分类

对于实际生产中的大多数复杂零件，需要同时满足多个关键尺寸同时达到精度要求，才能视为合格。根据级联分类器的设计思路，每个关键尺寸使用一个特征检验条件，即通过计算该尺寸值是否在图纸设定误差范围作为该级满足条件的判断依据。各级进行串联运算后，得到最终的检测结果。全部通过时，视为合格品。多尺寸级联分类器示意图如图1所示。

图1 级联分类器示意图

通过图像处理得到零件的所有尺寸值，可以根据实际需要，快速提取出所需的关键尺寸进行合格判断，具有较好的适应性与灵活性。

4 分拣系统设计

经过尺寸测量与合格判断后，借助LabVIEW软件编程完成PC 与下位机PLC 的通信与输出控制，根据Modbus ASCII 协议，选择RS485 串口通信通讯方式，对二位四通的电磁阀进行控制。通过活塞带动机械执行机构直线往复运动，推送出不合格品至不合格品区后复位，完成分拣动作。

4.1 系统硬件选型

根据系统设计，进行分拣系统硬件选型：台达PLC（型号DVP-32EH（EH2）），流水线皮带轮驱动直流电机（GEAR HEAD，型号为Z2D6-24GN，直流24V 驱动），电磁阀（亚德克4V110-06，二位四通电磁阀），气缸（亚德克PB16X75SU），光电开关（RVKO，三线制NPN 型光电开关）。搭建的系统实物图如图2所示。

图2 PLC分拣系统实物图

4.2 系统软件设计

根据PLC 手册中规定的报文格式，上位机对下位机发送数据。使用while 循环体持续运行上位机程序，完成串口的相关参数设置。下位机通过梯形图编程，对各负载运行状态进行控制。程序设计流程如图3所示。

图3 程序设计流程图

下位机采用台达编程软件WPL 进行编程。当上位机按下“PLC 启动按钮”，LabVIEW 调用VISA函数将Modbus ASCII 数据发送给下位机控制，当位机成功写入M0数据时，M2与M3将被置位，传送带由直流电机驱动运行。若摄像头监测到不合格信号则电磁阀动作，驱动气缸分离不合格产品，当上位机程序写入M5 数据时，梯形图复位，所有动作停止，直至上位机继续发送启动指令。

5 实验验证

选择1 种复杂的轴类零件，根据该零件的实际生产要求，选定3 段轴的直径为关键尺寸，分别为作为合格品判断依据，零件二维图如图4所示。

图4 零件二维图

根据零件尺寸选择图像处理硬件：相机（大恒HV1300FM 1394 彩色），镜头（3Mega Pixel 5-55mm，F1.4 IR），标定板（圆形，直径为5.00mm，圆心距10mm，精度等级±0.001mm），标定板（棋盘形，方格尺寸2.5mm，有效尺寸50*40mm，精度等级±0.001mm）。

5.1 尺寸测量结果分析

利用搭建的机器视觉图像处理系统，对采集到的零件进行处理，得到的图像预处理结果。处理后的零件图像经边缘点提取、Fit Line 直线拟合优化算法处理、像素尺寸转换后得到实测的尺寸，包括3段关键尺寸的轴直径、2段台阶长度值与零件总长6个数据，结果如图5中第2～7行所示。其中3段轴尺寸分别为：9.998mm，23.20799mm，15.9264mm。针对3 段关键尺寸，通过所测轴直径值是否在图纸误差范围内进行合格判断，单尺寸合格判断结果分别为True，False，True，如图5 中第8～10 行所示。多尺寸级联尺寸合格判断结果如图5 最后1 行所示，结果为False。

图5 零件尺寸测量结果

选用精度为±1um，平行度±1um，平面度3um，测力5～10N 的三丰数显千分尺对以上6 个尺寸进行测量。具体数据如下表1所示。

表1 千分尺测量数据（单位：mm）

根据表1 计算出千分尺所测得的6 个尺寸参量5 个数据的平均值，如表2 第2 列所示。结合图像处理的实际测量值进行误差分析，得到所有参数尺寸的测量误差值，测量值与测量误差分别如表2 的第3、4列所示。

表2 图像处理误差分析

从表2 中可以看出，机器视觉图像处理后的6个尺寸测量值的误差值在-0.0006～-0.00264mm 范围，而3段轴直径的长度平均误差≤-0.002mm，测量精度接近千分尺的测量精度。

5.2 分拣结果分析

从测得所有尺寸中提取出关键尺寸后，经过级联分类器进行合格品检测，针对534 个加工零件进行视觉识别分拣，统计数据如表3所示。

表3 零件分拣结果统计

经人工多次复检与分拣验证，不合格品数量与本文视觉系统检测分拣结果相同。分拣正确率为100%。当识别出不合格品时，下位机通过电磁阀控制气缸动作，活塞往复运动完成不合格品分离。选择10个不合格零件测量其分拣时间，分拣单个不合格零件的系统运行时间在1.5s以内，效率高，能满足生产要求。

6 结论

本文通过机器视觉处理，完成零件尺寸的测量与显示，从中提取所需的关键尺寸数值。根据图纸具体的误差要求，设计多尺度的级联判断的合格品识别模式，借助串口通信对下位机进行控制，最终实现对不合格品的分拣。

系统利用视觉尺寸测量，测量误差小、精度高。零件合格识别准确率高，下位机控制执行器分拣速度快、效率高。系统硬件成本低，可以针对不同零件进行柔性设计，在工控生产加工过程将有很好的实用价值。