基于机器视觉的工件装配快速定位方法实现

刘向前,闫娟,杨慧斌,贾茜伟

(上海工程技术大学机械与汽车工程学院，上海 201620)

0 前言

随着智能化、自动化的快速发展，智能装配生产线成为了当今加工工艺中不可缺少的环节。智能装配通俗上可理解为用智能化设备来代替原有人工参与的装配，即通过多套机器人的智能联动和分工协作来完成多种装配任务。定位是保证其过程中零部件装配质量的一个重要环节。装配对精度及稳定性要求较高，该过程工作强度大，一旦装配过程中出现部件装配误差较大的情况，就会导致机构达不到预期的功能，甚至使整个机器出现故障，导致不能正常工作。当前，传统人工装配的方式已经无法满足现代化装配精度、效率等需求。因此，如何快速高效对各所需装配零部件进行准确定位成为有待解决的技术痛点。

经过不断的研究与开发，机器视觉和图像处理技术的应用愈加广泛。基于机器视觉的识别检测系统，采用的非接触式定位方式，已经成为当今智能自动化生产装配线的主流装配方法，它不仅定位速度快、结构简单，而且精度较高。目前，类似的视觉定位应用中，主要有阈值滤波、特征点的提取、Sobel算子提取、多滤波处理等。吴赛敏提出用SIFT算法对预处理后图像特征点进行提取，然后采用KD-Tree数据结构实现对提取特征点的搜索，最后使用FANSAC算法实现特征点与位姿的最终匹配。于嘉鹏等提出一种自适应天牛须搜索自动布局算法，使它在保证高效性的同时能搜索到最优解，最终实现整个规划的过程优化。针对相机采集到的图像存在复杂背景干扰问题，Lawrence ROBERTS提出一种边缘处理技术，即采用Sobel算子与复合粒子群法相结合，利用复合粒子群搜索Sobel算子中最优阈值，结果表明:优化后的Sobel算子能够准确地检测到图像轮廓，并且对噪声起到有效抑制作用。以上基于机器视觉检测定位的方法，相比传统检测定位在精度与效率上都有所提高，但受其工作环境复杂、背景干扰的影响，上述方法的重复定位精度仍然较低。

本文作者基于机器视觉与图像处理技术，通过改进的小步长天牛须算法对工件进行宽度检测，以实现精确定位。首先，采用最小二乘圆拟合对采集的图像进行ROI提取；为降低图像周边对其定位造成的干扰，采用Sobel算子对外轮廓进行处理；同时，通过傅里叶正反变换对图像进行滤波处理，并建立部件定位数学模型；最后，通过小步长天牛须算法进行模型的求解。对不同型号、不同规格工件进行定位装配，结果表明：定位精度在98%以上，误差可控制在装配要求的范围之内，可有效解决装配中检测定位的问题。

1 定位系统的硬件搭建

硬件系统主要包含工控机、工业相机、相机镜头、条形光源、ABB机器人及控制服务器；图像处理主要包含图像采集、图像分析及使用的软件平台。综合考虑到使用环境、定位工件特征等多种因素，选取高分辨率的工业级海康威视相机，其具体参数如表1所示。为补偿亮度，采用条形光进行端面补光。采用条形光源的优点如下：(1)光源是直流电源，所以不存在频闪现象；(2)照明均匀、稳定，无虚影出现；(3)光源功耗小、热量低且使用寿命比较长。

表1 相机参数

考虑到相机采集工件图像时的效率，在软件中设置相机采集图像的方式为LINE外部触发的方式。ABB机器人就位后，由PLC发出信号经过工控机发出的采集信号使得相机对工件进行拍照，然后由光纤网口传入工控机进行图像处理；图像处理完成后，由PLC发出信号驱使ABB 机器人直接定位到部件处进行零部件夹取。该系统整体布局如图1所示。

定位系统包含伺服控制系统、相机采集系统、图像识别系统及指令收发系统。该系统执行的流程如图2所示。

图1 系统整体布局

图2 系统执行流程

系统实施整体流程如下：(1)初始化ABB，确保工件到位状态，所有的零部件由同步输送机进行输送，然后触发光电传感器，当到达工位时，由图像采集区域反馈信号给PC进行处理，若ABB定位到位，将信号传送PLC，触发相机进行拍照；若定位不到位，将会进行报错；(2)图像采集完成后，PC将采集完成信号发送至PLC，驱动ABB夹具夹取工件，然后触发输送带复位；(3)ABB机器人夹取零部件移至要与之装配的液压工作台处，若放置准确，则驱使夹具复位，否则系统会报错处理；(4)在液压台上进行装配，完成后触发端面光电传感器工作，并驱使液压工作台转向另一个要进行装配工序的机器人处。搭建的系统三维模型如图3所示。

图3 系统结构三维模型

2 工件定位方法实现

由相机采集到的工件图像如图4所示。由于工件检测外表面形状的特殊性要求，可以看出提取的ROI区域形状为一个圆区域或者矩形区域。但由于传感器、夹具及复杂背景的存在，会对检测造成干扰。针对此种多干扰环境下工件的定位处理问题，提出基于Sobel算子的形态学膨胀改进算法。

图4 工件上表面图像采集

先对相机采集到的工件图像进行预处理，再对其进行二值化及Blob分析。使用Sobel算子对边缘特征进行提取，然后选用膨胀运算进行优化。根据工件初步形心坐标可计算出实际偏移量，通过调节偏移量来驱动ABB电控运动进行实时调节。具体实施流程如图5所示。

图5 图像实施处理流程

3 模型建立与求解

3.1 模型建立

在处理目标工件图像时，考虑到效率、精度问题以及背景复杂的干扰性情况，不可能对采集到的图像进行全部分析处理，即要对某一特定区域进行提取。在工件中，ROI区域为圆形区域，而且需要对存在的背景干扰进行降低、消除。又由于夹具、工位环境的复杂及不可预知性，利用传统阈值分割方法处理或者连通域面积方法很难将工件ROI区域提取出。鉴于此，本文作者结合工件特征提出用最小二乘法对工件内外圆与边缘分别进行拟合、提取，然后对生成的区域求其差集，具体流程如图6所示。

图6 图像ROI提取

对工件图像进行Blob分析、形态学处理和对边缘进行亚像素的提取。其定义拟合方程为

=(+)+(+)

(1)

整理变换式(1)可得一般形式方程为

++++=0

(2)

设工件轮廓边缘上任一点坐标为(,)，其中∈(1,2,3,…,)。令：

(3)

由弦长公式、垂弦定理可解得参数、及为

(4)

为使式(3)值最小，则需要使值最小。

对式(3)进行求解可得：

(5)

(6)

(7)

其中：

=∑-∑

将、、值代入式(4)中可解得拟合中心坐标值(，)及半径值。对求得的内外径及圆心区域值求差集，即可获得工件感兴趣的区域。

3.2 图像干扰的抑制

由于在对工件进行图像采集的过程中，存在的光照、背景等一些干扰因素都会对成像造成影响，导致采集到的图像中分布着大小不一的噪声。为减少干扰，结合频域的特点，对它进行傅里叶变换，将空间域转换到频率域进行处理。具体转换如下：

(8)

(9)

式中：(,)为一个规格为×的图像；、为频域变量。变换后对应的频谱图及中心频谱图如图7所示。

图7 变换后的频谱图

对比图7可知，中心化频谱图呈四周发散状态分布。本文作者选用卡尔曼滤波进行滤波再处理，最后对滤波后的图像进行反变换将其转换为空间域，实现对工件原图像干扰的降噪与抑制。

3.3 模型求解

对采集到的图像进行ROI提取、圆拟合及滤波处理后，建立工件的定位模型。采用基于小步长天牛须的算法对建立的模型进行求解。

3.3.1 小步长天牛须算法

天牛须算法也被称为甲壳虫搜索算法，于21世纪20年代由LI提出的一种启发式新型算法。该算法是LI受到天牛觅食原理启发而探索出的一种智能算法,以进行最优化的求解策略。但是，由于天牛须算法最初采用的步长值是固定值，这使得在进行全局搜索过程时适应性较差，导致效率较低，并且精度不高。针对此问题，本文作者采用改进的小步长天牛须算法，达到对滤波后的图像进行小步长精细化的搜索，将两者结合有效保障算法在效率、精度与速度之间的平衡。

3.3.2 改进的算法流程

步骤1：对滤波处理后图像进行数据提取；

步骤2：初始化改进的小步长天牛须算法参数；

步骤3：求解左、右质心坐标值：

(10)

(11)

其中：为天牛左坐标；为天牛右坐标；为左右之间的距离；为初始值；

步骤4：引入价值函数：

=()

(12)

=()

(13)

步骤5：由小步长改变策略求解下一个质心点坐标：

(14)

其中：为变化参数；为步长值。

步骤6：求解是否满足结束条件；若满足，迭代结束；否则返回，继续进行迭代计算。其具体执行流程如图8所示。

图8 算法实现执行流程

4 实验验证与结果

4.1 实验环境及参数配置

此实验中硬件配置环境为Windows10运行系统、Inter(R)Core(TM)i5-5200U CPU、频率为2.20 GHz、RAM为8 GB的PC机。系统软件是基于Vision Master环境开发的，PLC采用SIEMENS的S7-1200，选用多台ABB机器人相互协作进行实验研究。

4.2 实验数据处理与分析

为验证所涉及算法的合理性，针对相机采集图像进行补光、滤波、降噪处理和最终的工件定位实验，实验环境基于Vision Master平台进行开发，具体实施流程如图9所示。

图9 平台实施流程

具体流程:(1)对相机采集图像进行干扰降噪处理；(2)图像边缘处使用Sobel算子进行直线查找；同理，在其他边缘处也采用相同方法求解；(3)为精确检测到每个工件的中心坐标值，将改进的小步长天牛须算法引入脚本中，以对每一个工件坐标值进行精确搜索及计算；(4)用卡尺工具验证工件的实际中心坐标值；(5)将所有处理完成的数据发送至服务终端。

实验中选用6组不同型号、规格的机械零部件进行定位、装配实验，并计算其装配误差，各样本的求解数据如表2所示，改进前后定位检测效果如图10所示。

表2 样本采集数据

图10 定位检测示意

由图10(a)可看出:求解的工件定位点分布在工件边缘的两侧，且分布不均匀，明显偏移边缘中心。由图10(b)可以观察到：此时每个工件计算定位点都在其边缘左、右倾斜线中点处。这样不仅可以保证实现工件定位的准确性，同时也将有效减小装配导致的可能误差。

为了验证算法定位策略的准确性，针对理想情况下、改进前及改进后3种情况，对样本进行大于100次的测试实验，记录实验数据，选取具有代表性的20次数据结果，并由MATLAB进行数据统计，结果如图11所示。

图11 数据对比统计结果

由图11可知：该图像检测定位算法可有效求解出工件定位中心坐标值；从准确率上来讲，其精度达到98.57%以上，误差控制在1.5%以下，满足实际装配工艺要求；从效率上来讲，可节约大量时间及劳动力，极大地提高生产效率。总体上来说，该算法满足实际加工工艺装配精度需求，可缩短生产周期，提高装配效率，具有较高的准确性及可靠性。

5 结语

本文作者为解决工件在装配中定位误差问题，提高生产中装配效率，提出一种采用机器视觉技术对工件进行精确定位的方法。首先，对相机采集到的图像进行最小二乘圆拟合ROI提取，使用Sobel算子对其边缘进行处理；为抑制背景的干扰，采用傅里叶正反变换进行滤波处理，并建立工件定位数学模型；最后，采用改进的小步长天牛须算法对其模型进行求解。基于Vision Master平台开发环境，搭建了不同算法脚本。对比不同型号、不同类别工件检测定位出的实验数据，结果表明：所提出的系统定位策略可有效提高定位的精度，误差可控制在2%以下，满足实际装配需求。