应用于手机玻璃丝网装配的高精度视觉在线测量方法研究

钟浩，楼佩煌，翟晶晶

(南京航空航天大学 机电学院，江苏 南京 210016)

0 引言

近年来，各类消费电子产品发展迅猛，推动了电子制造业的发展。智能手机作为电子产品中的典型代表，其快速的普及也使得智能手机的出货量一直居高不下。然而在目前国内手机装配行业中，人工装配占据了很大比例。为了提高装配质量和效率，并且在我国经济转型和人力成本提高的大背景下，机器人装配结合视觉检测定位已是大势所趋[1]。

在机器视觉装配方面，国内外学者已经做了很多研究。日本电气工程大学微系统应用中心为Miniwalker设计了CCD全局定位系统和视觉高精度定位系统：CCD全局定位可实现4 mm的定位精度；显微视觉系统为机器人提供更高的视觉测量精度，用于指导机器人完成精密作业任务；东南大学研制的基于双目视觉的YPJ-1机器人系统，双目立体视觉测量装置通过连杆结构的摆动，改变CCD传感器的视觉中心俯角。通过对机器人双臂的视觉协调，实现了两种零件间的孔-轴装配作业[2]。

对于手机配件装配的视觉检测，冯锴在金属手机外壳视觉尺寸测量算法研究中，将金属手机外壳边缘提取与ROI(感兴趣区域)设置相结合的方法，更加精确地提取重要的轮廓图元[3]；王盼设计出一种基于相关系数进行改进的复合匹配算法，实现测量过程中的图像匹配，再对匹配之后的图像进行 Hough变换，拟合出直线，根据直线的坐标信息求出测量的结果[4]；刘杰提出在标准区域内H与S通道图像的灰度分布特征为模板，自动匹配待测图像感兴趣区域，而后通过Canny提取目标边缘并拟合直线[5]，虽基本满足实际生产要求，但依然有提升空间。

手机玻璃丝网组件一直是手机生产制造过程中重要的配件之一，其装配过程中玻璃上安装位置的角度和中心位置以及丝网位置度的测量和定位一直是一大难题。针对玻璃丝网在线检测装配生产线，本文提出一种高精度、快节拍的视觉在线检测方法。

1 手机玻璃丝网装配视觉检测关键技术

1.1 问题描述

为了将图1中标号②听筒丝网的U形凸起放置并使其嵌入屏幕玻璃的标号①处的U形孔中，如图2所示，需要通过相机采集二者的装配位姿图像，通过图像处理并计算出装配弥补参数以保证装配系统可以精确地进行装配，并且满足生产环境下的高精度和高速率的要求，故需要设计出一种精度高、速率高的检测方案。

图1 玻璃丝网装配示意图

图2 装配完成的实物图

1.2 装配总体方案

为了将玻璃固定，将屏幕玻璃固定至夹具上，下方放置CCD相机并结合PLC将CCD移动至既定位置，以便之后对玻璃U形孔进行图像采集。机械臂以固定姿态吸住听筒丝网移动至另一台CCD相机上方，以进行下一步的图像拍摄；采取合适的光照方案，对图像特征进行采集；图像采集之后，针对采集的图像，通过预处理、边缘检测和图形拟合的方法，计算出听筒丝网U形孔的位置度和中心位置以及丝网位置度和中心位置，从而得出装配弥补参数；最后将上述计算出的参数传输给装配系统，装配系统将上述参数作为装配偏差弥补值以引导控制机械手将听筒丝网嵌入屏幕玻璃的正确位置。

2 系统光照方案研究

本文选取3种常用于凸显零件边缘的光照方案进行对比实验，通过比对实验效果图选取合适的光照方案。3种光照方案分别是环形光源背光照明、同轴光源正向照明和同轴光源背光照明。光照方案实验结果如图3所示。

图3 光照方案实验结果图

由图3的实验结果可以看出，同轴背光照明的光照方案下获取的听筒丝网采集图的边缘灰度值变化更明显，即边缘更明显，并且边缘噪声更少。而本课题的测量特征信息为对象的轮廓边缘，应选用能较大程度凸显物体轮廓形状的同轴背光照明方式。

3 视觉测量

3.1 图像预处理

在对图像进行边缘提取之前，需要对图像进行预处理，去除图像中的噪声并提高图像对比度，从而突出图像的边缘部分，为后续的边缘提取提供基础。本文采用二次滤波的方法，即滤波-锐化-滤波，进行图像预处理。滤波的方法选取中值滤波，该滤波方法是一种线性的平滑技术，可以有效地去除图像中的随机黑白噪声[6]。

滤波之后的图像锐化处理，可以突出图像的信息，使图像的轮廓线、边缘等细节更加清晰。原始图像和经过二次滤波后的预处理效果如图4所示。

图4 图像预处理前后的对比图

3.2 边缘检测

经过图像预处理之后，图像的轮廓线、边缘等细节都更加清晰，为之后的边缘检测提供了便利。考虑到采集过程中需要考虑噪声的影响，虽然图像预处理中的二次滤波有效地去除了图像的随机黑白噪声，很大程度上优化了图像中的噪声，但依然会残留些许的噪声点。因此，需要结合实际视觉测量系统测量环境下工业相机获取到的被测物体的几何特征图像，对多种边缘检测方法进行实验和分析，从而选取合适的边缘检测方法。

常用的边缘检测算子包括Sobel梯度算子、Laplace算子、Canny算子，本文针对玻璃丝网视觉测量，用以上3种方法在玻璃丝网检测中进行了实践性实验，3种方法检测后的图像效果图如图5所示。

由图5可以看出，3种检测算子中，Canny算子基本排除了噪声污染，而另外两个算子的边缘依然会有比较突兀的凸点；而且从边缘的平滑角度来看，Canny算子拟合的线段最为平滑，另外两个算子拟合出的线段断点较多。故边缘检测选用Canny算子进行边缘提取。

图5 常用的边缘检测算子实验对比图

3.3 装配参数计算

经过图像边缘提取步骤后，获得清晰的边缘轮廓图像，利用这些边缘信息并结合图像处理的一些方法，从而计算出最后传输给装配系统的装配参数。要想最后获取到坐标和角度参数，需要对这些边缘进行直线的拟合。常用的几何拟合方法有Hough变换和最小二乘法这两种。但由于实际生产线需要实现快节拍，因此对速率也有较高的要求，而最小二乘法在计算时间上相较Hough变换有较大的优势，故选取最小二乘法来实现边线拟合这一过程。

1)听筒丝网参数的计算

得到经过边缘检测处理后的图像后，使用最小二乘法对听筒丝网的矩形边缘进行直线拟合。拟合后得到丝网矩形4条边的直线方程，如图6(a)中的f1(x)、f2(x)、f3(x)、f4(x),并通过这4条直线，两两求取交点，求得4个矩形顶点坐标；并根据4个矩形顶点坐标求得矩形中心点坐标，该坐标便是装配中心坐标。

选定一条直线的表达式方程，如图6中的f1(x)，计算出该直线与本图像水平x轴的角度差。最终的直线拟合和参数计算结果图如图7所示。

图6 丝网装配参数计算示意图

图7 丝网装配参数计算结果图

2)屏幕玻璃参数的计算

图8 玻璃装配参数计算示意图

图9 玻璃装配参数计算结果图

4 实验及分析

4.1 视觉检测实验平台

手机玻璃丝网装配在线视觉测量系统的实验平台主要由图像采集系统和图像处理系统两个部分组成。图像采集部分主要由工业相机和光源组成，上文已经详细地叙述了光源的选型以及照明方案。图像处理系统分为硬件部分和软件部分，硬件部分是由工控机组成，软件部分则是Visual Studio中的MFC结合Visionpro组成的软件平台。

4.2 实验结果及分析

本文通过玻璃丝网在线视觉测量系统的实验平台，并且结合上文研究讨论得出的视觉检测方法流程，对检测效果进行实验验证。实验内容为：对同一场景下的同一块玻璃和丝网进行10次重复视觉测量，并记录每次的测量数据，然后将测量数据进行分析，验证测量精度和测量速率是否满足实际生产要求。

实验结果见表1，表中的X1、Y1和θ1表示通过测量后听筒丝网的装配参数值；X2、Y2和θ2表示通过测量后屏幕玻璃的装配参数值。

表1 屏幕玻璃和听筒丝网装配测量实验结果

由表1可以得出，本次实验的最大标准差为0.016 4 mm，最大极限误差为0.030 2 mm，平均检测速率为314 ms/件，而实际生产中要求的检测精度为0.05 mm，检测速率为500 ms/件，故精度和速率符合实际生产要求。

5 结语

本文针对手机装配线中屏幕玻璃和听筒丝网的装配以及实现装配的自动化和智能化，提出了手机玻璃丝网装配在线视觉检测方案。完成了视觉测量系统的设备选型以及光源成像方案，并设计了手机玻璃丝网的视觉检测流程，研究并讨论了图像预处理方案、边缘提取方法以及尺寸测量的模型与方法，提出了一种应用于屏幕玻璃和听筒丝网装配的在线测量方法。最后将该在线视觉检测方法应用于玻璃丝网在线视觉测量系统的实验平台，针对测量得出的装配弥补参数以及测量速率进行了实验和分析。由实验结果可得出，其综合检测误差和检测速率均满足实际生产线在线检测的精度和实时性要求。