基于机器视觉的手机玻璃丝印在线检测方法研究
2021-03-02
(成都天奥测控技术有限公司,成都 611731)
手机玻璃是对触摸屏的测控模组、显示屏进行保护的透明或丝印镜片。玻璃在生产过程中经过研磨、抛光工序后,还需利用全自动丝印、移印对玻璃进行深加工处理,增加其油墨区显示功能。由于丝印环节加工精度高、工艺难度大,并且客户对玻璃外形尺寸、内部孔径、油墨均匀度、贴合面对位线以及LOGO的印刷质量有严格的要求,因此玻璃在生产工程中需要检验人员定时从流水线中取出玻璃,进行品质抽检,但是人员抽检的效率较低,容易有混料、漏印、缺印等缺陷产品。
本文提出基于机器视觉的检测方法,该方法作为非接触式表面检测的技术具有速度快、精度高的特点,可以对生产过程中的产品缺陷进行实时检测和标记报警,从而帮助操作人员及时发现缺陷品,杜绝缺陷品流入下道工序。检测与现有生产线节拍匹配,较人工检测具有效率高、标准统一、不污染产品、能持续工作等优势。
1 检测流程设计
手机玻璃经过丝印工序后,按序放置于料盘托架上,然后经传送皮带运输到垛料区,每个料盘上有10 片玻璃放置位。本文采用检测方法是在皮带运输路径中加入在线检测系统。首先通过图像采集系统获取料盘图像,然后处理计算机分割提取出玻璃进行图像检测,检测出的缺陷产品用标记机标注红色油墨,并通过报警灯提醒机台人员挑选出相应产品。
其中图像采集系统包含检测台、相机、光源等部件,采用大靶面光源对料盘产品进行清晰照明,采集过程如图1所示,料盘经过拍摄位置时触发工业线阵相机采集产品图像,然后通过计算机计算输出处理结果。
图1 图像采集系统Fig.1 Image acquisition system
2 具体检测算法设计
通过图像采集获取料盘图像数据后,还需进一步分割出单片玻璃图像。通过预设的2*5个单元格坐标范围分割料盘图像,然后检测算法对每片图像进行预处理、旋转和平移校正、霍夫曼匹配检测、模型相似度度量等步骤,以此对产品缺陷进行检测和质量评估。
2.1 图像预处理
单片玻璃二维图如图2(a),三维图如图3(a)所示,因为底部有托架干扰,侧壁有料盘架和光照角度引起的阴影,在直方图分布上不呈双峰的图像,并且图像上有较多毛刺和凸起区域,将严重影响图像分割的效果。如果采用基于一阶微分的多尺度边缘检测Canny算法[1],需要选用较大的滤波尺度,会丢失边缘细节。使用改进的Otsu 法[2]自动获取分割阈值,仍存在背景区分不开的缺点。
本文采用中值滤波、多段阈值、以及小连通域滤波的方式进行处理。中值滤波[3]相较于高斯滤波更能够抑制孤立的噪声点,且不破坏图像的边缘信息,然后根据玻璃成像上从头到位变亮的趋势,采用多段阈值的方式进行阈值处理,设上中下三段阈值,假设三段的纵坐标从上到下为d1、d2、d3,那么三段的阈值Th(y)分别为T1、T2、T3,如式(1)所示:
每一段阈值处理后图像拼接如图2(b),三维图如图3(b)所示,可以看出通过多段阈值处理后图像中消除背景干扰较为干净,但是还存在少量较为接近的背景干扰,这部分干扰特点都是小型连通域,通过连通域面积衡量的方式进行滤除。连通域算法采用八邻域的行程标记算法[4],通过定位连通区域的内外轮廓来标记整个图像。算法步骤如下:
(1)逐行扫描图像,每行连续白色像素组成一个序列,记录起点、终点以及行号;
(2)当前行与上一行所有序列都没有重合区域则赋予一个新的标号,如果有重合区域则这几个序列的标号写入等价对;
(3)遍历所有等价对,将相同标号转换为等价序列,填入标记图像中。
连通域滤波后图像如图2(c)所示,背景残留区域已经全部清除。计算连通域的内部和外部最小外接矩形的长、宽,与产品标准进行比对,满足则为正常产品,不满足为混料。
图2 单片玻璃二维图Fig.2 2D diagram of single glass
图3 单片玻璃三维图Fig.3 3D diagram of single glass
2.2 旋转和平移校正
产品因为放置和移动中颠簸,在图像上有倾斜和形变的变化。需将产品校正到图像中央,建立统一的参照系方便后续对检测玻璃和标准模型进行比对。假设画布长h,宽w,玻璃中心坐标(x0,y0),与纵轴倾斜角度α(右倾斜为正,左倾斜为负)。假设玻璃上某一点坐标(x,y),经过旋转和平移变换计算后,新坐标(x′,y′)。按式(2)对图像坐标进行遍历运算得到校正后的图像参与检测。
2.3 霍夫曼匹配检测
产品上IR 孔、摄像孔是圆形结构,可以通过霍夫曼变换快速找出圆形信息检测。根据霍夫变换检测圆的数学原理[5],圆上任意一点的极坐标可以表示为式(3)。假设圆中心像素点p(x0,y0)已知,圆半径r预先录入已知,则旋转360°由极坐标方程可以得到每个点上的坐标。同样,通过图像上像素点和圆半径信息,旋转360°后中心点处的坐标值必定最强。
把图像每个白色像素点转换到极坐标对应圆的中心极坐标强度累计,在极坐标空间中,对强度值归一化后寻找强度最大的点,即为圆形中心点。然后根据极坐标的R值与输入参数(圆的半径)相等,寻找2D 空间的像素点。返回结果2D 空间像素集合即找到的圆形。计算圆内部灰度的最大值、最小值以及平均值,再结合圆心位置坐标、半径等参数,与模板参数进行比对,如果满足则为正常产品,不满足判为缺陷品。
2.4 模型相似度度量
产品上的对位线、Logo 字符等信息采用模型比对方法检测,检测流程如图4所示。录入部分模型,根据连通域的长、宽、圆形度、矩形度、内部亮度建立模型数据;然后把目标检测区域当做是整个一连串的轮廓集合,经过阈值处理和形态学闭操作分离出独立的信息;接着将信息与模板进行比对。
图4 模板比对流程Fig.4 Template comparison flow chart
评价图像相似度方法中,欧式距离度量方法[7]较非几何相似性度量和统计学方法能够有效地缩短时间。Minkowsky Distance(闵可夫斯基距离)是基于范数Kp定义的,如式(4)所示,其中检测图像为A,模板图像B,Kp(A,B)表示两者之间的距离,x 和y表示两幅图的特征向量,
若p=2,那么其距离为欧式距离,当两者之间的欧式距离最小时,相似度最高,如若满足判定条件则录入数据库,对模型参数进行补充,参与后续检测。如果超出模板允许范围的认为是产品缺陷异常。
3 软件设计及实验分析
用Visual C#语言编程设计在线检测软件,所用计算机软硬件配置为:处理器为Intel Core I7-6700;主频为3.4 GHz;内存为16 GB;操作系统为Microsoft Windows 7。检测软件界面如图5所示,包含了图像显示区,按钮操作区以及检测结果列表。当检测出错误时,软件会使用红叉/红框标记错误区域,如图6所示。
图5 检测软件界面Fig.5 Test software interface
图6 错误区域标记Fig.6 Error area mark
为了验证方法的有效性,设计比对实验。选取合格品和几类不合格品各100 片进行检测,试验统计结果如表1所示。
表1 比对试验统计表Tab.1 Statistical of comparative test
分析结果表明,经过批量产品测试,该方法检测正确率100%,单个料盘通行和检测时间仅仅需约2 s,而人工检测约140 s,该方法是人工效率的70倍,且具有稳定性和高鲁棒性的优势,符合工业生产的检测需要。
4 结语
本文以丝印后的手机玻璃为研究对象进行在线检测方法的研究,提出手机玻璃丝印在线检测方法,采用机器视觉成像平台和软件算法设计得出检测结果,实验结果表明该方法相较于人工检测具有检测准确、快速的优势,从而为手机玻璃在线检测应用提供了参考经验。