基于轮廓修补和图像差分的手机玻璃盖板表面缺陷检测

吴闯 于大泳

摘  要：由于手机玻璃盖板每年出货量大，易产生表面缺陷，采用人工检测，效率低，同时传统表面缺陷检测算法精度不高。为此，本文在研究了其他表面缺陷检测领域的图像处理算法后，提出一种基于轮廓修补和图像差分的手机玻璃盖板表面缺陷检测算法，相较于传统的图像差分法，无须做图像配准处理，大大提高了算法的稳定性。在对原图像进行自适应中值滤波和ROI区域提取后，应用本文提出的算法进行检测，结果表明，手机玻璃盖板表面常见的点、线类缺陷都能被快速正确地检出。

关键词：玻璃盖板;自适应中值滤波;轮廓修补;图像差分;缺陷检测

中图分类号：TP391     文献标识码：A

Abstract： Due to the large sales volume of mobile phone glass covers， which are prone to surface defects， the using of low-efficient manual detection leads to the fact that the accuracy of traditional visual surface defect detection algorithm is not high. To solve the problem， this paper proposes a surface defect detection algorithm for mobile phone glass covers based on contour repair and image difference after studying image processing algorithms in other areas of surface defect detection. Compared with the traditional image difference method， no image matching Quasi-processing greatly improves the stability of the algorithm. After adaptive median filtering and ROI region extraction of the original image， the algorithm proposed in this paper is used for detection. The results show that the common points and line defects on the surface of the mobile phone glass cover can be quickly and correctly detected.

Keywords： glass cover; adaptive median filtering; contour repair; image difference; defects detection

1   引言（Introduction）

智能手机屏主要由显示模块、触控模块、玻璃盖板三部分组成。玻璃盖板作为智能手机屏最外层，起着保护显示模块和增加手机美观度的作用。玻璃盖板需要经过一系列特殊的加工工艺，包括开料、CNC、抛光、超声波清洗、真空镀膜、钢化、丝印等，复杂的加工特性导致了不同种类缺陷的产生，其中常见的表面缺陷有划痕、裂纹、脏污、丝印不良、崩边等。按其形状可大致分为点缺陷、线缺陷、块状缺陷[1]。对于基数巨大的出货量，不合格产品的数量也会增多。目前对于玻璃盖板缺陷检测仍以人工检测为主，包括国内最大的玻璃盖板生产商蓝思每年都要投以千计的员工进行产品检测。过高的人力成本和人工检测的效率低下使基于机器视觉的自动光学检测系统（AOI）在工业检测领域得到了较好的应用，其核心组成部分有图像采集模块、图像处理和分析模块、数据接口和人机交互模块等[2]。其中图像处理和分析模块一直是表面缺陷检测领域中国内外研究学者的重点。而近些年，智能手机朝着全面屏化方向发展，玻璃盖板边缘黑墨部分越来越少，因此有必要开发出针对手机玻璃盖板表面特点的缺陷检测算法，以提高实时检测效率。

2   研究现状（Research status）

对于工业检测领域中一些复杂的表面缺陷，诸如手机显示模块表面、带钢表面等其他形状不规则的工件表面，研究人員分别从图像处理和图像识别的角度开发出了不同的检测算法。针对TFT-LCD和OLED复杂的纹理背景特点，常见的方法有基于傅里叶变换和小波变换的高频滤波，即通过高通滤波器滤除周期性的纹理背景以保留缺陷细节。然后通过提取图像背景和图像缺陷特征，利用支持向量机等常用机器学习方法对表面缺陷进行分类[3-6]，对于带钢表面缺陷，利用分块图像二值化和小波变换重构背景图像可以保留细微缺陷[7，8]。但对于手机玻璃盖板这样形状规则、对比度均匀、无周期性纹理背景干扰的图像，应用复杂的图像处理算法无法满足工厂流水线检测的实时性要求。而针对手机玻璃盖板及具有类似特点的表面缺陷检测相关文献较少[8]，Chuanxia J等人提出一种基于互信息配准的图像差影法，即事先选取几幅无缺陷图像求平均得出图像模板，再进行图像配准与待检测图做差，但图像配准不稳定会造成极大的误差[9]，Li等人利用主成分分析法对玻璃盖板表面刮伤、裂纹等缺陷进行缺陷识别和缺陷提取，但图像特征的计算量较大[10]，陈晓红利用最小外接矩形分割和粘连图像分割算法，提取出了图像的边缘区域，基于K-余弦和Blob分析法找出划痕和崩边缺陷[11，12]，Chengkan Zhang等人提出一种基于无监督学习的背景重构方法，即通过深度卷积重建带纹理的图像背景作为无缺陷参考图像，但需要大量的检测样本进行深度学习训练。

综上所述，手机玻璃盖板表面缺陷检测常见的方法有图像识别法、图像差影法、图像滤波法。考虑目前手机屏幕的全面屏、玻璃盖板黑边逐渐减少、无Logo文字等对缺陷检测算法的影响逐渐减少的特性，并且为了满足工厂检测的实时性，本文采用图像差分法，传统的图像差分法需要事图像配准，检测精度和实时性都不高，为此，本文提出一种基于缺陷轮廓修补的方法建立图像模板，无须图像配准进行差分，对常见的点、线类缺陷进行检测。

3   图像预处理（Image preprocessing）

3.1   自适应中值滤波

图像在获取传输阶段难免会受到随机噪声的干扰，会影响玻璃盖板表面缺陷的检测精度。为此，在缺陷检测前必须对原始图像进行噪声滤除处理。传统的图像降噪算法有均值滤波、中值滤波、高斯滤波等，其中中值滤波对保护图像细节和去除噪声效果较好，原理是预先自定义一个滤波器，对滤波器内所有像素灰度值按从小到大进行排序，领域中心像素值由排序好的灰度值序列的中值替代，但滤波器大小固定，如果噪声密度较大，则无法兼顾保护图像细节和去除噪声的目的。为此，本文选取自适应中值滤波器[14]，即通过噪声点灰度值与中值点灰度值进行比较动态的设定中值滤波器大小，以达到同时保护缺陷细节和排除噪声干扰的作用。具体算法步骤原理如下：

3.2   基于轮廓特征的ROI区域提取

待检测图像在经过滤波降噪和灰度化后，除了手机玻璃盖板需要检测外，周边还有多余的不需要检测区域，如图1（a）所示，如果保留这些区域，会增加计算量并且对缺陷检测造成干扰，所以必须对其进行ROI提取。

4  缺陷检测算法设计（Defect detection algorithm design）

4.1   缺陷轮廓修补

传统的图像差分法建立图像模板是事先选取几幅无缺陷图像求平均灰度值重构得到，在对待检测图像进行差分运算时，由于与图像模板是两幅不同的图像，像素坐标点相差很大，为此需要根据图像特征进行配准操作，但如果有一个像素点没配准成功，则会造成极大的检测误差，且建立图像模板和图像配准都是基于多幅不同图像进行操作，算法运行时间慢，无法满足工厂实时检测的要求。为此，本文直接从待检测图像对轮廓区域修补后进行差分，常见的图像修补算法需要遍历图像的所有像素值并计算梯度[16]，根据梯度值区分该点像素是否需要平滑处理，对于缺陷轮廓确实有良好的精确修补效果，但对大量的无缺陷区域进行计算，无疑会增加程序的运行时间。

考虑到目前的手机玻璃盖板轮廓边缘清晰，黑边区域少，无LOGO文字干扰缺陷检测的特点，本文基于缺陷轮廓对缺陷区域进行修补，其余部分不做修补。但缺陷区域通常为不规则的形状，如图3所示，像素点的坐标值无明显规律，因此无法直接按照缺陷区的像素坐标进行修补。

为此，本文考虑通过缺陷轮廓的最小外接矩形对缺陷区进行修补，即根据缺陷区域轮廓的最小外接矩形四个顶点的均值替代矩形内所有的像素值，采用四个顶点的均值作为替代值虽然与背景不能完全相同，但此时缺陷区的像素值完全不同于未进行修复时的像素值，修补后矩形内除缺陷区以外的像素值与背景值相差不大。但如何快速定位到缺陷轮廓的最小外接矩形区，通过计算图像所有轮廓区内的面积和轮廓长度，如表1所示，缺陷区的面积和长度相较于玻璃盖板的边缘轮廓而言都非常小，为此，本文通过找到面积和长度都很小的轮廓快速定位到待修补的最小外接矩形区域。

6   结论（Conclusion）

针对手机玻璃盖板表面缺陷人工检测效率低，本文在研究了大量表面缺陷检测算法的基础上，综合目前手机玻璃盖板全面屏化的特点，设计并改进了图像修补和图像差分算法，提出了一种基于缺陷轮廓修补和图像差分算法。检测结果表明，对于手机玻璃盖板表面常见的点、线类缺陷，都能精确检出，并且算法运行时间能够满足工厂实时检测要求，对于目前研究热点的表面缺陷检测领域具有一定的参考价值和实际应用价值。

参考文献（References）

[1] Zhi-Chao， Yuan， Zheng-Tao， et al. Vision-Based Defect Detection for Mobile Phone Cover Glass using Deep Neural Networks[J]. International Journal of Precision Engineering and Manufacturing， 2018， 19（6）： 801-810.

[2] 湯勃，孔建益，伍世虔.机器视觉表面缺陷检测综述[J].中国图像图形学报，2017，22（12）：1640-1663.

[3] Kwak， Jueun， Lee， et al. Automatic inspection of salt-and-pepper defects in OLED panels using image processing and control chart techniques[J]. Journal of Intelligent Manufacturing， 2019， 8（30）： 1047-1055.

[4] Uttwani， P. K， Villari， et al. Detection of Physical Defects in Full Color Passive-Matrix OLED Display by Image Driving Techniques[J]. Journal of Display Technology， 2012， 8（3）：154-161.

[5] Vishwanath A， Sindagi， Sumit Srivastava. Domain Adaptation for Automatic OLED Panel Defect Detection Using Adaptive Support Vector Data Description[J]. International Journal of Computer Vision， 2016， 122（2）： 1-19.

[6] 易松松.基于机器视觉的手机面板缺陷检测方法研究[D].哈尔滨工业大学，2016.

[7] 孙光民，刘鹏，李子博.基于图像处理的带钢表面缺陷检测改进算法的研究[J].软件工程，2018，21（04）：5-8.

[8] 刘伟嵬，颜云辉，李瞻宇，等.带钢表面缺陷在线检测系统的图像滤波算法[J].东北大学学报（自然科学版），2009，30（03）：430-433.

[9] Chuanxia J， Jian G， Yinhui A. Automatic Surface Defect Detection for Mobile Phone Screen Glass Based on Machine Vision[J]. Applied Soft Computing， 2016， 52（3）： 348-358.

[10] Li， Di， Liang， et al. Defect inspection and extraction of the mobile phone cover glass based on the principal components analysis[J]. International Journal of Advanced Manufacturing Technology， 2014， 73（9-12）： 1605-1614.

[11] 陈晓红.基于机器视觉的触摸屏玻璃缺陷检测方法研究[D].华南理工大学，2013.

[12] Chengkan Zhang， Zhengtao Shen， Fei Zhang， et al. A Fast Surface Defect Detection Method Based on Background Reconstruction[J]. International Journal of Precision Engineering and Manufacturing， 2019， 262（2）： 363-375.

[13] Liang L Q， Li D， Fu X， et al. Touch screen defect inspection based on sparse representation in low resolution images[J]. Multimedia Tools and Applications， 2016， 75（5）： 2655-2666.

[14] 王義文，屈冠彤，刘献礼，等.钢球表面缺陷的图像差分检测算法[J].计算机辅助设计与图形学学报，2016，28（10）：1699-1704.

[15] Liu P， Zhang J， Guo K. A Parking-Lines Recognition Algorithm Based on Freeman Chain Code[C]. 2015 7th International Conference on Intelligent Human-Machine Systems and Cybernetics （IHMSC）. IEEE， 2015.

[16] 安宗权，王匀.一种非线性扩散与图像差分的金属表面缺陷检测方法[J].表面技术，2018，47（06）：277-283.

作者简介：

吴  闯（1994-），男，硕士生.研究领域：图像处理，机器视觉.

于大泳（1977-），男，博士，高级工程师.研究领域：并联机构精度分析标定，电磁兼容.