基于图像处理的工业生产手机屏幕裂纹检测

夏庆凯，于大泳

（200093 上海市 上海理工大学）

0 引言

现如今科技的发展日新月异，我国的工业化进程在科技浪潮中朝着智能化的方向前进，机器视觉在这股潮涌中应运而生，并得到飞速的发展。许多企业在研究如何利用机器视觉技术提升生产效率，在改进技术方案的同时降低生产成本并改善产品质量。由机器视觉来代替人体视觉实现各种检测功能，在当今社会有着巨大的研究价值。随着通信技术飞速发展，人们早已迈入信息化时代，手机作为最方便的通讯设备，已化身为人们的生活助手，不可或缺。手机屏幕作为最重要的信息输出部件，承担着人机交互的功能，它的质量好坏直接影响用户的体验，因此在手机的生产过程中，屏幕的质量检测至关重要。

手机屏幕的发展，从黑白到彩色，再到现在的Retina 高清显示屏[1]，厚度在逐渐变薄，集成的功能也越来越多，与此同时生产工艺越来越苛刻。液晶屏在生产过程中容易受到技术、环境以及设备的影响，由此会产生很多缺陷，例如坏点、脏污、坏线等，次品率居高不下，如何快速有效地检测出这些缺陷品，不仅可以提高检测效率，而且可以使生产厂商及早进行工艺改进，防止残次品流入市场。目前，大多数生产厂商仍然在使用传统的人工检测方法，由操作工人在操作台上，通过借助特殊光源或者放大镜等仪器，依靠人眼的主观判断来对缺陷进行检测。这种人眼检测方式带来很多弊端：（1）检测结果不稳定。人工判断，主观因素占很大成分，缺乏客观有效的评价标准，造成检测结果不可靠；（2）效率低下且成本高。人眼来识别，长时间会产生视觉疲劳导致出错，同时人工成本也越来越高。

智能制造、人工智能等先进理念的基础核心技术和装备不断进入工业生产中，促使生产自动化程度越来越高，自动化生产线的升级改造，发展趋向于智能制造系统。与此同时，机器视觉等方面的发展也是更加迅速。机器视觉是在20 世纪出现的新型技术，其在将近50 年的发展期间，机器视觉技术迅速从理论转换为实际应用，机器视觉技术被普遍应用到医学图像处理、场景三维重建、自动导航等领域，例如，机器视觉在人脸识别上的应用以及车牌识别等。机器视觉应用到工业自动化生产上可以提高工业生产效率，复用性高。

1 系统原理

通过图像采集设备对图像进行采集[2]，采集设备包括CCD 相机、光源等。其中光源的选择，考虑到光源的使用寿命以及稳定性，选择LED光源，其他常用光源如荧光灯、卤素灯等都存在较大不足，不适合用在工业用途。而CCD 相机是目前市场上较为成熟的一款用于工业生产的相机，其在图象格式、分辨率、敏感度等各个方面都有着广阔的选择空间，能基本满足使用要求，综合成本、性能等要求。本文最终选择MVEM120M 这款CCD 相机作为工业生产过程中流水线上手机屏幕图像的采集器。对手机屏幕图像采集检测的流程如图1 所示。

图1 手机裂纹缺陷检测流程Fig.1 Mobile phone crack defect detection process

在进行检测时，我们通过对调整LED 光源照射的位置以及距离来使得所采集的图像尽可能没有光差，通过调节CCD 相机的位置来使得无论手机处于哪里都能被采集，从而达到最佳的手机裂纹图像的采集状态。之后，对流水线上的手机屏幕进行图像采集，对图像进行位置校正，图像滤波、二值化等处理后，通过图像差分，综合对图像裂纹缺陷的特征分析，对所采集的手机屏幕图像进行有无裂纹缺陷的判断。

2 图像预处理

由于采集环境的影响，所采集的图像存在很多噪声，其中大多数是因为摄像机的限制，所以我们需要对图像进行去噪处理。去噪的方法有高斯模糊、中值滤波、双边滤波等。几种滤波方法的具体效果图如图2 所示。

由图可见，高斯滤波对高斯噪声起到了抑制作用，同时图片变得模糊，且边缘保持比较差，不能获得良好的边缘滤波效果，总体效果不是很好；中值滤波比较清晰，大多数噪声都能被抑制，但是有很多细节被忽略，存在着弊端；双边滤波效果很好，对边缘细节的保留效果比较好，但是对于噪声过滤效果比较一般，同时又因为其算法的特性，导致运算速率比较慢，并不适用于工业生产的环境中。所以综上考虑，我们选择中值滤波来处理图像噪声。

图2 几种滤波方法效果图Fig.2 Effect diagram of several filtering methods

3 图像校正

由于工业生产过程中，生产好的手机屏幕在流水线上的摆放是随机的，其中包括角度和位移误差。这样，对后续图像处理带来了困难，所以我们需要对图像进行校正。我们采用控制点变换方法[3]，该方法需要两个独立的算法。首先需要通过控制点变换来定义空间变换本身，用它来描述每个像素如何从初始位置“移动”到终止位置，即每个像素的“运动”过程；同时还需要一个用于灰度级插值的算法，用来产生一个能保持连续性和连通性的光滑映射。插值方法有最近邻插值、双线性插值、高阶插值。其中双线性空间的一般表达式如下：

式中：u，v——输出图像的像素点的坐标；x，y——输入图像的像素点的坐标；A，B，C，D，E，F，G，H——控制点变换系数。

控制点算法的原理图如图3 所示。

图3 控制点算法Fig.3 Control point algorithm

由图3 可知：控制点算法通过空间映射来校正图像。通过选取四边形的4 个顶点，再映射到相应的矩形顶点上，而输入图像四边形内部的像素点则通过控制点算法一一映射到对应矩形内部的像素点上。输出图像的大小，我们选择基本与模板图像大小一致，所以输入输出图像给定。可将式（1）、式（2）变形写为矩阵形式：

对于控制点的选取，遵循其中任意3 个点不在同一直线上即可。通过选取4 个控制点，就可以得到 8 个线性方程，最终可以解出8 个变换参数。双线性插值的公式如下：

即1 个像素点的灰度值要由输入图像中的空间变换点相邻的4 个像素点的灰度值共同决定。

校正结果如图4 所示。

图4 控制点算法校正结果Fig.4 Control point algorithm correction results

4 模板匹配

我们将手机屏幕裂纹缺陷图像校正后存在着一个问题，校正后的图像必定和无裂纹缺陷的标准模板图像之间存在着大小差别，且由于相机的拍摄角度原因，相机拍摄的图片大小与模板之间也会存在大小误差，所以还需要对模板图像和缺陷图像再进行处理。其中，处理的流程是通过Canny 边缘检测将手机黑色屏幕部分的轮廓线找出，再将其剪辑出，对剪辑出的缺陷图像和模板图像进行图像处理，灰度化、去除噪声、统一图像大小等，最后通过图像差分算法去掉两幅图中相同的部分[4]，所剩的就是裂纹缺陷[5]。所采集到缺陷图像如图5 所示，用来与缺陷图像做匹配的模板图像如图6 所示。

图5 缺陷图像Fig.5 Defect images

图6 模板图像Fig.6 Template image

由图可以发现，两个图像之间不仅图像内手机大小存在误差，整个图像大小也不一致。

我们对于手机屏幕裂纹检测主要是对中间黑屏部分进行检测，同时对模板图像进行Canny 边缘检测，可以发现一个现象，如图7 所示。

图7 模板原图与边缘检测Fig.7 Template original and edge detection

由于图片的背景是白色，且实际需求是中间屏幕，Canny 检测正好可以检测出整个黑屏的边缘，所以可以通过轮廓提取将整个屏幕黑屏提取出来，如图8 所示。

图8 模板屏幕和裂纹屏幕Fig.8 Template screen and crack screen

由于模板屏幕和裂纹屏幕的外观都是长方形，可以通过调整图像大小使得两张图的大小一致，通过获取模板图像大小使得裂纹图像和模板图一样大。

对两幅图像进行图像处理，其中包括灰度化处理，去除噪声处理，即中值滤波以及调整图像大小，最后进行图像差分处理。图像差分实际上是对图像像素点的相减运算，是把相似景物的图像或同一景物不同时间拍摄的图像进行相减处理，前提要求是被处理的两幅图像大小一致，即分辨率相同，从而像素点一一对应相减。图像差分的数学表达式如下：

式中：A（x，y），B（x，y）——输入图像；C（x，y）——输出图像。

差分法可以除去图像中相同的场景，检测同一场景不同时间段的变换等，但是前提条件是必须两幅图像大小一致。本文通过Canny 边缘检测绘制轮廓长方形，并截取手机黑屏部分，对手机模板和缺陷图像之间做了比较[6]。缺陷图像和模板图像通过差分处理后的结果如图9 所示。

图9 图像差分结果Fig.9 Image difference result

综上，我们可以检测出工业生产过程中手机屏幕存在裂纹的残次品。

5 结论

本文针对工业生产过程中手机屏幕裂纹缺陷检测，提升了手机裂纹缺陷检测的速度，改变了目前人工检测手机裂纹缺陷的现状。通过光学成像原理，利用LED 光源以及CCD 相机对流水线上的手机裂纹缺陷图像进行采集，并通过中值滤波、去除噪声，再通过控制点算法对其进行角度位置的校正，用Canny 边缘检测提取手机内屏轮廓，从而提取手机内屏的外观图像，并对其进行图像大小统一，使其与模板图像大小一致。最后，通过图像差分，去除缺陷图像与模板图像中相同的部分，并得到裂纹缺陷。本文的检测速率较快，能有效识别手机裂纹缺陷图像。对该系统的研究，不仅能够检测手机裂纹缺陷图像，其他类型的缺陷也能检测，为下一步的缺陷分类提供了参考依据。