基于FCN的TFT-LCD表面缺陷快速检测算法

欧先锋，晏鹏程，向灿群，张国云，吴健辉，涂 兵，郭龙源

(湖南理工学院 a.信息与通信工程学院；b.复杂系统优化与控制湖南省普通高等学校重点实验室，湖南 岳阳 414006)

基于FCN的TFT-LCD表面缺陷快速检测算法

欧先锋a,b，晏鹏程a,b，向灿群a,b，张国云a,b，吴健辉a,b，涂 兵a,b，郭龙源a,b

(湖南理工学院 a.信息与通信工程学院；b.复杂系统优化与控制湖南省普通高等学校重点实验室，湖南 岳阳 414006)

为克服TFT-LCD表面缺陷检测中边缘模糊、对比度低、图像中存在重复纹理背景等噪声的干扰，提出了种基于全卷积神经网络的端到端的快速检测算法。该算法能够通过感受域获取原图信息，并生成低对比度特征图，然后将低对比度特征图映射到高对比度特征图上，最后通过高对比度特征图上的感受域重构出高对比度缺陷图像，并将缺陷筛选出来。

表面缺陷检测；全卷积神经网络；深度学习；端到端；感受域

薄膜晶体管液晶显示器(Thin Film Transistor Liquid Crystal Display, TFT-LCD)作为一种功耗低、重量轻、亮度高、分辨率高的材料，已经广泛应用于监视器、笔记本、手机等领域。因其制造工艺复杂，TFT-LCD在制造过程中难免会受到噪声干扰而产生各种缺陷。这些缺陷具有边缘模糊、对比度低、图像中存在重复纹理背景和整体的亮度不均匀等特点，严重影响TFT-LCD的显示质量。基于机器视觉的表面缺陷自动检测是确保自动化生产产品质量的一个非常重要的环节，获取一种快速又精确的表面缺陷检测方法一直是许多学者的研究热点和难点[1]。张腾达等[2]提出基于二维DFT的表面缺陷检测算法，通过霍夫变换(Hough Transformation,HT)检测到代表线状纹理的高能量频域直线，将位于直线邻域内的频率成分置0，再经过二维IDFT进行空间域图像重构，来移除方向性线状纹理背景，最后经过简单的阈值算法将缺陷从背景中提取出来，该方法具有一定的实用性与鲁棒性。夏晓云等[3]提出一种基于MapReduce的分布式缺陷检测方法，在提高检测效率的同时也降低了缺陷的误判率。王宪保等[4]提出一种基于深度信念网络(Deep Belief Network, DBN)的深度学习缺陷检测算法，并应用于太阳能电池片表面缺陷检测中，该方法能较为准确、快速地进行缺陷检测。这些方法在低分辨率图像中通常能有效检测某一类型缺陷，但是当使用高分辨率图像时检测效果降低，且无法达到实时要求。为此，本文提出一种基于全卷积神经网络(Fully Convolutional Networks, FCN)的端到端TFT-LCD表面缺陷检测算法，首先将低对比度图像根据目标像素以及周围区域像素信息映射到低对比度特征图上，然后在低对比度与高对比度特征图之间进行非线性映射，最后利用高对比度特征图上的目标感受域重构出高对比度图像对应像素，整个模型的训练与测试均在Caffe深度学习框架下完成。

1 相关工作

1.1 全卷积神经网络

通常CNN网络结构在卷积层之后会连接若干层全连接层，将卷积层提取的特征图映射到固定长度的特征向量上，这种做法非常适合图像级的分类和回归任务，如AlexNet[5]、GoogleNet[6]、VGGNet[7]等。尽管CNN在图像级分类任务中取得了巨大成功，但经过全连接层后失去了图像的像素空间信息，在图像语义分割等像素级分类任务中无法展现出CNN的分类能力。鉴于此，文献[8]提出了FCN网络结构，如图1所示，将CNN的最后几层全连接层全部换成卷积层，由于卷积层中的神经元只与输入数据中的一个局部区域连接，并且在卷积列中神经元共享参数，因此卷积后的特征图能保存像素的空间信息，而FCN具备了对图像像素级分类的能力。CNN中固定长度的全连接层固定了输入图片的大小，而将全连接层转化为卷积层后解放了对输入图片大小的限制，因此，FCN在训练以及测试过程中能够更加灵活的处理数据。

图1 全卷积神经网络

1.2 缺陷检测流程

在工业生产中，对缺陷的检测通常包括如下几个步骤：在无尘环境下，首先从检测台垂直打光，获取包含缺陷以及灰尘的所有噪声分布图像；然后从侧面打光，获取检测屏上灰尘噪声分布图像；最后用垂直打光图像减侧面打光图像获得最终的缺陷噪声分布图像，如图2所示。

图2 缺陷检测流程

尽管打光能够获取噪声图片，但是噪声性质以及打光不均匀等原因，想要正确的检测出所有的噪声仍然具有很大的挑战，本文的主要工作内容是借助深度学习强大的特征提取以及表达能力来检测这些缺陷噪声，并通过实验来验证方法的有效性。并取得了非常好的效果，部分结果如图3所示。

图3 FCN缺陷检测结果

图3中矩形标记框为检测的正确缺陷点，椭圆标记框为检测的错误缺陷点，很明显感受域越小越容易过检，相反，感受域太大容易出现漏检。

2 基于FCN的缺陷检测

2.1 数据生成

实验使用的数据为高分辨率图像，原始图像是分辨率为6 500×4 500的单通道图像。为了训练FCN网络，采用局部动态阈值法为每个图像样本制作对应的标签，原图像中的缺陷噪声像素标签为1，非缺陷噪声像素标签为0，为了保证标签的准确性，最后对所有标签进行人工矫正，标签形式如图4中Ground Truth。实验过程中仅用了10张高分辨率图像，由于数据量少，直接用它训练FCN网络无法得到合适的网络模型，因此对数据进行了扩充。由分析可知，虽然这类缺陷噪声检测比较困难，但是类型相对单一，在这10张样本图中已经包含了所有的类型，且分布均匀，因此，借助切割、旋转、镜像等[9]手段将数据扩充为208 320个样本，分辨率为400×400。

(1)

根据式(1)，先将分辨率为W×H的样本切割为多个大小为w×h的图像块，其中stride为切割步长。当stride=100时，则1张分辨率为6 500×4 500的图像可切割成2 604张400×400的图像。切块后再对每张图片进行90°、180°、270°旋转以及上下、左右、对角镜像等8种变换。最后，10个6 500×4 500的样本扩充为了208 320个400×400的样本。样本生成后，均匀抽取160 000个样本作为训练集，40 000个样本作为测试集。

2.2 网络结构

在超分辨率图像重构工作中，文献[10]采用图4类似网络结构，并取得了非常好的重构效果。鉴于此，我们针对边缘模糊、对比度低、图像中存在重复纹理背景和整体的亮度不均匀这类缺陷噪声设计了FCN_21×21检测模型，如图5所示，像素信息获取阶段将针对原图像(低对比度)像素点以及周围区域信息生成低对比度特征图，非线性映射阶段将生成的低对比度特征图一对一映射到高对比度特征图上，像素重构阶段将根据高对比度特征图生成高对比度图像，这样就完成了从低对比度图像到高对比度图像的端到端映射。由于全卷积网络的特性，输入可以是任意大小的图片，根据样本信息，本文的输入图片大小为400×400，第一层为信息获取层，卷积核大小为21×21，为保证特征图大小为400×400，需要根据(kernelsize-1)/2对卷积图像进行补零处理，kernelsize为卷积核大小。第二层卷积为一对一非线性映射，卷积核大小为1×1。第三层为重构层，卷积核大小为21×21，同样需要补零处理。由于所处理的缺陷噪声比较单一，因此三层卷积分别使用了32、16、1个滤波器，不仅能有效检测缺陷噪声，而且能降低网络计算量。三层卷积映射关系如式(2)(3)(4)所示。

图4 FCN_21×21结构

F1(Y)=max(0,W1*Y+B1)

(2)

F2(Y)=max(0,W2*F1(Y)+B2)

(3)

F3(Y)=max(0,W3*F2(Y)+B3)

(4)

式中：*为卷积操作；Wi为i层的卷积核；Bi为i层的偏置。

在训练过程中，要确保经过参数θ={W1,W2,W3,B1,B2,B3}拟合出的结果与Ground Truth差异越来越小，采用平方均值误差作为训练损失函数，如式(5)所示。

(5)

式中：GTi为第i个输入对应的Ground Truth，n为训练样本数。在训练过程中，缺陷点像素值向255逼近，正常点像素值向0逼近，因此训练能够让缺陷点与正常点之间的对比度越来越大，如图5所示。在实际的训练过程中，我们会将所有的像素值归一化在[0,1]之间，检测完成后对结果进行二值化，得到最终的检测结果。

图5 FCN_21×21缺陷检测

3 实验与分析

3.1 实验条件

实验硬件平台为Dell 5500图形工作站，其基本配置为Intel Core i7-4710MQ四核处理器、NVIDIA M4000 8 G独立显卡、8 G DDR3内存，128 G固态硬盘；所使用的软件仿真平台为Matlab R2016a以及Caffe-windows版本。实验讨论了不同感受域对缺陷检测效果的影响，并与当前典型的表面缺陷检测算法在检测率、误检率以及检测时间上进行了对比。

3.2 感受域

表面缺陷检测通常存在4种情况，缺陷检测为缺陷、正常检测为正常、缺陷检测为正常即漏检、正常检测为缺陷即过检。设Rcd表示样本检测正确率，Rfa表示误检率，Nc表示实际漏检个数，Nd表示实际过检个数,N为实际缺陷点个数。则Rcd、Rfa可由式(6)(7)计算。

(6)

(7)

采用了11×11、21×21、31×31，3种不同的感受域FCN模型分别对低对比度缺陷、包含纹理背景图像缺陷、混合高密度缺陷这3种典型的缺陷进行了检测，检测结果如图6所示。

图6 不同感受域识别率

由图6可知，三种模型对低对比度缺陷噪声均具有较高的检测率，且误检率相对较低。当感受域较小时，对感受域内像素十分敏感，容易产生误检，如FCN_11×11模型对存在纹理背景的缺陷误检率较高。当感受域较大时，网络难以学习区域内有效特征，因此，FCN_31×31模型检测率较低。如图7所示3种模型对存在纹理背景的缺陷检测结果，其中绿色方框为实际存在缺陷部分，显而易见，感受域小误检率高，感受域大检测率低。根据图7所示的识别率分析可知，相比其它两种感受域模型，FCN_21×21模型采用了最佳感受域，它对三种缺陷均具有较高识别率，且误检率相对也较低，因此本文中使用该模型作为最佳模型。

图7 不同模型对包含纹理背景缺陷检测结果

3.3 算法对比

检测一张6 500×4 500的高分辨图像缺陷非常耗时，通常在工业生产中通常要使用高性能服务器作为检测设备以确保生产的实时性。而在本文方法中，图像被分割成400×400的图像块进行检测，这将大大降低对检测设备性能的要求。同时，将工业生产中常用的自适应阈值法、傅里叶变换频域检测法与本文方法进行了对比实验，结果如表1所示。

表1不同算法检测结果

表1中自适应阈值算法在检测率上偏低，鲁棒性差，但检测时间相对傅里叶变换检测算法要短。傅里叶变换法的检测精度相对较高，但由于傅里叶变换计算复杂，且需要设计好的滤波器模板来提高检测效果，所以比较耗时，当原图增大时其检测时间消耗迅速增长。本文FCN_21×21模型不管在检测率、误检率上均优于前两种算法，且检测时间最少，具有良好的时效性。

检测效果如图8所示，自适应阈值法很难检测出模糊边界的缺陷点，且当缺陷对比度低时，自适应阈值法检测效果同样不理想。傅里叶变换法对于对高对比度缺陷有较好的检测效果，但当缺陷边界模糊，且与周围区域对比度低时无法有效检测出缺陷点。FCN_21×21模型在缺陷检测中，能有效的检测出前两种方法检测不出的边界模糊且对比度低的缺陷，同时也能检测其他类型缺陷，具有非常好的检测效果，这些特点使其具有较好的潜在工业生产实际应用价值。

4 结语

检测率、误检率以及时效性是TFT-LCD缺陷检测中的重要指标。本文提出了一种基于FCN结构的端对端快速缺陷检测网络，利用深度学习强大的学习能力对缺陷点与非缺陷点进行像素级分类，在检测率、误检率以及时效性上都取得了显著效果。当前在深度学习领域还存在许多表现优异的网络结构，在接下来的研究中，将会借助这些结构来优化算法，进一步提高检测率以及稳定性。

[1]罗菁,董婷婷,宋丹,等. 表面缺陷检测综述[J]. 计算机科学与探索,2014(9):1041-1048.

[2]张腾达,卢荣胜.自动周期选取的DFT方法在TFT-LCD平板检测中的应用[J].电子测量与仪器学报,2016(3):361-373.

[3]张腾达,卢荣胜,张书真.基于二维DFT的TFT-LCD平板表面缺陷检测[J].光电工程,2016(3):7-15.

[4]夏晓云.基于MapReduce的液晶屏缺陷检测技术研究[D].合肥:合肥工业大学,2016.

[5]KRIZHEVSKY A, SUTKEVER I, HINTON G E. Image net classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012: 1097-1105.[6]SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutions [C]//IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society,2015:1-9.

[7] HE K,ZHANG X,REN S, et al.Deep residual learning for image recognition[J].IEEE Computer Society,2016:770-778.

[8] LONG J,SHELHAMER E,DARRELL T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,79(10):1337-1342.

[9] SUN Y,WANG X,TANG X.Deep learning face representation from predicting 10,000 classes[C]//IEEE Conference on Computer Vision and Pattern Recognition., 2014:1891-1898.

[10] DONG C,CHEN C L,HE K,et al.Learning a deep convolutional network for image super-resolution[M].Computer Vision-ECCV 2014. Springer International Publishing,2014:184-199.

FastDetectionAlgorithmforTFT-LCDSurfaceDefectsbasedontheFullConvolutionNeuralNetworks

OU Xianfenga,b, YAN Pengchenga,b, XIANG Canquna,b, ZHANG Guoyuna,b, WU Jianhuia,b, TU Binga,b, GUO Longyuana,b

(a. College of Information & Communication Engineering; b. Key Laboratory of Optimization & Control for Complex Systems, Hunan Institute of Science and Technology, Yueyang 414006, China)

In order to overcome the interference of edge blur, low contrast, and repeat texture background in TFT-LCD surface defect detection, an end-to-end fast detection algorithm based on full convolution neural network was proposed. The algorithm can obtain the original image information through the sensing domain and generate the low contrast feature maps, and then map the low contrast feature maps to the high contrast feature maps. Finally, the high contrast defect images reconstructed based on the receptive field of the high contrast feature maps. then the defects were screened out. Compared with the current commonly used algorithms, this proposed method is the most prominent in the accuracy and speed of defect detection.

surface defect detection; Full Convolution Neural Networks; deep learning; end-to-end; receptive field

10.13542/j.cnki.51-1747/tn.2017.03.002

2017-07-05

国家自然科学基金项目(51704115)；湖南省自然科学基金项目(2017JJ3099, 2016JJ2064)；湖南省科技计划项目(2016TP1021)；湖南省研究生创新项目(CX2016B670);湖南省教育厅科学研究项目(16C0723)

欧先锋(1983—)，男，讲师，博士，研究方向：图像处理/视频压缩编码及传输。

郭龙源(1973—)，男，副教授，博士，研究方向：计算机视觉/图像处理，电子邮箱：guolongyuan@hnist.edu.cn。

TP391.41

：A

：2095-5383(2017)03-0006-05