基于AttentionGAN和形态学重建的TFT阵列缺陷检测

陈炜炜， 严 群,2*， 姚剑敏,2

(1. 福州大学 物理与信息工程学院，福建 福州 350108；2. 晋江市博感电子科技有限公司, 福建 晋江362200)

1 引 言

随着科技的发展，智能终端融入了我们生活的方方面面。TFT-LCD屏幕在智能终端与人的交互中扮演着重要的角色，它的显示质量直接影响着产品的用户体验。因此，TFT-LCD的缺陷检测在面板制造过程中显得举足轻重。

当下，绝大多数面板厂商都是通过人工来完成缺陷检测。对于追求高产能、高利润的面板厂商，人工检测不仅可靠性差，耗费的时间、人力成本也大。随着机器学习的成熟[1]及深度学习的快速发展，越来越多的神经网络应用于工业缺陷检测[2-3]。

基于卷积神经网络的TFT-LCD缺陷检测研究工作正在迅速发展中。Chen等采用4种神经网络方法识别TFT-LCD光刻工艺中的面板缺陷[4]；曾毅等利用均值差分和BP神经网络相结合的方法进行TFT-LCD缺陷检测[5]；欧先锋等针对TFT-LCD表面缺陷对比度低、边缘模糊以及容易受图像噪声的干扰而导致难以识别的问题，建立全卷积神经网络实现端到端的快速检测[6]；何俊杰基于传统的图像处理方法如阈值分割和Faster R-CNN对TFT-LCD的电子线路缺陷进行检测[7]；Ling Ma等对高分辨率图片进行子图片的分割后利用GoogLeNet进行缺陷的分类[8]。

目前将生成对抗网络直接用于TFT-LCD缺陷检测的相关工作较少，相关研究工作都是基于公开数据集围绕异常检测展开。Samet Akcay[9]等提出了一种半监督异常检测，可以实现在无异常样本的训练下对异常样本进行检测，并在CIFAR10[10]、MNIST[11]等公开数据集上取得不错的检测效果；Zhixuan Zhao等基于生成式对抗网络和自编码器提出了一种仅基于正样本训练的新型缺陷检测框架，于DAGM2007进行测试[12]；Hu等基于DCGAN提出了一种无监督的布匹检测方法[13]。

本文为TFT阵列缺陷检测提供了一种新思路，利用生成式对抗网络将图像显著性与缺陷检测相结合，所用的训练数据集无需人工标注，解决了人工标注时间及人力成本大的问题。该方法基于生成式对抗网络最新的研究成果AttentionGAN[14-15]得到显著性图像[16]生成器，基于显著性图像依次得到显著性最低的种子点、缺陷标记图像、缺陷掩膜图像，进而利用二值形态学重建[17]的区域生长方法[18]进行缺陷的分割及定位。

2 系统概述

液晶面板的制程分为阵列、彩膜、成盒、模组、整机五大制程[19]，本文所用数据集从阵列厂产线的AOI设备采集而来。图1展示了本文TFT缺陷检测方法的整体流程图。该方法的第一步是裁剪图像的文本区域并训练AttentionGAN；第二步是利用训练好的显著性生成器生成待检测图片的显著性图。由于显著性图像中前景背景区分度不高会导致基于固定阈值的分割效果不佳，为了优化这个问题，第三步是在显著性图上寻找显著性最低也即灰度值最小的像素点作为种子像素，基于种子像素的灰度值找到二个不同的阈值得到缺陷标记图像与缺陷掩膜图像，再进行二值形态学重建的区域生长，最后得到缺陷的外接矩形框。

图1 TFT阵列缺陷检测系统示意图

3 基于注意力机制的生成式对抗网络

3.1 生成式对抗网络

生成式对抗网络[20](Generative adversarial Networks，GAN)是一种核心思想来源于博弈论的训练网络。如图2所示，生成对抗网络由以下两个部分构成：生成器和辨别器。输入随机噪声，生成器试图生成能够欺骗过判别器的伪样本，相反地，判别器尽可能地去判别所给样本的真实性。两者在这样的对抗中不断优化生成网络和辨别网络。生成对抗网络的总损失函数定义如式(1)：

图2 生成式对抗网络

，

(1)

其中：E表示概率分布；x～pdata代表从真实样本中的数据分布中随机抽取x；z～pz代表从高斯噪声的随机分布中抽取z，其中，z为高斯噪声；G、D分别为生成器和判别器；pdata为真实样本的概率分布；pz为高斯噪声的概率分布。

3.2 基于注意力机制的生成式对抗网络

GAN广泛应用于高分辨率图像生成、视频生成、图像翻译等领域。在图像翻译工作pix2pix[21]中，输入输出成对的数据集难以收集，后来的工作如CycleGAN[22]、DualGAN[23]、DiscoGAN[24]解决了pix2pix的痛点，不需要配对的训练集，而只需源域的数据集合与目标域的数据集合，就能学到两者相互的映射关系。然而这些模型很容易受到冗余图像信息的影响，并且在图像翻译过程中不能很好地关注图像最具辨别力的语义部分。ContrastGAN[25]、InstaGAN[26]、SAGAN[27]等一系列工作虽然能使网络获得显著性图，但都引入了额外的网络或者掩膜数据。如图3的简化框架所示，AttentionGAN可以通过学习区分前景和背景，也即可以直接通过生成器生成显著性图像并进行更好的图像翻译工作。综上所述，AttentionGAN的训练集易于收集，无需人工标注，并且能很好地关注图像中最具辨别力的语义信息——极大地简化TFT-LCD阵列缺陷的检测工作量，生成更优的显著性图像，取得更优的检测效果。

图3 AttentionGAN网络模型简化框架

AttentionGAN使用的总损失函数如式(2)：

L=LGAN+λcycle×Lcycle+λid×Lid

，

(2)

其中：LGAN、Lcycle与CycleGAN[27]一致，Lid采用一致性保持损失[28]。

结合AttentionGAN论文[15]与图3可以得知，AttentionGAN生成两张不同的显著性图片，分别是前景显著性掩膜(Foreground Attention Mask)与背景显著性掩膜(Background Attention Mask)，他们的灰度值和为1。由于背景显著性掩膜的可视效果更好，所以实际运用中AttentionGAN生成的显著性图只有背景显著性掩膜。背景显著性掩膜中，TFT阵列背景的显著性比缺陷高，也即TFT阵列背景的灰度值比缺陷的灰度值大。

3.3 训练策略

在训练AttentionGAN之前，需要对图像进行文字区域裁剪的预处理。如图4所示，图(a)为裁剪文字之前，图(b)为裁剪文字之后。本文采用了王永城等人[29]提出的梯度计算的方法，将RGB图像转为灰度图后计算垂直和水平方向的梯度值，接着根据梯度值的跳变确定图像中文字的区域并裁剪。之所以不使用固定坐标对文字区域进行裁剪是为了提高检测方法的通用性，不同种类的TFT产品文本区域大小不固定，采取通用的裁剪方法能使本文提出的检测方法适配不同种类的TFT产品。

图4 图像预处理

训练集分为缺陷域与非缺陷域两部分，缺陷域图片共1 496张，非缺陷域图片共有1 438张。采用先缩放图片到286×286，再从中随机裁减出256×256送入神经网络的图像处理策略；设定图片数量为8；初始学习率为0.000 2，β1=0.5，β2=0.999的Adam优化器。采用LSGAN[30]使训练变得更稳定。训练迭代200轮后，得到如图5所示的显著性图像，其中，(a)、(b)为缺陷图像的显著性掩膜，(c)为无缺陷TFT的显著性掩膜。

图5 显著性掩膜。 (a),(b)缺陷显著性掩膜；(c)无缺陷显著性掩膜。

4 基于显著性图的形态学重建

4.1 形态学重建

基本的数学形态学变换有膨胀、腐蚀、开运算、闭运算。膨胀运算利用结构元素对图像进行填充；腐蚀运算利用结构元素对图像进行收缩。直观地说，膨胀能够填补裂缝，腐蚀能够消除边界点。开运算是先腐蚀后膨胀, 它可以用来消除小物体, 扩大较小间隙；闭运算是先膨胀后腐蚀, 它可以消除狭窄的间断，平滑边界。膨胀、腐蚀、开运算、闭运算的数学表达如式(3)～(6)所示：

F⊕B(x,y)=max{F(x-s,y-t)+B(s,t)}

，

(3)

F⊗B(x,y)=min{F(x-s,y-t)+B(s,t)}

，

(4)

F∘B=(F⊗B)⊕B

，

(5)

F·B=(F⊕B)⊗B

，

(6)

其中：⊕、⊗、∘、·分别代表膨胀运算、腐蚀运算、开运算、闭运算。

形态学重建是图像变换集中的一部分， 是一种提取图像连通域的过程。形态学重建可以简单理解为标记(Marker)图像的重复膨胀，标记图像不断膨胀至其轮廓与掩膜(Mask)图像相适配。形态学重建分为二值形态学重建与灰度形态学重建，本文所采用的方法为二值形态学重建。

对于掩膜图像M，标记图像I，其中I⊆M，R(I,M)为根据M对I重建后的图像。算法伪代码表述如下：

1) 初始值ℓ1=I,结构元素B=ones(3)2) repeat:ℓk+1=min((ℓk B),M) until:ℓk+1=ℓk3) R(I,M)=ℓk+1

其中，⊕为膨胀运算。

4.2 基于显著性图的形态学重建

理想情况下，带有缺陷的TFT阵列的显著性图像都如图5(b)所示，前景背景区分度高。实际情况下，受制于全自动光学检测(AOI)设备采集的一手数据的图像亮度与对比度变化，约有1/3的显著性图如图5(a)、图8(a)图像所示，缺陷的显著性与背景的显著性相互干扰或者总体而言前景背景显著性区别度不高。同时缺陷本身颜色过淡或者缺陷位于电路部件上也是导致前景背景显著性区别度不高的主要原因。基于上述情况，提出了基于显著性图的形态学重建来优化前景背景显著性区分度不高的问题。

假设显著性图x中缺陷区域的显著性远低于其他无缺陷区域，以显著性最低的像素也即灰度值最小的像素作为种子点，得到种子像素灰度值δ1和生长像素灰度值δ2，以δ1为阈值对显著性图进行二值分割得到标记图像I；以δ2结合形态学闭运算得到掩膜图像M，其中形态学闭运算使用形状为矩形的5×5内核矩阵。以I为初始标记点，M为区域生长准则，执行二值形态学重建R(I,M)的区域生长对缺陷进行分割，最后得到缺陷的检测外接矩形框。种子像素灰度值δ1与生长像素灰度值δ2的定义见式(7)、(8)：

δ1=min(x)+5

，

(7)

δ2=max(min(x)+20,170)

，

(8)

基于显著掩膜的形态学重建算法流程图如图6所示。

图6 形态学重建算法流程图

图7将形态学重建算法的过程可视化。(a)(b)(c)(d)(e)五幅图像分别为：显著性图、检测结果图像、以δ1为阈值的缺陷标记图像I、以δ2为阈值的缺陷掩膜图像M、形态学重建后的图像。由显著性图(a)可以得到标记图像(c)和掩膜图像(d)，基于(c)(d)得到形态学重建后的图像(e),最终得到检测结果(b)。

图7 形态学重建算法流程可视化

5 实验分析

5.1 评估指标

本方法对于缺陷的检测可分为4组：缺陷图片被正确检出，缺陷图片被误检为无缺陷图片、无缺陷图片被正确检出，无缺陷图片被误检为缺陷图片，分别记为TP、FP、TN、FN。

为了评价本方法的缺陷检出能力，使用交并比(Intersection over Union, IOU)阈值为0.5的F1分数作为模型检测及二分类性能评估标准。其中F1分数用来衡量二分类模型精确度，是模型精确率与召回率的调和平均。交并比(IOU)定义如式(9)所示：

(9)

其中：PR、GT分别为检测模型的预测框、标注框。F1分数的定义如式(10)所示：

(10)

其中，精度(precision)与召回率(recall)定义如式(11)、(12)所示：

(11)

(12)

对于TFT-LCD阵列，面板厂商通常只关注面积占比最大的缺陷，因此用于评估的人工缺陷标注在每一张缺陷图片上只有一个，且面积占比最大。因此当本方法检测出多个缺陷时，取面积最大的检测框与标注框进行交并比、F1的计算。

5.2 实验结果

本文在处理器为Intel Xeon，显卡为NVIDIA Tesla P100的RetHat服务器上进行了实验。使用Python进行开发设计，其中，AttentionGAN基于Pytorch神经网络框架。

用于测试的数据集共766张图片，其中缺陷图片743张，无缺陷图片23张。在IOU阈值为0.5时，TP、TN、FP、FN分别为667，17，58，24。由此可以算出准确率为0.920，召回率为0.965，F1分数为0.942。

实验表明，二值形态学重建的区域生长减小了背景与缺陷显著性相近的缺陷图像的误检率。如图8(a)两幅图所示，当背景区域较深时，由AttentionGAN得到的显著性图像缺陷区域与非缺陷区域的显著性相近，倘若就显著性图像以固定的阈值进行缺陷的分割检测，那么得到的结果将如图8中(b)、(c)所示，易发生欠分割或过分割。

图8 实验结果分析。 (a)显著性图；(b)以种子像素为阈值的二值图；(c)以生长像素为阈值的分割图；(d)形态学重建的二值图。

如表1所示，当只用种子像素δ1作为阈值直接进行二值分割时，精准度(Precision)只有0.893；当只用生长像素δ2作为阈值直接进行二值分割，精准度(Precision)只有0.868；当结合δ1、δ2，也即基于标记图像与掩膜图像进行形态学重建时，精准度(Precision)只提高了3%～6%，F1分数提高了2%～3%。

表1 不同阈值对显著性图像后处理的效果评估

6 结 论

本文提出了一种基于生成对抗网络和形态学重建的TFT阵列缺陷检测方法。其中生成式对抗网络采用了引入注意力机制的AttentionGAN，对网络进行训练后，得到显著性图生成器，选取显著性图中显著性最低的点作为种子像素，得到缺陷标记图像、缺陷掩膜图像后执行二值形态学重建的区域生长。值得注意的是，与通常的目标检测卷积神经网络不同，本文提出的方法所用的训练集无须人工标注，解决了人工标注时间、人力成本大的问题。在交并比阈值为0.5时，能达到F1分数值为0.94的二分类结果。

在本方法的基础上，可以继续从以下方面展开优化工作：第一是收集更多的缺陷于电路部件区域的数据集，优化当缺陷位于TFT电路部件区域时显著性不明显的问题；第二是尝试从已有的数据集中获取能提高二值分割的先验信息如平均灰度值等。