基于有效背景重构和对比度增强的Mura缺陷检测

胡 亮， 胡学娟,3*， 黄圳鸿， 徐 露， 胡 凯， 张家铭

(1. 深圳技术大学 中德智能制造学院，深圳 518118；2. 广东省先进光学精密制造重点实验室，深圳 518118；3. 广东省微纳光机电工程重点实验室，深圳 518118)

1 引 言

薄膜晶体管液晶显示器(Thin Film Transistor-Liquid Crystal Display,TFT-LCD)作为新一代发展非常成熟的显示器件，已经成为电信息产业重要的核心硬件之一，其具有分辨率高、无几何变形、轻薄和功耗低等优点，广泛应用于智能手机、数码相机、平板、显示器等电子设备[1]。由于其复杂的制造工艺，TFT-LCD在生产中不可避免地会产生各种类型的缺陷，主要分为表面缺陷和电气缺陷。其中，Mura缺陷作为TFT-LCD表面缺陷中一种特殊的缺陷，通常具有对比度低、边缘模糊、形状不规则、检测难度大等特点，主要表现为TFT-LCD显示的局部亮度变化，会极大影响用户的视觉感受和使用体验[2]。当前，相关缺陷主要依靠人工视觉检测，该方法存在检测成本高、效率低、主观性强等不足。因此，研究一种准确、快速且符合人眼视觉感知的Mura缺陷自动检测方法显得尤为重要。

目前，国内外有关研究人员已经提出了很多检测Mura缺陷的方法，这些方法主要可分为特征提取法[3-5]和背景抑制法[6-13]。特征提取法是一种快速有效的直接提取Mura缺陷特征的方法。但是，该方法的适用性相对较低，只对具有某些相似特征或特征明显的Mura缺陷有效。背景抑制法是通过背景重构和差分有效地从原始图像中分割出Mura缺陷，是当前研究的主流方向之一。Tsai和Yun等人[6-8]分别提出了基于独立成分分析以及基于主成分分析的背景重建方法来达到抑制Mura缺陷检测过程中不均匀背景的影响。这些方法能够很好地检出Mura缺陷，但前期都需要人工操作去挑选出具有代表性的无缺陷样本图像，并且对于所检测产品的规格、图像的采集环境等都提出了较高的要求，整体的灵活性表现较差。一些研究者运用离散余弦变换[9-10]和离散小波变换[11]将图像从空间域变换到频率域，然后对高频信息进行滤波来重构背景。这些方法计算简单，但在复杂光照和不均匀缺陷背景下，低对比度的Mura缺陷和背景之间的界限比较模糊，背景抑制效果不佳。还有一些研究者运用曲面拟合的方法进行背景重构，如多项式曲面拟合[12-13]、双三次B样条曲面拟合[14]。这一类方法可以有效解决小尺寸Mura缺陷的检测问题，但是如果缺陷区域很大，由于进行曲面拟合的图像数据是整张图像上的所有数据，则其中将包含大量的缺陷像素数据，这会给最终的拟合背景图像造成较大干扰。另外，近年来随着人工智能技术的不断成熟和发展，许多学者将其逐步应用到Mura缺陷检测中[15-16]，这为Mura缺陷检测研究提供了一个新的方向。

对此，在对比分析前人研究的基础上，本文提出了一种基于有效背景重构和对比度增强的Mura缺陷视觉检测方法，能够快速准确地检测出多种类型的Mura缺陷。

2 算法描述

图1所示为本文算法的主体流程，主要可分为以下3个步骤：

图1 本文算法流程Fig.1 Flowchart of the proposed method

Step1：预估Mura缺陷区域——对待检的TFT-LCD图像进行离散余弦变换以初步消除图像亮度不均的影响，再运用数学统计学方法对图像进行逐行逐列处理，找出每一行和每一列中可能的缺陷区域并通过逻辑或操作对这些区域进行合并，得到预估的缺陷区域位置。

Step2：图像有效背景重构——将step1中预估的缺陷区域像素剔除掉，运用多项式曲面拟合方法对剩下的像素进行背景拟合，获得有效的背景重构图像。

Step3：差分图像增强和缺陷分割——运用基于Otsu的双γ分段指数变换法对差分图像进行增强处理，最后进行阈值分割将Mura缺陷从图像中分离出来。

2.1 预估Mura缺陷区域

图2(a)所示为一张含有Mura缺陷的TFT-LCD图像，不难看出缺陷与背景的对比度非常低，背景的亮度也不均匀。此外，在图像采集过程中还存在噪声等因素的干扰，这些都给Mura缺陷的检测增加了不少难度。为了更直观地描述图像的特征，这里将源图像信号f(x,y)定义如下：

f(x,y)=b(x,y)+d(x,y)+n(x,y)，

(1)

其中，b(x,y)、d(x,y)、n(x,y)分别表示背景信号、缺陷信号以及噪声信号。从频域的角度看，背景b(x,y)主要为低频信号，噪声n(x,y)一般为高频信号，而缺陷d(x,y)介于两者之间，所以可以运用频域变换的方法分离高、低频信息以初步消除图像背景亮度不均的影响，本文采用的是离散余弦变换。

2.1.1 离散余弦变换

离散余弦变换(Discrete Cosine Transform，DCT)是图像处理中一种常见的频域变换方法。其拥有非常强的“能量集中”特性，使得图像的大部分能量都集中分布在DCT变换后的低频部分，并且其计算复杂度较小[9]。在此基础上，考虑运用该方法进行图像背景重建。对于一幅M×N的图像f(x,y)的离散余弦变换定义为：

(2)

式中:x,u=0,1,2,…,M-1，y,v=0,1,2,…,N-1，C(u,v)是变换后的DCT系数。

由式(2)可知，对图像进行离散余弦变换后，会得到DCT系数矩阵C(u,v)，其从左上角到右下角的系数分别表示图像中灰度平坦部分(低频)、微小变化部分(中频)、剧烈变化部分(高频)。而前述分析中已知背景主要属于低频信号，因此它对应于DCT系数矩阵中的左上角。一般地，在重建过程中是选择系数矩阵C(u,v)中第一行(u=0)和第一列(v=0)系数。但是在一些研究中[9-10]发现，这样会在重建的背景图像中产生正交的条纹噪声。为了抑制条纹噪声的影响，这里根据文献[9]中提到的分别寻找u=0和v=0中DCT系数的拐点作为u和v方向的截止频率，以进一步优化用于初始背景重构的DCT系数，如式(3)所示。

(3)

式中，fu、fv分别表示u和v方向的截止频率。最后对CB(u,v)系数进行如下离散余弦逆变换可以得到重构的背景图像：

(4)

为了验证所述理论在从背景中分离Mura缺陷的效果，运用此方法对图2(a)中含有Mura缺陷的TFT-LCD图像进行背景重建并产生差分图像，图2(b)、(c)分别表示DCT背景重建图像、差分图像。由图2(b)、(c)可以看出，DCT背景重建可以从很大程度上将Mura缺陷从背景中分离，从而克服背景亮度不均的问题。

图2 Mura缺陷区域预估结果Fig.2 Prediction result of Mura defect region

2.1.2 基于概率统计理论的Mura缺陷区域预测

由概率统计理论可知，对于一副灰度分布均匀的图像，其大约有96%的像素灰度范围集中在[μ-2σ,μ+2σ]，其中μ,σ分别表示图像的灰度均值和标准差。而Mura缺陷虽然与背景的对比度很低，但在灰度值上通常比背景要低一些或者高一些，因此考虑运用概率统计理论来预估图像中可能存在Mura缺陷的区域。此外，由于待检图像背景亮度不均，并且Mura缺陷的形态大小不一，所以不能直接运用统计学方法对待检图像进行缺陷区域预测，而是首先运用离散余弦变换重建背景图像以消除背景亮度不均的干扰，在此基础上再运用概率统计理论对差分图像进行逐行逐列处理，找出每一行和每一列中可能的缺陷区域并通过逻辑或操作对这些区域进行合并，最终便得到预估的缺陷区域位置。其中将预测为缺陷区域的灰度值置为1，其余部分置为0。运用此方法对图2中经离散余弦变换后得到的差分图像进行处理，得到的预估结果如图2(d)所示。

2.2 图像背景重构

在通过Step1将可能的Mura缺陷区域标记出来后，这些区域的像素会被剔除掉，而余下的像素数据(Irest(x,y))用来重构背景图像。由于图像的背景灰度可以用k阶二元多项式模型fk(x,y)(式(5))近似逼近，并且重建精度高，所以本文采用多项式曲面拟合的方法对余下的像素数据Irest(x,y)进行背景重构。

(5)

其中，m,n,k均为整数。为了在计算速度和精度之间取得一个较好的平衡，这里取k= 3，具体的计算公式如式(6)所示。

Irest(x,y)=a00+a10x+a01y+a20x2+a02y2+a11xy+a12xy2+a21x2y+a30x3+a03y3+ε，

(6)

式中：x,y是用于重建背景图像的像素的坐标值，ε是误差项，a00,a01,…,a30是多项式中对应的系数。

为获得一个最佳的背景拟合模型，这里运用最小二乘回归，通过最小化残差平方和来求解模型参数，即有：

Irest(x,y)=ZAA=(ZTZ)-1ZTIrest(x,y)，

(7)

图3 基于缺陷预剔除的图像背景重构结果Fig.3 Results of image background reconstruction based on defect region pre-elimination

其中：Z={1,x,y,x2,y2,xy,xy2,x2y,x3,y3}N×10,N为剔除预估缺陷区域后剩余的像素个数，A=[a00,a10,a01,a20,a02,a11,a12.a21,a30,a03]T为待求的系数矩阵。根据式(7)，求解出系数矩阵，从而可以得到重建的背景图像。

在大量的实验中我们发现，删除式(6)中的交互项(xy,xy2,x2y)后，也能取得很好的重建效果，并且可以从一定程度上减少计算时间，简化后的计算公式如式(8)所示。

Irest(x,y)=a00+a10x+a01y+a20x2+a02y2+a30x3+a03y3+ε.

(8)

运用式(8)以及最小二乘法对图2(a)中剔除预估Mura区域像素后的图像数据进行曲面拟合，获得的重建结果如图3(b)所示。

2.3 差分图像增强和阈值分割

为抑制背景干扰，在获得重构背景图像后，将原图与重构背景图像做差得到差分图像，如图4(a)所示。

从图4(a)中可以看出，获得的差分图像中Mura缺陷区域的对比度仍比较低，对此我们引入了一种基于最大类间方差的双γ分段指数变换[10]，以进一步抑制图像的背景信息，增强Mura目标区域的对比度。该方法首先运用Otsu法对差分图像进行处理得到一个最佳阈值k，并将该阈值作为分段变换的分段点，然后对灰度值在[0，k]和[k+l，L-1]之间的部分分别做参数为γ1、γ2的伽马变换，变换公式如式(9)所示：

图4 差分图像增强Fig.4 Differential image enhancement

(9)

式中I(x,y)为原图像的灰度值，O(x,y)为经过分段伽马变换后图像的灰度值。γ2= 1/γ1=γ，且γ的最优取值范围为1.2～1.8, 本文取γ=1.5。运用该变换对锐化处理后的差分图像进行处理，得到对比度增强图像，如图4(b)所示。

图5 Mura缺陷分割结果Fig.5 Segmentation result of Mura defect

从图4(b)可以看出，运用基于最大类间方差的双γ分段指数变换对差分图像进行对比度增强后，增大了阈值点左右两侧部分的灰度值差距，从而使图像中目标区域的对比度和轮廓度得到了一定程度的增强。最后进行缺陷分割。在这一处理过程中，由于考虑到全局的阈值分割经常容易受到噪声的影响产生误分割。而相比之下，动态阈值分割是一种比较灵活的、抗噪声能力强的局部分割，它可以对图像中的不同区域自适应地选择符合该区域灰度分布特征的阈值。因此，本文最后运用动态阈值分割方法，可以快速有效地将Mura缺陷从图像中直接分离出来，分割结果见图5。

3 实验设计与分析

3.1 主观定性分析

图6 实验结果。 (a)列为原始图像，(b)列为文献[10]的分割结果，(c)列为文献[12]的分割结果，(d)列为本文方法分割结果。Fig.6 Experimental results. The column (a) is original images, the column (b) is detection results of the method in Ref. [10], the column (c) is detection results of the method in Ref. [12], thecolumn (d) is detection results of the proposed method.

为检验所提出的算法，本文设计了Mura缺陷检测实验来测试算法对Mura缺陷的检测性能。受条件限制，无法采集更多的带有Mura缺陷的图像，这里选取带有几种典型Mura缺陷的TFT-LCD图像作为实验样本，如图6(a)列所示。依次输入这些缺陷样本图像，并分别采用离散余弦变换法(DCT)[10]、多项式曲面拟合法[12]以及本文方法进行实验，其结果如图6(b)～(d)列所示。

对比几种方法的检测结果，可以看出：对于面积比较小的点状Mura缺陷，3种方法都能取得较好的效果。但是对于线状、环状等面积相对较大的Mura缺陷，运用离散余弦变换法和多项式曲面拟合法都或多或少地会带有背景残差，而本文方法则具有更好的检测结果。然而，当缺陷区域面积非常大时，如图6最后一行所示，本文方法和其他两种方法都没有正确检出，均造成了不同程度上的误检。这是由于缺陷区域面积很大，而本文方法会预估缺陷区域并剔除这些可能的缺陷像素数据，所以剩余用来重建的背景像素数据就很少，导致重建的背景图像精度降低，最后便造成了一些区域的误分割。

3.2 客观定量评价

在实际应用中，检出率是衡量一种缺陷检测算法好坏的一个广泛使用且非常重要的评判指标。另外，由于Mura缺陷与背景的对比度非常低，并且很多待检图像本身亮度也不均匀，在检测过程中极易将某一背景区域当做是Mura缺陷，从而造成误检。基于此，这里综合运用检出率和误报率两个指标来衡量该检测算法的准确性与稳定性。其中检出率、误报率的计算公式分别如式(10)、(11)所示：

(10)

(11)

实验中采用了200张(45张含有不同Mura缺陷 + 155张无缺陷)TFT-LCD 样本图片进行测试，并将本文算法的测试结果与离散余弦变换法、多项式曲面拟合法的测试结果进行对比，实验结果如表1所示。

将最终的分割结果与真实存在Mura缺陷区域进行对比，发现离散余弦变换法有4张图片没有检测出来，多项式曲面拟合法有2张Mura
图片没有检测出来，而本文方法共正确检测出44张。另外，离散余弦变换法和多项式曲面拟合法的误报率分别为26%、11%，而本文提出的算法仅为2%。对比几种方法的实验数据可以看出，本文提出的Mura缺陷检测算法在检出率和无误报率两个指标上均达到了97%以上，表现出较高的检测准确性和稳定性。

表1 不同检测方法的实验结果Tab.1 Experimental results of different detection methods

4 结 论

根据Mura缺陷对比度极低的特点以及TFT-LCD图像亮度不均的性质，提出基于缺陷区域预剔除的有效背景建模和对比度增强的Mura缺陷检测方法，能很好地消除TFT-LCD自身亮度不均对缺陷检测的影响，同时能有效地增强Mura缺陷特征。最后，运用动态阈值分割方法可以准确地分割出Mura缺陷区域。通过实验对比分析可知，与离散余弦变换、多项式曲面拟合相比，本文方法能够获得更精确的Mura缺陷检测，并且能有效减少误检区域。此外，该方法对于其他领域具有低对比度特点的缺陷检测，如带钢表面低对比度弱小缺陷检测、磁瓦表面裂纹检测等也具有一定的借鉴意义。