TFT-LCD表面缺陷检测中一维DFT方法中邻域r的自动选取

张腾达 卢荣胜 党学明

合肥工业大学，合肥，230009



TFT-LCD表面缺陷检测中一维DFT方法中邻域r的自动选取

张腾达 卢荣胜 党学明

合肥工业大学，合肥，230009

在TFT-LCD平板表面缺陷检测中，为了自动获取一维DFT方法中的邻域r，首先将无缺陷的TFT-LCD平板表面图像的每一行经过预处理，再计算其灰度共生矩阵，然后提取灰度共生矩阵的均匀度，最后计算不同r时的均匀度差值。最大差值所对应的r就是最佳邻域。搭建了TFT-LCD平板检测实验系统，实验对不同长度的非整周期、整周期、非整周期补整的图像进行处理。从获取的r可知，在相同环境下，非整周期补整后的r和整周期的r相同。将这一结果应用到实际缺陷检测中，系统可以准确地检测出缺陷。

薄膜晶体管-液晶显示器；缺陷检测；灰度共生矩阵；一维离散傅里叶变换；邻域r

0 引言

薄膜晶体管-液晶显示器(thin film transistor-liquid crystal display, TFT-LCD)已被广泛应用在笔记本电脑、监视器、液晶电视、数码相机、移动显示终端等显示领域。而TFT-LCD平板表面缺陷一直影响着TFT-LCD显示质量，严重影响平板的生产效率，平板表面缺陷检测已成为TFT-LCD生产中的关键环节。检测TFT-LCD表面缺陷的方法包括人工视觉检测法、自动光学检测法、电学参数检测法，其中，自动光学检测法是一种自动化、高性能的检测方法，不需要或需要较少人工干预，是当前发展最快的表面缺陷检测方法之一[1]。

很多学者研究了LCD表面缺陷自动光学检测算法，例如基于方向滤波器组和自适应多阈值法[2]、局部线性嵌入法[3]、核主成分分析法[4]、基于最小二乘残差误差和的回归诊断法[5]、基于奇异值分解(SVD)的图像重构方法[6]、基于一维傅里叶重构及小波分解方法[7]、基于独立成分分析(ICA)的图像重构方法[8]、基于运动分析的光流法[9]等方法。其他一些学者也对TFT-LCD平板检测进行了相关研究[10-13]。在诸多检测算法中，Tsai等[7]提出的基于一维傅里叶重构及小波分解方法简单、高效，在实际中得到广泛应用。频域图像中的邻域r作为该方法的关键参数之一，如何自动获取该参数，Tsai等没有提及，其他文献也没有相关介绍。

传统上，r是通过人工实验由经验得到的。为了自动获取r，本文在前人研究的基础上设计了 TFT-LCD 表面缺陷检测实验系统，通过调节相机和光源到合适位置，载物平台以与线阵相机行频相匹配的速度运动，采集TFT-LCD平板表面图像，设计了自动邻域r选取算法。实验结果表明，该选取算法具有良好的实用性。

1 一维DFT方法

Tsai等[7]提出的基于一维傅里叶重构及小波分解方法，简称为一维离散傅里叶变换(discrete Fourier transform，DFT)方法，它以TFT-LCD 平板的一维行图像为处理对象。 TFT-LCD 面板的行扫描图像含有明显周期性的背景图案，为了检测缺陷，必须在尽量不影响缺陷的情况下消除周期性背景图案。该方法首先对一维行图像进行一维DFT，在一维傅里叶频域中消除特定频率成分(这些频率成分代表TFT-LCD行图像的周期性背景图案)，接着进行一维离散傅里叶逆变换,得到重构后的空间域一维行图像。为了消除行图像中光照的不均匀，利用小波变换对重构后的一维行图像进行分解，提取其高频信息，最后利用传统的双阈值从高频信息中提取缺陷，其原理如图1所示。一维DFT方法能有效移除周期性背景图案，同时保留局部异常。

图1 一维DFT方法的原理方框图

2 邻域r的自动选取

2.1 一维行图像的特点

图2a为无缺陷的TFT-LCD图像，大小为253像素×253像素，分辨率为7 μm/像素；图2b为图2a第10行的一维图像。在行图像的灰度轮廓中可以明显看出周期性峰值，每一个峰值代表一个垂直的竖线。

(a)无缺陷的TFT-LCD图像 (b)第10行的一维图像

2.2 一维DFT方法中的邻域r

设fy(x)为第y行线图像在像素x位置的灰度，N为扫描线的长度，则fy(x)的一维DFT表示为[14]

(1)

其中，频率变量u=0,1,2,…,N-1，则fy(u)的幅度谱|fy(u)|可以定义为

(2)

其中，Rey(u)、Imy(u)分别为Fy(u)的实部和虚部。为了能够清楚地观察频谱，考虑使用幅度谱的对数变换ln|Fy(u)|，如图3所示。

(a)时域中的Δx

(b)频域中的Δu

空间域中周期峰值的间距Δx与频域中周期峰值的间距Δu之间的关系为

Δu=N/Δx

(3)

为了消除一维时域图像中代表竖线的周期性峰值，将竖线所对应的傅里叶频域中的频率成分的幅度置0，然后再用一维傅里叶逆变换转换到时域。设U为傅里叶频域中一组峰值频率：

(4)

Fy(u)=0

(5)

2.3 灰度共生矩阵

P(k1,k2,d,θ)={[(x,y),(x+a,y+b)∈M×N|

f(x,y)=k1,f(x+a,y+b)=k2]}

(6)

灰度共生矩阵反映了图像灰度关于方向、相邻间隔、变化幅度的综合信息。但一般并不直接应用灰度共生矩阵，而是在其基础上获取灰度共生矩阵的特征参数，通过特征参数来分析图像的局部模式和排列规则等。Haralick[15]定义了14个用于纹理分析的灰度共生矩阵特征参数，其中一个特征参数为逆差矩，也称均匀度：

(7)

均匀度反映图像纹理的同质性，可度量图像纹理局部变化的程度，其值大，说明图像纹理的不同区域间缺少变化，局部非常均匀。

2.4 灰度共生矩阵法

TFT-LCD平板表面图像每一行的预处理如下。首先进行一维DFT，然后在一维傅里叶频域中设定某一领域r，以消除特定频率成分。这些频率成分代表TFT-LCD线图像的周期性背景图案。最后进行一维离散傅里叶逆变换，得到空间域一维行图像。

对预处理后的TFT-LCD平板表面图像，再进行灰度共生矩阵分析，通过分析灰度共生矩阵特征参数随其3个构造因子(生成步长d、图像灰度级g和生成方向θ)的变化规律，并结合TFT-LCD表面纹理自身的特点，确立适合描述TFT-LCD表面纹理的灰度共生矩阵构造方法，即在构造P(k1,k2,d,θ)时，选取d=1，g=256，θ为0°方向(即0°扫描：a=1，b=0，像素对是水平的)。

灰度共生矩阵法的具体步骤如下：在不同邻域r的情况下，对TFT-LCD平板表面无缺陷图像的每一行进行预处理，以消除TFT-LCD图像的周期性背景图案；为判断周期性背景图案消除的程度，先计算其0°方向的灰度共生矩阵，再计算其均匀度MID(r)，最后计算均匀度差值ΔMID(r)：

ΔMID(r)=MID(r)-MID(r-1)

(8)

其中，r=1,2,3,4且ΔMID(0)=0。

最大ΔMID(r)所对应的r就是最佳邻域。ΔMID(r)越大，周期性背景图案的消除程度就越好；反之消除程度就越差。

图4是256像素×571像素的无缺陷的TFT-LCD平板表面图像，其分辨率为7μm/像素。对其采用灰度共生矩阵法运算，得到灰度共生矩阵的均匀度MID(r)和均匀度差值ΔMID(r) ，如表1所示。

图4 无缺陷的TFT-LCD平板表面图像

表1 256像素×571像素的LCD的灰度共生矩阵的

从表1可以看出，最大ΔMID(r)所对应的r为3，即最佳参数r=3，意味着r由2到3时周期性背景图案的消除程度最好。

3 实验设计及结果分析

3.1 实验系统的构成

TFT-LCD平板表面缺陷检测实验系统的架构如图5所示。在实验系统中，工业相机为DALSA公司的线阵CCD相机Piranha ES-80-08K80，镜头为SIGMA公司的Sigma 105 mm f/2.8 EX DG Macro，图像采集卡为Matrox公司的RadienteCL。光栅表HB961、旋转编码器PHF5812-1024-G05E和机械结构组成的位置调整机构，用于调整光源和相机的空间位置。PLC采用西门子的S7-200 CPU 224，光源为卤素线形光源。Siemens 公司的Smart 700触摸屏为人机接口界面(HMI)，控制界面采用WinCC flexible 2008编写。

图5 TFT-LCD 平板表面缺陷检测实验系统架构

两条垂直放置的导轨上分别安装着相机与载物台。通过触摸屏上的软件界面控制PLC，PLC通过驱动器EZMC36控制电机带动载物台运动。被测物的运动速度要与线阵相机的行频相匹配，以保证采集的图像在纵向没有发生失真。

3.2 影响邻域r的因素

本文中所有TFT-LCD平板表面图像的分辨率均为7 μm/像素，计算得到此时的周期Δx为23个像素[16]。在获取邻域r的过程中，r随频谱泄漏的大小而不同，所以下面从TFT-LCD图像每一行分别取不同的长度来进行分析。

3.2.1 非整周期长度时的r

如果图像的每行长度N不是周期Δx的整数倍，则此时频谱泄漏的程度随N的不同而变化，自动选取的r也应该不同。图6分别为256像素×256像素、256像素×265像素和256像素×273像素的无缺陷TFT-LCD平板表面图像，其每行长度N不是周期Δx的整数倍，表2所示为其对应灰度共生矩阵的均匀度，表3所示为其对应的均匀度差值，从均匀度最大差值可以看出，对于图6中3种不同长度的行图像来说，其最佳邻域r分别为1、2、3。因此在实际检测中，在相同工作环境(照明、分辨率、温度等)下，当待测行图像长度N不同时，其参数r需要重新求取。

(a) 256像素× (b) 256像素× (c) 256像素× 256像素 265像素 273像素图6 非整周期不同大小的无缺陷TFT-LCD平板表面图像

表2 非整周期长度时图像的灰度共生矩阵的均匀度

表3 非整周期长度时图像的灰度共生矩阵的均匀度差值

3.2.2 整周期长度时的r

如果图像的长度N是周期Δx的整数倍，理论上应无频谱泄漏，但由于实际成像系统的畸变和各种噪声干扰的存在，TFT-LCD表面图像的每一行只能为近似的周期信号。此时肯定会存在频谱泄漏，但泄漏程度较小，自动选取的r也应该较小。图7为整周期不同大小的无缺陷TFT-LCD平板表面图像，表4所示为其对应的灰度共生矩阵的均匀度，表5所示为其对应的均匀度差值。从均匀度最大差值可以看出，最佳邻域r均为1，表明整周期的不同大小无缺陷TFT-LCD平板表面图像的频谱泄漏程度比较小且非常接近。

(a) 256像素× (b)256像素×506像素

(c)256像素×759像素图7 整周期不同大小无缺陷的TFT-LCD平板表面图像

表4 整周期长度时图像的灰度共生矩阵的均匀度

表5 整周期长度时图像的灰度共生矩阵的均匀度差值

r01234256像素×253像素00.08410.01760.00940.0109256像素×506像素00.11630.02350.01090.0071256像素×759像素00.10100.05370.01290.0063

3.2.3 非整周期补成整周期长度时的r

当图像的每行长度N不是周期Δx的整数倍时，频谱泄漏的程度随N的不同而变化，由表3可知最佳邻域r也不同。如果将图像的非整周期通过算法补成整周期，那么频谱泄漏的程度将减小，此时自动选取的r也应该减小。补整算法有很多种，这里采用一种简单实用的方法，即最近邻域复制法，其步骤如下：

(1)根据周期Δx，求出行图像的整周期数M和余数p。

(2)设原行图像为s(1∶N)，补整后的图像为y(1∶N+Δx-p)，对每行图像进行补整操作：

y(1∶N)=s(1∶N)

(9)

y(N+1∶N+Δx-p) =s(N-Δx+1:N-p)

(10)

对于上述非整周期不同大小的无缺陷TFT-LCD平板表面图像，分别运用最近邻域复制法补整后，对应的灰度共生矩阵的均匀度如表6所示，对应的均匀度差值如表7所示。从均匀度最大差值可以看出，最佳邻域r由补整前的1、2、3、3变为补整后的1、1、1、1，表明非整周期图像通过算法补成整周期后，其频谱泄漏程度减小到和整周期时接近。因此在实际检测中，对于非整周期的待测图像，只需将其补成整周期，其参数r就取r0(r0为相同工作环境下，整周期长度时，利用灰度共生矩阵法求取的参数r的值)即可。

表6 补成整周期长度后的灰度共生矩阵的均匀度

r01234256像素×256像素0.82410.91100.92630.93630.9476256像素×265像素0.82610.91490.93540.94460.9540256像素×273像素0.78200.87760.90120.91280.9244256像素×571像素0.76400.88070.91070.92030.9269

表7 补成整周期长度后的灰度共生矩阵的均匀度差值

r01234256像素×256像素00.08690.01530.01000.0113256像素×265像素00.08880.02050.00920.0094256像素×273像素00.09560.02360.01160.0116256像素×571像素00.11670.03000.00960.0066

3.3 灰度共生矩阵法的验证

补整前后，256像素×571像素的无缺陷TFT-LCD平板表面图像(图4)在不同r时周期性背景图案消除的程度不同。为了能够更清楚地显示结果，我们将预处理后的最终图像对比度拉伸，如图8～12所示。

(a)补整前

(b)补整后

(a)补整前

(b)补整后

(a)补整前

(b)补整后

(a)补整前

(b)补整后

(a)补整前

(b)补整后

由图8～12可以看出，补整前，r=3时的周期性背景图案已基本消除；补整后，r=1时的周期性背景图案也已基本消除。这和前面灰度共生矩阵法求取的r是一致的，验证了该方法的可行性。实验中，对80幅无缺陷TFT-LCD平板表面图像，采用灰度共生矩阵法进行处理，均能准确地提取r。

3.4 自动获取的邻域r用于实际缺陷的检测

由表3、表5、表7和图8～12可知，在相同工作环境下，对于整周期的无缺陷TFT-LCD平板表面图像，只需采用一次灰度共生矩阵法，得到的邻域r0可以认为是该工作环境下不同长度行图像参数r的“准确值”。也就是说，对于相同工作环境下的其他非整周期的行图像，每行补整后，其参数r直接选取r0，无需再用灰度共生矩阵法求取。但在工作环境改变时，r必须重新利用灰度共生矩阵法求得。在实际TFT-LCD平板表面缺陷检测中，具体的步骤如下：

(1)获取整周期长度的无缺陷TFT-LCD表面图像I；

(2)对图像I利用灰度共生矩阵法求取参数r的“准确值”r0；

(3)在相同工作环境下，对于实际待测非整周期TFT-LCD表面图像的每行补成整周期；

(4)令r=r0；

(5)采用一维DFT方法检测缺陷。

由表5可得r0=1，图13为在相同工作环境下三种不同缺陷的TFT-LCD平板图像，其行图像各自经过补整操作后，邻域r直接取1，再分别利用一维DFT方法，得到的检测结果如图14所示，可以看出能够准确地检测出缺陷。

(a) 256像素× (b) 256像素× (c) 256像素×

(a) 256像素× (b) 256像素× (c) 256像素×

4 结语

在TFT-LCD平板表面缺陷检测中，一维DFT方法非常有效，为了自动获取该方法的关键参数r，应首先获取整周期长度的无缺陷TFT-LCD平板表面图像，然后对其采用灰度共生矩阵法进行处理，得到的邻域r0就是该工作环境下的参数r的“准确值”。将r0应用于相同工作环境下缺陷检测时，只需对非整周期长度的TFT-LCD平板表面行图像补整，再利用一维DFT方法即可，系统便可准确地检测出缺陷区域。实验结果表明, 该选取方法具有良好的实用性。

[1] Lu R S, Shi Y Q, Li Q, et al. AOI Techniques for Surface Defect Inspection[J]. Applied Mechanics & Materials, 2010, 36:297-302.

[2] Oh J H, Kwak D M, Lee K B, et al. Line Defect Detection in TFT-LCD Using Directional Filter Bank and Adaptive Multilevel Thresholding [J]. Key Engineering Materials, 2004, 270/273:233-238.

[3] Liu Y H, Huang Y K, Lee M J. Automatic Inline Defect Detection for a Thin Film Transistor Liquid Crystal Display Array Process Using Locally Linear Embedding and Support Vector Data Description[J]. Measurement Science & Technology, 2008, 19(9):44-46.

[4] Liu Y H, Wang C K, Ting Y, et al. In-TFT-array-process Micro Defect Inspection Using Nonlinear Principal Component Analysis[J]. International Journal of Molecular Sciences, 2009, 10(10):4498-4514.

[5] Fan S K S, Chuang Y C. Automatic Detection of Mura Defect in TFT-LCD Based on Regression Diagnostics [J]. Pattern Recognition Letters, 2010, 31(15):2397-2404.

[6] Lu C J, Tsai D M. Automatic Defect Inspection for LCDs Using Singular Value Decomposition[J]. International Journal of Advanced Manufacturing Technology, 2005, 25(25):53-61.

[7] Tsai D M , Hung C Y. Automatic Defect Inspection of Patterned Thin Film Transistor-liquid Crystal Display (TFT-LCD) Panels Using One-dimensional Fourier Reconstruction and Wavelet Decomposition[J]. International Journal of Production Research, 2005, 43(21):4589-4607.

[8] Lu C J, Tsai D M. Independent Component Analysis-based Defect Detection in Patterned Liquid Crystal Display Surfaces[J]. Image & Vision Computing, 2008, 26(7):955-970.

[9] Tsai D M, Tsai H Y. Low-Contrast Surface Inspection of Mura Defects in Liquid Crystal Displays Using Optical Flow-based Motion Analysis[J]. Machine Vision & Applications, 2011, 22(4):629-649.

[10] 张昱，张健. 基于多项式曲面拟合的 TFT-LCD 斑痕缺陷自动检测技术 [J]. 光电工程，2006，33(10)：108-114. Zhang Yu，Zhang Jian. Automatic Blemish Inspection for TFT-LCD Based on Polynomial Surface Fitting [J]. Opto-Electronic Engineering，2006，33(10)：108-114.

[11] 毕昕，丁汉. TFT-LCD Mura缺陷机器视觉检测方法 [J]. 机械工程学报，2010，46(12)：13-19. Bi Xin，Ding Han. Machine Vision Inspection Method of Mura Defect for TFT-LCD [J]. Journal of Mechanical Engineering，2010，46(12)：13-19.

[12] 张腾达，卢荣胜，张书真. 基于二维DFT的TFT-LCD平板表面缺陷检测[J]. 光电工程，2016，43(3)：7-15. Zhang Tengda, Lu Rongsheng, Zhang Shuzhen. Surface Defect Inspection of TFT-LCD Panels Based on 2D DFT [J]. Opto-Electronic Enginee-ring，2016，43(3)：7-15.

[13] 王新新，徐江伟，邹伟金，等. TFT-LCD 缺陷检测系统的研究 [J]. 电子测量与仪器学报，2014，28(3)：278-284. Wang Xinxin，Xu Jiangwei，Zou Weijin，et al．Research on Detection System for TFT-LCD Defects [J]. Journal of Electronic Measurement and Instrumentation，2014，28(3)：278-284．

[14] Gonzalez R C，Woods R E. Digital Image Process-ing [M]. Upper Saddle River，New Jersey：Pearson Prentice Hall，2008.

[15] Haralick R M. Statistical and Structural Approach-es to Texture[J]. Proceedings of the IEEE, 1979, 67(5):786-804.

[16] 张腾达，卢荣胜.自动周期选取的DFT方法在TFT-LCD平板检测中的应用[J]. 电子测量与仪器学报，2016，30(3)：361-373. Zhang Tengda，Lu Rongsheng. Automatic Period Selection for DFT Method in the Application of TFT-LCD Panel Detection[J]. Journal of Electronic Measurement and Instrumentation，2016，30(3)：361-373．

(编辑 张 洋)

Automatic NeighborrSelection for One-dimensional DFT Method in the Surface Defect Inspection of TFT-LCD

Zhang Tengda Lu Rongsheng Dang Xueming

Hefei University of Technology，Hefei，230009

In order to obtain neighborrautomatically, each line of a faultless surface image for TFT-LCD panel was preprocessed firstly in the detection of surface defects on TFT-LCD panel. Then thier gray level co-occurrence matrix (GLCM) was calculated, and the homogeneity property of the GLCM was extracted. Finally, the difference of homogeneity was computed, and the optimal neighbor was that level where the difference showed a maximum value. An experimental system of TFT-LCD panel detection was built. The images with various length including integer-period, non-integer-period and non-integer-period filled into integer-period were processed in the experiments. From the acquisition ofr, it may be seen that therfor non-integer-period fills into integer-period is the same as it for integer-period under the same environments. And by applying the results into actual defect detection, the system may detect the defects accurately.

thin film transistor-liquid crystal display; defect detection; gray level co-occurrence matrix; one-dimensional discrete Fourier transform(DFT); neighborr

2016-04-19

国家重大科学仪器设备开发专项资助项目(2013YQ220749)

TP182；TN911.73

10.3969/j.issn.1004-132X.2016.21.010

张腾达，男，1974年生。合肥工业大学仪器科学与光电工程学院博士研究生、讲师。主要研究方向为自动光学检测。发表论文10余篇。卢荣胜(通信作者)，男，1963年生。合肥工业大学仪器科学与光电工程学院教授、博士研究生导师。党学明，男，1973年生。合肥工业大学仪器科学与光电工程学院副研究员。