基于自相关性和模版匹配的TFT缺陷电路重构算法

王永城，林珊玲， 林志贤， 郭太良

(平板显示技术国家地方联合工程实验室,福州大学 物理与信息工程学院，福建 福州 350116)

1 引 言

薄膜晶体管(Thin Film Transistor,TFT)，其主要用途是控制显示面板的信号传输及控制显示面板的电压信号。目前TFT技术主要被用于液晶显示屏与电子纸等显示设备中。液晶显示屏具有低功耗、寿命长、体积小等诸多优点，因此取代了CRT(Cathode Ray Tube)显示器，成为目前主流的显示设备[1-2]。电子纸是一种超薄、超轻的显示屏，多采用电泳显示(Electrophoretic，E-Paper)技术作为显示面板，电泳显示技术由于结合了普通纸张和电子显示器的优点，其显示效果接近自然纸张效果，免于阅读疲劳，因而从众多显示技术中脱颖而出，成为极具发展潜力的柔性电子显示技术之一。

TFT大体的制作方式是在基板上沉积各种不同的薄膜，如半导体主动层、介电层和金属电极层。在这些过程之中不可避免会出现各种缺陷，但是这些缺陷并不都对面板造成影响，需要逐个判断是否对显示电路造成影响来确定这块面板是否需要进行维修处理。在工业生产中往往采用全自动光学检测(Automatic Optical Inspection,AOI)相机对缺陷进行拍摄，再由人工肉眼判断。这种模式使得判断站点一直面临人力需求大，人力成本高，并且培训上岗周期长，离职率高等问题[3]。随着智能制造的推进以及计算机视觉的发展，由系统自动判断代替人员判定来解决以上问题成为可能。因此，研究自动化识别算法对提高产能，减小生产成本有着重要意义。

在自动化识别算法中，将TFT电路位置进行定位是一个关键性的部分。但由于AOI相机所采集的缺陷图片中存在缺陷过大、遮挡电路、图片模糊、电路缺失、缺陷颜色形状不固定、电路变形等诸多问题，因此，现有的图像分割处理算法，如基于阈值的Otsu算法[4-6]、基于区域的区域生长合并算法、基于边缘的Canny[7]和Sobel[8-9]算子等都无法处理以上情况的TFT电路：基于阈值的分割算法无法处理缺陷颜色与电路颜色相近的图片，基于区域的分割算法无法处理电路变形、缺陷遮挡电路的图片，基于边缘的分割算法无法处理图像模糊、缺陷与电路相接的图片[10-15]。

因此，研究一套能够适用于所有缺陷情况的TFT电路重构算法对TFT生产中的缺陷自动化识别有着极其重要的意义。实验证明，本文所提出的算法能够较全面地在各种缺陷影响的情况下重构出TFT电路位置。

2 本文算法

由于TFT电路具有较强的周期特性，因此本文依据图像的周期特征设计算法。首先对缺陷图片进行预处理操作，提取出目标区域并校正图像角度；再使用卷积提取灰度边缘图像在垂直方向的响应序列，并使用自相关估计函数抑制缺陷在响应序列中的影响，从而估算出电路周期；再由周期灰度均值确定一组精确的纵贯线，配合估算的周期重构出其余纵贯线位置；最后使用六边形角模版匹配算来确定分布在纵贯线上的电路硅岛位置。

2.1 预处理

2.1.1 文字区域剔除

AOI相机采集的缺陷图片会在图片的下方打上产品批次、拍摄时间等信息，需要将这些高度不一的文字区域剔除，避免这些冗余信息对后续模版分割造成影响，图1(a)为AOI相机采集的原始图像。

(a)原图(a) Original image

(b)梯度叠加图(b)Sum of gradient图1 提取目标区域Fig.1 Extraction target area

首先将RGB图像转换成灰度图像。计算公式如下：

f(x,y)=0.298 9R+0.587G+0.114B，

(1)

接着求出灰度图像在竖直方向的梯度值，再将梯度值逐行叠加。即：

(2)

S(x)=∑f′(x,yk)，

(3)

绘制得到梯度叠加图如图1(b)所示，在梯度变换最剧烈的行，即为文字区域最上端，估算出文字区域的高度，将这部分文字区域剪裁掉。

2.1.2 图像校正

AOI相机采集的原始图像有一定的角度偏移，会对后续的纵贯线定位以及周期估计造成较大的误差，导致分割不准确，因此需要对图像进行角度校正处理。

首先将裁剪后的灰度图像使用Otsu算法进行二值化。Otsu是一种阈值自适应算法，它使用统计决策的方法将像素的灰度值分为两部分，并找到一个阈值使得这两部分之间的方差最大。其公式如下：

gmax=w0×w1×(μ0-μ1)2，

(4)

其中图片大小为W×H，灰度值小于阈值的像素个数记为前景像素个数N0，反之记为背景像素个数N1。μ为图像的平均灰度。w0与w1分别是N0与N1和W×H的比值。μ0、μ1为前景与背景的平均灰度。阈值遍历0～255，得到使方差g最大的阈值。

图2 图像校正过程Fig.2 Image correction process

再将二值图像经过膨胀卷积算子与原来的二值图像做差即可提取到边缘图像。将边缘图像使用参数方程ρ=xcos(θ)+ysin(θ)映射到ρ-θ霍夫空间中。即，X-Y平面上的一个点在ρ-θ平面上代表一条正弦曲线，ρ-θ平面的交点即为X-Y平面上的同一条直线上的点。因此，在ρ-θ平面上最多曲线相交的点，对应X-Y平面上最长的直线，这个交点的θ值也就是要需的部件偏角，最后根据θ值旋转校正。处理过程如图2所示。

2.2 基于自相关的周期估计和电路纵贯线重构算法

AOI相机采集的缺陷图片中存在图像模糊、电路被缺陷覆盖、电路变形等情况，因此，准确定位到所有纵贯线是较为困难的。根据TFT电路的周期特征，设计鲁棒性较强的纵贯线定位算法，电路图像如图3(a)中所示。本文通过寻找一组精准的纵贯线边界以及精确的周期，再依据电路的周期特性来重构出其余纵贯线。

首先，将预处理后的边缘灰度图像使用卷积算子：w=(1,1,1,1,.....,1)T进行卷积得到边缘灰度图像在垂直方向上的响应，如图3(b)所示，在响应图中可以找到一组极大值序号点：Em=[68，92，452，476，835，859，1 218，1 242]。由此序列可估算出，该图的纵贯线宽度W大约为24个像素，周期T数值在383～384个像素之间，并非一个整数。直接使用该周期来估计纵贯线的位置会出现一到两个像素的误差积累而使定位结果不准确。本文提出对垂直响应序列进行自相关估计，计算出精确估算周期T，计算公式如式(6)所示：

(5)

(6)

其中：E(n)为垂直响应序列，N为E序列的长度，Rf为垂直响应序列的自相关序列极大值，nr为Rf的长度。其计算结果如图3(c)所示，可求得T=383.3为预估的准确周期。为进一步提高分割精度引入图像坐标浮点数，定义以下公式：

(7)

其中G为原图像灰度值的分布。在相邻像素中插入一个新像素点，其灰度值为相邻像素的灰度均值。接着将引入了坐标浮点数的灰度图像每隔0.5个像素采样一次进行卷积，计算得出的序列按周期划分为若干个子序列，划分子序列时出现的小数部分四舍五入到最近整数位置。将这些子序列按周期进行叠加并取均值，如图3(d)所示。

图3 纵贯线位置估计Fig.3 Longitudinal position estimation

在周期矢量均值中寻找卷积和最高的连续W个像素设定为参考区域。在参考区域的左右边界分别寻找最接近阈值Otsu_THRESH×H的位置，即为第一个周期的纵贯线边界位置，其中Otsu_THRESH为Otsu算法计算出的灰度阈值的大小，H为预处理后的图像高度。根据图3(d)可以估算出此图的第一个周期内的纵贯线左右边界的位置分别为67.5，92.5，再配合估算的周期T来计算所有纵贯线边界位置。

2.3 基于模版匹配的电路硅岛部件重构

如图4所示，电路硅岛是图中分布在纵贯线上的六边形部分。硅岛部件缺失、硅岛部件不完整、图像模糊、缺陷覆盖在正常的电路硅岛结构上引起灰度变化等情况，都易导致算法错误估计电路硅岛位置。部分缺陷图片如图4所示。

图4 缺陷影响电路的若干情况Fig.4 Situation of defects affecting the circuit

由于缺陷的存在以及图像尺寸的约束使得图像中的电路硅岛极易受到遮挡，但是绝大部分的图像中都还存在部分完整的电路硅岛角。针对这一特征，本文设计了一种角模版匹配算法，使用部分未被影响的硅岛角来确定电路硅岛部件位置，分别使用电路硅岛的6个角来进行匹配，6个角模版包括2个直角，4个135°钝角，尺寸为40×40，如图5所示。

图5 六边形角模版Fig.5 Hexagonal angle stencil

在纵贯线边界处计算角模版与图像块的相关度。相关度大于0.8则认为匹配，计算匹配角的个数。Angle1、Angle3同时被匹配，Angle2、Angle6同时被匹配，3个以上角被匹配且其中存在Angle1或者Angle2，满足3个条件中的一个，则认为图像中存在六边形结构并以角顶点为六边形顶点，确定电路硅岛位置。D(x,y)表示模版矩阵，I(x,y)为截取图像，RN(x,y)为计算的相关度函数。相关度计算公式如下[16-20]：

(8)

(9)

(10)

如图4所示，硅岛部件的形状是一致的，大小只与倍率相关，可根据图像倍率来估算出六边形大小，同时只需任意确定一个顶点坐标即可求解出六边形其他的顶点坐标。

2.4 其余部件重构

图像中的其余部件可由纵贯线位置、纵贯线周期、硅岛部件位置来共同确定。如图6(a)所示，在两组纵贯线之间较短的部件，其尺寸的比例固定，数值可由图像的尺寸大小计算得出。在垂直方向与上下两组六边形共享一个垂直对称轴，定位电路硅岛六边形位置即可以确定此部件垂直坐标范围。其水平方向为距离纵贯线左边界0.315倍的纵贯线周期的位置，其出现的周期为纵贯线周期的3倍。在3个周期内的指定位置，寻找白色像素比例大于0.4小于0.95的区域即可。同理，如图6(b)所示，在纵贯线之间较长的部件也可以用相同方法确定。

图6 其余部件Fig.6 Remaining parts

3 实验结果与分析

实验数据为2 000幅由AOI相机采集的缺陷图片。部分原图如图4所示，图像尺寸分为1 024×768，1 600×1 200两种。

为验证本文算法的有效性，分别用本文算法与自动阈值分割算法、分水岭算法进行对比实验，部分图片的处理结果如图7所示。其中红色像素点为不同算法的定位效果。从图中可以看出，基于自动阈值分割算法与分水岭分割算法只能处理少量缺陷颜色与电路颜色相差较大情况下的图片，对于电路被缺陷遮挡、电路缺失、缺陷颜色与电路颜色相近等大部分图片都无法准确定位电路位置。

图7 实验结果。第一行为阈值算法处理结果，第二行为分水岭算法处理结果，第三行为本文算法处理结果。Fig.7 Experimental results. The first row is threshold algorithm processes the results, the second row is watershed algorithm processes the results, and the third row is the algorithm processing results.

相比之下，本文算法能够较好地处理数据集中出现的部件缺失、大尺度缺陷、图像模糊、部件变形等现有算法无法处理的情况。定位效果明显优于现有的分割算法，定位效果如图7所示。

为进一步定量分析本文算法的有效性，本文使用图像分割通用定量分析公式，其公式如下：

(11)

(12)

(13)

其中：NP为算法定位区域，ND为真实电路区域。IOU表示算法定位结果与真实电路的重叠度，它的值越大表示此图的定位效果越好。IOUm表示平均每张图IOU值的大小，NIOU>0.95表示在测试集中IOU的值大于0.95的图片数量，NA为测试集的图片总数，Acc表示在用阈值IOU>0.95时的定位准确率。表1为现有算法与本文算法的对比试验结果。

表1 定量分析结果Tab.1 Quantitative analysis results

从表中可以看出现有的分水岭算法与Otsu算法的定位准确率分别为18.5%和24.5%，而文本算法达到96.1%。从数据中可以分析得出，现有算法只能处理数据集中某一特征的缺陷图片，而本文算法能够适用于绝大多数的缺陷图像。同时，本文算法的IOUm值达到0.974，说明本文算法分割出的电路位置精准，存在的像素偏移小。对比3个算法的IOU的标准差，本文算法具有较好的稳定性。综上，本文算法在各项指标都极大地优于现有图像处理算法。

4 结 论

提出了一种基于自相关性和模版匹配的TFT缺陷电路重构算法来定位被缺陷影响的TFT电路位置。首先，提取出目标区域去除无关的冗余信息后，通过Hough变换计算偏角并校正图像。针对电路周期特征，提取灰度边缘图像的卷积矢量。根据卷积矢量特征确定纵贯线位置，使用自相关估计来估算周期，并引入坐标浮点数进一步提高分割精度。设计六边形角模版匹配算法，提高算法的稳定性、覆盖率、准确率。

实验结果表明，本文算法能够在多种缺陷影响下通过重构TFT电路的方法，准确地定位到TFT电路位置，并达到96.1%以上的准确率。相比现有的图像处理算法，不仅有更高的定位准确率，并且保证了定位的精度与稳定性，基本满足TFT生产中缺陷自动化检测对TFT电路定位的要求。