大尺寸液晶面板获取精准缺陷坐标的研究与应用
2022-11-24朱忠发索金亮黄助兵
张 俊,朱忠发,周 进,刘 成,索金亮,王 彬,黄助兵
(合肥京东方显示技术有限公司,安徽 合肥 230012)
1 引 言
薄膜晶体管液晶显示器(Thin Film Transis⁃tor Liquid Crystal Display,TFT-LCD)在生产制造中会产生各种类型的缺陷,如亮点、暗点、线缺陷、Particle Gap(由异物产生的晕开缺陷)、Mura(画面显示不均的缺陷)、显示异常、气泡等[1-3],其中,部分特定缺陷如亮点、线缺陷、Particle Gap可以通过维修进行修复以提升缺陷液晶面板的品质等级[4-8]。成盒后的液晶面板在液晶盒(Cell)检测站点进行检测以挑出有缺陷的液晶面板,其中可维修的液晶面板在维修之前,需提供缺陷精确坐标,而且提供缺陷精确坐标是可以实现自动维修的前提。
随着高世代线液晶面板的不断推出,液晶面板尺寸越来越大,分辨率不断提高,生产制造过程中对检测缺陷的准确度和速度要求也越来越高。目前,检测液晶面板缺陷的方法主要有人工视觉检测法、电学参数检测法和自动光学检测法,且自动光学检测法以其面板缺陷检测准确率髙,速度快,且是非接触检测的优点,已成为研究的热点[9-26]。Oh等人将方向滤波器组(Directional Filter Banks,DFB)和自适应多级阈值相结合,通过线扫描和面扫描获取不同分辨率的显示面板图像,采用DFB实现低分辨率图像的检测,将自适应多级阈值检测算法用于高分辨率图像检测[25]。欧先锋等提出一种基于全卷积神经网络结构的端对端快速TFT-LCD表面缺陷检测算法,利用深度学习强大的学习能力对缺陷点与非缺陷点进行像素级分类,在检测率、误检率以及时效性上都取得了显著效果[26]。但是,虽然液晶面板的缺陷检测方法得到了广泛的研究和应用,缺陷检测越来越准确,对于成盒后液晶面板缺陷的精准定位却很少提及。马岭等采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习的图像子块,并根据模型对图像子块判定类别和定位坐标,同时获取多类型缺陷检测结果[27],但此方法只适用于缺陷的检出和定位缺陷区域块,不能获取缺陷的精确坐标。目前,在液晶面板生产工厂中,液晶盒(Cell)检测站点传统的寻找缺陷坐标方案主要有两种:
第一种方案是人工视觉检测确认缺陷坐标。通过检测装置点灯检测出缺陷后,人工手动调整液晶面板自身显示的十字光标到缺陷位置,再通过人眼观察确认十字光标与缺陷是否重合来确认缺陷的坐标。但是在液晶面板越来越大、分辨率不断提高的趋势下,以某款1 651 mm(65 in)超高清(Ultra High Definition,UHD,分辨 率:3 840×2 160 PPI)产品为例,1 440 mm宽的显示屏上单个亚像素的宽度只有127 μm,人工视觉确认坐标存在3个方面缺点:一是人员寻找缺陷速度慢,效率低,不能满足高速运行的自动化产线要求。二是人员确定缺陷坐标的精度差,人眼观察微米级别的缺陷,确认坐标偏差概率很高,会导致上传系统的缺陷坐标数值不准确,严重影响维修过程中缺陷位置查找和维修效率。而且如果维修时在上传缺陷坐标位置查找不到缺陷点的情况下,会将液晶面板进行再次点灯检测来重新上传缺陷坐标,浪费人力和物力。三是人员劳动强度大,工作环境会影响人员确认缺陷坐标的稳定性,导致坐标出现偏差。目前人工视觉方法只适用于小尺寸、低分辨率液晶面板的缺陷坐标寻找。
第二种方案是自动光学检测确认缺陷坐标。首先,自动光学检查机拍照并判断出液晶面板存在缺陷,然后计算缺陷在图片中的位置,最后通过图片与液晶面板显示区域长宽比例换算出缺陷在实际液晶面板的坐标。但此种方法适用于小尺寸、无形变液晶面板的缺陷坐标快速自动定位,在高世代线液晶面板制造中,液晶面板尺寸较大,未贴附偏光片的液晶面板竖直放置在检测机台上进行自动光学检查机检测,液晶面板在前后方向会有一定的弯曲形变,越靠近中心,前后弯曲的形变量越大,此种通过图片比例计算的方法来确定缺陷实际坐标不够精确,无法保证坐标精度。而且液晶面板尺寸越大,形变量越大,通过图片比例换算得到的缺陷坐标误差就越大,无法满足缺陷维修坐标精度的要求。因此,自动光学检测确认缺陷坐标的方法无法在企业大尺寸液晶面板精准获取缺陷坐标工艺上得到应用。
因为液晶面板尺寸较大、分辨率高,在检测机台上会发生形变等问题,传统人工视觉或自动光学检测寻找缺陷坐标法存在效率低、精度差等缺点,难以满足企业当前的生产需求。H公司在量产初期缺陷发生率较高,如果因人工视觉或自动光学检测寻找缺陷坐标方式的坐标误差导致维修失败,每年损失可达数千万元。同时,在智能制造的大环境下,高世代线大尺寸液晶面板的制造领域自动化程度越来越高,利用智能缺陷检出系统自动检出液晶面板缺陷及其坐标成为一种趋势。为了减少因坐标误差导致的维修失败损失,提升缺陷寻址准确率和效率,而且为了克服大尺寸液晶面板在检测机台上的形变问题,本文对大尺寸液晶面板精准获取缺陷坐标的方法进行了研究,创新性地设计出一种可以自动寻找大尺寸液晶面板中缺陷精确坐标的系统。本文对该系统的硬件和软件实施架构,常见的亮点缺陷、Data Open(数据线显示区内断开形成的线缺陷)、X-line(数据线起始端断开形成的线缺陷)、Data Gate Short(数据线和扫描线显示区内短路形成的线缺陷)线缺陷和Particle Gap缺陷的自动定址逻辑进行了阐述。最后,对5种液晶面板缺陷进行自动定址实际测试,并与传统缺陷坐标寻找方法进行了对比。
2 缺陷自动定址系统的建立
2.1 系统硬件实施方式
缺陷自动定址系统硬件实施方式如图1所示。首先,被检测的液晶面板是成盒后的面板,液晶面板在检测机台上竖直放立,四周边框固定在检测机台上,中间显示区域无支撑、无遮挡,由背光源在液晶面板后侧提供均匀的光源。其次,由液晶面板驱动装置(Pattern Generator,PG)根据要求将液晶面板点亮,显示不同的画面,并可在液晶面板上根据要求显示空心的十字光标。然后,在液晶面板前方安装一个图像拍摄装置,可以用CCD相机或CMOS相机,而且图像拍摄装置能够通过相机移动机构在液晶面板前方按要求进行垂直、水平移动进行局部拍照取像。相机移动机构通过马达控制运动。最后,寻址系统中控机与图像拍摄装置和PG相连,并与液晶面板的数据库系统进行通信,同时接收并处理图像拍摄装置传送的图像,根据图2所述流程寻找到缺陷的精确坐标。
图1 缺陷自动定址系统硬件实施方式示意图Fig.1 Hardware implementation scheme of defect auto⁃matic addressing system
图2 缺陷自动定址系统软件实施方式示意图Fig.2 Software implementation scheme of defect auto⁃matic addressing system
2.2 系统软件实施方式
缺陷自动定址系统软件实施方式如图2所示。
第一步,寻址系统中控机从数据库系统下载对应液晶面板的缺陷信息,包含缺陷数量、缺陷类型、缺陷检出画面及其对应的初始坐标(X0,Y0),该初始坐标为人员(图3)或自动检测装置(图4)在初次检测液晶面板时提供的缺陷周边范围内一个大概位置的坐标。
图3 人工视觉检测确认缺陷初始坐标示意图Fig.3 Scheme of manual visual detection and confirma⁃tion of defect initial coordinates
图4 自动光学检测确认缺陷初始坐标示意图Fig.4 Scheme of automatic optical detection and confir⁃mation of defect initial coordinates
第二步,寻址系统中控机读取液晶面板一个缺陷信息后,通知PG提供信号将液晶面板进行点亮,且显示为缺陷被检出画面。然后寻址系统中控机控制移动相机到液晶面板的初始坐标前方,再通过图像拍摄装置拍照确认是否真实存在缺陷,若不存在则读取下一个缺陷信息,若存在则继续寻找精确缺陷坐标。
第三步,确认缺陷存在后,根据从数据库系统下载的缺陷初始坐标(X0,Y0)显示出空心十字光标,空心十字光标的中心坐标即为(X0,Y0)。然后相机拍照,再根据不同类型缺陷制定的缺陷定址逻辑来判断空心十字光标与缺陷是否重合。
第四步,如果确认缺陷与空心十字光标不重合,则通过图片计算出缺陷相对于空心十字光标的偏移量,换算成十字光标需要移动的横向(X方向)距离m和竖向(Y方向)距离n,然后通知PG将空心十字光标按照m和n的数值进行X和Y方向的移动。空心十字光标移动完成后,再进行拍照确认缺陷是否与空心十字光标重合。如果不重合则重复循环本步骤上述内容,直到确认空心十字光标与缺陷位置完全重合,即空心十字光标与缺陷X和Y方向的偏移量为(0,0)。
第五步,确认缺陷与空心十字光标重合后,寻址系统中控机从PG读取此时的空心十字光标坐标(X1,Y1),将此坐标信息作为缺陷精准真实坐标上传到数据库系统。
第六步,确认此液晶面板是否还有其他缺陷信息,如果有则继续执行第二步至第五步的操作,直到将所有缺陷坐标寻找并上传完毕,然后将相机移动归位,结束此液晶面板的缺陷寻址流程。
此系统软件实施方式没有采用与自动光学检测类似的通过拍照的图片换算比例直接计算出缺陷坐标的方法,而是通过空心十字光标的设计、缺陷识别和定址逻辑的制定,最后通过液晶面板驱动装置输出的十字光标坐标作为缺陷坐标的系统设计,彻底克服了大尺寸液晶面板在检测机台上的形变问题。通过PG直接输出缺陷的精准坐标,后续维修过程可以通过数据库系统迅速准确地找到缺陷的精确位置从而进行修复。
3 缺陷精确坐标定址逻辑
在确定自动寻找大尺寸液晶面板缺陷精确坐标的硬件和软件设计及实施方式后,本文对大尺寸液晶面板发生率较高的5种缺陷定址逻辑进行了阐述,分别为亮点缺陷、Data Open、X-line、Data Gate Short线缺陷和Particle Gap五种缺陷的自动定址逻辑。
3.1 亮点缺陷定址逻辑
亮点缺陷是液晶面板最常见的缺陷。在阵列和成盒段制造过程中,都会产生亮点缺陷。亮点缺陷的维修手法已经很成熟,并形成了完全自动维修的修复方式,因此提供亮点缺陷的精准坐标尤为重要,是保证维修成功的重要前提。
当液晶面板存在亮点缺陷时,在特定检测画面下,相机拍摄的液晶面板上面显示的亮点缺陷画面如图5(a)所示,在周围显示黑色的画面下,亮点缺陷以一个发亮的亚像素方式显示。根据亮点缺陷的维修需求,定位亮点缺陷时,需要精确定位亮点的横向和竖向坐标。在本系统设计里,PG十字光标显示在液晶面板上是空心的十字光标,横竖交叉的空心点坐标即是十字光标的坐标。当PG十字光标显示在正常区域时(坐标为X0,Y0),寻址系统中控机通过相机拍摄空心十字光标与亮点缺陷的画面,如图5(b)所示。通过拍摄的图片计算十字光标(X0,Y0)与亮点缺陷(X1,Y1)的间距,换算出十字光标与缺陷重合时需要移动的横向和竖向距离,然后反馈给PG,PG移动十字光标至缺陷处。然后相机再进行拍照来校验空心十字光标与亮点缺陷是否重合,如果不重合再进行前一步骤进行校准,直到如图5(c)所示,十字光标中间是亮点,此时判定亮点缺陷与空心十字光标重合。最后,由PG输出此时空心十字光标坐标(X2,Y2)作为亮点缺陷的精准坐标。
图5 (a)亮点缺陷画面;(b)十字光标与亮点缺陷非重合画面;(c)十字光标与亮点缺陷重合画面。Fig.5(a)Defect image of pixel;(b)Image of cross cur⁃sor non-coincided with pixel;(c)Image of cross cursor coincided with pixel.
3.2 Data Open缺陷定址逻辑
Date Open缺陷常发生于阵列工艺制程,是由于显示区域内TFT的数据线出现断路形成的线缺陷,从断点开始,液晶面板下方TFT无法供电,液晶分子无法偏转,宏观现象是一条不贯穿的黑线。
当液晶面板存在Date Open缺陷时,以Zinversion TFT设计(一根数据线隔行翻转控制两列像素,如图6所示,且本文后续描述线缺陷都是此TFT设计)为例,在特定检测画面下,相机拍摄的Date Open缺 陷 画 面 如 图7(a)所 示,在Data Open的断点以下部分,两列像素显示出间隔的黑色像素点。根据Date Open缺陷的维修需求,需要将最上端黑色像素点作为Date Open缺陷的坐标(X1,Y1)进行定址。寻址系统中控机通过相机拍摄空心十字光标的画面,如图7(b)所示,PG十字光标显示在正常区域时(坐标为X0,Y0),十字光标的竖向亮点像素在交叉点上下都是连续呈现的。然后通过相同位置上拍摄的图片分别计算出十字光标在图7(c)上的坐标(X2,Y2)和Date Open在图7(d)上的坐标(X3,Y3),系统再通过计算(X3,Y3)与(X2,Y2)的横向和竖向间距,换算并反馈给PG十字光标需要的偏移量。PG移动十字光标至缺陷处后,相机再进行拍照来校验空心十字光标与Date Open缺陷坐标是否重合,并进行校准,直到如图7(e)所示,空心十字光标交叉点的下方是非连续间隔的亮点像素。此时寻址系统中控机判定Date Open缺陷是否与空心十字光标重合,由PG输出此时的空心十字光标的坐标(X4,Y4)作为Date Open缺陷的坐标。
图6 Z-inversion TFT设计示意图Fig.6 Design scheme of Z-inversion TFT
图7 (a)Date Open缺陷画面;(b)十字光标与Date Open缺陷非重合画面;(c)Date Open缺陷在图片上的计算坐标示意图;(d)十字光标在图片上的计算坐标示意图;(e)十字光标与Date Open缺陷重合画面。Fig.7(a)Defect image of Data Open;(b)Image of cross cursor non-coincided with Data Open;(c)Diagram of the calculated coordinate of Date Open defect on the picture;(d)Diagram of the calculated coor⁃dinates of the cross cursor on the picture;(e)Image of cross cursor coincided with Data Open.
3.3 X-line缺陷定址逻辑
X-line缺陷的发生常见于阵列工艺制程,也可能发生在成盒工艺制程,是由于数据线的起始段出现异常,导致整条数据线都无法输入电压,与之关联的像素都呈现黑色。
当液晶面板存在X-line缺陷时,在特定检测画面下,相机拍摄的X-line缺陷画面如图8(a)所示,会有两列像素出现间隔的黑色像素点。根据缺陷维修要求的协议,X-line缺陷任意定位一侧间隔呈现的一列黑色像素点X方向的坐标即可。PG十字光标显示在正常区域时,光标的竖向亮点像素是连续呈现的,如图8(b)所示。当寻址系统中控机识别X-line缺陷后,根据缺陷与十字光标在相同位置图8(a)和图8(b)上X方向的间距来换算成十字光标需要移动的距离,并反馈新的坐标给PG,使PG移动十字光标至缺陷处,并校验两者是否重合。如图8(c)所示,此时十字光标的竖向亮点像素是间隔呈现出来的,即判定X-line缺陷与十字光标重合,此时PG输出的十字光标坐标(X1,Y1)即为X-line缺陷的精确坐标。
图8 (a)X-line缺陷画面;(b)十字光标与X-line缺陷非重合画面;(c)十字光标与X-line缺陷重合画面。Fig.8(a)Defect image of X-line;(b)Image of cross cur⁃sor non-coincided with X-line;(c)Image of cross cursor coincided with X-line.
3.4 Data Gate Short缺陷定址逻辑
液晶面板Data Gate Short缺陷常发生于阵列工艺制程,由于数据线和扫描线短路造成电压异常,宏观上显示在短路点形成交叉且竖向贯穿、横向渐变的十字线。Data Gate Short缺陷的维修就需要定位到数据线和扫描线短路点后再进行相应的维修工艺。
当液晶面板存在Data Gate Short缺陷时,在特定检测画面下,相机拍摄的液晶面板上面显示的Data Gate Short缺陷画面如图9(a)所示。在短路点处,数据线上的像素由于电压变高,像素点亮度增加,形成与X-line缺陷类似的两列间隔的发亮像素点,而且在短路点的像素点呈现黑色不亮的状态,并且以此作为寻址系统中控机识别Data Gate Short缺陷的依据。根据维修缺陷的要求,定位Data Gate Short缺陷坐标时,需要定位到短路处交叉点的左侧坐标。当PG十字光标显示在正常区域时(坐标为X0,Y0),寻址系统中控机通过相机拍摄空心十字光标与Data Gate Short缺陷的画面,如图9(b)所示。通过拍摄的图片计算十字光标与Data Gate Short缺陷的间距,换算成十字光标与缺陷重合时需要移动的距离横向和竖向间距,然后反馈给PG,让其移动十字光标至缺陷处,然后相机再进行拍照来校验空心十字光标与缺陷是否重合。如图9(c)所示,Data Gate Short缺陷与空心十字光标重合时,十字光标X向右边紧挨着的一列像素间隔发亮,而且在十字光标交叉点发黑,此时判定由PG输出的空心十字光标的坐标(X1,Y1)即为Data Gate Short缺陷的精确坐标。
图9 (a)Data Gate Short缺陷画面;(b)十字光标与Da⁃ta Gate Short缺陷非重合画面;(c)十字光标与Da⁃ta Gate Short缺陷重合画面。Fig.9(a)Defect image of Data Gate Short;(b)Image of cross cursor non-coincided with Data Gate Short;(c)Image of cross cursor coincided Data Gate Short.
3.5 Particle Gap缺陷定址逻辑
Particle Gap缺陷常发生于成盒工艺制程,是由于异物(Particle)在两层玻璃基板中间造成了盒厚的变化形成带有光晕的缺陷,并且缺陷中间有发亮的异物。在维修Particle Gap缺陷时,只需提供Particle Gap中间异物的坐标。
当液晶面板存在Particle Gap缺陷时,在特定检测画面下,相机拍摄的Particle Gap缺陷如图10(a)所示,缺陷中间有发亮异物,周边有圆形光圈,寻址系统中控机以此作为缺陷的识别逻辑。在特定检测画面下,相机拍摄的液晶面板上面显示的PG空心十字光标与缺陷中心异物画面如图10(b)所示。系统通过计算两者之间的间距,换算成PG空心十字光标需要的偏移量,进而通过PG将空心十字光标移向缺陷处,直至两者重合。如图10(c)所示,在空心十字光标的中心有发亮的异物即判定为缺陷与十字光标重合,此时,通过PG显示的空心十字光标坐标即为Particle Gap缺陷的坐标。最后,将此坐标上传至缺陷数据库系统,即可在维修段进行缺陷的定位和维修。
图10 (a)Particle Gap缺陷画面;(b)十字光标与Particle Gap缺陷非重合画面;(c)十字光标与Particle Gap缺陷重合画面。Fig.10(a)Defect image of Particle Gap;(b)Image of cross cursor non-coincided with Particle Gap;(c)Image of cross cursor coincided Particle Gap.
4 缺陷自动定址系统测试
在H工厂对含有5种类型缺陷的1 651 mm(65 in)和1 905 mm(75 in)UHD液晶面板进行自动定址系统及寻址逻辑的测试,两种尺寸产品各测试1 000张,结果如表1所示。测试结果显示,2 000张液晶面板上的5种缺陷全部成功自动定址,表明该系统稳定性非常高,准确率能够达到100%。
表1 缺陷寻址测试准确率结果Tab.1 Accuracy results of defect addressing
同时,将缺陷自动定址系统与H工厂生产初期使用的传统人工视觉和自动光学检查机在1 651 mm(65 in)UHD液晶面板缺陷定址的效率与准确性进行对比,如表2所示。可以看出,人工视觉进行缺陷定址耗时长,完成一个缺陷的定址需要90 s,而且准确性最高仅能达到70%;自动光学检查机耗时短,只需18 s,但因液晶面板形变问题,缺陷坐标准确性仅能达到20%;缺陷自动定址系统耗时比自动光学检查机多2 s,但准确率能达到100%。对比结果表明,缺陷自动定址系统在自动化、识别速度、准确性方面全面优于人工视觉,在准确性方面比自动光学检查机提升了80%,该系统应用于自动化快速精准定位缺陷坐标领域具有明显的优势。
表2 缺陷定址方法对比Tab.2 Comparison of defect addressing methods
5 结 论
本文针对高世代线的大尺寸、高分辨率液晶面板采用传统人工视觉或自动光学检查机进行缺陷定址因效率低、精度差等原因导致维修失败的问题进行了分析,创新性地设计出一种可以自动获取大尺寸液晶面板中缺陷精确坐标的系统,并阐述了缺陷自动定址系统的硬件和软件实施方式。对5种液晶面板中常见缺陷建立了缺陷识别和定址逻辑,并对每种缺陷自动定址进行了实际测试,每种缺陷测试共有1 651 mm(65 in)和1 905 mm(75 in)UHD液晶面板各1 000张,并与传统缺陷坐标定址方法进行了对比。测试及对比结果表明,该系统稳定易用,具有全自动、识别速度快和100%精确寻址等优点。目前,该系统应用于H公司缺陷坐标寻址工序后,缺陷坐标上传效率显著提高,并且缺陷坐标准确性提升30%以上,缺陷维修收益显著提升,表明该缺陷自动定址系统在大尺寸液晶面板缺陷维修坐标寻址领域具有重大应用价值。