基于机器视觉的OLED屏混色缺陷检测算法

欧阳韬

（上海交通大学电子信息与电气工程学院，上海200240）

基于机器视觉的OLED屏混色缺陷检测算法

欧阳韬

（上海交通大学电子信息与电气工程学院，上海200240）

OLED屏的混色缺陷表现为面板上低对比度、色彩不均一的区域，具有背景整体亮度不均、各个通道灰度变化都不明显等特点，因此用基于机器视觉的方法从图像中分割出来缺陷是非常困难的。借鉴检测Mura缺陷的算法，首先用正交多项式的曲面拟合方法去构造一张背景图，再用原图与背景图相减，得到疑似缺陷的区域，然后针对混色缺陷自身的特点，提出一种基于面板像素周期性排布的检测方法，最后通过设定的阈值筛选出真正的缺陷。实验结果表明，该方法对混色缺陷的检测比较有效，且算法简单，实时性高，易于实现。

0 引言

随着信息显示技术的不断发展，有机发光二极管（OLED）显示屏的生产工艺日益成熟，越来越多的显示屏制造厂商开始投入资金批量生产OLED显示屏。比起液晶显示LCD，OLED具有画质均匀、视角广阔、反应速度灵敏、可制作成挠曲式面板等优点，同时OLED为自发光材料，不需要用到背光板，用简单驱动电路即可达到发光，制程简单，因此备受厂商和消费者青睐，OLED作为下一代新型显示技术也逐渐被业界视为主流发展趋势[1]。

为了防止不理想的OLED产品流入市场，这就需要专业的质检人员来检测面板上面的缺陷，但是用人眼检测需要更高的劳动力成本，而且不同的质检人员针对同一面板的检测结果可能都不太一样，即便同一人检测，受人类情绪变化等主观因素影响，也难以避免检测结果不一致的情况。这些都不利于大规模的工业生产。因此，研究出相应的自动检测算法让机器视觉代替人眼检测已成为一个紧迫的任务。

OLED显示屏在制作过程中主要会存在点缺陷、线缺陷和混色缺陷[2]，而混色缺陷可以看做是带有颜色的Mura缺陷。通常来说，Mura缺陷表现为面板上低对比度、亮度不均一的区域，而混色缺陷是特定颜色画面或者特定灰阶画面下低对比度、色彩不均一的区域，如图1所示。比起亮度不均一的Mura缺陷（如图2所示），这种颜色不均一的混色缺陷对比度更低，而且需要一定角度才能观察拍摄到，所以检测起来更加困难。

图1 混色缺陷样图

图2 Mura缺陷样图

目前，针对面板的Mura缺陷已有很多的自动检测算法被提出。Xin Bi等人[3]提出了一种使用水平集来进行图像分割的方法来检测缺陷；卢小鹏等人[4]改进了Chan-Vese模型来实现对Mura缺陷的快速分割；Yu-Bin Yang等人[5]使用奇异值分解和离散余弦变换来重构背景图像，计算出差异图后再检出缺陷；Xin Bi等人[6]利用实Gabor滤波器来增强Mura缺陷；Hao-Chiang Shao[7]提出了一种从低对比度图像中去除相对高频成分的算法来减少对图像增强的干扰；Du-Ming Tsai等人[8]把要检测的图像用一些基本图像的线性组合去表示，而其系数就可以反映出Mura缺陷，在此基础上再进行分析判断；李坤等人[9]提出一种基于B样条曲面拟合的背景抑制方法，用原始图像减去拟合背景，从而消除亮度不均匀背景对缺陷分割造成的影响；Jong-Hwan Oh等人[10]在小波域上实现对图像的增强，从而检出低对比度的Mura缺陷；Din-Chang Tseng等人[11]提出一种用多张图累加并且进行多分辨率下背景图相减的方法，这种方法检测Mura缺陷也有比较好的效果。

然而针对OLED显示屏的混色缺陷还很少有对应的自动检测算法。Giljoo Nam等人[12]提出了一种检测混色缺陷的方法，但却局限于使用HDR图像进行分析。HI Son[13]提出了一种通过衍射图来检测彩色区域的方法，但也局限于用线扫描相机拍摄的图。T Asa⁃no等人[14]提出了一套检测彩色不均一区域的系统，但他们针对的是CRT显示屏，而OLED显示屏的缺陷会微弱很多。本文借鉴了检测Mura缺陷的算法，首先用改进后的基于正交多项式的曲面拟合方法去构造一张背景图，再用原图与背景图相减，得到疑似缺陷的区域，然后针对混色缺陷自身的特点，提出了一种基于面板像素周期性排布的检测方法，最后通过设定的阈值筛选出真正的缺陷。实验结果表明，本文提出的方法对即便比较微弱的混色缺陷，检测效果仍然不错，且算法简单，实时性高，易于实现。

1 基于正交多项式的曲面拟合算法

在背景的曲面拟合过程中，二维空间上的离散正交多项式可以由两组一维正交多项式的张量积来构造 。 设{P0(r)=1,P1(r),…,PN(r)}和{Q0(c),Q1(c),…,QM(c)}分别是集合R和集合C上的离散正交多项式，则{P0(r) Q0(c),…,Pm(r) Qn(c),…,PN(r) QM(c) }是二维对称集合R×C上的离散正交多项式。

因为在这个问题中我们只需考虑不超过3阶的，所以当R=C={- 2,-1,0,1,2}时，在集合R×C上的正交多项式为{1,r,c,r2-a,rc,c2-a,r3-br,(r2-a) c,r(c2-a),c3-bc}

对于工业相机采集到的彩色图像，先分解为R、G、B三个通道，对于每个通道采用WangZhenyao和MaL⁃ing[15]改进后的曲面拟合算法。

我们将使用gi(r ,c),i=1,…,10来表示上式。

显然，任意二元三次多项式能够用正交多项式线性表示。

所以2维模板卷积能够分解为一些简单的1维模板卷积。假设输入是I1,I2,…IN，我们只关心一下4种模板卷积：

通过上式，我们可以快速地计算出ki,i=1,…,10，同时也拟合出了无缺陷的背景图，通过原图与背景图的相减，我们可以得到疑似缺陷的区域。

2 基于周期性的混色缺陷检测算法

RGB PenTile排列是OLED显示屏RGB子像素的排列方式。标准RGB排列的像素点是由红、绿、蓝三个子像素组成的，而PenTile排列与标准RGB排列不太一样，它单个像素点由“红绿”或者“蓝绿”两个子像素点组成。可以从对比图中看到，同样显示3×3个像素的话，在水平方向上PenTile有6个子像素，而标准RGB有9个子像素，PenTile子像素数量有所减少[16]。

图3 RGB PenTile排列和标准RGB排列对比图

我们可以看出，RGB PenTile这种排列方式依然是具有周期性的，只不过比起标准RGB的周期要大一些。所以如果是无缺陷的OK屏的话，相邻周期像素值大小应该是比较接近的；如果是有缺陷的NG屏的话，相邻周期像素值大小应该会差异比较大。利用这种周期性，我们可以对第1节中得到疑似缺陷的区域做进一步的分析。

在我们采集到的图像中，假设拍摄到的面板矫正成矩形后长占w个图像像素，宽占h个图像像素，实际的面板分辨率为m×n，子像素排列的周期为 p，我们可以得到最终需要的周期P：

一般而言，P水平≅P垂直，如果计算出来的周期不是整数的，我们可以乘以两倍得到一个整数的周期值，如果还不满足，可以调整相机与面板的拍摄距离，重新拍摄并使之满足。

现在，我们把注意力放回到之前的疑似缺陷的区域。在区域的几何中心点上，取一块N×N像素的样本区域，在相邻周期P且在此区域外的位置上同样取上下左右四块N×N像素的样本区域，如果相邻周期P的位置在此区域内，可以用n( )n=2,3,… 倍的周期直至在区域外。

彩色相机采集到的图片中，每个图像像素都是由R、G、B三个0～255之间的数值表示的，故可以用一个三维向量表示一个像素值v⇀=(r ,g,b)，其中r,g,b分别为R、G、B三个通道的数值。

例如，N取9，则每一块9*9像素的样本区域可表示为：

然后再计算中间区域分别与上下左右四块区域的2范数。其中s0为中间区域，sn(n =1,2,3,4)分别为上下左右四块区域。

对 ||xn中的元素求平均，然后再用求得的四个平均值作为进一步筛选缺陷的参考数值。假如这四个平均值都大于我们设定的阈值，即判定为混色缺陷，否则判定为正常区域。如果缺陷处于角落或者边缘位置，这个时候我们只需要比较其中的两组或者三组平均值与阈值的大小即可。

最后，我们需要对找到的混色区域进行定量化描述，Yuji Takagi等人[17]提出了基于彩色缺陷的定量化方法，但由于目前还没有被业界广泛接受，绝大部分面板厂依然使用的是类似Mura的定量化方法，所以我们依然使用传统的描述方法。

基于日本IBM相关研究人员的研究成果，2002年SEMI（国际半导体设备与材料产业协会）发布了SEMI D31-1102标准，全称为Definition of Measurement Index(Semu)for Luminance Mura in FPD Image Quality Inspec⁃tion，给出了关于Mura定量化的标准。

在大量实验的基础上，SEMI D31-1102给出了最小可觉差阈值Cjnd与面积Sx（单位为毫米）的关系：

而Mura的定量化，也就是SEMU值，定义为：

其中，Cjnd是人眼最小可觉差的对比度，Cx是Mu⁃ra区域的平均对比度；总之，SEMU值越大，表明缺陷越明显；SEMU值越小，表明缺陷越微弱。

3 实验结果

我们从面板厂获取了一批OLED屏作为实验样本，从有缺陷的样片中选取两片不同缺陷位置的进行分析。实验电脑配置为Intel Core i3处理器，主频2.2GHz，内存8GB，操作系统为Windows 7，算法的处理时间均在1s以内。算法找出的缺陷位置用天蓝色方框标出，并注明该混色缺陷的SEMU值和对比度最大值。其中绿色的十字星表示对画面的定位并确定好ROI区域，同时程序会对图像进行矫正处理，然后再应用本文第1、2章节的算法。图片分别为原图，缺陷检出图，缺陷位置局部放大图，缺陷检出局部放大图。

图4 带有混色缺陷的1号原图

图5 算法自动检测出缺陷的结果图

图6 缺陷位置局部放大图

图7 检出结果的局部放大图

图8 带有混色缺陷的2号原图

图9 算法自动检测出缺陷的结果图

图10 缺陷位置局部放大图

图11 检出结果的局部放大图

可以看出，无论缺陷的位置是在面板的中间还是在角落，本文提出的方法对微弱的混色缺陷都有比较好的检测效果，且算法有较强的鲁棒性，能够满足工业流水线中实时检测的要求。

4 结语

用机器视觉检测OLED显示屏中的混色缺陷较为困难，本文提出了一种基于面板像素周期性排布的检测方法，可以有效地检测出缺陷，而且算法满足实时性的要求，可以广泛应用于实际的生产流水线中。本文提出的方法不仅适用于OLED显示屏混色缺陷的检测，同时也可以为检测各类彩色的缺陷提供一种新的思路。

[1]王国亮.OLED产业发展及市场前景浅析[J].中国市场,2017(11):62-63.

[2]彭骞,陈凯,沈亚非,等.有机电激光显示器件缺陷检测进展[J].广东科技,2015,24(18):55-59.

[3]Bi X,Zhuang C,Ding H.A New Mura Defect Inspection Way for TFT-LCD Using Level Set Method[J].IEEE Signal Processing Letters,2009,16(4):311-314.

[4]卢小鹏,李辉,刘云杰,等.基于Chan-Vese模型的TFT-LCD Mura缺陷快速分割算法[J].液晶与显示,2014,29(1):146-151.

[5]Yang Y B,Li N,Zhang Y.Automatic TFT-LCD Mura Detection Based on Image Reconstruction and Processing[C].Consumer Electronics¿Berlin(ICCE-Berlin),2013.ICCEBerlin 2013.IEEE Third International Conference on.IEEE,2013:240-244.

[6]Bi X,Xu X,Shen J.An Automatic Detection Method of Mura Defects for Liquid Crystal Display Using Real Gabor Filters[C].Image and Signal Processing(CISP),2015 8th International Congress on.IEEE,2015:871-875.

[7]Shao H C,Jong T L,Chen Y C,et al.Robust Segmentation for Automatic Detection of Mura Patterns[C].Consumer Electronics,2009.ISCE'09.IEEE 13th International Symposium on.IEEE,2009:267-270.

[8]Tsai D M,Tseng Y H,Chiu W Y.Surface Defect Detection in Low-contrast Images Using Basis Image Representation[C].Machine Vision Applications(MVA),2015 14th IAPR International Conference on.IEEE,2015:186-189.

[9]李坤,李辉,刘云杰,等.LCD Mura缺陷的B样条曲面拟合背景抑制[J].光电工程,2014,41(2):33G39.

[10]Oh J H,Yun B J,Park K H.The Defect Detection Using Human Visual System and Wavelet Transform in TFT-LCD Image[C].Frontiers in the Convergence of Bioscience and Information Technologies,2007.FBIT 2007.IEEE,2007:498-503.

[11]Tseng D C,Lee Y C,Shie C E.LCD Mura Detection with Multi-Image Accumulation and Multi-Resolution Background Subtraction[J].Int.J.Innovative Comput.,Inf.Control,2012,8(7(A)):4837-4850.

[12]Nam G,Lee H,Oh S,et al.Measuring Color Defects in Flat Panel Displays Using HDR Imaging and Appearance Modeling[J].IEEE Transactions on Instrumentation&Measurement,2016,65(2):297-304.

[13]Son H I.Automatic Inspection Method for Macro Defects in TFT-LCD Color Filter Fabrication Process[J].Ieice Electronics Express,2009,6(8):516-521.

[14]Asano T,Kawame K,Mochizuki J,et al.Automated Color Inspection System for Color CRT Displays[C].International Conference on Industrial Electronics,Control,Instrumentation,and Automation,1992.Power Electronics and Motion Control.IEEE,2002:725-730 vol.2.

[15]Maling W.Implementation of Region-Mura Detection Based on Recursive Polynomial-Surface Fitting Algorithm[J].2008.

[16]严利民,陈静,冯俊.一种提高平板显示器亮度的子像素结构及其映射算法[J].光电子技术,2015,35(4):241-245.

[17]Takagi Y,Asano T,Liu W,et al.Color Uniformity Evaluation of Electronic Displays Based on Visual Sensitivity[C].Frontiers of Computer Vision.IEEE,2011:1-5.

欧阳韬（1992-），男，湖南岳阳人，在读硕士研究生，研究方向为机器视觉、图像处理与模式识别

2017-08-01

2017-10-15

Defect Detection;Machine Vision;OLED

Image Detection Algorithm for Chromatic Defect of OLED Based on Machine Vision

OUYANG Tao

（School of Electronic Information and Electrical Engineering，Shanghai Jiao Tong University，Shanghai 200240）

OLED chromatic defect is defined as the low contrast,uneven color of the region on the panel,with the uneven brightness of the back⁃ground,gray-scale of each channel does not change obviously,so segmentation defects from the image based on the machine vision method is very difficult.Imitates the algorithm of detecting Mura defect,uses the surface fitting method of orthogonal polynomial to construct a background image,and then subtracts the original image from the background image.Gets the defective area,and because of the character⁃istics of the chromatic defect itself,proposes a method based on the periodic arrangement of panel pixels,and selects the real defects by set⁃ting the threshold.The experimental results show that the proposed method is effective for detecting defects,and the algorithm is simple,re⁃al-time and easy to implement.

缺陷检测;机器视觉;OLED；曲面拟合

1007-1423（2017）0-0000-00

10.3969/j.issn.1007-1423.2017.0.0?