基于改进相干增强扩散与纹理能量测度和高斯混合模型的导光板表面缺陷检测方法

张亚洲 ，卢先领 *

（1.江南大学物联网工程学院，江苏无锡214122；2.轻工过程先进控制教育部重点实验室（江南大学），江苏无锡214122）（∗通信作者电子邮箱jnluxl@jiangnan.edu.cn）

0 引言

液晶屏（Liquid Crystal Display，LCD）导光板是液晶显示器背光源模组中的重要组成部件，其表面缺陷将影响液晶屏的显示效果。基于机器视觉的LCD导光板表面缺陷自动光学检测（Automated Optical Inspection，AOI）［1］系统，相对人工视觉检测具有检出率高、误检率低、速度快、可全天无间断工作等优点，其中，LCD导光板图像在复杂背景下的缺陷检测技术是AOI系统视觉检测部分的核心［2］，其难点问题在于：1）由于LCD导光板表面导光颗粒尺寸和散布密度渐变的特点，导致同一图像不同区域的背景纹理差异性较大；2）在复杂背景纹理信息的干扰下，成像面积较小，其特征难以提取；3）对漏检率和误检率等性能指标有较高的要求。

根据LCD导光板表面常见缺陷的种类和缺陷特征的提取方式，目前现有的LCD导光板缺陷检测方法有不变矩特征检测法［3-4］和频域滤波检测法［5-7］。不变矩特征检测法通过提取图像的矩不变量作为描述不同区域网点结构分布的特征量，但使用高阶矩表征图像细节信息时易受到噪声等因素的影响，对此，Lin［3］通过引入加权中心矩来提高远离质心区域噪声的容忍度，并结合人工神经网络（Artificial Neural Network，ANN）识别出LCD导光板表面微结构缺陷，但没有对划痕和异物等常见缺陷提出检测方法，而且矩不变量的计算较为复杂，难以达到检测系统的实时性要求。频域滤波检测法是实际生产中常用的检测方法，Huang等［5］提出基于离散傅里叶变换（Discrete Fourier Transform，DFT）的检测方法，通过频域滤波，剔除了具有周期性的背景图案，并利用最大类间方差（Otsu）阈值分割法和形态学操作完成缺陷区域前景的提取；但此方法缺乏局部化分析能力，易受到图像灰度局部分布不均的干扰。Bi等［6］使用Gabor变换在频域中对多个固定的方向和尺度提取TFT-LCD（Thin Film Transistor Liquid Crystal Display）图像的相关特征并检测出Mura缺陷，虽然Gabor滤波法有频率和方位的选择性，克服了DFT检测法的缺点，但其时频窗口的大小和形状不能随频率的变化而变化，不具备自适应能力［8］。因此，频域滤波检测法在图像重构的过程中容易出现缺陷信息丢失和背景滤除不彻底的现象。

针对LCD导光板视觉检测技术中的难点和现有缺陷检测方法的不足，本文提出一种基于改进相干增强扩散（Improved Coherence Enhancing Diffusion，ICED）与 TEMGMM（Texture Energy Measure-Gaussian Mixture Model）的 LCD导光板表面缺陷检测方法。该方法在每次迭代计算结构张量之前，使用平均曲率流扩散（Mean Curvature Flow，MCF）滤波代替高斯滤波对上次迭代更新后的图像进行扩散滤波操作，得到缺陷纹理增强和背景纹理抑制的ICED图像，并依据Laws纹理能量测度和缺陷的纹理特性在相同区域提取不同的纹理特征；结合背景建模的思想，将多通道的背景纹理特征作为高斯混合模型（Gaussian Mixture Model，GMM）的训练数据，利用期望最大化（Expectation Maximization，EM）算法估计所建立的高斯混合模型参数，计算待检测图像各个像素的后验概率，据此判断各个像素是否属于缺陷区域。

1 LCD导光板表面缺陷检测装置

LCD导光板表面缺陷检测装置架构如图1所示，由片材传送、图像采集和片材分拣三部分组成。图像采集部分主要包括工业相机、镜头和光源，相机采用型号为DALSA-PX-HC-08K07T的CMOS线扫描相机，水平方向分辨率大小为8 160 pixel，最高行频70 kHz，镜头型号为Schneider COMPONON-S100mm f5.6；在相机的正下方安装条形发光二极管（Light Emitting Diode，LED）光源，其长度大于片材的长边，经过光源控制器调节光照强度。进入检测机构的片材经过导正装置和清洁装置处理后，以片材的长边进入图像采集工位，使用三台线扫描相机同时采集图像数据。机械手根据检测结果信号将片材放置相应的抽检盒。

图1 LCD导光板表面缺陷检测装置架构Fig.1 LCDlight-guideplate surfacedefect detection devicearchitecture

采集不同型号的LCD导光板图像如图2所示，图2（a）中包含了产品表面导光颗粒规则分布和散乱分布的无缺陷图像，图2（b）为相应的缺陷图像。

图2 LCD导光板图像Fig.2 LCDlight-guide plate images

2 本文方法

2.1 改进的相干增强扩散

由于LCD导光板图像中的缺陷和背景具有不同的纹理结构，其表面缺陷检测问题可以看作纹理特征差异性较大的区域的判别问题，因此，增强缺陷的纹理特征有利于对缺陷的检测。基于偏微分方程（Partial Differential Equation，PDE）的扩散滤波方法通过对图像的局部结构进行分析和处理，可得到背景与缺陷的纹理特征差异性扩大的滤波后图像。典型的P-M（Perona-Malik）扩散滤波［9］通过迭代计算图像的梯度值来检测边缘，使得扩散滤波过程对图像的边缘有较小的平滑作用，而对图像的非边缘区域有显著的降噪作用，但约束扩散行为的条件单一，而且容易使图像产生块状效应。为此，Weickert等［10］提出了相干增强扩散（Coherence Enhancing Diffusion，CDE）模型，将扩散因子转换为扩散张量，从而获得更多的局部结构信息，扩散行为也更有方向性，CED模型如式（1）表示：

其中：Iσ表示以方差为σ2的高斯函数Gσ与I做卷积运算；符号“*”表示卷积运算，即Iσ(i，j，t)=Gσ*I(i，j，t)；Kρ表示方差为ρ2的高斯核；“⊗”表示张量积。式（2）中的ρ必须大于0，若ρ=0，扩散矩阵的扩散行为将只受图像梯度的控制。计算结构张量Lρ(∇Iσ)的两个特征值λ1、λ2得：

令特征值λ1＞λ2，λ1和λ2对应特征向量分别为v1和v2，v1与图像梯度方向平行，v2与图像梯度方向垂直。根据Weickert等的建议［12］，D的特征值μ1、μ2取为：

其中：η为扩散率，通常取较小的正数，如η=0.001。扩散矩阵D的特征向量与结构张量的特征向量相同，所以μ1对应v1，μ2对应v2。显然，图像沿着v1方向有较小的扩散率，沿着v2方向的扩散程度与相干性C的强弱相同，相干性定义为C=(λ1-λ2)2，当λ1≈λ2≈0时，图像的相应区域具有光滑特性，此时C≈0，表示相干性较弱；当λ1≫λ2≈0时，图像的相应区域有边缘或流线状结构，C≈1，即相干性较强；当λ1≈λ2≫0时，图像有转角或T形的局部结构，C≈0，则相干性较弱。CDE模型中包含两个高斯过程：第一个高斯滤波方差为σ2，在计算梯度之前对图像作一次高斯平滑的预处理；第二个高斯滤波方差为ρ2，以尺度为ρ的邻域考虑了图像的局部结构信息。

该模型虽然能够使图像朝着定义的相干方向恢复断线的连接，但预处理阶段的高斯滤波会随着迭代计算的过程逐渐模糊划痕状缺陷的边缘信息。因此，本文提出了ICED模型，将CDE模型的第一个高斯滤波替换为MCF扩散滤波。MCF扩散滤波具有在梯度的方向上不扩散，只在边缘的切线方向上扩散的性质［13］，相比预处理阶段的高斯滤波能更好地保持划痕的边缘，改进后的结构张量定义如下：

图3 ICED模型与CED模型处理效果对比Fig.3 Processingeffectcomparison between ICEDmodel and CEDmodel

2.2 多通道纹理特征提取

经过ICED滤波后，为了进一步突出图像的局部相关特性，采用Laws纹理能量测度（Texture Energy Measure，TEM）计算纹理特征［15］，对单个像素及其邻域内像素灰度值的分布进行纹理测量的一阶统计分析，其主要步骤包括微窗口纹理模板卷积和宏窗口能量变换两个操作。首先，选择微窗口纹理模板，Laws提供了5个常用的1维（1D）模板向量用来提取纹理特征，其中：L5给出中心加权的局部平均，E5检测边缘，S5检测点，W5和R5检测波纹。5个1D模板向量通过卷积可以计算出25个2维（2D）模板，如E5L5为向量E5的转置与向量L5卷积所得，每个2D微窗口纹理模板与图像I(i，j)做卷积运算，可得到相应的微窗口纹理图像，表达式如下：

其中：M(a，b)为2D微窗口纹理模板；w为模板大小；G(i，j)为卷积后的微窗口纹理图像，且每个像素位置(i，j)包含该像素一定邻域内的纹理信息，使用d个2D纹理模板分别对同一图像进行卷积操作，得到(i，j)的d个纹理特征分量，则每个像素位置均有一个d维的微窗口纹理特征向量(G1(i，j)，G2(i，j)，…，G d(i，j))。其次，将每个微窗口纹理图像再经过一个宏窗口的均值滤波器处理，即完成了纹理能量的变换，表达式如下：

其中：G(k，l)表示微窗口纹理图像，宏窗口均值滤波器的大小为(2n+1)×(2n+1)，得到图像的纹理特征为E(i，j)。在25个2D微窗口纹理模板中，E5L5通常用于描述水平边缘纹理特征；L5S5和L5E5对垂直边缘纹理特征比较敏感；R5R5用于提取高频信息；对同一张图像使用d组2D微窗口纹理模板可以提取更丰富的纹理特征，并组成多通道的纹理图像，即原图中每个像素位置的值可以由包含d个元素的集合表示。

2.3 基于GMM的缺陷像素判别

经过纹理特征提取阶段后，图像中的缺陷区域和背景区域均有对应的多个纹理特征分量，即纹理信息由这些纹理特征分量所张成的子空间表征。因此，缺陷区域的判别问题就转化为缺陷纹理和背景纹理的分类问题，对待检测图像而言，其分类的依据为图像像素点所属不同纹理特征子空间的概率，而对于纹理特征子空间的描述，使用GMM［16］能很好地拟合多通道的纹理图像。

设随机变量X为像素点位置为(i，j)处像素所携带的纹理特征，在多通道纹理特征图中X是d维向量，使用变量s(s=1，2，…，n)表示高斯混合模型输入数据中像素点的个数，随机变量X在s=n时的观测值记为X s=n=[x1，n，x2，n，…，xd，n]T，则像素点属于背景区域的概率可由下式表示：

采用EM算法找到使对数似然函数取最大值的参数θ的估计值θ̂［17］，采用随机中心的方法计算EM迭代的初始参数［18］α0、μ0、Σ0。

EM算法分为E步骤和M步骤。

将求解的参数值回代入E-步骤计算期望，直到对数似然函数值收敛于最优值，得到高斯混合模型最终的估计参数。应用高斯混合模型时，提取待检测图像的纹理特征，计算每个像素位置所属第m个分布的后验概率P，将所求概率较小的像素点标记为缺陷像素点。

综上所述，在离线训练阶段，首先采集合格产品的图像，以表面导光颗粒的尺寸和分布密度为标准，将图像划分为若干个面积相等的子区域。保证子区域内的背景纹理有较小的渐变程度，对每个子区域作进一步的分块操作，选取若干张表征每个子区域背景纹理分布的图片，经过ICED处理后提取所选图像的纹理特征作为高斯混合模型的训练数据。在线检测阶段，经相同的特征提取操作后，应用已训练的高斯混合模型对所属缺陷区域的像素进行标记，检测方法流程示意图如图4所示。

3 实验与结果分析

3.1 实验数据与性能指标

为了验证本文所提检测方法的有效性和适用性，本实验采集了两种不同类型的LCD导光板图像。由于产品在进入检测阶段前其尺寸信息已知，每种LCD导光板的无缺陷图像沿着短边划分为若干个等面积区域，按该区域内每个区域使用25张长宽尺寸为600 pixel的子图像表示该组的背景纹理分布情况，并建立该区域背景纹理特征的高斯混合模型。两种LCD导光板的6组测试数据相关信息如表1所示。

表1 六组测试数据信息Tab.1 Information of six sets of test data

本文使用漏检率A和误检率B来评价每组测试数据的整体检测效果，表达式如下：

其中：NF是指实际存在的缺陷但未被检出的缺陷个数；NT是实际缺陷总数量；NC是实际不存在的缺陷却被误认为缺陷的数量。由于本文检测方法是对分块后的子图像进行逐像素判断，所以对每张子图像的检测效果使用检测精确度Pre、召回率Rec和F1值［19］三个指标进行定量的分析，其定义为：

其中：TP为正确检测的缺陷像素点数；FP为正确检测的背景像素点数；FN为没有检测到的缺陷像素点数；F1是检测精确度和召回率的综合评估指标。

图4 本文检测方法流程示意图Fig.4 Overall flowchart of the proposed detection algorithm

3.2 参数的选择

本文从应用的角度分析所提方法的主要参数，在ICED滤波阶段，IMCF中的高斯平滑参数γ反映了抑制噪声的效果，γ的取值过大（γ=10）会使图像失真，对LCD导光板图像而言，γ的取值在0～1对平坦区域的噪声抑制效果最好，经大量仿真实验总结，本文取γ=0.5。结构张量Hρ(∇IMCF)中参数ρICED反映了边缘纹理结构特征尺度，即高斯过程的卷积是以尺度为ρICED的邻域对每个像素点取加权平均，调节尺度的大小可以控制导光颗粒边缘部分的扩散程度。在IMCF的影响下，选择相对γ（γ＜1）较大的ρICED对导光颗粒的边缘保护效果较好，缺陷区域内部像素在迭代计算中逐渐平滑，但没有抑制导光颗粒的边缘，此时，缺陷和背景之间纹理特征的差异性较小；ρICED的值相对γ（γ＜1）的值较接近时，能有效地抑制导光颗粒边缘信息；但过小的ρICED将破坏背景的纹理特性，导致GMM无法对背景进行有效的建模。由于参数γ对扩散效果影响较小，所以本实验对比分析不同纹理特征尺度参数下ICED与CED的滤波效果，令迭代次数为15，处理结果如图5所示。

从滤波效果来看：CED滤波中，当ρCED=0.5时，图像的纹理特征没有得到增强；当ρCED=1.5时，图像表现出很强的流线状纹理特征，但背景也随之发生了严重的条纹状的扭曲。ICED滤波中，当ρICED=0.5时，有效增强了缺陷的线状纹理并抑制了背景纹理。为了进一步对比CED和ICED的纹理增强效果，分别将图5中ρCED=1.5对应的CED滤波后图像和图5中ρICED=0.5对应的ICED滤波后图像使用Laws模板L5S5提取相应的纹理特征分量，其灰度分布三维视图如图6所示。

图5 不同参数下CED滤波与ICED滤波的处理效果对比Fig.5 Processingeffect comparison between CEDfilteringand ICEDfilteringunder different parameters

显然ICED滤波在参数ρICED=0.5时能较好地突出缺陷存在的区域，并减少背景对缺陷的干扰。为了进一步确定ρICED的取值，在固定的迭代次数下和有效的ρICED取值区间内，分别对表1中的6组高斯混合模型进行训练，并将表1中的6组测试图像应用于对应的GMM，统计漏检率A和误检率B的值，结果如图7所示，得出ICED参数ρ的取值范围在0.6～0.8有更佳的检测效果。

图6 CED、ICED滤波后L L 5S S 5纹理特征分量的灰度分布三维视图Fig.6 Gray distribution 3Dmaps of L5S5 texture features after CED and ICED filtering

图7 ICED参数ρ与漏检率A和误检率B的对应关系Fig.7 Correspondence between ICED parameterρand missing rate A and false detection rate B

3.3 检测结果对比

将本文方法与 DFT［4］、Gabor［5］、TEM［20］和 CED 与 TEM 结合的方法进行对比分析。其中DFT和Gabor方法均先对图像的背景纹理进行频域滤波，然后通过逆变换得到重构图像，最后通过Otsu分割出缺陷区域；TEM方法和CED结合TEM方法采用与本文方法相同的2D纹理滤波模板和GMM参数。选择不同背景类型的LCD导光板缺陷图像作为对比实验的测试数据，检测结果如图8所示，白色像素点表示被检测到的缺陷像素点。从图8的检测结果来看，Gabor方法和DFT方法均有一定程度的漏检和误检现象，但Gabor方法对非缺陷区域的误判率比DFT方法低；纹理特征与高斯混合模型相结合的检测方法对“颗粒缺失”这种特殊类型的缺陷具有很好的判断能力，弥补了频域滤波法对此类缺陷判断不力的缺点，但TEMGMM和CED+TEM-GMM方法对背景纹理没有抑制，对缺陷纹理也没有增强，使得高斯混合模型对缺陷像素的判断有较大的误差。不同方法的检测结果对比表明，本文方法所检测出的缺陷区域更接近人工标记的缺陷区域。

为了更加精准地评估本文检测方法，使用性能指标：检测精度Pre、召回率Rec、F1以及漏检率A、误检率B进行定量的分析。本文方法与其他方法在图8测试数据上的召回率Rec和检测精确度Pre的对比如表2所示。表2中：DFT+Otsu方法和Gabor+Otsu方法对其频域滤波器中相关参数的选择较为敏感，相同的参数设置难以适应背景纹理的变化，对不同缺陷图像计算的Rec和Pre数值波动较大；基于多通道纹理特征和背景建模的检测方法，对非缺陷像素有较低的误判，所以Pre值偏高，但TEM-GMM和CED+TEM-GMM方法没有纹理的增强功能，造成对缺乏纹理特征的缺陷像素漏检，即出现FN数值偏高、Rec数值偏小的情况，由于CED+TEM-GMM方法对缺陷内部的平坦区域有平滑的作用，一定程度上增强了缺陷内部区域的纹理特征，其Rec数值大于TEM-GMM方法；本文方法通过对缺陷纹理进行增强，降低了FN和FP的值，所以Rec和Pre的数值普遍高于其他方法。计算F1值的结果如图9所示，本文方法比其他方法有较高的F1值，对不同背景纹理和不同类型的缺陷有更稳健的检测效果。

图8 不同方法的检测结果对比Fig.8 Comparison of detection resultsobtained by different methods

表2 不同方法缺陷图像检测结果的Rec和Pre值比较Tab.2 Comparison of Rec and Pre values of defect imagedetection resultsby different methods

表3显示了不同方法对整个实验数据中待检图像的漏检率A、误检率B以及检测时间的对比，与其他对比方法相比，本文方法有较低的漏检率和误检率。

表3 不同方法的漏检率、误检率以及检测时间的对比Tab.3 Comparison of missingrate，falsedetection rateand detection timeof test datasetsby different methods

在检测时间方面，运行环境为计算机CPU i5-7200U 2.7 GHz、8 GB内存，算法采用Matlab和OpenCV等机器视觉库函数实现，由于本文的ICED过程有多次的迭代计算，使得检测时间略高于其他方法，需在后续的工作中对ICED优化，但仍控制在毫秒级别，满足实际生产中检测系统的实时性要求。

图9 检测结果的F1值对比Fig.9 F1 valuecomparison of detection results

4 结语

本文提出了基于改进相干增强扩散与TEM-GMM的LCD导光板表面缺陷检测方法，对相干增强模型引入平均曲率流扩散滤波，对每次迭代更新的图像进行边缘保持，通过选择合适的结构特征尺度参数ρ来增强缺陷纹理并抑制背景纹理，利用高斯混合模型拟合多通道背景纹理特征，通过EM算法估计背景模型参数，结合待检图像像素点属于背景像素的后验概率，完成缺陷区域的判断。在实际采集的实验数据上进行测试，对比实验的结果表明，本文方法在F1值、漏检率和误检率等性能指标上均有明显的优势，但需要在进一步的工作中研究ICED阶段的迭代停止条件和纹理结构特征尺度参数ρ自适应选择的问题。