基于色彩感知的车载导光板黄化缺陷检测①

罗志航,李俊峰

(浙江理工大学 机械与自动控制学院,杭州 310018)

导光板(Light Guide Plate,LGP)是液晶显示屏背光模组的主要组成部分,具有发光效率高、功耗低、导光均匀、性价比高等优点,广泛应用在LCD 背光源、超薄广告灯箱、摄影及医疗看片器等场合.

导光板生产过程中,由于加工工艺与原料成分的影响,不可避免的会出现黄化等各种缺陷.虽然黄化缺陷出现的概率较低,但会使导光板透明度降低,光色偏黄,严重影响用户使用,故黄化缺陷检测在生产过程中十分必要.目前,对导光板的黄化缺陷检测仍依靠人工方式进行,由于黄化现象人眼极难发觉,且检测需要在强光环境下,对工人精神以及眼睛伤害很大.另一方面,工人劳动强度大时,检测效率低、质量不稳定,成本较高.

快速发展的机器视觉技术,为导光板的黄化缺陷检测带来了更加高效、便捷的检测手段.机器视觉,即用计算机代替人的大脑,用相机代替人的眼睛,对获取的图像信息进行分析处理[1-4].目前国内外学者对此展开了大量研究,一些算法和成果已经成功应用在LCD、磁瓦、玻璃等表面缺陷,但对导光板的缺陷检测则研究较少.由于导光板是LCD 中的重要组件,其缺陷检测可以参考LCD的研究成果.Gan 等[5]提出了一种局部二进制拟合模型,对初始轮廓提取缺陷边界,对表面均匀的LCD 适应性很好,但对于较不均匀的导光板图像容易出现误判.李俊峰等[6,7]设计使用多方向Gabor及高斯导数滤波器,利用形态学区域膨胀操作完成线段连接,可有效检测划伤和亮点缺陷,但对成像较暗的一些缺陷效果较差.Li 等[8]提出了基于Hough 变换的方法来识别不均匀照明条件下图像中的低对比度缺陷,对线条和其他缺陷的边缘提取效果良好,但该方法对光照环境依赖性强,适应性差.肖敏等[9]将Hough 变换与最小二乘法结合,实现了对液晶屏与外壳的直线边缘精确提取,但对于干扰较多、直线特征不明显的图像表现欠佳.Sümer 等[10]提出了一种基于阈值的自适应像素缺陷检测方法检测LCD的像素缺陷,具有较高的效率和检测性能.张亚洲等[11]提出了一种基于改进相干增强扩散与纹理能量测度和高斯混合模型的导光板表面缺陷检测方法,可有效检测出LCD 导光板表面划痕、异物、脏污和压伤等类型的缺陷,但漏检率和误检率较高.钱基德等[12]针对液晶屏中的Mura 缺陷区域的有关特点,通过单帧图像背景建模和背景差分,基于MSER 提出Mura 缺陷自适应阈值缺陷分割方法,可以有效对Mura 缺陷进行分割定位.Kong 等[13]针对手机LCD 屏幕提出了一种检测水渍缺陷的有效算法,利用带通滤波器增强检测特征,通过Sobel 边缘检测算子对异常缺陷边缘增强,分块定位后采用SVM 对缺陷分类,可较高精度完成水渍缺陷检测.郭波等[14]过Gabor 滤波算法去除纹理背景,对传统OTSU 阈值提取函数进行优化,并利用改进的OTSU 算法较好地提取出LCD 图像中的点缺陷,提高了检测准确率.Ma 等[15]针对LCD 上的Mura 缺陷提出了一种有效的检测方法,使用Gabor 滤波器降低图像噪声,估算屏幕上的亮度分布后重构屏幕背景,并与原图像做差,通过伽玛校正和阈值分割后检测Mura 缺陷,有效缩短了算法执行时间.李海霞等[16]使用面阵CCD 采集液晶模组图像,对图像进行Gabor 滤波、双阈值二值化等预处理,采用二维直方图斜分法定位图形边缘区域,提高了缺陷检测识别率,但对于轮廓比较模糊的图像不能做到自适应精确边缘提取.Le 等[17]提出了一种基于机器视觉的光学薄膜缺陷检测与分类系统,利用基于自适应的局部交叉投影检测光学薄膜缺陷并分类,但对照明环境的要求较高.

本文以车载导光板为研究对象,根据其光学特征、黄化缺陷特征以及检测要求,利用高分辨率彩色工业相机获取高精度导光板侧面图像,提出了一种基于机器视觉的车载导光板黄化缺陷检测方法.首先,图像灰度转换后,采用双边滤波器对导光板图像平滑处理;其次,利用邻域差值凸显导光板边缘特征,设计自适应的阈值填充算法,识别导光板轮廓,将不同导光板分割;最后,生成矩形区域,构建特征向量,建立并训练SVM 模型.实验结果表明,该算法运行效率高,鲁棒性强,在训练样本较少的情况下仍有较高的检测精度.

1 导光板黄化特征与原因

具有黄化缺陷的导光板透明度差,发出的光亮度低且颜色偏黄,会严重影响使用效果.正常导光板与发黄导光板特征如图1所示.

图1 正常导光板与黄化导光板

图1中对比可知,正常导光板图像偏蓝色,而有黄化缺陷的导光板图像偏黄色,具有不同的颜色特征,但并不明显.

导光板变色主要有以下3 个方面原因:

(1)流道内塑胶在高温下长时间烧胶,发黄在导光板的表面而且每模发黄位置不固定;

(2)剪切热使热流道热嘴头部温度急剧拉高,导致塑胶变质发黄.发黄位置在浇口附近,而且每模位置都固定;

(3)模具本身因困气导致在注塑过程中将模腔内局部温度拉高导致塑胶变质,发黄位置在导光板角落,而且位置固定.

考虑到黄化缺陷不易观测,且在导光板侧面黄化特征更明显,本文采用高分辨率彩色工业相机进行导光板侧面图像采集,获得高精度导光板侧面图像,以显现和分辨导光板上的细微缺陷.

2 导光板黄化缺陷检测方法

机器视觉的核心在于图像处理算法,获得目标图像后,需对图像的特点进行分析,匹配针对性算法[6].本文根据黄化导光板的缺陷特征,设计、构建了一套准确高效的检测算法,具体流程如图2所示.

图2 基于SVM的导光板黄化检测算法流程图

利用高分辨率彩色工业相机进行导光板侧面图像采集后,首先,将图像灰度转换,采用双边滤波器平滑图像,消除噪声影响;其次,对像素点邻域差值,凸显导光板轮廓特征;进而,每幅图像自适应阈值填充后,提取导光板边缘,完成导光板识别与图像分割;最后,对每个导光板生成矩形区域,构建特征向量,建立并训练SVM 模型,输出黄化缺陷检测结果.

2.1 车载导光板黄化自动检测装置设计

设计一种车载导航导光板黄化自动检测装置,原理图如图3所示,图4为现场装置图.包括固定装置、传送装置、定位装置、检测装置、吸盘调节装置等.吸盘调节装置中的吸盘可通过检测装置调节空间位置.而待测导光板在空间中的横向位置由行程块调节,导光板的纵向位置由检测装置中的纵向伸缩轴调节,由此使待测导光板可二自由度移动.

图3 装置原理图

图4 装置实体图

本装置可适用于不同导光板的高质量图像采集.检测设备中含相机、光源,当相机采集到待测导光板时,将其侧面与提前放置好的基板进行比较,根据本文算法判断是否有黄化缺陷.若为正常导光板,则检测装置将其放置在传送带上,继续下一步工序;若为黄化导光板,则将其移走做进一步处理.导光板图像采集装置实现了自动化操作,与本文检测算法相配合,提高了导光板的生产效率,降低了人工成本.

2.2 导光板图像采集

在导光板生产线末端的图像采集装置中,预先装有一块正常导光板和一块有黄化缺陷的导光板,二者叠放在一起,黄化导光板在上,正常导光板在下,如图5所示.这两块预先装设的导光板称为基板,可与待测板对比,共同完成识别模型建立.在模型训练时,将一块待测导光板叠放在基板上,由高分辨率彩色工业相机进行图像采集,经过大量不同的黄化导光板和正常导光板的训练后,就可得到一系列的黄化数据集和正常导光板数据集.

图5 导光板叠放

2.3 导光板边缘提取与分割

(1)灰度转换

为减小图像原始数据量、提高算法运行效率,将图像进行灰度变换.一幅彩色图像的每个像素值中,有RGB 三个基色分量,每个基色分量直接决定显示设备的基色强度.彩色图像转换为灰度图像时,需要计算图像中每个像素有效的亮度值.利用如下线性变换公式计算亮度,将彩色图像转变为灰度图像:

其中,Y为计算获得的亮度值,R、G、B分别为每个像素的RGB 三个基色分量.灰度转换后的图像如图6所示.

图6 导光板灰度图像

(2)双边滤波器构建

直接灰度转化后的图像可能存在比较大的噪声,需对图像进行滤波.常见的滤波方式有高斯滤波、中值滤波、双边滤波等.高斯函数在各个方向的平滑程度相同,平滑图像的同时会模糊导光板轮廓边缘;中值滤波可以很好的过滤椒盐噪声,但容易造成图像的不连续性.

为保持图像良好的边缘特性,降低滤波对导光板边缘的模糊影响,本文采用非线性的双边滤波器[18].双边滤波采用加权平均的方法,用周边像素亮度值的加权平均代表某个像素的强度,所用权值基于高斯分布,不仅考虑了像素的欧氏距离,还考虑了像素范围域中的辐射差异,在计算中心像素的时候同时考虑这两个权重.设图像I在P=(x,y)点灰度值为IP,处理后所得的图像RI在P处的灰度值为RIP,按如下公式对灰度图像进行平滑处理:

其中,q=(u,v)为目标点P的领域点,S为邻域点的集合,Wp为归一化因子,Gσs为空间邻近度因子;Gσr为灰度相似度因子.且上述公式存在以下关系:

上式中,σs为距离标准差;σr为灰度标准差,两者决定了空间域滤波核函数与灰度滤波核函数的影响区域.

从上述公式可以看到,双边滤波的核函数是空间域核与像素范围域核的综合结果:在图像的平坦区域,像素值变化很小,对应的像素范围域权重接近于1,此时空间域权重起主要作用,相当于进行高斯模糊;在图像的边缘区域,像素值变化很大,则像素范围域权重变大,模糊效果降低,从而保持了边缘的信息.高斯滤波、中值滤波与双边滤波的滤波效果对比如图7所示.

图7 不同滤波效果对比

(3)图像增强

此时导光板的轮廓边缘并不清晰,将不利于后面导光板轮廓的提取以及特征向量的构建.本文采用邻域坐标差值法[19]提高图像分辨率与对比度,凸显导光板边缘.

设序列M[i,j] 表示中心点m×m邻域中的坐标,Px(i.j)与Py(i.j)代表序列中每个点沿着x,y两个方向的偏导数.采用m×m邻域中具有的m2−1个像素点来对序列M[i,j]中的点进行依次差值,并将差值结果与目标点值设置为零;选用 0～45◦、1 35◦～180◦偏水平方向和45◦～90◦、90◦～135◦偏垂直方向的梯度向量.靠近水平方向时,权重为Py(i.j)/Px(i.j)的绝对值;靠近竖直方向时,权重为Px(i.j)/Py(i.j)的绝对值.差值前后的图像如图8所示.(4)自适应阈值填充与边缘获取

经上述步骤得到的图像已经有了明显的导光板边缘轮廓,现需对导光板的疑似边缘进行提取,以完成导光板识别与分割.

设高阈值和低阈值分别为highThresh和lowThresh,利用梯度直方图原理自适应地获取高、低阈值.高阈值highThresh选取原则为,差值处理后的图像中,设边缘上点的数量所占影像像素数的比值为Hration,根据梯度直方图直接从大到小逐步累积图像点的数目,若累积数目与图像总数目和Hration的乘积值相等,可以认为相应的梯度幅值为高阈值.低阈值可根据高阈值确定,设比例因子为ThresholdRatio,则低阈值为:

对每个像素点,若点的边缘强度值比高阈值大,则将该点作为边缘点记录下来;若比低阈值小,则将其作为非边缘点记录下来;若处于低阈值和高阈值之间,则计算该像素点是否与之前得到的边缘点八连通,如果连通,就将该像素点标记为边缘点,不连通则将该点作为非边缘点.把不闭合的边缘连接成轮廓,从而得到导光板疑似边缘的图像,即由线段组成的导光板边缘的近似轮廓.导光板疑似边缘提取如图9所示.

图9 导光板疑似边缘提取

导光板疑似边缘为多线段组成的近似轮廓.将上下距离小于45的相邻两条线段的上面那条线段去除,即得到导光板的最终轮廓图像.利用式(7)进行筛选:

式中,Row[index]、Row[index+1]分别指代相邻两条线段中心的行坐标,high为两相邻线段的行距,当满足条件abs(high)>45时,则可选取该直线.该步骤可以完成导光板的最终轮廓边缘提取,对3 块导光板实现识别与分割.导光板边缘提取结果如图10所示.

图10 最终边缘提取

2.4 构建特征向量及SVM 模型

识别出图像中的导光板后,对每个导光板建立9 个矩形区域,这些矩形区域即代表了导光板的颜色特征.每个矩形区域建立3 维特征向量,实现特征提取.

(1)生成矩形区域

矩形区域是每块导光板的特征提取区域.根据每块导光板的中心坐标,每隔相同的距离创建一个矩形区域.每个矩形区域的中心点坐标如下:

其中,Row1[index1]是每个矩形区域,同时是每块导光板中心点的行坐标;index2×0.1Width+40是依次生成的每个矩形区域中心点的列坐标.index1为图中3 块导光板的索引编号,index2为每个导光板中9 个矩形区域的索引编号,Width是导光板的宽度.最终,每个导光板创建9 个矩形区域,每幅图像上共27 个矩形区域.

9 个矩形区域的特征代表了对应导光板的颜色特征.以基板中的正常导光板为例,生成的9 个矩形如图11所示.

图11 1 块导光板上的9 个矩形区域

(2)构建特征向量

为降低光照因素对图像信息的干扰,将获得的RGB 三通道彩色图像转换为HSV 彩色图像,并赋予不同的权值,转化公式如下:

式中,F为输入的RGB 彩色图像,H、S、V分别指代色度、饱和度、亮度,a、b、c分别为赋予H、S、V的权重值,本文中a=0.45,b=0.45,c=0.1.由此,可以获得多维向量作为SVM 模型的输入参数.对于每一个矩形,参量H,S,V分别代表色度、饱和度和亮度.

显然,对于一个矩形区域,共有3 个参量,即需要用3 维向量进行描述.对于一幅图像,共生成27 个矩形区域,因此可用81 维向量作为SVM 模型的输入参数:

(3)SVM 模型

SVM是由Vapnik 等提出的一种基于统计学习理论的机器学习方法,是建立在VC 维理论和结构风险最小原理基础上,根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中.SVM 将低维原始空间映射到高维特征空间,将原始空间的非线性问题转化成为特征空间中的高维线性问题,并引入核函数方法简化运算,非常适用于小样本的学习问题.

由于SVM 在检测分类方面的良好表现,本文采用SVM 并利用LIBSVM 工具包构建黄化缺陷检测模型,具有以下相关参数与功能:核函数使用径向基函数[20],其附加参数决定了支持向量对其周围环境的影响程度,值越小对环境影响越大;正则化参数决定训练误差个数的渐近上界和支持向量个数的渐近下界,合理的参数值可使数据更便于计算,获得更加泛化的结果;本文输出结果只有两类,可采用“一对一”分类模式,使训练和测试速度更快;对特征向量预处理,可以省略特征向量中噪声分量的变换特征,而保留大部分有效信息,有效缩短分类时间.具体参数见表1.

表1 SVM 模型参数

3 实验结果分析

3.1 参数分析

(1)双边滤波器参数σs、σr

对于双边滤波器来讲,距离标准差 σs定义了滤波器掩模的大小,并与传统高斯滤波器的标准偏差相对应,其数值越大,滤波器的影响面积越大,滤噪效果越明显,但保留的图像细节越少;灰度标准差 σr决定了滤波时的对比度阈值,只有在边缘较弱的区域,对比度低于 σr的像素才会进行平滑处理,所以适当的σr可以有效地保留图像边缘.图12为不同 σs、σr时的滤波图像.通过大量实验对比,取σS=10,σr=20.

(2)邻域差值参数m

不同的m值决定了差值邻域的大小,同时确定了差值的像素点数目.用m2−1个像素点来点进行依次差值,不同m取值后的图像如图13所示.通过大量实验,发现在m=11 时的差值效果良好,并且此时运算量比较小,适用于工业生产.

(3)SVM 模型训练

首先,通过高分辨率工业相机采集300 份导光板图像样本作为训练集和测试集,并分别按照70%/30%、60%/40%、50%/50%、40%/60%、30%/70%的比例进行分配,以检验算法的鲁棒性.其次,构建训练集时,对每个采集到的导光板图像手动添加标签,没有缺陷的导光板图像设置标签为0,含有黄化缺陷的导光板图像设置标签为1.最后,将每幅图像的81 维向量和设置好的标签作为一份训练样本,输入到SVM 模型中进行训练.

图12 不同σs、σr 双边滤波图像

图13 不同m 值的差值对比

本文的训练目标要求漏检率、误检率均小于1%,检测准确率在95%以上.设m,n分别为正常图像与黄化图像的实际个数,m1,n1分别为检测出的正常图像和黄化图像个数,则漏检率、误检率与准确率的定义与计算公式如下:

其中,Or为漏检率,Er为误检率,Ar为准确率.如不满足训练目标,则调整参数,重新将导光板图像、标签和81 维向量输入到SVM 模型中进行训练.不断循环上述步骤,直至漏检率与误检率均达到要求,并存储训练好的SVM 模型.

3.2 实验结果分析

实验软件部分采用 Visual Studio 2015 联合Halcon18.11 作为开发平台,采用C++编程语言来编写算法,进行图像处理与分析.实验采用平台的软硬件配置如表2所示.

表2 实验平台软硬件配置

将采集的300 份导光板图像样本分别按照70%/30%、60%/40%、50%/50%、40%/60%、30%/70%的比例分配为训练集和测试集,检测本文算法准确率、漏检率、误检率和鲁棒性.测试结果如表3所示.此外,本文同时也采用传统的颜色识别算法,直接根据导光板颜色进行黄化缺陷检测,识别结果如表4所示.

表3 不同比例样本检测结果

表4 对比实验的测试结果

由表3和表4数据可知,随着训练集占比的降低,检测精度略有下降.在50%/50%的比例下,检测结果仍可以达到100%的检测准确率,以及零误检率、漏检率;而且在40%/60%比例时,其准确率、误检率及漏检率仍优于传统颜色识别算法.可见,本文算法对黄化缺陷检测效果良好,且鲁棒性较高,符合生产要求.

4 总结

针对目前工厂导光板黄化缺陷检测效率低下的问题,本文对导光板本身光学特性及其黄化缺陷进行了分析与研究,提出了一种基于机器视觉的导光板黄化缺陷检测算法.首先对图像灰度变换、双边滤波、图像增强操作,完成导光板边缘提取与分割;对每个导光板生成9 个矩形区域,完成特征提取;通过每幅图像生成的81 维特征向量,完成SVM 模型的构建.实验结果表明,该算法的运行效率高,鲁棒性强,在训练样本较少的情况下仍有较高的检测精度.