单边侧入光式导光板质量可视化检测方法①

张沪强, 李俊峰, 戴文战

1(浙江理工大学 机械与自动控制学院, 杭州 310018)

2(浙江工商大学 信息与电子工程学院, 杭州 310018)

1 引言

由于加工工艺、模具保养不当、工人操作等因素,导光板在生产制造过程中不可避免会出现亮点、卡料、划伤、压伤、脏污、暗影等缺陷, 其中亮白点、压伤和划伤最为常见.目前国内导光板生产厂家的产品质量检测还停留在人工检测阶段, 即通过人工裸眼检测产品是否合格.但长时间强光环境下工作容易使验光人员患上职业病, 而且评判标准因人而异, 无法形成统一的产品输出标准.

随着电子、计算机和通信技术的发展, 基于机器视觉的缺陷检测成为可能, 国内外学者对此开展了广泛的研究, 一些研究成果已经成功应用于液晶面板、磁瓦等产品的表面缺陷检测, 但在导光板缺陷检测方面的研究还很少.

导光板作为液晶屏的重要组件, 其缺陷检测可以借鉴液晶屏缺陷检测的研究成果.液晶屏中的缺陷通常表现为低对比度和模糊轮廓, 与周围区域没有明显的强度差异.毕昕等[1]研究基于实值Gabor 小波滤波的纹理背景抑制方法, 该方法可以有效抑制液晶屏的纹理背景, 但对导光板的网点背景并不适用.张昱等[2]结合专家系统和模糊理论建立的检测系统, 解决了缺陷判定的模糊性和不确定性, 但该方法漏检率过高.梅爽[3]提出基于多模态特征描述的完备特征表示模型JFRDRF, 结合无监督学习特征提取和人工特征提取, 实现多维度的特征描述, 但该方法算法处理速度较低, 无法满足工业检测需要.何志勇等[4]提出利用图像梯度方差寻找缺陷的方式, 对背景波动小的图像有较好的应用效果, 但不适合布满网点的导光板检测.杨成立等[5]提出基于非下采样Shearlet 变换的缺陷检测方法, 根据高低频不同特征针对性处理, 可以有效抑制纹理与噪声,但该方法假阳性率过高.郭萌等[6]提出通过结合Kirsch和Canny 算子提取边缘, 该方法可以有效抑制噪声干扰, 但不适用于有纹理背景的缺陷检测.Tseng 等[7]提出利用多图像叠加对Mura 进行灰度提升, 该方法可以有效增强缺陷与背景的对比度, 抑制噪声, 但该方法不适用于高分辨率的线阵相机.Yang 等[8]提出一种图像背景构造算法OPBC 用于快速筛选Mura 疑似区域, 使用基于区域梯度的水平集算法RGLS分割缺陷, 该方法在不均匀光照条件下有较好的检测效果, 但检测效率偏低.李俊峰等[9,10]设计使用多方向Gabor 滤波器和高斯导数滤波器, 该方法可以有效检测划伤和亮点缺陷,但对某些成像较暗的点状缺陷效果并不理想.Ming 等[11]提出动态权重组合分类器CCDW 对样本进行分类, 可以根据预测概率优化基分类器的权重比例, 但预测准确率仍无法达到检测需求.

基于此, 针对单边侧入光式导光板的网点分布特点、光学特性和质量检测要求, 利用16 K 高精度线阵相机和定制的多角度光源获得高质量的导光板图像,并根据导光板图像的背景复杂、导光点无序、亮度不均匀等特点提出了一种可视化质量检测方法.该方法根据网点的排列特点将图像划分成疏区和密区, 分别设计检测算法提取缺陷区域, 并根据产线质检要求提取筛特征进行缺陷判定.该算法在自主研发的导光板缺陷检测系统上进行了大量的在线测试, 测试结果表明, 针对亮白点、压伤和划伤缺陷具有较高的检测精度, 检测精度可达99%以上, 可以满足工业检测要求.

2 导光板表面缺陷分类

根据对导光板生产厂家、技术人员及一线工人的调研情况, 导光板的缺陷主要有亮点、压伤、线刮伤、黑点及暗影等.在上述缺陷中, 暗影利用线阵相机无法呈现, 但在面阵相机下可以有效获取其信息.由于亮点、压伤、线刮伤等缺陷尺寸较小, 而本文的研究对象为电脑显示屏用导光板, 尺寸相对比较大, 检测精度要求高, 需要检出10 um 以上的缺陷, 采用16 K 线阵相机可呈现其清晰图像.此外, 由于暗影、黑点缺陷出现的情况非常少, 本文主要研究亮点、压伤及线刮伤缺陷检测方法, 这些缺陷的形成原理及特征如下:

(1)亮点

在塑化过程中, 熔料温度过低, 背压过小, 转速过快, 未能将塑胶料完全均匀的熔化, 在塑胶熔料中存在着固体; 塑胶原料不干净, 混有白色的杂质; 成型机周边环境受到污染, 空气中粉尘较重; 模仁过于粗糙, 导致在取出产品时拉伤产品而产生的白点等.线阵图像中表现为某一颗导光点亮度明显大于周围导光点, 其面积也比正常导光点要大, 如图1(a)所示.

图1 缺陷图像

(2)压伤

导光板生产模具枪体内有异物, 压伤了导光板网面.线阵图像中成块状灰色斑点, 形状大小不一, 如图1(b).

(3)线划伤

导光板表面出现划伤痕迹, 前制程中主要是模仁表面划伤, 后制程中主要是导光板接触面的不洁净(有粉粒、异物等)导致与导光板表面产生较大的摩擦而致产品表面划伤, 如裁切平台、抛光平台、清洁滚轮等.明显的线划伤呈现粗线条状伤痕, 看起来很像导光点的合并; 轻微线划伤呈现细丝状划痕, 某些轻微线刮伤的宽度不到一个像素, 且断断续续, 肉眼很难分辨,如图1(c)所示.

(4)暗影

加热筒(螺杆)里面的熔料中混有较多的气体没有被排出, 在高速充模的情况下较多的气体难以完全排出, 在模具型腔内的某部分产生剧烈灼烧, 将产品烧黑而形成的暗区; 在高速充模时, 空隙处被冷却的熔料被带入模具型腔, 被后面熔料包住而形成的一块区域等.该缺陷范围较大, 面阵相机下成像一部分较亮一部分较暗, 在交界处可见轻微轮廓.

(5)黑点

塑胶原料在塑化过程中因背压、温度、转速过高,导致熔料分解碳化; 在高速充填过程中, 模具型腔的气体不能顺利排出, 聚集在某个角落与熔料产生剧烈的灼烧而烧焦熔料等, 如图1(d)所示.

3 导光板缺陷检测算法

通过成像设备采集导光板图像, 提取导光板本体.由于导光板上网点分布不均匀, 从入光侧向出光侧逐渐变密, 为适应网点分布情况, 同时提高检测速度和精度, 本文将图像均分成5 个区域.入光侧的4 个区构成疏区, 最后一个区为密区, 各区域的检测原理如图2.

对于疏区, 先利用高斯算子和拉普拉斯算子[12]锐化图像, 设计点滤波模板对图像进行滤波, 留下网点部分, 并对网点进行灰度增强与均值滤波, 还原网点大小,再利用OTSU 算法获取网点区域, 在此基础上将原图分成网点图与背景图两部分:

(1)对于网点图, 进行二值化并转连通域, 再通过网点的灰度、圆度等特征进行判断是否有缺陷;

(2)对于背景图, 进行二值化并转连通域, 再通过灰度、长度、面积等特征判别是否有缺陷.

对于密区, 本文根据缺陷的类型通过两个方面进行缺陷检测:

(1)通过两种结构元素对图像分别进行灰度开操作, 将图像相乘并设计高斯梯度滤波器对其进行卷积,设置阈值提取图像中灰度较大的缺陷;

(2)将原图像进行灰度值拉伸及图像整体增强, 另对原图进行增强并与前图像相减, 再利用图像灰度形态学凸显缺陷, 最后设定阈值进行缺陷提取.

3.1 稀区检测算法

3.1.1 网点提取

由于缺陷的大小、形状、位置及灰度没有规律,网点对于缺陷的判定会产生较大的干扰.基于此, 本文提出了网点分离算法, 通过将图像分成网点与背景部分, 再进行缺陷的提取与判定.首先利用高斯算子和拉普拉斯算子锐化图像, 并设计点滤波模板增强网点部分; 然后利用灰度拉伸、最大类间方差法等方法将导光板图像分离成网点图与背景图.

在线扫相机采集导光板图像过程中, 可能会存在一定程度的高斯噪声, 故设计二维高斯滤波器对图像进行卷积去噪, 离散高斯卷积核函数为:

其中, σ为标准差, k为卷积核的大小.

使用拉普拉斯算子对去噪之后的图像进行锐化处理:

其中, g(x,y) 经过锐化后的图像, f(x,y)为高斯去噪后的图像, ∇2f(x,y)为拉普拉斯算子滤波后的图像, 其离散形式为:

一般的图像增强算法对于导光网点这种缓慢变化的边缘很难确定其边缘线的位置, 但拉普拉斯算子可以利用二次微分正峰和负峰的过零点来确定, 比较适合用于突出图像中的网点部分.由于网点近似呈圆形,本文设计了一种新型滤波模板对图像进行滤波, 用于增强网点区域, 滤波模板如图3 所示.

图2 导光板缺陷视觉检测方法原理

经过滤波之后的图像, 虽然保留了网点区域, 但是因为整体灰度被压缩, 所以图像整体偏暗, 需要对其进行线性调整, 充分利用其动态范围.线性调整后的网点边缘较为陡峭, 与原图差异较大, 不适合直接选取作为网点区域.为了尽可能还原原图的网点特征, 本文采用均值滤波来模拟网点边缘缓慢变化的情况.并在此基础上, 利用最大类间方差法将导光板图像根据灰度等级分成前景与背景两个部分, 通过寻找最佳阈值, 使得两个部分之间的灰度方差最大, 每个部分之间的灰度方差最小.

其中, t 为根据OTSU 计算出的最佳阈值, w0为前景部分所占的比例, u0为前景部分的灰度均值, w1为背景部分所占的比例, u1为 背景部分的灰度均值, u为整张导光板的灰度均值.

图3 滤波模板

通过OTSU 算法[13]虽然可以提取较为明显的网点部分, 但由于导光网点边缘不清晰, 为了尽可能的提取网点部分, 本文设置了阈值偏差ti, 对最佳阈值t进行了调整, 提取网点部分的区域为:

根据计算得到的网点区域将导光板分为网点与景两个部分, 如图4 所示:

图4 原图、网点与背景

3.1.2 缺陷区域提取

经过处理得到的背景图, 因为排除了网点因素的干扰, 缺陷较为明显, 但仍存在其他干扰因素, 需要进行判断.在对背景图进行阈值分割提取疑似缺陷的过程中, 由于网点分离, 存在线缺陷断开的情况, 需要对其连接恢复.

本文使用区域闭操作, 由于断开部分多处于网点区域, 故针对不同分区分别设计不同尺寸的圆形结构元进行线缺陷重连, 公式如下:

其中, R 为经过处理后的区域, A 为未经处理的区域, B为结构元, ·代表闭操作, ⊕代表膨胀操作, Θ代表腐蚀操作.

闭操作首先使用结构元B 对区域A 进行膨胀操作, 将断开的线缺陷重新连接在一起, 再使用结构元B 对区域A 进行腐蚀操作, 使得其他缺陷恢复原本大小, 以便于后续的缺陷判定.

由于在前景部分网点分布较为规则, 正常网点间距处在一定的范围, 若出现异常圆点状缺陷, 此时该处的网点间距必然过小, 对于该种情况, 本文在二值化提取网点主体部分后, 进行形态学闭运算, 使用的结构元为半径不同的圆形, 通过将异常圆点与其周围过于靠近的网点粘连在一起, 如图5 所示.再进行连通域处理,提取特征进行判断.

图5 缺陷区域提取

3.2 密区检测算法

3.2.1 亮点缺陷检测

由于密区的网点分布过于集中, 网点之间的距离很小, 网点与背景分离的算法不适用.针对此区域缺陷的成像情况及网点的密集分布情况, 本文根据高斯导数滤波器提出一种新的缺陷检测方法.首先, 使用图像形态学算法对密区图像进行预处理; 然后, 设计高斯导数滤波器对图像进行卷积, 并进行二值化阈值分割; 最后, 利用区域闭操作连接相连的疑似区域, 进行缺陷判断.

由于密区部分网点密集, 整体区域较亮, 缺陷与网点的对比度不高, 如图6(a)所示, 故需要通过处理对缺陷进行增强.本文设 7×7的 八边形结构元 B1和 7×7的菱形结构元 B2, 分别对导光板密区进行灰度级开操作, 以降低整体灰度, 抑制网点部分.

图6 亮点缺陷提取

其中, I0为导光板密区原图, I1、 I2为经过灰度开处理后的图像, B1、 B2为 结构元, ◦代表开操作.

对图像进行算术操作, 如图6(b)所示.

运用如下高斯梯度[14]对图像进行卷积, 结果如图6(c)所示.

3.2.2 暗划伤检测

密区除了亮点缺陷外, 还存在较暗的划伤缺陷, 如图7(a)所示.对原图进行灰度值拉伸.

图7 疑似划伤缺陷提取

对原图 I0和拉伸图 I4分别进行图像增强得到 I5和I6, 增强算法如下所示:

计算时先对原图( orig)进行低通滤波操作, 将得到的灰度值( me an)与原始灰度值进行运算得到增强图( res ).F actor为对比度增强因子.

对 I5与 I6进行图像灰度值运算, 如图7(b)所示.

I7保留了原图中一部分的低频部分, 主要为网点的边缘部分, 也包含某些较暗的缺陷, 此时网点边缘部分对缺陷的提取有较大的干扰, 根据其特征, 设计结构元进行灰度开操作, 可以有效去除网点边缘部分, 如图7(c).

3.3 缺陷判定

经过上述处理之后, 可以从导光板图像中提取疑似缺陷, 但由于机器视觉与人眼视觉系统存在差异, 需要对疑似缺陷进行判定, 使检测结果更加符合生产现场人工判定规则.

通过采集大量带实际缺陷的导光板图像, 并经现场验光人员确认缺陷类型, 通过图像与实物的对照, 研究缺陷区域的特征, 发现可以通过面积A、最大长度L、圆度C 及疑似缺陷的平均灰度G 等进行判定.

(1)面积A

设 F( x,y) 表示图像在点( x, y)处的灰度值, 某个疑似缺陷为 R, 其0 阶几何矩[15]为:

若将图像转换为二值图, 则区域面积A 可通过其0 阶几何矩求出:

其中, f(x,y)为其二值化图像.

(2)最大长度L

通过二值图的一阶几何矩:

可求出R 的中心为:

二阶矩:

若将R 拟合成椭圆, 据此可求出其长轴半径 Ia, 短轴半径 Ib, 椭圆方向θ:

其中,

为了简化计算, 本文将 R区 域θ 方向的最大距离近似为其最大距离L.

(3)圆度C

圆度表示疑似缺陷面积近似理论圆的程度, 取值在0～1 之间, 1 表示该区域为正圆, 0 表示线段.

其中, C 是圆度, A 是区域面积, m ax是中心点到轮廓边缘的最大值.

(4)平均灰度G

平均灰度G, 即表示R 区域整体灰度的平均值, 反映了该区域的亮暗程度:

在背景部分对缺陷的评判标准为, 若G ＞G1∩A ＞A1或 G ＞ G2∩L ＞L1∩C ＜C1则将该疑似缺陷视为缺陷.

在前景部分存在成像的缺陷有重划伤、较重的压伤、白点、亮点、异物等, 在将网点区域进行闭运算并转换为连通域后, 观察缺陷发现可通过面积A、圆度C 进行判定.

在前景部分对缺陷的评判标准为, 若C ＞C2∩A ＞A3, 则将疑似缺陷视为缺陷.

密区部分由于图像在经过处理后, 缺陷较为明显,针对密区亮点算法通过设置高斯梯度阈值将图像二值化后, 进行连通域, 通过面积进行缺陷的筛选; 针对密区划伤的算法则是先进行灰度阈值二值化, 进行闭运算连接断线, 求连通域, 根据长度和圆度进行缺陷筛选.

4 实验结果分析

4.1 导光板缺陷检测装置设计

根据线扫相机的拍照方式设计导光板自动检测装置, 如图8 所示.在机台上安装皮带传送装置, 皮带前方有导轮对产品进行限位, 使产品始终处于光源和相机的有效范围内, 光源前方设置有光电传感器, 产品经皮带传输触发传感器后直接触发光源持续打光, 经过延时后触发相机拍照.实验机台对皮带的稳定性要求较高, 不能有抖动.产品流过后, 上位机会给PLC 产品OK 或NG 的信号, 以便后续机械手将产品分开放置.

软件部分采用Visual Studio 2015 联合Halcon 18.11 作为开发平台, 采用C++编程语言来编写算法,进行图像处理与分析.

图8 导光板缺陷检测装置

4.2 参数分析

4.2.1 基于稀区网点分离的 σ, k, ti参数确定

根据高斯函数的分布特性可知, 在中心值左右3 个标准差的范围内占据99.7%的数据, 模板大小与σ的取值是相关的, 在Halcon 中已给出模板大小k 与σ的对应关系, σ越大对图像的平滑效果越强.图9 为不同卷积核大小及其对应的 σ的滤波效果, 本文选k=5,σ=1.075.

图9 不同k 、σ 取值对比图

通过最大类间方差法可以求得使两类之间方差最大的灰度阈值, 但实际上导光网点与背景之间并无明显的分界线, 以最佳阈值对网点与背景进行分割时, 会将网点的外延部分划分为背景, 这对在背景部分进行缺陷检测时将产生较大干扰, 故本文对最佳阈值设置偏差ti, 使得尽可能的包围网点的外延部分.根据实际效果, 本文将 t1设 置为-10, t2设置为-7, t3设 置为-7, t4设置为-5.

4.2.2 缺陷判定标准

(1)疏区背景部分:

点状不良:

线状不良:

(2)疏区网点部分(亮白点):

(3)密区亮点检测算法:

(4)密区暗划伤检测算法:

4.3 算法比较

目前国内对导光板缺陷检测的算法较少, 文献[10]提出的导光板检测方法取得了较好的效果.实验收集压伤, 划伤, 亮点3 种缺陷的板子各150 张, 分别用本文算法与文献[10]算法进行检测, 结果如表1 所示.

表1 两种算法检测准确率对比(%)

由表1 可以看出: 本文算法在压伤, 亮点, 划伤等缺陷的检测准确率方面均高于文献[10], 文献[10]算法虽然对亮点这种灰度特征明显的缺陷有较高的准确率,但对压伤和划伤的检测准确率偏低; 本文检测算法通过网点分离的方法, 从两个层面对缺陷进行检测, 可以有效抑制网点对压伤、亮点缺陷检测时的干扰, 具有较高的准确率.

4.4 实验结果分析

本检测系统在生产现场实际检测效果如表2 所示.

表2 现场实测数据

检测系统于3.21 正式上线实测, 产品经过检测系统检测后, 全部经验光人员复检.初期漏检率偏高, 后经过算法优化漏检率有明显下降.漏检的缺陷主要为某些成像极为暗淡的线划伤, 通过分析此类缺陷的特征, 运用图像增强算法, 在背景图上增强此类缺陷, 同时在缺陷判定上, 加严对暗划伤的判定标准, 加强对此类缺陷的检出能力.某些缺陷需要特定的角度才能看见, 线扫相机只能从正视角方向拍取图像, 缺陷成像效果几乎为零, 导致漏检.5.9-5.13 的漏检率比4.28-5.4的漏检率高, 原因是在产线中, 有些未成像的缺陷形成于生产工艺中, 一旦出现即为批量性的, 这种属于偶发事件.

5 结束语

针对目前导光板缺陷检测效率低下的问题, 本文在分析导光板网点与缺陷特征的基础上提出了一种基于机器视觉的导光板缺陷检测技术.根据网点与背景及缺陷的区别, 设计了滤波模板, 通过多次滤波突出网点部分, 计算最佳分割阈值, 将图像分离成网点与背景两部分.再根据灰度、面积、圆度等特征进行缺陷的准确判定.实验结果表明, 该算法的运行效率高、准确率高, 稳定性、鲁棒性强, 不仅能够识别常见的缺陷,对于不常见的微小缺陷也具有比较高的检测能力.