自适应光亮度的LED缺陷检测算法*

罗瑞荣, 高 健，郑卓鋆，张揽宇，邓海祥

(广东工业大学 机电工程学院 电子精密制造技术及装备教育部重点实验室，广州 510006)

0 引言

随着科学技术的发展，人们对电子器件的生产速度、质量要求越来越高，由于半导体发光器件LED寿命长、能耗低，在照明、显示灯领域得到广泛应用。然而，LED本身尺寸小、缺陷尺寸更小(本文涉及的LED尺寸为2mm×2mm×1mm)，当前的主要检测方法是通过人工目检的方式剔除缺陷LED，不仅劳动强度大，成本高，且易出错。因此，开发一种高速、准确的检测方法非常迫切。机器视觉技术具有非接触、自动化、能够快速检测小尺寸零件等优点[1]，能很好地满足产品质量和速度的检测要求。目前利用机器视觉检测LED的方法主要有模板匹配法、亮度分析法、缺陷分割法等。亮度分析法[2]通过点亮LED灯，分析亮度信息进行缺陷检测，不需要特定照明光源，系统成本低，但需要封装LED并且通电测试；模板匹配法[3]原理简单，但是对于不同型号LED需要建立不同模板，且只能检测有明显差异的缺陷，算法通用性和灵活性较差；缺陷分割法是最常用的一种缺陷检测方法，缺陷分割方法的关键在于分割阈值的选择[4]，例如基于图像熵的最大熵分割[5]，基于正态分布的最小误差分割，基于方差的最大类间方差分割，以不同的目标函数计算图像分割阈值。缺陷分割法最大的问题是在光照或者图像背景影响下，往往会使得分割阈值选取错误，导致分割结果不准确，虽然通过背景差分[6]可以消除光照影响，但计算背景图像耗时长，并不能实时地完成检测过程。针对LED质量检测中受光照等因素影响使得缺陷显著程度变化导致分割阈值选取错误的问题，本文在分析LED图像的灰度梯度特征、光照亮度与区域灰度均值关系的基础上，提出一种结合光亮度和Otsu分割阈值的LED缺陷分割算法。实验验证了该算法在不同光照亮度下的鲁棒性与实时性。

1 LED检测装置

系统构成如图1所示，由图像采集系统、图像处理系统和控制系统组成。图像采集系统主要包括CCD高速相机、辅助光源、光源控制器、镜头，垂直于LED表面采集；采集的图像经过计算机处理并且统计结果。LED(尺寸为2×2×1mm)检测缺陷包括尺寸超过0.2mm的异物、油墨等。为了满足检测的精度与速度要求，视觉光源与相机的选择[7]非常重要。

图1 LED检测装置结构

为了凸显LED缺陷的特征，满足检测需求，选用对白色半透明荧光胶缺陷响应明显、频率较高的蓝色环形光源对LED低角度照明，调整光源亮度获取符合要求的图像；选用高帧率的黑白相机采集图像，并且安装内置调焦变倍镜头，使得采集图像时LED占据图像1/3以上，保证尺寸大于0.2mm的缺陷能够被清晰采集。

2 LED缺陷检测算法

视觉算法设计是LED检测系统的核心部分，算法流程图如图2所示。系统通过CCD相机在LED不停留的情况下采集、分析并处理LED图像。缺陷检测过程主要包括LED位置校正、基于灰度梯度提取荧光胶区域特征圆、自适应光亮度阈值分割和连通域分析等。

图2 算法流程

2.1 LED位置校正

LED经过振动盘进入快速运动的检测平台，在相机视场中的位置并不固定，存在偏移和旋转，需要快速进行位置校正，以便做进一步的分析处理。由于LED尺寸为2×2mm，是标准的正方形，最小外接矩形法[8]通过设置包裹目标轮廓的矩形，不断旋转并且调整矩形边长，以面积最小时的矩形作为最小外接矩形，因此采用最小外接矩形法可以有效地获取LED的旋转角度与轮廓尺寸。对采集系统获取的图像采用阈值分割与形态学腐蚀处理，获取LED的轮廓；然后，计算二值图中LED外围轮廓的最小外接矩形，获取LED的旋转角度θ与边长L1、L2。根据L1、L2和θ进行仿射变换，完成LED的位置校正，如图3所示。

(a) LED原图 (b) 图像分割 (c) 位置校正 图3 LED位置校正

2.2 基于灰度梯度的荧光胶区域特征圆提取

LED缺陷存在于中间的圆形荧光胶区域，周围的树脂环氧杯区域属于非缺陷区域，为了减少干扰和检测范围，需要将荧光胶区域与树脂环氧杯分离，即提取特征圆。提取圆形区域通常是通过寻找圆上的点，进而计算圆心与半径[9]。Hough变换[10]是最常用的提取圆方法，算法通过坐标变换，将图像转到参数空间得到一系列待定圆，最后筛选出所求的特征圆。由于存在坐标变换和待定圆筛选，Hough变换的计算量大，处理时间长[11]，在复杂图像中容易检测出错。为了避免图像坐标变换和筛选圆造成的图像处理速度减慢，针对LED进行灰度梯度特征分析，获取荧光胶区域轮廓坐标点，提取特征圆。

由于LED荧光胶区域与树脂环氧杯的材质不同，区域亮度存在差异，灰度梯度能反映出图像中不同区域的特征[12]，尤其是区域轮廓。因此，对LED荧光胶区域与树脂环氧杯区域交界处作灰度特征分析，以寻找荧光胶区域轮廓上的点。图4a中，从图像中心出发，沿45°、135°、225°和315°方向设置4条灰度遍历线，分别获取遍历线上的灰度值，经过一阶差分计算梯度分布曲线。

根据图4b灰度分布曲线可见，灰度分布曲线存在灰度值骤减，LED的荧光胶区域与树脂环氧杯交界处存在灰度突变，此时，梯度分布曲线出现最小值。该最小值点是荧光胶区域的边缘点，是荧光胶区域过渡到树脂环氧杯沿的标志。获取4条梯度分布曲线的最小值点，作为特征圆轮廓上的点，作为最小二乘法拟合圆的输入点。

(a) 灰度遍历线设置 (b) 灰度分布曲线

(c) 梯度分布曲线 图4 灰度梯度特征分析

最小二乘法是一种数学优化方法，通过最小化误差的平方和寻找数据的最佳函数匹配，在曲线拟合很常用[13]。最小二乘拟合圆算法通过求解使已知点到圆心距离与半径之差的平方和最小[14]的圆心与半径，拟合出误差平方和最小的圆，式(1)为最小二乘拟合方程，所求特征圆的方程如式(2)所示，将四个特征圆上的点代入式(1)，求得特征圆的圆心与半径方程为式(3)。

(1)

(x-x0)2+(y-y0)2=R2

(2)

(3)

其中，(x0,y0)为特征圆圆心，R为半径，(xi,yi)为特征圆轮廓上的点，

基于灰度梯度的特征圆提取结果和Hough变换特征圆提取的结果对比如表1、图5所示，图5分别对应表1中编号为1、2、3的图像。对比两种检测圆方法可见：Hough变换计算量大，耗时更长，且容易出现轮廓提取位置出错；基于灰度梯度的特征圆提取不需要坐标变换和待定圆筛选，速度约比Hough变换快260倍，满足实时检测需求，获取的特征圆轮廓更准确。

表1 Hough变换与灰度梯度特征圆提取算法耗时(ms)

(a) Hough变换特征圆提取

(b) 灰度梯度特征圆提取 图5 特征圆提取算法效果对比

2.3 自适应光亮度阈值分割

LED的荧光胶对光亮敏感，其中的缺陷显著程度容易受光照的影响而变化，而LED的缺陷尺寸检测标准为0.2mm，比较微小，如果光照亮度被改变，缺陷分割结果产生变化，就有可能导致原本为缺陷的LED判定为无缺陷。因此，要求缺陷分割算法对光照变化具备一定的鲁棒性。

2.3.1 图像增强

在进行阈值分割前，为了增强图像中的缺陷特征，对图像采用形态学黑帽处理，其过程为先对图像进行形态学闭运算，然后与原图作差，如图6所示。闭运算是膨胀与腐蚀的结合，先膨胀后腐蚀，能填充图像中的缺陷，减去原图后，一定程度上抑制光照的干扰，适用于增强LED中的缺陷特征，其效果如图6b所示；经过黑帽处理，原本荧光胶区域轮廓与树脂环氧杯存在亮度较高部分，因此根据2.2节提取的特征圆位置，对图像添加掩膜，将非荧光胶区域灰度值置为0。

(a) 原图 (b) 形态学黑帽处理 (c) 掩膜处理 图6 图像增强

2.3.2 适应于光亮度的阈值自调整算法

大津法(Otsu)是一种常用且快速有效的图像分割方法[15]，其基本思想是用一个阈值将图像直方图划分为两类，并且使这两类的类间方差达到最大[16]。其优势是在目标与背景对比度大、且目标占据相当像素比例时，分割效果良好，但其致命缺陷是目标占据图像较少像素数时，会出现无法忍受的大块错误划分区域，甚至丢失整幅图像的信息[17]。LED荧光胶区域作为缺陷区域，对光照尤其敏感，往往因为光照影响而出现缺陷被划分为背景的情况，因此，结合Otsu和光照亮度，提出适应光亮度的阈值自调整算法。

μ=ω0×μ0+ω1×μ1

(4)

则背景与目标的类间方差表示为：

σ2=ω0×(μ0-μ)2+ω1×(μ1-μ)2

(5)

联立式(4)、式(5)可得：

σ2=ω0×ω1×(μ0-μ1)2

(6)

因此，类间方差σ2表达式为：

Otsu算法以k=k+1为步长改变阈值k，迭代求解类间方差σ2的值，当σ2最大时，对应的阈值k即为最佳阈值T。在对2.2节提取的特征圆区域计算Otsu分割阈值的基础上，考虑光照的影响，引入对光照敏感区域——荧光胶区域的灰度均值Ave，用于反映当前LED的光照亮度。

(7)

式中,sum是特征圆内的像素数，C(x,y)表示特征圆，f(x,y)是圆内像素点的灰度值。图7反映了光照亮度与荧光胶区域灰度均值的变化关系，光照亮度等级由所采用光源的光源控制器获取，该亮度等级与光照亮度呈线性关系，亮度等级越高，光亮度越高，荧光胶区域灰度均值越大。

以Ave和Otsu阈值T作为自变量，建立适应光亮度的阈值自调整方程：

T′=T+a*Ave+b

(8)

式(8)为二元一次方程，其中，T′是新阈值，T是Otsu分割阈值，Ave为荧光胶区域灰度均值，a、b是阈值调整因子，a∈[0,1]，b为任意常数。在阈值自调整方程中，利用Ave对Otsu分割阈值T进行动态调整，随着光照亮度的提高，Ave值逐渐增大， 阈值调整量随之增加。对荧光胶区域进行阈值分割后进行连通域分析，去除尺寸较小的噪点，保留尺寸较大的连通域，提取LED的缺陷。

图7 光照亮度与荧光胶区域灰度均值关系

3 实验与结果分析

LED点胶缺陷实验平台的搭建如图8所示，相机使用黑白工业相机MV-GED32M-T，其帧率达160fps，满足快速采集图像需求；镜头选取焦距30mm的内置调焦变倍镜头，视场调整为8×6mm，使LED占据图像1/3以上，避免缺陷占据像素数过少；辅助光源为30°环形蓝光源RN7430B。电机和运动控制器负责控制放置了LED的运动平台，在采集LED图像后将相机与下一个LED对准，继续采集；平台移动过程中，图像传输到软件进行分析处理，软件基于OpenCV2、C++编程，在分析处理后显示缺陷结果并存储数据进行统计。

图8 实验平台

为验证算法对光照变化的鲁棒性，采集一组不同亮度照明下同一个LED的图像分别使用Otsu分割和自适应光亮度阈值分割方法进行缺陷检测，式(8)调整因子a、b分别取0.1、5，结果如图9、图10以及表2所示。

图9横坐标的荧光胶区域灰度均值反映了图像的光照亮度，纵坐标分别为使用本文算法计算的图像分割阈值和分割后进行连通域分析消除噪点所得的缺陷尺寸，可见，光亮度越高，分割阈值越高，分割阈值随着光亮度的增加而呈线性比例变化，分割所得的缺陷尺寸保持在40～50像素之间，比较稳定。

图9 不同光照亮度下的缺陷分割阈值与尺寸

表2列出了不同光亮度下的缺陷分割尺寸准确度，可以看到，准确度基本在0.8以上，编号为1的样本的图像光亮设置过低，导致准确度略有下降。虽然少部分属于缺陷的像素点被划分为背景，但稳定的分割尺寸能够保证筛选出有缺陷的LED，不影响在不同光亮度下缺陷检测的准确率。缺陷分割尺寸准确度α定义为：

(9)

其中，Segarea是分割缺陷面积，由连通域分析计算获得；Actualarea是实际缺陷面积，用相机SDK测量软件获取。

图10a分别对应表2中编号为1、5、8的图像，是相机采集的LED原图，光亮度从低到高，缺陷实际宽度约0.2mm，图10b是经过特征圆提取、形态学处理以及图像掩膜覆盖的图像，可以看到，光亮较低的第一幅图像，缺陷信息已经很微弱，光亮较高的第三幅图像，相比第一幅图像，其图像掩膜内的背景部分灰度值较高，两幅图像的缺陷显著程度都比第二幅(正常光亮度)低，分割阈值的选择对不同光亮下的缺陷提取非常重要。图10c、图10d是经过阈值分割和连通域分析去除小尺寸噪点得到的图像，可见，直接使用Otsu分割，阈值的选取并不准确，分割结果很混乱，已经不能筛选出缺陷轮廓，本文阈值自调整算法根据光照亮度动态调整分割阈值，由光亮度决定阈值调整量的大小，能够较稳定地分割出LED缺陷。

表2 算法分割结果对比(像素)

表中，样本编号对应图9各坐标点的图像，Average gray是荧光胶区域灰度均值，Threshold是使用阈值自调整算法进行图像分割的阈值大小，Seg area是分割所得缺陷的像素数，Actual area是缺陷的实际大小，准确度由式(9)计算得到。

(a) 原图(光亮低→高,下同)

(b) 图(a)预处理结果

(c) 图(b) Otsu分割结果

(d) 图(b)自适应光亮度阈值分割结果 图10 Otsu与适应光亮度阈值自调整分割结果对比

为了验证阈值自调整算法的检测速度，采集100张尺寸为640×480的LED图像进行缺陷检测，计算机CPU主频为2.8GHz，内存2G。经过实验结果统计，每张图像的处理时间均在8ms以内，系统达到125个/s的检测速度，且全部检测正确，满足生产所需的实时性、准确性要求。

图11 算法处理时间

4 结论

本文针对LED质量检测中受光照等因素影响，使得缺陷分割容易出错的问题，根据LED的检测环境与缺陷特征，提出基于最小外接矩形位置校正、灰度梯度特征分析以及阈值自调整分割的LED缺陷检测方法。该方法在提取LED特征圆方面，比Hough变换快约260倍，且得到的特征圆轮廓更准确；在缺陷分割方面保留Otsu阈值分割类间方差最大的优点，同时利用光亮度对Otsu阈值进行动态调整，在不同光亮度下的缺陷分割结果更稳定。经过实验验证，缺陷分割尺寸准确度基本在0.8以上，算法处理时间少于8ms，且样本全部检测正确，满足快速准确检测的要求，适合工业在线实时检测。