基于改进梯度幅值的包装缺陷检测算法研究及应用

宋丽梅，徐婧玮，杨燕罡，郭庆华,3，杨怀栋

(1.天津工业大学 电气工程与自动化学院 天津市电工电能新技术重点实验室，天津 300387；2.天津职业技术师范大学 机械工程学院，天津 300222；3.伍伦贡大学 电气计算机和通信工程学院，伍伦贡 NSW2500,澳大利亚；4.清华大学 机械工程学院精密仪器系，北京 100084)

引言

包装是为商品提供保护及相关信息说明的重要载体。良好的包装是商品质量的基础保障，它不仅给消费者带来了“安心”，同时也对商品生产者提出了加工要求。在商品生产过程中，由于各种外界因素以及设备自身故障，可能使包装在印刷过程出现各种问题。例如，包装表面出现异物、表面模糊、颜色失真、包装漏印等。这些有问题的包装不仅给消费者带来了诸多麻烦，也将对生产厂家造成经济和声誉的损失，因此，生产企业都非常重视包装的质量检测。缺陷检测作为包装质量检测系统的重要部分，同时也是判断包装表面信息是否存在缺陷的直接环节，其效果是完成整个包装质量检测的关键，而实现缺陷检测的算法也在一定程度上决定了整个检测系统的功能实现的好坏。工业中，常用的缺陷检测方法主要包括：模板匹配检测算法、图像差分检测算法、分层检测算法[1]、基于图像质量评价的质量检测算法。

图像质量评价(image quality assessment，IQA)通过对图像进行特性分析，得到图像的质量指标，该方法已被广泛地应用于图像处理的各个领域。图像质量评价从是否有人为参与的角度主要分为主观评价、客观评价两个分支。从对原始信息的依赖程度，客观评价又可分为无参考、部分参考和全参考图像质量评价[2]。人类视觉系统主要根据图像的底层特征理解图像，如边界、零交叉等[3]。其中，梯度作为边界的构成要素，被广泛应用于参考图像质量评价算法的设计中。而梯度幅值(gradient magnitude，GM)能够反映图像的细节变化和纹理变化，并且对缺陷信息具有较高的敏感度，故将其应用于本文的缺陷检测算法中。局部二值模式(local binary pattern，LBP)[4]是一种有效的纹理描述算子，它具有旋转不变性和灰度不变性等显著优点。LBP算子由于其出色的性能，在纹理特征提取方面己经取得了广泛的应用。在纹理分析方面，LBP算子是最好的纹理描述符之一，该算法由于计算简单、特征分析能力强，被普遍应用于人脸识别中[5]。由于LBP算子具有灰度不变性优点，故将LBP算子引入到本文的检测算法中。文献[6]利用模板匹配算法及相似性度量筛选有缺陷的乳品包装日期喷码，但该方法对模板图像要求高，鲁棒性较差；文献[7]采用邻域平均法和中值滤波法对原始图像进行预处理，但该方法效率较低，对图像处理方法效率的要求较高；文献[8]利用一种基于形状的模板匹配算法，实现了印刷图像的质量检测，但该方法受光照影响较大；文献[9]、文献[10]分别采用不同方法分割缺陷区域，但对光线都要求较高。

针对上述问题，本文立足于实际生产生活的需求，设计了一种基于改进梯度幅值的包装缺陷检测算法。该方法不仅能有效抑制光照变化对缺陷检测造成的影响，并且能保留缺陷的纹理特征，提升产品检测效率，改善检测精度。

1 图像质量评价与局部二值模式

1.1 图像质量评价算法介绍

常见的全参考图像客观评价算法包括峰值信噪比(peak signal to noise ratio，PSNR)、视觉信息保真度(visual information fidelity，VIF)[11]、特征相似性(feature similarity index，FSIM)算法[12]、梯度结构相似度(gradient-based structural similarity，GSSIM)[13]等。

PSNR是早期的全参考评价算法，该方法具有计算复杂度小且易于实现的特点，计算方法如(1)式所示。

(1)

其中MSE(mean square error)为均方差，其计算方法如(2)式所示。

(2)

其中：I(i,j)和K(i,j)分别代表待测图像和参考图像的第(i,j)个像素的灰度值；mn表示尺寸为m×n图像的像素总数；L为图像的灰度级数，常见的8位图像中L=255。

图像梯度幅值是检测缺陷信息的重要指标，经典的图像梯度算法考虑原始图像中每个像素某个邻域内的灰度变化，利用边缘邻近的一阶或二阶导数变化规律，为原始图像中每个像素某个邻域设置梯度算子。通常，利用小区域模板进行卷积计算梯度，常用算子有Sobel算子、Laplace算子、Scharr算子等。

本文采用Scharr算子计算梯度幅值，而Scharr算子的梯度幅值计算方法如(3)～(5)式所示。

(3)

(4)

(5)

其中：GM(i,j)表示图像在点(i,j)处的梯度幅值；Gx(i,j)、Gy(i,j)分别表示点(i,j)在x、y方向的梯度分量；原始图像在点(i,j)处的灰度值用f(i,j)表示。

由此，可通过(6)式计算参考图像和待测图像每个点的梯度幅值相似度SGM。

(6)

其中：GM1(i,j)、GM2(i,j)分别为参考图像和待测图像在每个点的梯度幅值；T2=255。

两幅图像的梯度幅值相似度GM(g1,g2)通过对图像内所有像素点的梯度幅值相似度取均值即可得到，如(7)式所示。

(7)

其中：g1、g2分别代表参考图像和待测图像；m、n分别代表图像的宽、高。

1.2 LBP算子介绍

基本的LBP算子计算原理为定义灰度图像中任意3×3矩形邻域，以邻域的中心点灰度值为阈值，对该邻域中心点各邻域像素灰度值作二值量化处理，并将量化后的序列进行数值转换生成表述图像局部纹理特征的数值，基本LBP算子的计算方法如(8)式所示。

(8)

其中：gi表示中心点邻域的第i个采样点的灰度值；gc表示该邻域中心像素的灰度值；s(gi-gc)表示符号函数，具体计算方法如(9)式所示。

(9)

若邻域像素点灰度值与中心像素灰度值之间作差为负数，则将该像素点对应位置标记为0，否则标记为1，由此可得到一个二值编码序列[14]。按照给定编码方向对得到的二值编码序列排序，依次对其邻域点赋予不同权重值，根据所赋予的权重值将得到的二值编码序列计算转换为一个十进制数，得到该3×3邻域中心点的LBP值。基本的LBP算子如图1所示。

图1 基本LBP算子计算

为了提取不同尺度的纹理特征，文献[15]将基本的LBP算子进行改进，将3×3邻域扩展到任意邻域系统，利用圆形邻域代替方形邻域，如图2所示。

图2 改进LBP算子示意图

改进后的LBP算子允许在半径为R的圆形邻域内有任意多个像素点，使用可变半径的圆对中心像素的近邻像素进行编码，可以得到多种近邻模式。改进LBP算子的计算公式如(10)式所示。

(10)

其中:gc表示中心点像素的灰度值;gp(p=0,1,…,p-1)表示围绕gc、以R为半径的像素点的灰度值。

对于给定中心点(xc,yc)，其邻域像素的位置(xp,yp)可由(11)式得到。

(11)

其中：R表示采样半径；p表示第p个采样点；P表示采样点总数。如果计算值不是整数，该点就无法在图像上找到。对于没有完全落在像素位置的点的灰度值，文中采用双线性插值算法[16]对该点的灰度值进行估计，双线性插值公式矩阵运算表达式如(12)式所示。

(12)

其中：f(x,y)为所求采样点像素值；f(0,0)、f(0,1)、f(1,0)、f(1,1)分别表示在原始图像中与距离采样点最近的4领域内的像素点的灰度值。

2 基于GM-LBP算法的缺陷检测方法

本文提出的GM-LBP算法是结合图像局部二值模式特征和梯度幅值指标的缺陷检测算法。基于图像质量评估算法中利用梯度幅值指标检测缺陷的思想，对传统检测算法进行了改进，融入LBP算子的灰度不变性的特点，提升了缺陷检测算法对光照的鲁棒性。基于GM-LBP算法的缺陷检测方案如图3所示。

图3 GM-LBP缺陷检测算法流程图

本文缺陷检测算法的步骤具体如下：

1) 分别对采集模板图像s(x,y)和待测图像t(x,y)进行灰度化处理得到灰度图像gs(x,y)、gt(x,y)，灰度化处理计算过程如(13)式所示；

Gray=0.298 9×R+0.587 0×G+0.114 0×B

(13)

其中:Gray表示灰度化处理后的像素值;R表示该像素红色通道的分量值;G表示该像素绿色通道的分量值;B表示该像素蓝色通道的分量值。

2) 计算图像gs(x,y)、gt(x,y)的LBP特征Ls(x,y)、Lt(x,y)；

3) 获取Ls(x,y)、Lt(x,y)的梯度幅值Gs(x,y)、Gt(x,y)；

4) 计算梯度幅值Gs(x,y)、Gt(x,y)的梯度幅值相似度β，β的计算公式为(7)式；

5) 判断相似度β是否高于所设定阈值TGL；

6) 若β低于TGL，则判定该产品存在缺陷，若β高于TGL，则判定该包装不存在缺陷，本文中设定TGL为0.92。

基于LBP特征的梯度幅值相似度缺陷检测算法，通过提取图像的LBP特征，保留了梯度幅值特征对缺陷检测的有效性，弥补光照变化极易对梯度幅值造成影响的缺陷，有效地提升了算法在缺陷检测过程中对光照变化的鲁棒性。

3 实验结果与分析

实验环境：Windows7系统，计算机配置为CPU：Intel(R) Core(TM) i5-3317U 1.70 GHz，内存：8 G，Visual Studio 2013环境下运行算法。

实验样本：使用300万像素的Microview RS-A2300-GC50-M00彩色相机，在不同亮度以及被测物体不同缺陷程度下采集共计150幅分辨率为1 600像素×1 200像素的待检测图像。

本文选取图像质量评价方法中的PSNR算法和GM相似度指标两种不同方法同本文算法的检测结果进行对比。实验中，将PSNR算法的最值设定为40 dB，并对检测结果进行了归一化处理。

特征提取过程采用改进的LBP算子，P分别取8、16，R分别取1、2、3。实验用模板图像s(x,y)如图4(a)所示，不同参数LBP特征提取结果如图4(b)～(g)所示。

以P=8，R=2的LBP算子为例，对于图4(a)所示的场景，分别采集如图5 (a)～(e)所示的不同光照强度下的图像，得到如图5(f)～(j)所示的对应的LBP特征提取图。

由图5(f)～(j)可以看出，在不同光照情况下，LBP特征算子均能获取丰富的特征，并且其对光照具有较好的鲁棒性。图5(f)～图5(j)的梯度幅值图如图6所示，并由此计算与模板图的梯度幅值相似度β。本文设定缺陷检测算法结果β∈[0,1]，当且仅当待测图像和模板图像完全一致时，算法检测结果为1。

图4 不同参数LBP特征提取图

图5 不同光照下LBP特征提取图

图6 不同光照下LBP特征的梯度幅值图

利用图像采集设备采集到的实验用图像如图7所示。其中，图7(a)为模板图像，图7(b)～图7(e)为仅改变光照下的模板图像，图7(f)～图7(o)为不同亮度下有不同程度缺陷的待测图像。经灰度化处理后的图像如图8所示。

图7 不同光照及不同缺陷程度的实验用图像

图8 实验用灰度图像

其中，图8(b)、图8(c)、图8(d)、图8(e)分别为图8(a)所示场景在不同光照条件下采集得到的图像；图8(f)、图8(g)、图8(h)、图8(i)、图8(j)为同一缺陷场景在不同光照情况下获取的图像；图8(k)、图8(l)、图8(m)、图8(n)、图8(o)为另一种缺陷场景在不同光照情况下获取的图像。对图8所示的实验用灰度图像，在仅改变光照的情况下，不同方法检测结果β分别如表1所示，而对于不同光照下不同缺陷实验用图像的检测结果β如表2所示。

表1 不同光照情况下不同算法的检测结果

表2 不同光照及不同缺陷程度下不同算法的检测结果

由表1可知，对于同一检测场景，在仅改变光照的情况下，PSNR、GM缺陷检测算法的检测结果会随着光照而发生变化，因而，无法用于不同光照情况下的缺陷检测中。而本文提出的GM-LBP算法对于同一场景不同光照条件下的检测结果均接近1，符合工业缺陷检测要适应不同光照变化的需求。由表2可知，GM-LBP算法对于同一缺陷场景在不同光照条件下均能取得相同的检测结果。而对于不同缺陷，GM-LBP算法的检测结果也不相同，因而，本文算法不仅能够用于检测缺陷，还可用于衡量缺陷程度。

为了检验本文提出算法的精度，本文在仅改变光照的情况下，利用本算法对6种不同光照下的270幅图像进行检测，检测结果如表3所示。

表3 光照改变情况下检测结果

另外，本文还对于不同光照条件下3类缺陷的共计350幅图像进行了检测，检测结果如表4所示。

表4 不同光照下包含污损产品的检测结果

由表3可知，对于不同光照情况下的待检测场景，本文提出的GM-LBP算法能够达到94.1%的准确率。而对于不同光照情况下不同缺陷的检测精度为96.57%。由此可知，本文提出的GM-LBP算法对于不同光照条件下的不同缺陷均具有较高的检测精度，满足工业缺陷检测算法能适应不同光照条件的要求。

4 结论

产品包装、商品标签在检测过程中容易受到光照强度不同造成的影响，由此影响检测结果，造成误检、漏检。传统的印刷产品检测系统往往通过复杂的图像预处理环节适应不同的环境光强，提升检测结果的准确性和可靠性。因此，本文算法利用LBP算子对光照条件鲁棒性强的特点，将LBP算子与图像质量评价方法中的梯度幅值相似度方法相结合，弥补GM相似度对光照变化敏感的不足。实验结果表明，GM-LBP算法能够解决基于图像质量评价方法进行缺陷检测时存在的问题，提升印刷产品检测效率及准确率。目前，本算法的检测精度为96.57%，故还存在一定的检测误差。后续可以考虑从以下2个方面降低检测误差：1) 从LBP算子的选型入手，采用其他LBP算子进行特征提取；2) 尝试其他LBP算子所提取特征和GM相似度方法的结合。