应用上下文视觉显著性的色织物疵点检测

周文明， 周 建， 潘如如

(江南大学 纺织科学与工程学院， 江苏 无锡 214122)

在纺织品的质量控制阶段，织物疵点检测是其中的一个重要环节[1]。目前，国内外对织物疵点检测算法的研究主要是针对素色织物进行的[2-4]。相较于素色织物，色织物由于颜色等特征的加入，导致检测难度较大，所以目前对色织物疵点检测方法的研究较少，且检测效果大都不理想[5]。其中：Li等[6]提出基于能量局部二值模式的色织物疵点检测算法，通过对无疵参考样本进行训练得出无疵窗格的阈值，最后与待检测图像窗格比较进行疵点检测；Zhu等[7]提出基于自相关函数和局部纹理特征(GLCM) 的色织物疵点检测算法，该算法通过比较灰度共生矩阵间的欧氏距离来识别疵点；Zhang等[8]提出基于频域滤波和相似性度量的自动检测算法，通过使用距离匹配函数测量织物图案的相似性以识别疵点。

上述方法只能判断织物是否含有疵点，不能对疵点的位置进行准确定位。文献[9-10]提出利用视觉显著性的方法检测疵点，该方法利用人眼视觉认知机制，在不需要先验知识的前提下，能迅速搜寻到图像中的显著区域或目标[11]。视觉注意机制已在图像检索、场景分析、目标检测与识别等方面取得了很多有价值的研究成果[11]；不仅如此，视觉注意机制还成功解决了其他领域物体表面疵点的检测问题等[12-13]。基于此，本文选用不同种类的色织物图像样本为研究对象，利用色织物纹理背景和疵点的差异性，采用基于上下文视觉显著性模型的方法对色织物疵点进行检测，以期生成较优疵点检测效果图。

1 图像采集

本文以大恒相机GigE Vison TL采集的像素密度为300像素的条纹色织物图像为样本，将采集的图像裁剪成尺寸为256像素×256像素的图像块。示例图像如图1所示。

图1 色织物样本图像Fig.1 Yarn-dyed fabric sample images. (a) Normal image; (b) Defect image

2 基于上下文的视觉显著性检测模型

根据视觉显著性的检测理念，在进行色织物疵点检测时，为判断图像是否含有疵点，只需要检测图像中有无异常区域，因为疵点通常会导致图像中部分区域出现纹理和颜色异常，异常区域的存在会使该区域具有较高的显著性，因此，在色织物疵点检测过程中，疵点部分为高显著性区域，带纹理和图案的织物背景为低显著性区域。本文以条纹疵点图像为例，从全局和局部角度并结合上下文特征，通过抑制反复出现的织物纹理背景，突出异常特征从而实现疵点的有效检测，因此，根据以下原则来定义显著性区域。

1) 从图像的局部对比度考虑，在进行显著性检测时有颜色异常或者纹理异常的区域应当获得高显著值，反复出现的区域应该获得低显著值。

2) 从图像的全局对比度考虑，应当抑制一幅图中反复出现的特征，强调异常特征。

3) 从图像空间位置因素考虑，图像中的疵点区域往往集中在一起，而不会散落在各处，所以显著性的区域往往比较聚集。

2.1 单一尺度显著性度量

为保证在检测精度的前提下有效降低计算量，查阅相关文献及试验验证，本文选用尺寸为7像素×7像素的图像块作为图像处理的基本单位[13]。根据原则1)和2)可知，如果一个像素i是显著的，那么以像素i为中心的图像块应该与其他图像块存在较大的差异，所以定义某个像素的显著性值时应当将其与其他图像块的对比度考虑进去。再根据原则3)，图像块之间的位置距离也是一个重要的因素，通常显著区域的图像块都聚集在一起，而背景图像块分散分布在图像的各个区域。根据以上分析来定义图像块之间的不相似性度量，如式(1)所示。

(1)

式中：dc(pi,qk)为图像块pi与图像块qk在CIELab颜色空间的欧氏距离；dp(pi,qk)为图像块pi与图像块qk之间的位置欧氏距离，然后将dc(pi,qk)和dp(pi,qk)归一化到[0,1]区间；C为控制系数，根据文献[12]及试验验证，此处C取3。

通过式(1)可以看出，该不相似性度量与颜色差异成正比，与位置差异成反比。在进行显著性检测时，为提高检测效率，评估像素i的不相似性度量时不需要将pi与所有图像块进行比较，只需考虑在尺度r下与pi最相似的K个图像块的差异值之和，用该差异值之和来衡量该像素的显著性。然后对于在尺度r下的每个像素i，搜索K个与其最相似的图像块qk，计算其显著性值。根据文献及试验验证[13]，当K取64时，检测效果最好，最终的显著性值可用式(2)表示。

(2)

用该显著性方法对条纹疵点图像进行检测，检测结果如图2所示。可以看出，在该尺度下虽然能够实现疵点的显著性检测，但背景条纹区域的显著性也比较明显。

图2 条纹疵点单一尺度显著性检测效果图Fig.2 Single scale saliency detection of strip defect

2.2 多尺度显著性增强

通常背景图像块在多个尺度上都具有相似的图像块，而显著性图像块可能只在某些尺度上才具有相似的图像块，因此，可结合多个尺度的显著性图进行疵点区域显著性增强，这样可进一步降低背景区域的显著性，增强显著区域和非显著区域之间的对比度。

为保证检测效果的前提下减少算法的处理时间，计算像素i的显著性时，选用4个尺度R=(r,0.8r,0.5r,0.3r)下的显著图来衡量像素i的显著性值，在这4个尺度中分别找到K个与pi最相似的图像块，计算像素i在不同尺度下的显著性值，如式(3) 所示，其中rk∈R。

(3)

图3 条纹疵点多尺度显著性检测效果图Fig.3 Multi-scale saliency detection of strip defects. (a) Scale 2; (b) Scale 3; (c) Scale 4

(4)

图4示出条纹疵点图像在4个尺度下的显著性均值检测结果。可以看出，与单一尺度的显著性图相比，4个尺度下显著性均值检测在得到较完整疵点区域的同时，背景条纹区域的显著性有效减弱。

图4 条纹疵点在4个尺度下的显著性均值检测结果Fig.4 Mean of saliency at four scales detection of strip defect

2.3 上下文显著性修正

(5)

图5示出最终生成的显著性检测效果图。可以看出，该方法能够有效地突出疵点区域，抑制背景区域，实现疵点的有效检测。

图5 条纹疵点显著性检测效果图Fig.5 Final saliency detection of strip defect

3 试验结果与分析

3.1 织物疵点显著性检测

为验证本文算法的有效性，选用采集的部分素色、条纹和格子色织物正常图像和疵点图像为样本。疵点类型包括油污、跳花和接头等常见的区域性疵点，织物图像尺寸大小均为256像素×256像素。本文试验中所使用的检测算法是在MatLab 2014b原型环境下实现的，并在搭载Intel Core i5处理器的Win7操作系统计算机上进行，3组典型色织物疵点检测结果如图6所示。

图6 本文算法视觉显著性检测效果图Fig.6 Saliency maps generated by method of this paper. (a) Yarn-dyed fabric defect images; (b) Visual saliency maps

由图6(a)可以看出，由于疵点的存在使疵点区域出现纹理或颜色异常，从而使该区域具有更高的显著性。由图6(b)采用本文方法生成的视觉显著性图可知，该方法从图像的整体和局部对比度出发，结合了多尺度生成视觉显著性图，最后通过对显著性图上下文修正突出了疵点的显著性，同时也抑制了背景的显著性，实现了对疵点区域的有效检测，说明了本文方法的有效性。

3.2 检测准确性测试

采用最大类间方差法(Otsu)对生成的视觉显著性图像进行阈值分割，3组典型的二值图像分割结果如图7(a)所示。

图7 疵点定位检测结果Fig.7 Detection result of defect positioning. (a) Binary images; (b) Positioning results

从分割结果可以看出，本文方法能够有效地将疵点区域从背景图像中分离出来，实现了疵点的有效检测。为验证该方法检测的准确性，用二值图像的边缘检测结果与原图叠加，得到图7(b)叠加结果，可以看出该方法能够准确定位到疵点的位置。

3.3 检测有效性测试

为验证该方法的有效性，对采集的素色、条纹和格子色织物图像(45幅疵点图像和32幅正常图像)进行验证。根据视觉显著性检测原则，无论是正常图像还是疵点图像，在生成的视觉显著性图中都会存在显著性区域。以图8所示的素色织物正常图像和疵点图像为例，从生成的显著性图中可看出：疵点图像生成的显著性图中显著性区域的灰度分布比较集中，只有显著性区域的灰度值较高，而背景区域的灰度值明显偏低；正常图像生成的显著性图中，通常存在多个显著性区域，且背景区域的灰度值也较高，因此可利用此特点来判断待测图像是否存在疵点。本文利用全局显著性关联值(视觉显著性图的灰度平均值，用AvS表示)和背景区域显著性关联值(视觉显著性图背景区域的灰度平均值，用AvSI表示)进行判断[14]，计算方法为：

(6)

(7)

式中：nS为显著性图的像素总数；S(x,y)为显著性图中像素点(x,y)的视觉性显著性值；nSI为显著性图背景区域的像素总数；SI(x,y)为显著性背景区域中像素点(x,y)的视觉显著性值。

图8 视觉显著性图Fig.8 Visual saliency maps. (a) Defect image; (b) Normal image; (c) Visual saliency map of defect image; (d) Visual saliency map of normal image

然后结合AvS和AvSI来判定图像是否存在疵点。通过对多张正常图像和疵点图像进行试验，设定图像AvS的阈值小于12，且AvSI的阈值小于0.05时为疵点图像，否则为正常图像。检测结果如表1所示。可以看出，检测准确率为97.4%，说明该方法实现了疵点的有效检测。

表1 疵点检测统计结果Tab.1 Statistics for defect detection results

3.4 不同算法检测效果对比

选取3组典型色织物疵点图，并将本文算法与其他疵点检测方法生成的疵点检测效果图进行比较，结果如图9所示。

图9 不同疵点检测方法检测效果对比Fig.9 Comparison of different visual saliency methods. (a) Yarn-dyed fabric defect images; (b) Method of refe-rence[15]; (c) Method of reference [10]; (d) Method of reference [16]; (e) Method of this paper

从图9可以看出：文献[15]方法生成的疵点检测图由于仅考虑了图像亮度信息，所以只对纹理背景简单，疵点与背景在亮度上有较大差别的图像检测有效；文献[10]方法采用综合3个尺度的特征图像检测疵点，检测出了疵点的位置，但背景区域的显著性未得到较好地抑制；文献[16]方法在对图像进行疵点检测时仅考虑了织物图像的整体信息，没有考虑图像的局部纹理信息，生成的检测效果图中背景噪声比较明显；本文针对织物图像特性，综合了图像整体和局部特征，并采用基于上下文修正生成的检测效果图，有效地突出了织物疵点区域，检测效果最好。

4 结 论

本文通过对常见的素色、条纹和格子色织物疵点图像特征进行研究，提出了基于上下文视觉显著性的织物疵点检测方法，根据织物疵点检测结果可以看出，该方法能够较好地凸显素色、条纹和格子色织物的疵点区域，实现了疵点区域的准确检测。利用全局显著性关联值和背景区域显著性关联值实现了待测图像是否存在疵点的准确判断。将本文方法得到的疵点检测效果与其他检测方法生成的疵点检测效果图进行比较，通过检测结果得出本文方法所生成的疵点检测效果图最优。试验结果表明了本文算法的有效性。

FZXB