应用视觉显著性的小提花织物疵点检测

李 敏， 崔树芹， 陈 佳

(武汉纺织大学 数学与计算机学院, 湖北 武汉 430072)

应用视觉显著性的小提花织物疵点检测

李 敏， 崔树芹， 陈 佳

(武汉纺织大学 数学与计算机学院, 湖北 武汉 430072)

为实现小提花织物的疵点检测，提出了一种基于视觉显著性的疵点定位与分割方法。针对小提花织物的花型具有周期性的特点，通过对织物图像进行快速傅里叶变换和形态滤波来抑制正常花纹的显著性，突出疵点区域的显著性，以获取图像的全局显著图；然后使用基于图论的视觉显著模型来计算图像的局部显著图，并对全局和局部显著图进行合并生成综合显著图；最后使用最大熵法对综合显著图进行分割，以得到疵点目标。实验结果表明，在对横裆、破洞、断头、打结和跳花等5种瑕疵进行测试时，该方法的正确率高达93.5%，非常适合于对小提花织物进行疵点检测。

小提花织物; 疵点检测; 视觉显著性; 最大熵法

提花织物疵点检测是织物疵点自动检测的难点[1-2]。与素织物不同，提花织物有花纹图案，这些图案会对检测过程造成干扰，故检测难度较大。

目前国内外对提花织物疵点检测方面的研究比较少[3-5]，其中，文献[3]提出的方法效果最好。该方法先对提花织物进行Motif分割，然后提取每个Motif的运动能量和能量方差来形成一个决策区域，最后通过判断待测图像每个Motif的运动能量和能量方差是否在决策区域内来确定该Motif是否具有瑕疵。该方法的准确率为93.32%，但是该方法只能判断织物是否含有疵点，不能定位疵点的具体位置。

视觉注意机制是人类视觉感知系统的重要内容，可使人类在面临复杂场景时能够迅速将注意力集中在一些显著目标上，从而对这些目标进行优先处理。近年来，视觉注意机制已经在图像检索、场景分析、目标检测与识别等方面取得了很多有价值的研究成果。不仅如此，视觉注意机制还成功解决了钢铁企业中铜带表面缺陷检测问题[6]。

由于疵点在颜色、亮度、纹理或者方向上与其周围正常织物组织的特征不一致，管声启等[7-8]对平纹织物中的疵点进行检测时指出，与传统方法相比较，基于视觉注意机制的疵点检测方法可取得理想的结果；在使用视觉注意机制对织物进行疵点检测时，仅仅计算了图像的局部显著性，没有考虑图像的全局显著性，因此不能很好地解决提花织物花纹图案对疵点检测的干扰问题。

尽管小提花织物图像背景复杂，但其花纹是有规律地在进行排列，具体有3种：具有花型周期；花型周期采用四方循环的结合方式排列组成；花型在任何地方均有大致相同的结构尺寸。基于这一特点，本文提出了一种结合全局和局部显著性的织物疵点检测方法，该方法以获取小提花织物图像的显著图为切入点，引进最大熵法实现疵点的定位和分割。实验结果表明，使用本文提出的疵点检测方法，可得到比较高的检测正确率。

1 相关背景

1.1 Itti模型

目前计算机视觉领域中应用最广泛的视觉显著性模型是Itti模型[9]。Itti模型通过计算对象的区域及邻域等局部信息来获得显著图。图1示出对含有跳花疵点的小提花织物图像，使用Itti模型进行显著性计算所得到的显著图。

从图1(b)可看出，Itti模型能突出大部分比较明显的疵点，但无法解决花纹图案对疵点检测的干扰，将很多非疵点区域也当成了显著区域。造成这种现象的主要原因在于，Itti计算的是像素与其周围像素的对比度，属于局部显著性。由于提花织物的花纹跟周围像素相比，显著性较高，易被误判为疵点，故还需考虑像素的全局显著性，即像素对于整幅图像的显著性。

1.2 谱残差模型

谱残差(spectral residual, SR)模型是一种基于傅里叶变换的视觉显著性计算模型[10]，通过计算图像的全局特征来获取图像中的显著区域。图2示出使用SR模型对图1中的织物图像进行显著性计算所得到的结果。

从图2可看出，SR模型依然无法完全排除花纹图案的干扰，其主要原因在于SR模型先计算谱残差，然后使用谱残差做傅里叶逆变换来计算显著图。计算谱残差时使用了减法操作，不仅去掉了花纹图案信息，还将很多疵点信息也去除(见图2(a))，尽管通过高斯平滑滤波可善显著图的效果，但是，平滑滤波后所得到的显著图依然不是很准确。

2 本文提出的算法

因为小提花织物的花型具有周期性。如果将单幅小提花织物图像的信息(H)看成由2部分构成：

H=H1+H2

其中：H1为图像中的正常信息；H2为异常信息，即疵点部位信息。若将H1视为噪声信号，H2视为有效信号，如果能够在滤除前者的同时保留后者，则可确保H2部分的显著性远远大于H1的显著性。

2.1 理论分析

周期信号的频谱是离散的，由一系列冲击信号组成。图3示出在(0,30π)的范围内，正弦信号sin(t)的波形图和对数幅度谱图。从图3(b)可看出，周期信号的对数幅度谱存在很明显的尖峰。

经实验分析发现，不管周期信号中出现几次异常信号，其对数幅度谱中的尖峰总存在，且对数幅度谱总保持大致不变的形状，结果如图4所示。

借鉴电力系统中局部放电窄带周期性干扰研究的成果[11]，对含有异常信号的周期信号，使用形态滤波器来滤除信号中的周期信号，然后再进行傅里叶逆变换，即可突出异常信号，结果见图5所示。

比较图5和图4(a)可看出，通过对含有异常信号的周期信号的对数幅度谱进行滤波，可在抑制周期信号的同时保留异常信号。

2.2 全局显著性算法实现

基于2.1节对周期信号对数幅度谱分析的结果，本文提出的全局显著性计算过程如下。

1)对图像I(x)进行傅里叶变换,得到幅度谱A(f)和相位谱P(f)，计算对数幅度谱ln(A(f))。

2)对ln(A(f))进行形态滤波，得到R(f)。

3)利用R(f) 和P(f)信息进行傅里叶逆变换，得到输入图像的视觉显著图S(x)。

4)对S(x)进行高斯平滑滤波。

图6示出使用本文提出的全局显著性算法，对图1中的织物图像进行显著性计算所得到的结果。 从图6可看出，使用本文所提的方法计算所得的显著图，比使用SR模型所得到的显著图更能够完整突出疵点区域的显著性。

2.3 局部显著性算法实现

通过对多种视觉显著性模型进行测试，从显著图的准确性和速度等方面综合考虑，本文选择使用基于图论的视觉显著性模型(graph-based visual saliency, GBVS)[12]来提取小提花织物图像的局部显著性。

为降低算法的时间复杂度，本文研究只提取图像的亮度特征来生成显著图。图7示出使用GBVS模型，对图1中织物图像进行显著性计算所得到的局部显著图。

2.4 疵点定位和分割

得到全局和局部显著图后，先对2幅显著图进行合并生成综合显著图；然后使用最大熵法来对其进行显著区分割，并使用形态学对分割所得的二值图像进行操作，以去除孤立的非连续区域；最后将二值图像与原始图像进行叠加，即可得到疵点区域。结果如图8所示。

3 实验结果及分析

为验证本文所提方法的有效性，进行了一系列的实验。实验机器配置为Genuine Intel 1.83 GHz CPU和1.24 GB内存，操作系统为Windows XP，软件编译环境为Matlab 2009。在实验过程中一共使用了200幅小提花织物图像，其中，含有横裆疵的图像60幅，含有破洞、断头、打结、跳花4类疵点的图像各30幅，无瑕疵的织物图像20幅。图像的大小为256像素×256像素。

实验时使用4种不同方法计算小提花织物图像的显著图，即GBVS模型(方法1)，SR模型(方法2)，CA(context-aware，CA)模型[13](方法3)和本文提出的方法(方法4)。其中，GBVS是计算局部显著性的模型，SR是计算全局显著性的模型，CA是综合考虑局部和全局显著性的模型。

在测试的过程中，首先使用不同显著性模型来计算显著图，然后使用最大熵法对显著图进行分割得到二值图像，最后基于二值图像得到疵点区域信息，并将分割所得到的疵点信息进行对比。

图9示出对1幅含有断头疵的小提花织物图像使用不同方法获得的显著图。图10示出疵点检测结果。从图10中可看出，使用不同显著性模型进行疵点检测，都能取得一定的准确性，这说明使用视觉显著性模型进行小提花织物的疵点检测是可行的。同时也可看到，跟其他几种方法相比较，本文所提方法缺陷定位准确率更高，所分割出的疵点区域更完整、更精确。

使用不同方法对200幅图像进行测试，所得准确率如表1所示，平均准确率和时间如表2所示。

表l 对不同类型疵点图像进行检测所得准确率Tab.1 Accuracy rate obtained by four different methods %

表2 使用不同方法进行疵点检测所的结果比较Tab.2 Comparison of results by four different methods

从表1可看出，本文所提方法的准确率远远高于方法1和方法2。特别是对于破洞疵点，本文所提方法的正确率达到了93.3%，而方法1只有76.7%，造成这种现象主要是因为方法1通过计算像素与周围像素的差异来生成显著图。当疵点面积比较小时，方法1所生成的显著图中疵点区域的显著性不高，导致后面显著区域分割出现误差；对于横裆和跳花疵点，本文所提方法的准确率分别达到了95%和96.7%，而方法2的准确率分别只有78.3%和76.7%。造成这种现象的原因是，横裆和跳花疵点面积都比较大，SR在计算谱残差时，将疵点区域的信息也去除了，因此方法2最终生成的显著图没能包含完整的疵点区域信息。

从表2可看出，本文所提方法的平均准确率为93.5%，远远高于方法1和方法2；由于方法3综合考虑了全局和局部显著性，因此，其平均准确率高于方法1和方法2，比本文提到的方法只少1.5%。

从算法的执行速度来看，本文所提方法的平均速度为0.829 s，比方法1慢0.104 s，比方法2慢0.68 s，但是远远快于方法3的90.038 s。

需要指出的是，在使用本文提出的方法计算全局显著性的过程中，为提高速度，将图像缩小为128像素×128像素后再进行傅里叶变换；进行形态滤波时，使用的是半径为2的圆形结构元素。

4 结 语

针对小提花织物图像的特点，提出了一种结合全局和局部显著性的小提花织物疵点检测方法。该方法先计算图像的全局显著图和局部显著图，并将全局显著图和局部显著图进行合并生成综合显著图，接着对综合显著图进行分割，所得到的显著区域即为疵点可能出现的区域，最后分割所得的二值图像与原始图像进行叠加，即可得到疵点区域信息。实验结果表明，本文提出的方法可有效检测出横裆、破洞、断头、打结和跳花等5种瑕疵。

在后续的研究中，将致力于提高算法的速度以达到在线检测的目的。

FZXB

致谢 感谢香港大学的H.Y.T. Ngan和 G. K. H. Pang为本文研究所提供的织物图像。

[1] NGAN Y T, PANG K H, YUNG H C. Automated fabric defect detection: a review[J]. Image and Vision Computing, 2011(29): 442-458.

[2] TAJERIPOUR F, KABIR E, SHEIKHIN A. Defect detection in patterned fabrics using modified local binary patterns[C]//International conference on computational intelligence and multimedia applications. Tamil Nadu: IEEE, 2007: 261 -267.

[3] NGAN Y T, PANG K H, YUNG H C. Motif-based defect detection for patterned fabric [J]. Pattern Recognition, 2008, 41: 1878-1894.

[4] LI M, DENG Z M, WANG L J. Defect detection of patterned fabric by spectral estimation technique and rough set classifier[C]//4thGlobal Congress on Intelligent Systems. Hong Kong: IEEE, 2013: 190-194.

[5] YU X B, HU J L, BACIU G. Defect detection of Jacquard fabrics using multiple color-channel analy-sis[J]. Journal of Textile Application, 2005, 1:21-29.

[6] 张学武,丁燕琼,段敦勤，等. 基于视觉仿生机理的铜带表面缺陷检测[J].中国图象图形学报, 2011,16(4): 593-598. ZHANG Xuewu, DING Yanqiong, DUAN Dunqin, et al. Surface defects inspection of copper strips based on vision bionics [J]. Journal of Image and Graphics, 2011, 16(4): 593-598.

[7] 管声启,高照元,吴宁,等. 基于视觉显著性的平纹织物疵点检测[J].纺织学报,2014,35(4):56-61.

GUAN Shengqi, GAO Zhaoyuan, WU Ning, et al. Defect detection for fabrics based on visual saliency [J]. Journal of Textile Research, 2014, 35(4): 56-61.

[8] GUAN S Q, GAO Z Y. Fabric defect image segmentation based on the visual attention mechanism of the wavelet domain[J]. Textile Research Journal, 2014, 84(10): 1018-1033.

[9] ITTI L, KOCH C, NIEBUR E. A model of saliency- based visual attention for rapid scene analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11):1254-1259.

[10] HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis: IEEE, 2007:1-8.

[11] 刘云鹏，律方成，李成榕，等. 基于数学形态滤波器抑制局部放电窄带周期性干扰的研究[J].中国电机工程学报，2004, 24(3): 169-173. LIU Yunpeng, LÜ Fangcheng, LI Chengrong, et al. Study of the mathematical morphological filter in suppressing periodic narrow bandwidth noise of PD [J]. Chinese Society for Electrical Engineering, 2004, 24(3): 169-173.

[12] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]//Advances in Neural Information Processing Systems. Vancouver: NIPS, 2007: 545-552.

[13] GOFERMAN S, ZELNIK L, TAL A. Context-aware saliency detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926.

Defect detection for mini-jacquard fabric based on visual saliency

LI Min, CUI Shuqin, CHEN Jia

(SchoolofMathematicsandComputerScience,WuhanTextileUniversity,Wuhan,Hubei430072,China)

This paper proposed a new defect detection method for mini-jacquard fabric based on visual saliency. This method firstly analyzed the characteristic of the mini-jacquard and proposed to apply fast Fourier transform and mathematical morphological filter on the original image to keep down the saliency of the normal area, pop out the saliency of the defect area and obtain the global saliency map; and then, the local saliency map was obtained by using the graph-based visual saliency model; after that, the saliency map could be generated by combining the global and local saliency map; and finally, a maximum entropy method was implemented on the saliency map to separate the defected area. Experimental results show that the proposed method can effectively detect multiple kinds of defects of barre, hole, broken end, knots and netting, and the average success rate is 93.5%. It is an effective defect detection method.

mini-jacquard fabric; defect detection; visual saliency; maximum entropy method

10.13475/j.fzxb.20151003406

2015-10-20

2016-07-21

湖北省教育厅科技项目(D20161605)

李敏(1978—)，女，副教授，博士。主要研究方向为图像处理和模式识别。E-mail：reaphope@163.com。

TS 101.9

A