应用局部纹理特征的无监督织物瑕疵检测算法

周 建， 王静安， 高卫东

(1. 江南大学 纺织服装学院, 江苏 无锡 214122; 2. 生态纺织教育部重点实验室(江南大学), 江苏 无锡 214122)

应用局部纹理特征的无监督织物瑕疵检测算法

周 建1,2， 王静安1， 高卫东1,2

(1. 江南大学 纺织服装学院, 江苏 无锡 214122; 2. 生态纺织教育部重点实验室(江南大学), 江苏 无锡 214122)

针对当前算法对种类繁多瑕疵，尤其是经纬向瑕疵适应差问题，提出一种应用局部纹理特征的无监督织物瑕疵检测算法。这种算法采用无监督检测方案，检测过程中不需要参考样本。在检测过程中，首先根据瑕疵稀少性特点，直接从整体织物图像中获取表征局部织物纹理的局部二值模式直方图特征；然后利用机织物经纬交织特点对局部织物图像沿经纬向投影，并在此基础上提取特征；最后计算所提取特征的瑕疵异常图，并对其进行权重方式融合后实施阈值分割，实现瑕疵检测。实验结果表明，所提出的投影特征能有效表征局部织物纹理，与局部二值模式特征结合使用能有效检测织物瑕疵。

织物瑕疵； 纹理表征； 经纬向投影； 异常检测

与产业用纺织品不同，服用纺织品表面瑕疵对最终成品的质量及价格有着直接的影响。据统计，织物表面瑕疵可导致价格下降45%到65%[1]。由于受人体生理特征的限制，传统的人工验布方式存在劳动强度高、检测效率低及结果一致性差等缺点，难以满足现代智能化、自动化的生产需求。为此，近年来应用计算机视觉替代人工视觉进行织物瑕疵自动检测已成为趋势。

由于织物瑕疵形状、尺寸和异常程度不可预测，织物瑕疵检测属于单分类问题或异常检测问题[2]。进行织物瑕疵异常检测的核心在于学习能描述正常织物纹理分类的模型，并以此对非正常纹理(瑕疵)进行拒绝。根据是否需要学习样本，现有织物检测算法可分为有监督和无监督2种类型。有监督类型是指检测算法进行瑕疵检测前需要正常样本或瑕疵样本进行训练学习，以获得最佳的检测效果。例如，常用的有监督检测方法有Gabro滤波法[3-5]和小波分析法[6]，这类方法需要通过大量的样本进行训练，限制了其应用范围。

相反，无监督类型检测算法不需要任何参考样本用于参数学习，其设计难度也较有监督类型算法高。现有的有监督类型检测方法主要基于信号处理[7-8]和特征提取[9]。基于信号处理法是将织物图像进行有带通的滤波后完成瑕疵分割，然而该方法受频带选取影响较大；在基于特征提取法中，文献[9]提取了局部二进制模式(local binary pattern，LBP)和灰度直方图用于描述织物纹理的局部特征，并结合整体显著性对突出瑕疵区域实现无监督分割。虽然该方法在瑕疵检测时取得了较好的效果，但由于所提取的直方图特征仅对灰度分布变化较敏感，对于灰度分布变微弱的瑕疵检测结果并不理想，尤其是纹理和灰度变化异常微弱的经纬向瑕疵。

本文针对上述方法的不足，提出了一种应用局部纹理特征的无监督织物瑕疵检测算法。所提出的算法综合考虑了机织物经纬交织及其瑕疵稀少性[10]特点，采用经纬向投影特征对灰度变化微弱的瑕疵进行描述，并结合LBP直方图特征实现瑕疵准确分割。

1 织物瑕疵特征分析与局部纹理表征

1.1 织物瑕疵特征分析

机织物是由经纱系统和与之正交的纬纱系统通过特定交织规律织造而成，所形成的机织物纹理具有高度纹理特征。正常织物即无瑕疵织物，其表面纹理排列会呈现出很高的规则度(周期性)与一致性。当有瑕疵出现时，规则的织物纹理都会受到或多或少的破坏，比如纹理的周期、结构取向或明暗分布等。通常根据瑕疵对正常纹理的破坏形式，可将瑕疵异常特征分为结构型、灰度型和经纬向型3类，其典型外观如图1所示。图像尺寸为512像素×512像素。从图中可看出：结构型瑕疵通常仅改变纹理结构，对灰度值几乎没有影响；灰度型瑕疵通常会明显地改变纹理局部灰度值，且对纹理结构也有相应的影响，故该类瑕疵检测难度较低；而经纬向型瑕疵通常对正常纹理的结构和灰度影响微弱且面积较小，在实际生产中也较常见且检测难度较高。

另一方面，相比于正常纹理区域，瑕疵区域面积所占比例较小，属小概率事件，具有明显的局部性和稀少性特点。为此，本文针对经纬向瑕疵的取向特点，对其进行经纬向投影以实现其微弱特征的增强，同时结合瑕疵稀少性特点，直接从整体织物样本上获取能表征局部织物纹理特征以实现无监督检测。

1.2 基于LBP的局部织物纹理表征

局部二值模式是一种描述图像纹理结构的非参数算子，由于其出色的局部纹理区分能力，自提出以来已经得到了广泛的应用。该方法的核心思想是以图像子窗口的中心像素点灰度值为参考值，与其邻域像素点进行比较，然后将比较所得的0,1逻辑值按一定顺序编码成二进制码，进而以该二进制码实现图像局部纹理特征的描述。实际应用中会将二进制码转换成相应的十进制数，计算公式[11]为

(1)

式中：FP-R为中心像素点的LBP特征值；P为邻域中像素点个数；R为圆形邻域半径；G为图像子窗口中心像素点灰度值；gi为图像子窗口内第i个像素点灰度值。

如式(1)所示，随着邻域P的增大，LBP特征值范围呈指数增加。在实际应用中，通常采用其简化后等价模式(或称均匀LBP)，其LBP特征值种类仅有P(P-1)+2，远远小于原来的2P种。

(2)

式中，U为LBP所得的二进制码序列首尾相连时，从0到1或是从1到0的转变次数。

1.3 基于经纬向投影的局部纹理表征

考虑到机织物的特殊织造工艺，其所形成的织物纹理信息主要集中在经纱和纬纱2个方向，其所产生的多数瑕疵类型也呈现出较强的经纬取向性。此外，经纬向瑕疵通常所带来的异常范围仅涉及单根的经纱或纬纱，对纹理结构和灰度破坏皆较小，检测难度较大。为此，本文将局部织物图像沿水平(纬向)和垂直(经向)方向进行投影，以所得的投影向量对织物纹理进行表征。设K(i，j)为w×h的图像块，记其在水平和垂直方向投影所得一维向量分别为Ph和Pv：

(3)

显然，式中水平投影向量Ph着重反映纬向纹理特征，垂直投影向量Pv着重反映经向纹理特征。根据机织物组织结构特点，正常纹理所得的投影向量仍具有规则稳定的性质，而瑕疵纹理尤其是经纬向瑕疵的投影向量则呈现出不规律或有突变情况，换言之，投影操作能很好地增强经纬向瑕疵，在此基础上进行瑕疵区分也将变得更容易。

2 算法实施流程

所提算法采用无监督方案，首先在子窗口内计算能代表整体织物纹理的LBP直方图特征，然后在此基础上计算基于LBP和投影瑕疵异常图，最后将异常图融合进行瑕疵分割。具体步骤如下。

1)LBP直方图特征计算。

设织物样本为I(i，j)，尺寸为W像素×H像素。首先将I(i，j)无重叠地划分为w像素×w像素的子窗口，记为pi。再根据式(2)计算每个子窗口pi在3像素×3像素分块的LBP特征值，记为F8-1(i)，并统计F8-1(i)在子窗口中的LBP特征值频率，并以此来表征纹理特征，其计算公式为

(4)

式中：rk为LBP特征值的k阶灰度值；Nrk为F8-1(i)灰度阶为rk的像素点个数。

根据瑕疵纹理的稀少性特点，直接取式(4)计算所得的LBP直方图特征H(i，rk)的平均值作为表征图像整体纹理特征的参考值，记为Havg。

2)基于LBP的瑕疵异常图计算。

在获取代表正常纹理特征的LBP直方图特征后，将织物样本I(i，j)有重叠地划分为w像素×w像素的子窗口，子窗口之间重叠为区域(w-1)像素×w像素或w像素×(w-1)像素，记为{pt}。同理计算{pt}的LBP直方图特征，并记为H(t)。显然，若子窗口pt为正常纹理，则其直方图特征H(t)与Havg之间相似度会很高，反之则低。本文通过子窗口直方图特征与Havg之间的相似度来表征瑕疵异常情况，并采用χ2距离计算2个直方图距离[12]，其公式为

SL(i,j)=χ2(H(t),Havg)

(5)

式中：SL(i，j)为基于LBP的瑕疵异常图；(i，j)为子窗口{pt}中心像素点位置。

3)基于投影的瑕疵异常图计算。

将步骤2)所得的子窗口{pt}，应用式(3)计算其每个子窗口在水平与垂直方向的投影向量，记为Ph(t)和Pv(t)。计算水平与垂直投影向量差分平方和，记为Dh(t)和Dv(t)，并以此作为瑕疵异常程度的度量标准，则有：

(6)

式中：Sp(i，j)为基于投影的瑕疵异常图；(i，j)为子窗口{pt}中心像素点位置；“°”为融合运算符。实验表明了取Dh(t)和Dv(t)二者之间的最大值能得到最佳检测效果。

4)瑕疵异常图融合。

如上所述，对局部织物图像进行投影操作可增强经纬向型瑕疵，而LBP直方图特征着重反映结构型瑕疵，即二者在瑕疵适应上存在互补性，因此，在实际检测时由于二者对瑕疵的响应是不同的，若直接将二者所得的瑕疵异常图通过简单相加进行融合势必会削弱部分瑕疵信息，导致最终分割效果不佳。基于此，本文借鉴Fisher准则，根据二者对瑕疵的响应程度，对各自所得的瑕疵异常图进行有权重的融合，以保证瑕疵区域在融合后不被削弱，其权重和融合公式定义如下：

S(i,j)=wwtSL(i,j)+(1-wwt)SP(i,j)

(7)

式中：S(i，j)为融合后异常图；wwt为瑕疵异常图SL(i，j)的权重值；σ1和μ1分别为SL(i，j)的标准差和平均值；σ2和μ2分别为SP(i，j)的标准差和平均值。

由式(7)可知：σ越大表示瑕疵异常图中灰度值波动越大，对瑕疵响应越强；而μ越小则说明背景比较干净，对瑕疵响应越弱。故σ/μ越大，表明对瑕疵响应越强且背景和瑕疵分离程度也越好，融合时权重应越大。为验证式(7)的有效性，图2示出了对瑕疵不同响应下所得的瑕疵异常图与权重值实例。图像尺寸为512像素×512像素。从图中可直观看出，投影特征对图2(a)中瑕疵的响应要明显优于LBP特征，即融合时应占较大权重。通过式(7)计算图2(c)融合时权重为0.59，符合预期分析，表明式(7)能根据对瑕疵的响应程度确定融合权重权。

值得注意的是，在应用式(7)融合前，采用极小-极大值标准化方法将SL(i，j)和SP(i，j)归一化到[0 1]区间，即有：归一化后的数据=(原数据-最小值)/(最大值-最小值)。

5)瑕疵分割。

根据瑕疵异常图计算公式可知，瑕疵区域在异常图中会表现出较大的数值，适应采用简单的阈值法进行瑕疵分割。考虑到瑕疵属小概率事件且集中分布在直方图右侧，对整体背景区域灰度值分布基本无影响。本文研究直接取异常图S(i，j)的均值的2倍作为自适应分割阈值T。

(8)

3 实验与结果

为验证上一节所述算法的有效性，本文研究选取了典型的结构型和经纬型瑕疵进行实验，如百脚、双纬及横档等。所选用的织物瑕疵样本皆来源于生产一线，图像尺寸皆为512像素×512像素，分辨率为210像素/2.54 cm，实际织物尺寸约为62 mm×62 mm。图3示出了本文所选方法对4种典型织物瑕疵的检测结果。

3.1 相关说明

本文算法采用无监督方案，所涉及的主要参数仅有子窗口尺寸w。对于LBP特征而言，子窗口尺寸的选取依据以尽可能充分描述织物纹理特征优先，即选取时不宜过小，前期实验表明，w取织物纹理最小周期的2倍左右为最佳，过大会导致对瑕疵纹理不敏感；而对于投影特征而言，子窗口尺寸的选取以能充分反映经纬瑕疵为优先，即选取时不宜过大，取织物纹理最小周期左右为最佳。另一方面考虑到实验所用织物样本行与列周期范围皆在6～11个像素之间，且为提高算法运算效率，本文统一选用16像素×16像素的子窗口用于提取LBP特征，投影特征的提取则统一采用8像素×8像素的子窗口。

3.2 结果分析与讨论

从图3中可看出，对经纬向瑕疵，如粗经和双纬，本文提出的投影特征所得的瑕疵异常图要明显优于LBP特征。而对于结构型瑕疵，如百脚稀纬，2种特征都能有效地突出有异常的瑕疵区域。然而对结构变异复杂的结构型瑕疵，如吊经，2种特征在突出该类瑕疵时呈现出互补性，即投影特征侧重反映有经纬向异常的区域，而LBP特征侧重反映宏观纹理变异区域。这也意味着所提出的投影特征能有效表征局部织物纹理且具有较强的瑕疵区分能力，尤其是经纬向瑕疵，同时与LBP特征结合使用能更为完整地突出复合型结构变异瑕疵，提高了算法的鲁棒性。此外，从图中所得的瑕疵异常融合结果可直观看出，本文所提出的权重计算准则能够有效地保留原有瑕疵区域，进而为瑕疵的准确分割提供必要条件。

为进一步验证算法的有效性，同时将本文算法与Ralló等[8]提出基于Gabor滤波器的无监督异常算法进行比较，以下简称无监督Gabor方法，其分割结果分别如图3所示，其中分割后处理皆采用形态学的开运算。对比各种方法可知，本文算法所得的分割结果皆好于无监督Gabor方法。其主要原因是Gabor滤波器必须与瑕疵尺寸与方向匹配时才能获得最佳效果，例如对于像百脚这类纹理结构变异非常一致的瑕疵，无监督Gabor方法所用的16个通道的滤波器组中仅有极少通道能响应瑕疵区域，直接将所有通道分割结果融合作为输出，会将那些能响应瑕疵的通道削弱，导致漏检。

4 结 论

受益于瑕疵稀少性特点，本文直接从整体织物图像中获取代表织物局部纹理的LBP特征，进而实现瑕疵的无监督检测。利用机织物经纬交织特点，对局部织物图像进行经纬向投影后提取特征，能在实现经纬向瑕疵增强的同时减小计算量。在瑕疵异常图融合时，依据不同特征对瑕疵的响应程度进行有权重下的融合，使突出的瑕疵区域得到充分保留。实验结果表明所提出的算法能有效分割瑕疵尤其是异常特征较弱的经纬向瑕疵。与无监督Gabor方法的对比结果也进一步证实本文算法的有效性。

FZXB

[1] SRINIVASAN K, DASTOR P H, RADHAKRISHNAIHAN P, et al. FDAS: a knowledge-based frame detection work for analysis of defects in woven textile structures[J]. Journal of the Textile Institute, 1992, 83(3): 431-447.

[2] MARKOU M, SINGH S. Novelty detection: a review:part 1: statistical approaches. Signal Processing, 2003(2): 2481-2497.

[3] ESCOFET J, NAVARRO R, PLADELLORENS J. Detection of local defects in textile webs using Gabor fil-ters[J]. Optical Engineering, 1998, 37(8): 2297-2307.[4] MAK K L, PENG P. An automated inspection system for textile fabrics based on Gabor filters[J]. Robotics and Computer-Integrated Manufacturing, 2008, 24(3): 359-369.

[5] BISSI L, BARUFFA G, PLACIDI P, et al. Automated defect detection in uniform and structured fabrics using Gabor filters and PCA[J]. Journal of Visual Communication and Image Representation, 2013, 24(7): 838-845.

[6] NGAN H Y, PANG G K, YUNG S P, et al. Wavelet based methods on patterned fabric defect detection[J]. Pattern Recognition, 2005, 38(4): 559-76.

[7] TSAI D M, HSIAO B. Automatic surface inspection using wavelet reconstruction[J]. Pattern Recognition, 34(6), 2001, 1285-1305.

[9] 刘洲峰, 赵全军, 李春雷, 等. 基于局部统计与整体显著性的织物疵点检测算法[J]. 纺织学报, 2014, 35(11): 62-67. LIU Zhoufeng, ZHAO Quanjun, LI Chunlei, et al. Fabric defect detection algorithm using local statistic features and global saliency analysis [J]. Journal of Textile Research, 2014, 35(11): 62-67.

[10] 管声启, 师红宇, 赵霆. 应用目标稀少特征的织物疵点图像分割[J]. 纺织学报, 2015, 36(11): 45-50. GUAN Shengqi, SHI Hongyu, ZHAO Ting, et al. Image segmentation of fabric defect based on object rarity feature [J]. Journal of Textile Research, 2015, 36(11): 45-50.

[11] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution grayscale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[12] LIU L, FIEGUTH P. Texture classification from random features [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(3): 574-586.

Unsupervised fabric defect segmentation using local texture feature

ZHOU Jian1,2, WANG Jing′an1, GAO Weidong1,2

(1.CollegeofTextileandClothing,JiangnanUniversity,Wuxi,Jiangsu214122,China; 2.KeyLaboratoryofEco-Textiles(JiangnanUniversity),MinistryofEducation,Wuxi,Jiangsu214122,China)

Aiming at the poor versatility of existing methods in various fabric defect types especially for warp and weft direction defects, this work presents unsupervised fabric defect segmentation using local texture feature. The proposed algorithm adopts unsupervised scheme, without need of any reference samples. For detection, the rarity of fabric defects is used to obtain local binary pattern (LBP) histogram features that can represent the local fabric texture from the entire image. Then, benefiting from the characteristics of woven fabrics′ interlacing structure, and the one-dimension vectors obtained by projecting fabric image into warp and weft directions are extracted to represent local texture. Lastly, the anomaly maps of defect are computed from the extracted features, which are fused to segment defect with weight factors used. The experimental results show that the proposed projection feature along warp and weft directions can well represent local fabric texture, which can achieve satisfied results in identifying defects by combining with LBP features.

fabric defect; local texture representation; warp and weft projection; anomaly detection

10.13475/j.fzxb.20160305506

2016-03-28

2016-08-31

国家自然科学基金项目 (61501209)；江苏高校优势学科建设工程资助项目(苏政办发2011-137号)；江苏省博士后科研资助计划项目(1601017A)

周建(1985—)，男，讲师。主要研究方向为数字化纺织。E-mail：jzhou@jiangnan.edu.cn。

TS 101.9

A