纹理织物疵点窗口跳步形态学法检测

何 峰， 周亚同， 赵翔宇， 刘 猛， 张忠伟

(1. 河北工业大学 电子信息工程学院， 天津 300401； 2. 天津市电子材料与器件重点实验室， 天津 300401； 3. 北京市安视中电科技有限公司， 北京 100871)

纹理织物疵点窗口跳步形态学法检测

何 峰1,2， 周亚同1,2， 赵翔宇1,2， 刘 猛3， 张忠伟3

(1. 河北工业大学 电子信息工程学院， 天津 300401； 2. 天津市电子材料与器件重点实验室， 天津 300401； 3. 北京市安视中电科技有限公司， 北京 100871)

针对纹理织物疵点自动检测时因生产速度快造成的织物抖动以及检测速度难以匹配问题，提出窗口跳步形态学法纹理织物疵点检测算法。使用该算法对图像进行窗口分割及预处理后，首先对纹理织物图像的纹理特征进行分析，然后设计形态学算子进行腐蚀操作，最后使用连通域分析来确定疵点大小及位置。仿真实验及工厂实际应用表明，该算法可有效克服工业生产中纹理织物抖动造成的图像明暗不均，可检测出纹理织物中存在的破洞、经纬疵点、污渍、断线、折痕和结头等各种疵点，而且检测速度明显优于快速傅里叶变换特征点算法以及传统形态学检测算法。实时检测速度超过80 m/min，疵点检测精度为0.1 mm，满足实际生产需求。

纹理织物； 形态学； 跳步法； 疵点检测

当前实际工业生产环境下，应用于生产线的织物疵点检测算法大都针对较简单且不含纹理的图像[1]，例如文献[2-3]分别提出了针对坯布和非织造布的疵点自动检测算法，但这些算法难以检测更为常见的纹理型织物疵点。

目前，国内外针对纹理织物的研究主要分为频率域与空间域处理方法。1)频率域处理方法。徐晓峰等[4]提出利用小波变换分量图像的特征值与BP神经网络进行检测。Chen等[5]提出基于多尺度匹配滤波的织物图像检测算法，其可变大小的卷积核可解决不同大小疵点的检测问题。薛乐等[6]提出利用傅里叶频谱图对织物纹理疵点进行检测的方法。频率域方法对图像质量要求很高，且空间域转换为频率域的操作比较耗时，在当前通用硬件的处理速度下，频率域方法不适用于实际生产；2)空间域的方法。如 Selver等[7]针对纹理织物的疵点检测提出了和差直方图联合共生矩阵的算法，检测率较高，但其织物的纹理性并不明显，图像复杂性不高。王锋等[8]提出基于数学形态学的织物疵点检测算法，算法识别率较高。周建等[9]针对织物中常见的经纬疵点，提出局部二值模式(LBP)疵点分割瑕疵检测算法，该算法可实现无监督疵点检测，疵点分割效果较好。空间域的检测方法通常比频率域的检测方法运算速度快，且检测准确率较高，因此易应用于实际生产。

以上针对纹理织物的疵点检测算法都没有考虑到实际工业生产环境。在实际工业生产环境下，织物抖动会造成采集的纹理织物图像明暗不均，检测算法需要适应织物在线生产速度等。针对上述问题，本文提出了一种窗口跳步形态学检测算法对纹理织物进行疵点检测。实验仿真及工厂实际应用表明，该算法可检测出织物中存在的破洞、经纬疵点、污渍、断线、折痕、结头等各种疵点，并且检测速度满足实际的生产需求。

1 纹理织物疵点检测平台

纹理织物疵点检测平台如图1所示。当生产线开始运行之后，旋转编码器会发送触发信号至相机，进而对纹理织物进行实时不重叠、不丢弃采集，将图像进行处理并判断当前纹理织物是否存在疵点。

当前检测系统中，纹理织物宽度为120～180 cm，相机距织物距离35 cm，光源为奥普特白色条形光源(加滤光片)，宽度与织物宽度相同为 180 cm。工业相机为加拿大DALSA公司的4 K高速线阵CCD灰度相机，镜头为日本RICOH公司的 35 mm 镜头，共4个相机。本文以其中一个相机采集纹理织物图像为例。

图1 纹理织物疵点检测平台Fig.1 Detection platform of texture fabric

本文的算法流程图如图2所示。

图2 算法流程图Fig.2 Algorithm flow chart

首先利用CCD线阵相机对生产线的织物采集图像，当相机累计行数达到1 024行传回图像，即图像大小为4 096 像素×1 024 像素。然后将传回图像进行窗口分割，经试验此织物最佳窗口大小为256像素×256 像素，此时处理速度较快，效果较好。随后对窗口图像进行直方图均衡化、二值化预处理，再针对二值化图像特征信息设计合适的形态学算子，然后利用跳步形态学法进行加速，最后对腐蚀结果图像利用8连通域法进行分析，判断当前窗口的图像是否为疵点图像。

实际生产工业环境中相机采集的纹理织物原始图像如图3所示。各图像右下角为图中小框区域内的放大图像。

图3 实际生产环境中采集的图像(4 096 像素×1 024 像素)Fig.3 Collected images in actual environment of industrial production(4 096 pixel ×1 024 pixel). (a) Normal; (b) Warp and weft defect; (c) Hole defect; (d) broken line defect

2 工业环境下织物图像预处理

2.1 窗口分割及均衡化

从图3可看出，直接从实际生产工业环境中采集到的图像由于运动速度较快，造成了织物抖动，因此，会造成图像发生明暗不均的现象。直方图均衡化[10]对光照不均问题[11-12]的解决以及增强对比度方面都有很好的效果。

对原图进行均衡化预处理使图像的对比度在全局上有明显增强，并且在一定程度上使得小范围内的图像亮度较为均匀，但仍然没有解决检测范围内图像的明暗不均问题，因此要对图像进行窗口分割处理[14]。通过大量实验得出，此种织物在实际工业生产环境中使用窗口跳步形态学法的最佳窗口大小为256像素×256像素。图4示出对原图进行窗口分割以及均衡化处理的结果。其中：图4(a)～(d)为各疵点图像的原始窗口图像；图4(e)～(h)为均衡化图像。

图4 窗口分割及均衡化后的图像块(256像素×256像素)Fig.4 Image blocks after window segmentation and equalization (256 pixel×256 pixel). (a)Normal; (b)Warp and weft; (c)Hole;(d)Broken line; (e)Normal equalization; (f)Warp and weft equalization; (g)Hole equalization; (h)Broken line equalization

从图4可看出，对原图进行窗口分割以后再对图像进行均衡化预处理，得到的窗口均衡化结果图像对比度较原图有所增强，并且局部窗口化图像的亮暗比较均匀，在一定程度上解决了明暗不均的问题，有利于后续的二值化处理。

2.2 迭代法动态阈值二值化

对图像进行形态学操作，需要源图像为二值化图像，因此图像二值化[14-15]的质量直接影响了图像形态学处理的结果。首先，由于实际工业生产环境的复杂性，对图像进行窗口分割以及均衡化预处理之后，可很大程度上解决明暗不均问题，但是仍会存在一定的不均匀性，因此根据固定阈值对图像进行二值化处理，得到的图像效果并非最佳。

针对以上问题，为得到最佳的腐蚀效果，首先要得到最佳的二值化图像。本文提出一种迭代寻找动态最佳阈值的二值化方法。求动态阈值方法如下。

1)求出图像中最大、最小像素值Val_max以及Val_min，并且设置初始阈值Val0=(Val_max+Val_min)/2。

2)根据当前阈值ValK将图像分割为2部分，并且分别求出2部分的像素平均值pix0以及pix1；(其中ValK为迭代第K次阈值)。

3)求出新的阈值ValK+1=(pix0+pix1)/2。

4)若ValK+1=ValK，那么最佳阈值为ValK+1，否则ValK+1→ValK，转至2)。

图5示出各图像二值化结果。从图可看出二值化效果较好，各疵点都与正常织物有较明显区别。

3 窗口跳步形态学法

3.1 设计形态学算子

将采集到的原始织物图像进行预处理之后得到二值化图像，根据其特点，本文选择对二值化图像进行2次腐蚀操作，算子大小为3×3，形态学腐蚀算子如图6所示。

利用上述2种形态学算子对二值图像进行形态学腐蚀的结果图像如图7所示。从图中的结果可看出，该形态学算子能较好地腐蚀纹理织物的纹理背景，并突出疵点前景。

图7 图像块的腐蚀结果Fig.7 Corrosion result of image blocks. (a)First corrosion of normal image;(b)Second corrosion of normal image;(c)First corrosion of warp and weft defect;(d)Second corrosion ofwarp and weft defect;(e) First corrosion of hole defect;(f)Second corrosion of hole defect;(g) First corrosion of broken line defect; (h) Second corrosion of broken line defect

3.2 采用窗口跳步形态学法的加速检测

非工业理想环境下采集的纹理织物图像而言，图像纹理分明，明暗均匀，频域处理法有较高的检测准确率，但在实际工业生产环境下，快速傅里叶变换(FFT)算法的检测准确率大幅下降。织物生产厂家的实际生产速度大都在50 m/min左右，传统形态学腐蚀算法检测速度相对较快，但仍不能满足实时检测要求，故要进行加速。

若构建一个3×3的滑动窗口，该窗口在256 像素×256 像素图像上进行滑动点乘运算，计算量很大。考虑到本文中腐蚀背景为白色，疵点目标为黑色，因此采用的窗口跳步形态学法在像素遍历时，用跳步式遍历代替逐像素运算。具体过程为：开始扫描，若当前第i个像素点的像素值为255(即当前点为白色，非疵点点)，则下一像素点跳步至第i+6个像素点(i+6为作者实验所得，并非确定值，可根据实际进行修改)；若当前第i个像素点的像素值为 0(缺陷点)，则下一像素点为i+1；一直循环此判断，直至遍历完全。图8示出原图和相应的窗口跳步形态学法的2次处理结果图像。本文实验中第1次形态学处理跳步步长为2，第2次跳步步长为6，第1次跳步较小可保证图像信息在第1次跳步加速时保持原有的信息尽量不丢失，第1次处理后结果图像相对干净，故步长可适当增大。

图8 图像块的窗口跳步形态学法腐蚀结果Fig.8 Corrosion result of image with windowed hop-step morphological algorithm. (a)First corrosion of normal image; (b)Second corrosion of normal image;(c)First corrosion of warp and weft defect;(d)Second corrosion of warp and weft defect;(e) First corrosion of hole defect;(f)Second corrosion of hole defect;(g) First corrosion of broken line defect;(h) Second corrosion of broken line defect

与传统形态学法相比，窗口跳步形态学法腐蚀结果基本不变，都可将复杂的纹理背景腐蚀掉，留下疵点信息。但运算量大幅降低，从图8中可看出，在第2次腐蚀过程中运算量大幅减少。

3.3 采用连通域法进行疵点判断

若直接对二值化图像进行逐像素的腐蚀，根据图7结果简单地通过黑色像素个数统计就可对织物疵点进行判断。但正常织物图像偶尔会出现“杂点”较多的腐蚀结果，可能会造成误判，影响检测准确率，因此不能简单凭借黑色像素统计法来进行瑕疵的判断。

为增加检测可靠性，本文利用8连通域法进行区域分析。连通域[16]分析针对腐蚀结果图像，如果当前黑色像素个数大于某阈值时，则进行8连通域分析，利用图像的最大连通域面积等信息进行判断。每种疵点与正常织物之间的黑色像素个数都比较明显，可直接利用其进行判断。但厂家需要检测较小疵点(如“小黑点”)时，则需要连通域信息进行判断，滤出那些“杂点”较多的正常纹理织物图像，从而保证检测准确率。

4 实验结果及分析

为验证本文算法的可行性，在Visual Studio2010开发环境下编制了纹理织物疵点检测软件。为对比算法效果，采用频域检测算法——FFT特征点检测算法[17]以及传统形态学法对织物图像进行处理。

FFT特征点算法[17]，将图像分割为128 像素×128 像素的窗口图像并进行图像预处理后，再进行二维快速傅里叶变换，然后通过傅里叶频谱图求取P1～P5共5个特征值，利用这些特征值得到相关系数，再以正常织物作为模板与待检测图像的相关系数进行分析来对织物进行疵点判断。但利用相关系数R所得到的检测结果并不稳定，特征值P2、P4数据比较稳定，故实验中使用此特征值作为判断依据。

P2=k1x1

式中：k1为经验参数；x1为经向频率。

P4=k1y1

式中，y1为纬向频率。

针对非工业理想环境下采集的高质量纹理织物图像，FFT特征点算法较传统形态学法与窗口跳步形态学法的检测效果较好，但在实际工业生产环境下的检测效果不佳。

针对工业相机采集到的另一种纹理织物的实际图像进行窗口跳步形态学法处理。图9示出纹理织物的污渍与结头疵点图像。其中：图9(a)为污渍原始图像；图9(b)～(f)为污渍图像的处理过程；图9(g) 为结头原始图像；图9(h)～(l)为结头图像的处理过程。

图9 疵点图像处理过程Fig.9 Defect image processing. (a)Original stain image; (b)Original;(c)Equalization;(d)Binary;(e)First corrosion; (f)Second corrosion image of stain defect;(g) Original knot image(4 096 pixel×1 024 pixel); (h)Originall; (i)Equalizationl; (j)Binaryl; (k)Three corrosion; (l)Four corrosion image of knot defect

从图9可看出，形态学腐蚀结果图像中的灰色像素点即为省去处理的部分，因此大大节省了疵点检测时间，提高了疵点检测速度。

针对此种纹理设计的形态学算子如图10所示。

图10 纹理设计的形态学算子Fig.10 Morphological operator of texture design. (a)First time; (b)Second time

表2示出实际工业生产环境下现场采集图像并进行处理的各种算法的准确率以及各算法的换算在线可检测最大速度。其中，单幅图检测时间为处理1幅4 096 像素×1 024像素的图像所用的时间，换算为在线检测速度为每分钟检测的距离(m/min)。速度为程序采用四线程进行处理所得，此速度为单线程的将近4倍，旋转编码器精度为0.1 mm，即织物移动0.1 mm，则旋转编码器向相机发送1次采集指令，即检测精度为0.1 mm。

表2 实际工业生产环境下3种织物疵点检测算法比较Tab.2 Comparison of three fabric detection algorithms in actual environment of industrial production

表2中的数据以图3中的纹理织物图像为例。FFT特征点算法，采取P2、P4作为特征值来对织物疵点进行判断，参数取值k1=5，k2=1/11。此算法准确率为87.89%，但是经纬疵点并未完全找出，破洞疵点未能检测出，所有较小的黑点污渍疵点均未能找出，精度不符合要求。

传统形态学腐蚀算法的形态学算子如图6所示，窗口大小为256 像素×256 像素。该算法将实验中的破洞、经纬、污渍、断线疵点均检测出且精度较高。

窗口跳步形态学法对图像进行处理。为尽量多的保持图像信息，第1次腐蚀过程中跳步像素为2，第2次腐蚀跳步像素为6，窗口大小为256像素×256像素。

在利用上述3种算法针对实际的纹理织物进行实验时，由于实际工业生产环境下采集到的织物抖动造成了图像亮暗的不均匀以及织物图像纹理不清晰问题，造成了图像的频域处理较难，因此频域方法准确率下降，但传统形态学法与窗口跳步形态学法的准确率基本不变，且窗口跳步形态学法的检测速度是传统形态学法的将近2倍，是FFT特征点法的将近4倍。

使用本文的窗口跳步形态学法，针对每种疵点所统计的黑色像素个数以及最大连通域面积等信息数据如表3所示。

从表格中的数据可看出，窗口跳步形态学法之前默认跳过的像素点为正常(白色)，因此传统形态学算法统计的黑色像素个数比窗口跳步形态学法黑色像素个数多，且连通域面积传统形态学算法要大于窗口跳步形态学法。黑色像素个数减少会加快连通域信息的统计速度，且对检测基本没有影响。

表3 实际工业生产环境下织物疵点判断效果对比Tab.3 Defect judgment information effect comparison in actual environment of industrial production

经上述各项实验分析可知，针对此种纹理织物在实际复杂的生产线工业环境中，窗口跳步形态学法纹理织物疵点检测算法能够有效的检测出大多数种类的疵点，并且完全能够满足实际的生产线速度。

5 结 论

本文针对在实际工业生产环境下，不仅要求检测速度能匹配织物生产速度，而且生产过程中织物抖动会造成采集图像明暗不均的问题，提出了一种窗口跳步形态学法纹理织物疵点检测算法。该算法首先对图像进行窗口分割及预处理后，通过对纹理图像的纹理等特征进行分析，设计形态学算子进行腐蚀操作，最后使用连通域分析方法确定疵点大小及位置。在实际的疵点检测中将破洞、经纬疵点、污渍、线头、黑点等各种疵点都准确找出，且由于图像分割，可确定疵点的位置信息。与频域的FFT特征点算法以及传统形态学算法相比，实际工业生产环境下，窗口跳步形态学法不仅检测准确率高达97.2%，且实时检测速度超过80 m/min，疵点检测精度大小为0.1 mm，满足实际生产需求。

[1] 李勇,周颖,尚会超,等. 基于机器视觉的坯布自动检测技术[J]. 纺织学报,2007,28(8):124-128.

LI Yong, ZHOU Ying, SHANG Huichao, et al. Automatic grey inspection technology based on machine vision[J]. Journal of Textile Research,2007,28(8):124-128.

[2] 张渤,张代林,陈幼平. 用于无纺布疵点检测的Gabor滤波器参数研究[J]. 武汉理工大学学报,2012,34(7):129-133.

ZHANG Bo, ZHANG Dailin, CHEN Youping. Research on gabor filter parameters used for non-woven fabric defection[J]. Journal of Wuhan University of Technology,2012,34(7):129-133.

[3] 邵鑫玉,华继钊. 基于机器视觉的无纺布疵点自动检测系统[J]. 计算机科学,2014,41(S1):487-489.

SHAO Xinyu, HUA Jizhao. Automatic detection system of fabric defects based on machine vision[J]. Computer Science, 2014, 41(S1):487-489.

[4] 徐晓峰,段红,魏俊民. 基于二维小波变换和BP神经网络的织物疵点检测方法[J]. 浙江工程学院学报,2004,21(1):17-21.

XU Xiaofeng, DUAN Hong, WEI Junmin. Fabric defect detection with two-dimensional wavelet transform and BP neural network[J]. Journal of Zhejiang Institute of Science and Technology,2004,21(1):17-21.

[5] CHEN Xia, XU Zengbo, CHEN Ting, et al. Detecting pills in fabric images based on multi-scale matched Filtering[J]. Textile Research Journal, 2009, 79(15):1389-1395.

[6] 薛乐,李立轻,汪军. 应用频谱图的机织物纹理分析[J]. 纺织学报,2015,36(7):55-60.

XUE Le, LI Liqing, WANG Jun. Study on woven fabric texture using frequency spectrum[J].Journal of Textile Research,2015,36(7):55-60.

[7] SELVERM Alper, VURAL Avsar, HAKAN Özdemir. Textural fabric defect detection using statistical texture transformations and gradient search[J]. Journal of the Textile Institute, 2014, 105(9):998-1007.

[8] 王锋,焦国太,杜烨. 基于数学形态学的织物疵点检测方法[J]. 测试技术学报,2007,21(6):515-518.

WANG Feng, JIAO Guotai, DU Ye. Method of fabric defects detection based on mathematical morpho-logy[J]. Journal of Test and Measurement Technology,2007, 21(6):515-518.

[9] 周建,王静安,高卫东. 应用局部纹理特征的无监督织物瑕疵检测算法[J]. 纺织学报,2016,37(12):43-48.

ZHOU Jian,WANG Jing′an, GAO Weidong.Unsupervised fabric defect segmentation using local texture feature[J]. Journal of Textile Research,2016,37(12):43-48.

[10] 姜柏军,钟明霞. 改进的直方图均衡化算法在图像增强中的应用[J]. 激光与红外,2014,44(6):702-706.

JIANG Bojun, ZHONG Mingxia. Improved histogram equalization algorithm in the image enhancement[J]. Laser & Infrared,2014, 44(6):702-706.

[11] 蔡超峰,任景英. 基于直方图均衡化的手背静脉图像对比度增强[J]. 计算机应用,2013,33(4):1125-1127.

CAI Chaofeng, REN Jingying. Contrast enhancement of hand vein images based on histogram equalization[J]. Journal of Computer Applications,2013,33(4):1125-1127.

[12] 李冬梅,高志荣,熊承义,等. 低秩分解的人脸图像光照均衡化预处理[J]. 光电工程,2015,42(9):28-34.

LI Dongmei, GAO Zhirong, XIONG Chengyi,et al. Illumination equalization preprocessing for face image based on low rank decomposition[J]. Opto-Electronic Engineering,2015, 42(9):28-34.

[13] 蔡超峰. 局部直方图均衡化算法研究及其应用[D].郑州：郑州大学,2005: 1-26.

CAI Chaofeng. Research and application of local histogram equalization algorithm[D]. Zhengzhou: Zhengzhou University,2005: 1-26.

[14] 谢国庆,白莹,王智文. 基于全局迭代阈值和局部分析的护照图像的二值化算法[J]. 计算机应用与软件,2009,26(11):118-119.

XIE Guoqing, BAI Ying, WANG Zhiwen. Narization method of passport image based on global iterative threshold and local analysis[J]. Computer Application and Software,2009, 26(11):118-119,164.

[15] 严曲,赵跃龙. 一种基于迭代阈值法的身份证图像二值化算法研究[J]. 计算机测量与控制,2005,13(6):595-597.

YAN Qu, ZHAO Yuelong. Study of binarization method of identification card scanned mmage[J]. Computer Measurement & Control,2005, 13(6):595-597.

[16] 姜圆香,孙玉秋,王超,等. 基于连通域筛选和腐蚀重构的钢材裂痕检测[J]. 长江大学学报(自科版),2016,13(25):26-30.

JIANG Yuanxiang, SUN Yuqiu, WANG Chao, et al. Steel crack detection based on the selection of connected domains and corrosion reconstruction[J]. Journal of Yangtze University(Natural Science Edition),2016,13(25):26-30.

[17] 朱丹丹,潘如如,高卫东. 基于傅里叶特征谱和相关系数的织物疵点检测[J]. 计算机工程与应用,2014,50(19):182-186.

ZHU Dandan, PAN Ruru, GAO Weidong. Fabric defect detection using characteristic spectrum of Fourier transform and correlation coefficient[J]. Computer Engineering and Application,2014,50(19):182-186.

Texturedfabricdefectdetectionbasedonwindowedhop-stepmorphologicalalgorithm

HE Feng1,2， ZHOU Yatong1,2， ZHAO Xiangyu1,2， LIU Meng3， ZHANG Zhongwei3

(1.SchoolofElectronicsandInformationEngineering,HebeiUniversityofTechnology,Tianjin300401,China; 2.TianjinKeyLaboratoryofElectronicMaterialsandDevices,Tianjin300401,China; 3.BeijingAnshizhongdianTechnologyCo.,Ltd.,Beijing100871,China)

Aim at the problem of low detection efficiency and fabric jittering due to high production rate, when texture fabric defects are automatically detected. A textured fabric defect detection was presented based on a windowed hop-step morphological algorithm. Firstly, window segmentation and preprocessing on images were carried out, and then the image texture features of the textured fabric were analyzed. Secondly morphological operators were designed for corrosion operation. Finally, the defect size and location were determined by connected domain analysis. Experimental simulation and practical application results show that the algorithm can solve the problem of the images of uneven light and shade caused by the cloth trembling effectively, and the algorithm can detect the presence of defects in the fabric texture including broke holes, warp and weft defects, stains broken lines, creases, knots and so on. The detection algorithm has high stability and reliability, thus can meet the actual production demand. The detection speed is superior to the (fast fourier transform algorithm) feature point algorithm and conventional morphological algorithm. The real-time detection speed is over 80 m/min, and the size of the defect detection accuracy is 0.1 mm.

textured fabric; morphological; hop-step algorithm; defect detection

TP 391.4; TS 101.9

A

10.13475/j.fzxb.20161204308

2016-12-23

2017-05-11

中国博士后基金项目(2014M561053)；教育部人文社会科学研究规划基金项目(15YJA630108)；河北省自然科学基金项目(F2013202254)；河北省研究生创新资助项目(CXZZSS207035)

何峰(1991—)，男，硕士生。主要研究方向为智能信息处理。周亚同，通信作者， E-mail：zyt@hebut.edu.cn。