计算机视觉布料瑕疵检测方法综述

韩济阳，曹江涛，王贺楠，姬晓飞

计算机视觉布料瑕疵检测方法综述

韩济阳1，曹江涛1，王贺楠1，姬晓飞2

（1.辽宁石油化工大学 信息与控制工程学院，辽宁 抚顺 113001； 2.沈阳航空航天大学 自动化学院，辽宁 沈阳 110136）

长久以来，布料的瑕疵检测工作一直由质检员完成，瑕疵判别过程受主观因素影响大,存在检测效率低、成本高等问题。随着计算机视觉技术的发展，基于视觉技术的布料瑕疵检测系统逐渐成为取代人工质检的重要解决方案。针对基于视觉技术的布料瑕疵检测，从行业发展情况、通用检测标准、系统整体结构、检测算法的关键技术等方面进行了综述，介绍了目前市面上已经存在的基于视觉技术的布料瑕疵检测产品，分析了目前常用的瑕疵检测标准与检测系统的基本结构，梳理并对比了近年来图像处理与深度学习技术在布料瑕疵检测领域的研究现状。最后，总结了各方面尚待解决的关键问题，并探讨了未来可能的发展方向。

瑕疵检测； 布料检测； 目标识别； 计算机视觉； 图像处理

纺织业作为我国一项传统产业，随着科技的不断进步，布料生产过程的大部分环节已基本实现了自动化，但在质检环节往往还需要人工检查。这不仅极大地拖慢了生产效率，还会受到工人主观因素方面的影响。机器视觉检测技术的迅速发展，基于计算机视觉的布料瑕疵检测技术逐渐成为一个新的研究方向。本文综述了基于视觉的布料瑕疵检测流程和国际上较为成熟的视觉检测技术的布料检测方案，并详细梳理了基于视频检测技术的布料瑕疵检测算法中所涉及到的图像处理与深度学习方法，同时对其中存在的研究难点和未来的发展趋势进行探讨。

1 基于计算机视觉的布料瑕疵检测系统

1.1 行业发展情况

随着计算机视觉技术的逐渐成熟，其在布料检测方面的应用也发展的十分迅速，并形成了专门的行业分支。国际方面，德国的申克博士公司通过多影像缺陷分析技术，可以实现在单一扫描线上同时扫描多个通道，对不同应用领域内的无纺布与纺织物在其生产过程中可能出现的多种瑕疵均能做到有效检测、分类，并可以联动缺陷打码机等配套设备。美国微觉视公司的在线表面质量检测系统“Web Ranger”将高速处理单元集成到相机中，配合补光技术，可实现高速、准确地检测产品存在的缺陷。其采用模块化的设计思路，方便剔除瑕疵。日本基恩士公司XG⁃X系列视觉检测系统配合高速线阵相机可实现对布料缺陷的检测，并可以在一次拍摄中同时获得标准图像、漫反射图像等多种图像类型，进而实现对缺陷的全面分析与精准分类。其采用的高速线阵相机每秒最多可拍摄142 800行画面。国内方面，无锡精质视觉基于机器视觉技术，对待检测无纺布采用正、反面投射结合的成像方式实现检测，其检测速度最高可以达到800 m/min，精度最高可达0.1 mm，并能通过多相机组合的方式适应任何宽度的布料。通过结合现场工艺需求，系统可搭配在线报警、缺陷分类与统计，以及产品质量分级等自动化处置策略，为企业的生产信息化和产品质量化等提供了有效的解决方案。

纵观国内外布料检测行业，其中多以提供定制化解决方案为主。其一方面由于不同布料生产厂家在检测功能的需求上存在差异，另一方面也受到行业规范不统一、不同检测方法局限性大等因素的影响。

1.2 布料瑕疵分类与检测标准

布料的质量问题具体反映到织物上，是大小不一、形态各异的缺陷，这些缺陷大多由机器故障、纱线质量问题或编织装置的油污所导致[1]。为了更好地解决上述问题，需要对生产过程中常见的布料进行分类。目前，纺织工业中常见的织物缺陷类别有70余种。本色布布面疵点检测方法[2]与印染布布面疵点检测方法[3]，将布料瑕疵分成5类，其中本色布瑕疵共计87种、印染布瑕疵共计98种。同时规定了布料的检测标准。以本色布为例，瑕疵按照其经向、纬向的大小及严重程度，分为四种评分标准。在瑕疵检测算法的评价中，通常以TP（True Positive）、FP（False Positive）、TN（True Negative）和FN（False Nnegative）四种指标作为算法效果的评判标准，其定义如表1所示。

在此基础上，又引申出三种检测指标，分别是：

其中，检测成功率反映检测系统对全部样本正确检出的情况，但无法反映误检的主要来源，此时就需要引入敏感度指标与互异性指标。敏感度指标反映被检出的样本中正确检出的情况，而互异性指标则反映未检出的样本中的正确检测情况。

表1　TP、FP、TN和FN的定义

1.3 系统构成及检测流程

基于视觉的布料瑕疵检测系统核心由图像采集、图像处理两核心功能组成。图像采集的主体是视觉传感器。在实际生产过程中，由于现场光线环境复杂，实际拍摄的待检图像中色温、亮度等容易受环境影响，难以做到均匀一致，且具有较强的随机性。因此，系统通常需要照明设备对待测区域补光。

在基于计算机视觉的布料检测过程中，通常选用CCD相机作为系统的视觉传感器。CCD相机包括线阵相机与面阵相机两类。其中，线阵相机视野狭长，需将拍摄的画面拼接后再进行处理，线阵相机画面拼接示意图如图1所示。相比于线阵相机，面阵相机一次性采集的画面更大，但CCD相机逐行扫描的处理方式也导致面阵相机在拍摄时所需的时间更长，画面容易出现拖影。目前行业内的瑕疵检测方案多采用线阵相机拍摄。

图1　线阵相机画面拼接示意图

补光设备同样在画面采集的过程中起着重要的作用，常见的补光方式包括后照明、前照明、结构照明等。后照明方式的光源在待检测布料的后方，光线透过待检测布料，可以更好地反映布料较深层次的缺陷问题。毛毡布在布料生产过程中进入的异物，或出现的褶皱、油渍等，随着生产过程逐渐被掩盖，此时后照明方式可以有效地凸显这类瑕疵，但采集画面往往也会混入更多的布料纤维和纹理信息，增加了处理的难度。对于本身较厚或透光性较差的布料，使用普通的LED照明设备会导致摄像头采集时因无法获得足够的亮度而丢失细节。前照明方法可以有效地避免这一问题。前照明方式，即照明光源处于待检测布料的前方，这种方法可以反映布料表面的瑕疵信息，如污渍、异物及一些浅表性的褶皱等，同时隐去深层的纹理信息，光线的色彩强度也对检测采集效果有较大的影响。H.Y.Y.Ngan等[4]指出，相比于单独使用白光源，选用与原始材料颜色相近的光束进行照明，有助于更好地采集缺陷信息。

2 基于图像处理的布料瑕疵检测方法

基于计算机视觉的布料瑕疵检测方法主要包括三个步骤：图像预处理、特征提取和分类识别。布料瑕疵检测方法流程如图2所示。

图2　布料瑕疵检测方法流程

其中，图像的预处理是瑕疵检测方法中的准备阶段，经过预处理的图像，瑕疵特征更加突出，有利于在后续的特征提取过程中获得更有用的信息。图像特征提取可以获得图像瑕疵的高度抽象信息，将这些信息送入分类器进行识别，进而实现对图像中布料瑕疵的检测与分类。

2.1 图像预处理

预处理阶段的主要目的是通过灰度化、二值化、各种滤波、形态学处理以及开、闭运算等图像处理手段，淡化或剔除布面纹理，突出瑕疵部分与正常布面的差异，增强检测效果。在疵点定位与判别方面，预处理阶段通过分割感兴趣区域（ROI）减少定位与识别的计算量。滤波可以降低图像高频噪声；灰度化、二值化等定位并分割目标区域；形态学处理对被分割的前景进行微调，并提取其中的形态学特征。

2.2 特征提取

特征提取可以弱化或剔除与检测目标无关的信息，留下有效特征，提高分类效果。在布料瑕疵检测中，主要有基于结构、统计学、频域、模型以及字典学习五种特征分类方法。

2.2.1 基于结构的分类特征基于结构的特征将织物图像理解为各种纹理的集合。这种方法可以针对基本纹理结构的不同组合来还原布料的整体纹理[5]。其步骤为：首先获取布料图像中的基本纹理，其次根据获取到的纹理对布料建模，最后根据建立的纹理模型识别是否存在缺陷[6]。基于结构的特征受到纹理完整性的限制，检测时局限较大，现在已经较少使用。

2.2.2基于统计学的分类特征 统计学方法通过对布料图片提取统计信息的方法获得其纹理信息。规律性的纹理在图像的空间域中灰度分布，表现为相距特定距离的两像素之间存在相对确定的灰度关系。灰度共生矩阵、直方图统计、分形维数、形态学等统计学特征常应用于瑕疵检测过程。

灰度共生矩阵可以反映灰度图像中像素点方向、距离及能量值等方面的变化情况，分析不同像素排列方式蕴含的潜在规律，其中常用的统计量包括二阶矩、对比度、相关性、熵等。直接使用灰度⁃梯度共生矩阵时，提取的缺陷信息中也混有背景的梯度信息。对此，李小宁等[7]将自适应中值滤波与灰度共生矩阵相结合，降低了背景对缺陷信息的干扰，将检测准确率提升到87.89%，但自适应中值滤波通常处理速度较慢。灰度共生矩阵方法自身常因计算量较大而实时性不佳，同时滑动窗口也会导致瑕疵信息的丢失。对此，文献[8-11]分别将灰度共生矩阵法与图像分块、反向投影、LBP算子等相结合，优化灰度参数，降低计算量。但综合来看，灰度共生矩阵法的实时性仍有待提高。

直方图统计法也是统计学方法中较为常见的缺陷检测算法。刘海军等[12⁃13]分别提出了基于HOG特征的本色布瑕疵检测算法与纺织布料检测算法，在最佳参数下，算法分类准确率均可达到90%以上。李春雷等[14]提出了一种结合HOG和低秩分解的瑕疵检测算法，对于纹理信息复杂的布匹也有很好的检测效果。直方图统计算法相对简单，但误检率较高。

形态学方法作为一类基础的图像处理方法，可以对二值化后得到的异常区域提取形态特征，实现检测与分类。韩晓军等[15]通过对二值化预检出的瑕疵区域提取面积、周长、长度三个形态特征完成分类，郝阳[16]在提取形态特征的基础上结合了灰度特征。但是，该方法往往会由于生产速度快而导致检测效果不佳，对此，何峰等[17]提出一种窗口跳步形态学的检测方法。孙国栋等[18]使用了一种基于灰度直方图反向投影的检测方法，获得了较好的检测速度。形态学方法检测速度快，但难以获取深层信息，一般不单独使用。

在统计学检测方法中，灰度共生矩阵的使用更为普遍，适合纹理清晰、规律性强的本色布瑕疵检测，但其处理速度相对较慢。当采集的原始布料图像较大而瑕疵较小时，如不进行图像压缩，则难以达到实时检测的要求。相较于灰度共生矩阵法，直方图统计法和形态学方法可以兼顾检测精度与检测效率。

2.2.3基于频域的分类特征 布料的非瑕疵区域往往存在均匀一致的纹理，在频域中的特定区域内表现出具有一致性的稳定特征。当遇到瑕疵时，纹理的一致性被打破，其在频域中表现为突然增加的低频分量。此时，采用合适的滤波器处理图像，可以在保留瑕疵信息的同时弱化纹理信息对检测过程的干扰。

傅里叶变换可以将图像从空间域的像素描述方式转换到频域平面波叠加的描述方式。文献[19-20]先对图像做傅里叶变换，再做频域滤波，剔除正常纹理信息。G.H.Hu等[21]通过结合傅里叶分析和小波收缩，实现无参考情况下的瑕疵图像分类。任欢欢等[22]通过匹配傅里叶位移定理曲线和瑕疵位置的相对偏移量，加强对瑕疵细节信息的提取。景军锋等[23]提出了一种基于Mean Shift滤波的织物瑕疵检测方法。M.Guan等[24]使用Roberts算子提取待检测布料图像中的缺陷。傅里叶变换可以有效去除布料本身纹理对缺陷检测的影响。

Gabor滤波变换在对图像进行局部检测的同时也能很好地描述织物纹理特征，因此在纺织品上有较大应用潜力。尉苗苗等[25]采用量子行为粒子群优化(QPSO)算法优化滤波器参数；汤晓庆等[26]对图像使用不同尺度Gabor滤波变换进行滤波，来降低非瑕疵区域对检测效果的影响。Gabor滤波变换具备在频域不同尺度、不同方向上提取特征的能力，但其窗口大小固定，对多尺度检测的适应性较差，需要针对不同纹理与缺陷设计合适参数。综合来看，Gabor滤波变换在实际使用过程中的适应性仍有待提高。

Gabor滤波变换是非正交的，因此在变换后的不同特征分量之间仍有冗余，相比之下，小波变换在分析纹理特征中效率更高。文献[27-29]分别将小波变换与经向纬向采样、局部熵、高斯混合模型相结合，进一步提升了小波变换的检测精度。S. Sadaghiyanfam等[30]综合分析了基于灰度共生矩阵和小波变换方法的两种实现方案，两种方法受布料背景纹理和瑕疵边缘纹理的影响较大，并且对格点、双纬、经纱三种瑕疵不能做到有效检出。基于小波变换的疵点检测算法可以较好地实现局部瑕疵的分类，但适应性较差。

傅里叶变换实现了图像空间域到时间域的转换，为频域分析的思想提供了基础。小波变换克服了窗口大小固定等缺点，在关注信号细节方面更有优势。Roberts、Gabor等算子则将频域思想与空间域卷积相结合，降低了计算的复杂度。

2.2.4基于模型的分类特征 一些传统的模式识别方法的缺陷检测缺乏适应性，检测性能较差，而基于模型的方法可以根据特定分布模型，在布料纹理规律较弱频域和统计学等方法检测效果不佳的情况下，实现瑕疵提取。G.H.Hu等[31]将多个通道的信息进行融合，根据Gumbel分布模型与特征图中的像素分布进行建模；C.L.Li等[32]提出了一种基于纹理描述子和低秩分解模型的织物瑕疵检测方法，具有较高检测精度和自适应能力；C.L.Li等[33]提出了一种基于生物视觉建模的方法，对平纹或斜纹织物以及纹理复杂的花型织物检测效果较好。

2.2.5基于字典学习的分类特征 字典学习广泛用于图像去噪、聚类、分类等方面，通过从原图像中找到一组特殊的稀疏信号作为视觉单词，并将视觉单词组合成字典，实现对原始信号的线性表示。闫磊[34]提出一种基于字典学习和HOG特征稀疏表示的布匹瑕疵检测方法，并以稀疏表示的系数矩阵作为特征。范晓婷[35]设计了一种基于卷积匹配追踪双重字典的瑕疵检测算法，将图像在字典上的投影作为分类特征。占竹等[36]提取织物上的非瑕疵区域，再用字典对其重构，实现分类。字典学习的算法相对复杂，分类准确率高。

2.3 分类识别

瑕疵检测通常是指将瑕疵从正常布料中检测出来的过程，而瑕疵识别则是对检测到的瑕疵进行分类。在布料瑕疵检测过程中，常用的分类器有支持向量机、贝叶斯分类器、⁃means聚类等，针对不同的特征合理选择分类器，可以有效提高分类精度。

2.3.1支持向量机 支持向量机是一种机器学习分类方法，能够在统计样本量较少的情况下获得良好统计规律。王鹤翔[37]采用支持向量机对灰度特征进行分类，获得了较快的检测速度，但对彩色布匹检测效果较差。M.Li等[38]对有缺陷和无缺陷区域进行显著性特征的统计，再使用支持向量机进行分类，实现了较高的检测精度。支持向量机作为小样本二分类学习方法，具有优秀的泛化能力，同时也对异常值不敏感，这有助于在学习过程中抓住关键样本，增强算法的鲁棒性。但是，支持向量机在处理大样本时，训练时间较长。

2.3.2贝叶斯分类器 贝叶斯分类器是一种统计分类方法。通过贝叶斯公式，分类器根据某一待分类对象的先验概率进行计算，得出后验概率，并选择具有最大后验概率的类作为该对象所属的类。Y.Daniel等[39]提出了一种基于非基元的缺陷检测方法。该方法将布料图像分解成基本重复单元，为局部纹理单元构建了一种折中的表示方式，引入了冗余轮廓波⁃广义高斯有限混合模型特征（RCT⁃MoGG），并用贝叶斯分类器进行分类，对平纹、斜纹、方格布、条纹织物等均有良好的检测效果。

2.3.3⁃means聚类 作为一种无监督聚类算法，⁃means采用数据之间的距离作为相似性指标，来对给定数据集中的数据进行分类。A.A.Hamdi等[40]介绍了一种针对花型织物的无监督织物瑕疵检测算法，具有较高的检测准确率。该算法也可以推广到平纹织物。

3 基于深度学习的布料瑕疵检测方法

深度学习通过搭建多层网络，来获取深层次特征，并使用更深层次的特征来表征数据中隐含的语义信息，以获得更好的特征鲁棒性。通过深度学习的方式可以准确、高效地检测布料中是否存在瑕疵，并将瑕疵分类。目前布匹检测的深度学习研究方向有自动编码器和卷积神经网络等。

3.1 基于自动编码器的布匹瑕疵检测方法

自动编码器是一种无监督学习算法，经常被用于特征降维。此外，通过结合自动编码器与已有的监督学习模型，可以实现特征的提取。作为一种学习数据表示的方法，自动编码器也常被用于表面缺陷检测。Y.D.Li等[41]在自动编码器基础上提出一种针对团状纹理的织物瑕疵判别表示法，对周期图案织物和经编提花织物的检测效果十分理想。在一些布料图像中，无缺陷区域重建困难，检测不准确，对此，H.Tian等[42]提出了一种基于自编码器的织物瑕疵检测方法，并能够有效重构图像局部的纹理区域。针对瑕疵样本有限的问题，文献[43-44]提出了栈式去噪自编码器与Fisher准则相结合的检测算法。刘海军等[45]用训练好的自动编码器神经网络压缩原始图像作为输入图像所对应的特征向量，并进行分类。

3.2 基于卷积神经网络的布匹瑕疵检测方法

卷积神经网络是一种有监督学习网络，由多层网络结构组成。在图像检测与识别领域，卷积神经网络比传统分类方法有更强的容错、学习能力。对于瑕疵分类较多的布料，卷积神经网络的适应性也更强。为防止过拟合，优化网络实时性，提升小样本训练精度，吴志洋等[46]设计了一个双网络并行的浅层神经网络结构；赵志勇等[47]提出一种基于Inception⁃Resnet⁃v2网络的布匹缺陷判决算法。万东[48]采用卷积神经网络提取特征，再使用支持向量机分类。刘闪亮[49]提出了基于ODFT Net的卷积神经网络的织物缺陷检测方法。史甜甜[50]提出了基于Fisher准则的深层卷积神经网络织物瑕疵检测算法。B.Wei[51]提出了压缩感知和卷积神经网络相结合的检测方法。杨伟嘉[52]提出基于全卷积自编码器网络的无监督布料瑕疵检测方法，采用深度可分离卷积模块以及减少特征图深度。刘洋洋[53]改进了Faster R⁃CNN网络，利用聚类分析算法调整anchor参数，使用非单一阈值的多检测器结构分多次修正检测框。许玉格等[54]结合通道叠加的ResNet50卷积神经网络与冗余特征过滤的特征金字塔网络，降低特殊缺陷数据集较少的影响。J.Jing等[55]提出了Mobile⁃Unet网络，引入深度可分离卷积，降低网络的规模，并采用Mobile⁃Net V2特征提取器作为编码器，在印染布与本色布中分别达到99%和92%的检测精度。孙羽等[56]提出一种基于改进的多层感知机卷积神经网络预测算法，该算法增强特征表示能力、优化收敛速度，检测准确率达到98.90%。

为了提高小模型网络的检测效果，Y.Li等[57]提出使用多个具有多层感知器的微型结构来优化网络，在网络模型较小的情况下取得了优异性能，检测准确率达到97.82%。T.Wang等[58]设计了一个全局帧和子图联合检测的卷积神经网络架构，全局帧通过纹理特征分类样本，子图负责判断样本是否含有缺陷区域。

为了一步实现瑕疵检测、分类与定位，张丽瑶等[59]使用SSD算法进行瑕疵检测，可以定位四种织物瑕疵并给出分类信息。H.W.Zhang等[60]使用基于深度卷积神经网络的YOLOV2染色织物缺陷检测方法，在负样本有限的情况下提取缺陷特征，实现分类与目标检测。W.B.Ouyang等[61]在CNN网络基础上引入一种新型的电位激活层，获得了较高的检测准确率与精度，但网络计算量较大。

基于深度学习的布匹瑕疵检测方法检测准确率高，定位精准。虽然存在数据需求大、硬件配置要求较高等缺点，但随着计算机算力的提升，对大体量图像数据的采集与分析将不再是不可逾越的障碍。轻量级卷积神经网络的发展也从另一个角度给出了解决方案。马原东等[62]在卷积神经网络后采用非极大值抑制分类算法合并检测框，提高模型检测效果，利用特征图分割降低算法对硬件要求，提高算法普适性，检测速度达到3 帧/s，检测准确率达到99.60%，进一步证实了卷积神经网络在布料瑕疵检测领域的应用潜力。

4 算法对比

介绍了布料瑕疵检测领域的发展情况，讨论了布料瑕疵检测系统的硬件构成，梳理了目前常用的瑕疵检测方法与基本的检测流程。在图像处理方面，分为预处理、特征提取、分类识别三个步骤，其中特征包括结构、统计、频域、模型和字典学习等。分类识别方法有支持向量机、贝叶斯分类、⁃means聚类等。在深度学习方面，分析了各种自动编码器算法与卷积神经网络算法的优劣。各种算法特点如表2-4所示。

表2　特征提取阶段各检测算法对比

表3　分类识别阶段各检测算法对比

表4　基于深度学习的布料瑕疵检测算法对比

传统图像处理方法，多采用统计学方法与频域法提取特征，分类识别过程则通常采用支持向量机与贝叶斯分类，检测准确率普遍在85%～96%；在基于深度学习的检测算法中，卷积神经网络应用更为广泛，检测准确率普遍在95%以上。

5 结 论

近年来，织物瑕疵检验领域发展迅速，在实际生产过程中的应用也越来越广泛，但其中仍存在很多问题：（1）随着纺织技术的不断发展，织物的纹理结构呈现出复杂化、多样化的趋势，这使瑕疵的种类更多，其识别难度也在不断提升，已经在布料检测系统的实际应用方面成为未来几年亟待解决的首要问题。（2）目前的布料瑕疵检测领域仍然缺少一个全面、权威、规范的数据库，因此，从长远来看，建立完备的布料瑕疵数据库不仅对该领域的研究起到重要推动作用，也对生产过程中提升布料品质有着重要指导意义。（3）对不同处理工序下产生的瑕疵的检出和分类尚有待于进行更深入的研究。（4）面对多样的产品类型和瑕疵类型，单一的处理方法依然具有一定的局限性。这些都是布料瑕疵检测方法未来的研究与发展方向。综合前述分析，智能化质检设备代替人工检测是未来的发展趋势，而计算机视觉技术在瑕疵检测领域具有不可替代的应用价值，基于计算机视觉的布料瑕疵检测方法具有良好的发展前景与市场应用潜力。

［1］ Yapi D， Allili M S， Baaziz N. Automatic fabric defect detection using learning⁃based local textural distributions in the contourlet domain［J］. IEEE Transactions on Automation Science & Engineering， 2017，15（3）1014⁃1026.

［2］ 全国纺织品标准化技术委员会.印染布布面疵点检验方法：GB/T 17760-2019 ［S］. 国家市场监督管理总局中国国家标准化管理委员会.

［3］ 全国纺织品标准化技术委员会.本色布布面疵点检验方法：GB/T 17759-2018 ［S］. 国家市场监督管理总局中国国家标准化管理委员会.

［4］ Ngan H Y T， Pang G K H， Yung N H C. Automated fabric defect detection：A review［J］. Image and Vision Computing， 2011， 29（7）：442⁃458.

［5］ Hanbay K， Talu M F， Özgüven Ö F. Fabric defect detection systems and methods：A systematic literature review［J］. Optik⁃International Journal for Light and Electron Optics， 2016， 127（24）： 11960⁃11973.

［6］ 赵志勇.基于深度学习的布匹缺陷识别与检测研究［D］. 武汉：华中科技大学，2019.

［7］ 李小宁，杨学志.结合自适应中值滤波和GGCM的织物质量检测［J］.合肥工业大学学报（自然科学版），2016，39（7）：906⁃910.

［8］ 闵信军.基于灰度共生矩阵和视觉信息的布匹瑕疵检测方法研究［D］.镇江：江苏大学，2018.

［9］ 吴哲，刘孝星，郑力新，等.基于灰度共生矩阵特征图像的织物疵点检测方法［J］.微型机与应用，2015，34（21）：47⁃50.

［10］ 孙国栋，林松，艾成汉，等.基于灰度共生矩阵与反向投影的织物疵点检测［J］.计算机测量与控制，2016，24（7）：65⁃67.

［11］ 陆聪.基于灰度LBP共生矩阵和空间加权k⁃means的织物图像瑕疵点分割［D］.杭州：浙江大学，2019.

［12］ 刘海军，单维锋，袁静，等.基于梯度方向直方图的本色布疵点检测算法［J］.毛纺科技，2018，46（1）：69⁃72.

［13］ 刘海军，单维锋，韩莹，等.基于梯度方向直方图词袋的纺织品疵点检测算法［J］.毛纺科技，2019，47（3）：71⁃76.

［14］ 李春雷，高广帅，刘洲峰，等.应用方向梯度直方图和低秩分解的织物疵点检测算法［J］.纺织学报，2017，38（3）：149⁃154.

［15］ 韩晓军，黄雷. 织物疵点的图像信息检测方法［J］.天津工业大学学报，2015，34（5）：48⁃51.

［16］ 郝阳.基于机器视觉的纺织品瑕疵检测与分类［D］. 上海：东华大学，2018.

［17］ 何峰，周亚同，赵翔宇，等.纹理织物疵点窗口跳步形态学法检测［J］.纺织学报，2017，38（10）：124⁃131.

［18］ 孙国栋，林松，艾成汉，等.基于灰度直方图反向投影的织物疵点图像分割［J］.制造业自动化，2016，38（4）：20⁃21.

［19］ Sakhare K， Kulkarni A， Kumbhakarn M， et al. Spectral and spatial domain approach for fabric defect detection and classification［C］// 2015 International Conference on Industrial Instrumentation and Control. Pune： IEEE， 2015： 640⁃644.

［20］ 刘伟斌，郑力新，周凯汀.采用频域滤波的织物疵点检测方法［J］.华侨大学学报（自然科学版），2017，38（4）：562⁃566.

［21］ Hu G H， Wang Q H， Zhang G H. Unsupervised defect detection in textiles based on fourier analysis and wavelet shrinkage［J］. Applied Optics， 2015， 54（10）： 2963⁃2980.

［22］ 任欢欢，景军锋，张缓缓，等.应用GIS和FTDT的织物错花缺陷检测研究［J］.激光与光电子学进展，2019，56（13）：94⁃99.

［23］ 景军锋，赵娟.基于Mean Shift滤波的织物疵点检测方法［J］.电子测量与仪器学报，2016，30（5）：739⁃747.

［24］ Guan M， Zhong Z， Rui Y. Automatic defect segmentation for plain woven fabric images［C］// 2019 International Conference on Communications， Information System and Computer Engineering. Haikou： IEEE， 2019： 465⁃468.

［25］ 尉苗苗，李岳阳，蒋高明，等.应用最优Gabor滤波变换的经编织物瑕疵检测［J］.纺织学报，2016，37（11）：48⁃54.

［26］ 汤晓庆，黄开兴，秦元庆，等.基于Gabor滤波变换和HOG特征的织物瑕疵检测［J］.计算机测量与控制，2018，26（9）：39⁃42.

［27］ 杨亚，薛云灿，沙伟，等.基于正交小波分解的织物瑕疵检测［J］.微处理机，2015，36（3）：46⁃49.

［28］ 顾菁，薛云灿，张龙，等.基于小波变换与局部熵的织物疵点检测方法［J］.微处理机，2015，36（5）：69⁃71.

［29］ Li P G， Zhang H H， Jing J F， et al. Fabric defect detection based on multi⁃scale wavelet transform and gaussian mixture model method［J］. Journal of the Textile Institute， 2015， 106（6）： 587⁃592.

［30］ Sadaghiyanfam S. Using gray⁃level⁃co⁃occurrence matrix and wavelet transform for textural fabric defect detection： A comparison study［C］//2018 Electric Electronics，Computer Science，Biomedical Engineerings' Meeting. Istanbul：IEEE，2018.

［31］ Hu G H， Wang Q H. Fabric defect detection via un⁃decimated wavelet decomposition and gumbel distribution model［J］. Journal of Engineered Fibers and Fabrics， 2018， 13（1）： 15⁃32.

［32］ Lib C， Gao G S， Liu Z F， et al. Defect detection for patterned fabric images based on GHOG and low⁃rank decomposition［J］. IEEE Access， 2019， 7（99）： 83962⁃83973.

［33］ Li C L， Gao G S， Liu Z F， et al. Fabric defect detection based on biological vision modeling［J］. IEEE Access， 2018， 6： 27659⁃27670.

［34］ 闫磊.基于稀疏表示的织物瑕疵检测算法研究［D］.郑州：中原工学院，2016.

［35］ 范晓婷.织物瑕疵检测算法研究［D］.西安：西安工程大学，2017.

［36］ 占竹，汪军.基于字典学习的机织物疵点图像等级评定研究［J］.毛纺科技，2019，47（1）：80⁃85.

［37］ 王鹤翔.基于小波变换和SVM的织物瑕疵检测与分类［D］.上海：东华大学，2015.

［38］ Li M， Wan S， Deng Z， et al. Fabric defect detection based on saliency histogram features［J］ Computational Intelligence， 2019， 35（3）： 517⁃534.

［39］ Daniel Y， Mohand S A， Nadia B，et al. Automatic fabric defect detection using learning⁃based local textural distributions in the contourlet domain［J］. IEEE Transactions on Automation Science & Engineering， 2017，15（3） 1014⁃1026.

［40］ Hamdi A A， Sayed M S， Fouad M M， et al. Unsupervised patterned fabric defect detection using texture filtering and⁃means clustering［C］// 2018 International Conference on Innovative Trends in Computer Engineering. Aswan： IEEE， 2018： 130⁃144.

［41］ Li Y D， Zhao W G， Pan J H. Deformable patterned fabric defect detection with fisher criterion⁃based deep learning［J］. IEEE Transactions on Automation Science and Engineering， 2017，14（2）：1256⁃1264.

［42］ Tian H， Li F. Autoencoder⁃Based fabric defect detection with cross⁃patch similarity［C］// 2019 16th International Conference on Machine Vision Applications. Tokyo： IEEE Xplore， 2019.

［43］ 景军锋，党永强，苏泽斌，等.基于改进SAE网络的织物疵点检测算法［J］.电子测量与仪器学报，2017，31（8）：1321⁃1329.

［44］ Li Y D， Zhang J Y， Lin Y B. Combining fisher criterion and deep learning for patterned fabric defect inspection［J］. The Institute of Electronics， Information and Communication Engineers， 2016， 99 （11）： 2840⁃2842.

［45］ 刘海军，张莉丽，耿贵珍，等.基于自动编码器的本色布疵点检测算法［J］.毛纺科技，2019，47（9）：79⁃83.

［46］ 吴志洋，卓勇，李军，等.基于卷积神经网络的单色布匹瑕疵快速检测算法［J］.计算机辅助设计与图形学学报，2018，30（12）：2262⁃2270.

［47］ 赵志勇，叶林，桑红石，等.深度学习在布匹缺陷检测中的应用［J］.国外电子测量技术，2019，38（8）：110⁃116.

［48］ 万东.基于深度学习的布匹疵点检测算法及系统研究［D］.武汉：华中科技大学，2017.

［49］ 刘闪亮.基于卷积神经网络的织物图像缺陷检测定位算法研究［D］.郑州：中原工学院，2019.

［50］ 史甜甜.基于深度学习的织物瑕疵检测研究［D］.杭州：浙江理工大学，2019.

［51］ Wei B. A new method using the convolutional neural network with compressive sensing for fabric defect classification based on small sample sizes［J］. Textile Research Journal， 2019， 89（17）： 3539⁃3555.

［52］ 杨伟嘉. 基于自编码器网络的布料瑕疵检测系统［D］.广州：华南理工大学，2020.

［53］ 刘洋洋. 基于深度学习的布匹缺陷检测方法研究［D］.哈尔滨：哈尔滨工业大学，2020.

［54］ 许玉格，钟铭，吴宗泽，等.基于深度学习的纹理布匹瑕疵检测方法［EB/OL］. （2020⁃06⁃19）［2021⁃01⁃04］.https：//doi.org/10.16383/j.aas.c200148.

［55］ Jing J， Wang Z， Rtsch M， et al. Mobile⁃Unet： An efficient convolutional neural network for fabric defect detection［EB/OL］. （2020⁃03⁃29）［2021⁃01⁃05］. https：//journals.sagepub.com/doi/10.1177/0040517520928604.

［56］ 孙羽，何志勇，张浩，等.基于DCNN的布匹疵点检测方法［J］.中国科技信息，2021（2）：92⁃95.

［57］ Li Y， Zhang D， Lee D J. Automatic fabric defect detection with a wide⁃and⁃compact network［J］. Neurocomputing， 2019， 329：329⁃338.

［58］ Wang T， Chen Y， Qiao M N， et al. A fast and robust convolutional neural network⁃based defect detection model in product quality control［J］. International Journal of Advanced Manufacturing Technology， 2018， 94： 3465⁃3471.

［59］ 张丽瑶，王志鹏，徐功平.基于SSD的织物瑕疵检测的研究［J］.电子设计工程，2020，28（6）：40⁃44.

［60］ Zhang H W， Zhang L J， Li P F， et al. Yarn⁃dyed fabric defect detection with yolov2 based on deep convolution neural networks［C］// 2018 IEEE 7th Data Driven Control and Learning Systems Conference. Enshi： IEEE， 2018： 170⁃174.

［61］ Ouyang W B， Xu B G， Hou J， et al. Fabric defect detection using activation layer embedded convolutional neural network［J］. IEEE Access， 2019， 7： 70130⁃70140.

［62］ 马原东，倪照风，徐斌，等.基于卷积神经网络的布料疵点检测方法［J］.科学技术与工程，2020，20（25）：10327⁃10333.

A Review of Fabric Defect Detection Methods Based on Computer Vision

Han Jiyang1， Cao Jiangtao1， Wang Henan1， Ji Xiaofei2

（1.School of Information and Control Engineering，Liaoning Petrochemical University，Fushun Liaoning 113001，China；2.College of Automation，Shenyang Aerospace University，Shenyang Liaoning 110136，China）

For a long time, fabric defect detection has been completed by quality inspectors. Meanwhile, the process of defect discrimination is greatly affected by subjective factors and has the problems of low detection efficiency and high cost. With the close combination of computer vision technology and various fields, fabric defect detection system based on vision has gradually become an important solution to replace manual quality inspection. For the fabric defect detection based on vision, this paper reviews the aspects including industry development, general detection standards, overall structure of the system and key technologies in detection algorithms, introduces the existing fabric defect detection products based on vision in the market, analyzes the common defect detection standards and the basic structure of the detection system, and summarizes and compares the research status of image processing and deep learning technology in the field of fabric defect detection in recent years. Finally, the paper summarizes the key problems to be solved, and discusses the possible development direction in the future.

Defect detection； Fabric detection； Objection recognition； Computer vision； Image processing

TP391

A

10.3969/j.issn.1672⁃6952.2022.01.013

1672⁃6952（2022）01⁃0070⁃08

2021⁃01⁃13

2021⁃02⁃21

国家自然科学基金项目(61673199)；辽宁省科学事业公益研究基金项目(2016002006)。

韩济阳(1996⁃)，男，硕士研究生，从事计算机视觉理论与应用方面研究；E⁃mail：myoryx@163.com。

曹江涛(1978⁃)，男，博士，教授，博士生导师，从事智能信息处理方面研究；E⁃mail：cigroup@126.com。

http：//journal.lnpu.edu.cn

（编辑 陈 雷）