基于多尺度卷积自编码器的色织面料缺陷检测

张宏伟，刘舒婷，陆 帅，顾 德，严 冬

(1.西安工程大学 电子信息学院，陕西 西安 710048；2.浙江大学 工业控制技术国家重点实验室，浙江 杭州 310027；3.北京理工大学 理学院，北京 100029；4.江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡 214122)

0 引 言

色织物是采用染色纱线进行织造的织物，其品种繁多，各具特色。色织衬衫是我国纺织行业中的重要服装产品之一，其特殊的花型外观赢得了国内外消费者的欢迎[1]。在色织衬衫生产过程中，由于织造设备故障以及操作工人熟练程度不同，使得色织衬衫存在不同形态的缺陷[2]，严重影响色织衬衫的品质和市场议价能力。目前，绝大多数衬衫制衣企业采用人工目测的方法进行缺陷检测。该方法存在效率低、检测结果不稳定且易受个人主观因素干扰等问题[3]。因此，使用机器视觉的自动检测方法代替人工检测，受到了研究人员的关注。

目前，织物缺陷检测的主流方法主要分为频谱法、结构法、统计法、模型法和学习法等5类。其中，基于频谱的方法又包括傅里叶变换[4]、小波变换[5-6]和Gabor变换[7]等；基于统计的方法包括直方图统计法、灰度共生矩阵[8]和数学形态学[9]；基于模型的方法包括自回归模型[10]、马尔可夫模型[11]等；基于学习的方法主要有字典学习法[12-13]等。然而，上述各特征工程算法耗时长，对于小批量、花型变化快的色织衬衫检测成本过高。

与特征工程方法相比，神经网络具有更好的特征提取能力。目前，大多数深度学习模型都属于有监督范畴，在训练的过程中需要大量带标签的缺陷样本。在现实中，获取大量缺陷样本十分困难，且对样本进行标注的人工成本也较高。

无监督学习不需要大量缺陷样本，也不需要标注，只需要正常样本即可训练模型，实现缺陷区域的定位，引起了研究人员的关注。2017 年，LI等设计了一个去噪自编码器，重构色织灰度图像数据，首次引入无监督方法进行色织物的特征提取[14]；2019 年，张宏伟等提出了一种基于深度去噪卷积自编码器的重构模型，初步实现了色织物缺陷的快速检测和定位[15]；2021年，张宏伟等又提出一种U型卷积去噪自编码器，进一步提升了缺陷检测的准确性[16]。本文针对经典自编码器对复杂花型色织衬衫面料检测能力弱的问题，提出一种基于多尺度去噪卷积自编码器的色织衬衫面料缺陷检测模型。

1 模型训练及缺陷检测

1.1 多尺度去噪卷积自编码器模型

特征金字塔(feature pyramid net-work，FPN)主要是用于处理图像中目标检测的多尺度问题[17]。高层卷积特征中的特征映射具有分辨率较低但语义信息较高的特点，而低层卷积特征中的特征映射具有分辨率较高但语义信息较低的特点。特征金字塔模型核心思想是将高层卷积特征与低层卷积特征相结合，使得各个尺度下的卷积特征都有丰富的语义信息[18]。

本文在去噪卷积自编码器[15](denoising convolutional auto-encode，DCAE)的基础上融入特征金字塔，提出一种基于多尺度去噪卷积自编码器(multiscale denoising convolutional auto-encode，MDCAE)的色织衬衫面料缺陷检测模型。模型结构如图1所示。

图 1 MDCAE模型结构图Fig.1 Structure diagram of the MDCAE model

网络模型结构采用编码器-解码器结构，包含2个主要部分:一个是编码阶段，网络层中特征图经下采样，使得空间维度逐渐减小，在网络深度逐渐增加的过程中学习到更多的全局信息；另一个是解码阶段，从编码网络结构中输出的小特征图，经过上采样操作，使得特征维度逐渐恢复，不断还原出原始输入的局部细节信息，可以对浅层的特征图进行补充和加强。在解码过程中融合了编码器中的第一层下采样和第二层下采样的特征，使得融合后的特征图具有更丰富的信息。编码器由3个卷积层和3个池化层构成，解码器由3个上采样层和3个卷积层构成。该网络结构如表1所示。

表 1 MDCAE网络结构

编码器的输入为512×512×3三通道图像，网络结构由3个卷积层和3个池化层构成，每个池化层紧跟卷积层之后，并且每一层的输出特征作为下一层的网络输入。

解码器的输入为编码器的输出，网络结构由3个上采样层和3个卷积层构成。第二层上采样层的输入融合了上一层卷积层的输出以及编码器中第二层池化层的输出；第三层上采样层的输入融合了上一层卷积层的输出以及编码器中第一层池化层的输出。实现了多尺度特征融合。解码器的输出为512×512×3三通道图像。

1.2 MDCAE重构模型的训练过程

MDCAE模型搭建好以后进入训练阶段，如图2所示。模型输入为三通道的无缺陷色织衬衫面料彩色图像，在叠加椒盐噪声以后进入编码器，即

(1)

(2)

1.3 色织衬衫面料缺陷检测

MDCAE模型训练完成后即可用于色织衬衫面料的缺陷检测，具体流程如图3所示。输入待测色织衬衫面料图像，训练好的MDCAE模型对其进行重构，生成一张与原图尺寸相同的无缺陷图像。接着，将待测图像与重构图像做残差运算，并对所得残差图像做形态学处理。若待测图像中有缺陷，则在检测结果图像上能看到明显的缺陷区域。

图 2 MDCAE模型训练示意图Fig.2 Training diagram of MDCAE model

图 3 MDCAE模型缺陷检测示意图Fig.3 Defect detection diagram of MDCAE model

MDCAE模型的具体检测步骤为：首先将待测图像与重构图像做残差，即

Rn=I1-I2

(3)

式中：I1为待测图像；I2为重构图像。两者做差，即可出现残差图像Rn。对残差图像进行灰度化，即

Gr=0.299R+0.587G+0.114B

(4)

式中：Gr为灰度化后的图像。对灰度化后的图像进行滤波，以去除较小的噪声，即

(5)

式中：(x,y)为残差图像的像素坐标;σx为该图像x轴方向的像素标准差;σy为该图像y轴方向的像素标准差。然后对图像进行阈值分割，即

(6)

式中：T为选定的阈值，大于T的部分值为1，小于T的部分值为0。最后对二值残差图进行先腐蚀后膨胀的开运算操作，得到最终检测结果。腐蚀和膨胀操作分别为

A⊖B={y|(B)y⊆A}

(7)

A⊕B={y|(B)y∩A≠∅}

(8)

式中：A表示目标图像，B表示结构元素，y表示平移量;⊖为腐蚀操作，移动结构B,如果结构B与结构A的交集完全属于结构A的区域内，则保存该位置点；⊕为膨胀操作，如果移动B的过程中，与结构A存在重叠区域，则保留B内所有位置点。

2 实 验

2.1 实验平台

实验用GPU平台系统，主要配置为1个CPU Intel i7-6800k、3块NVIDIA GeForce 1080Ti 11 G和8个16 GB内存；操作环境为Ubuntu 16.04、CUDA9.0、cuDNN5.1、pytorch1.1.0，Anaconda3.0。

2.2 数据集

用于缺陷检测的色织衬衫面料来自广东溢达纺织有限公司制衣厂。这些面料利用扫描仪进行图像采集，整理成分辨率为512×512×3的样本。根据色织衬衫面料的颜色和纹理特征，将其分为3类，分别命名为Simple lattices(SL)、Stripe patterns(SP)、Complex lattices(CL)。选取了6组色织衬衫面料图像数据集，其中简单色织花型3组，分别为SL1、SL8、SL10；复杂色织花型3组，分别为CL3、CL4、CL10。数据集的训练样本(无缺陷)个数和检测样本(有缺陷)个数如表2所示。

色织衬衫面料的缺陷种类和大小不一，本文选取了各数据集部分样本，如图4所示。

(a) SL1部分数据样本

(b) SL8部分数据样本

(c) SL10部分数据样本

(d) CL3部分数据样本

(e) CL4部分数据样本

(f) CL10部分数据样本图 4 色织衬衫面料部分样本Fig.4 Samples of yarn-dyed shirt fabric

2.3 参数设置

重构模型参数设置为：初始学习率为0.001，每个Batch中训练样本的数量16，最大迭代次数1.5×104，椒盐噪声为0.7，深度学习优化器选择Adam函数。

2.4 评价指标

对检测结果进行定性、定量分析。定性分析为缺陷检测区域的直观图示;定量分析采用准确率(P)、召回率(R)、精确率(Accuracy，ACC)和F1等4个指标评价模型。其中，准确率、召回率、精确率和F1的定义分别为：

P=[(TP/(TP+FP)]×100%

(9)

R=[TP/(TP+FN)]×100%

(10)

ACC=[(TP+TN)/(TP+TN+

FP+FN)]×100%

(11)

(12)

式中：TP表示真实缺陷区域被成功检出的像素个数；TN表示真实缺陷区域未被检出的像素个数；FP表示正常区域被错误检测为缺陷区域的像素个数；FN表示正常区域被成功检测为正常区域的像素个数。

3 结果与分析

3.1 定性分析

将提出的MDCAE模型与DCAE模型和去噪自编码器(denoising auto-encode，DAE)模型的检测结果进行了对比，部分结果如图5所示。

图 5 3种模型检测结果对比Fig.5 Comparison of detection results of three models

图5实验结果显示，对于DAE模型，无法实现缺陷定位。在SL1、SL8、SL10等3个数据集上存在漏检;在CL3、CL4、CL10上存在大量噪声。DCAE模型在SL1、SL8、SL10、CL4等4个数据集上能实现缺陷定位，但在CL3、CL10数据集存在过检。MDCAE模型在SL1、SL8、SL10、CL4、CL10等5个数据集上能实现缺陷定位，在CL3上存在过检。综合来看，MDCAE模型的缺陷检测和定位效果最好。

3.2 定量分析

表3为DAE模型、DCAE模型、MDCAE模型分别对SL1、SL8、SL10、CL3、CL4、CL10等6个数据集检测结果的对比。准确率、召回率、精确率、F1值4个评价指标，数值越大，表明检测结果越好。

表3显示：对于简单色织花型数据集，MDCAE模型在SL1、SL8上的整体检测效果最好，高于DAE、DCAE模型；在SL10上的效果高于DAE模型，弱于DCAE模型。对于复杂色织花型数据集CL3、CL4、CL10，与DAE、DCAE模型相比，MDCAE模型检测效果有明显提升。对于F1指标，与DCAE模型相比，MDCAE模型分别提升了14.97%、9.13%、44.23%。

表 3 不同模型评价结果对比

可见，MDCAE模型在简单色织花型上明显好于DAE模型，整体稍好于DCAE模型，但在复杂花型上却明显好于DAE、DCAE这2种模型。原因是在训练过程中，编码器不断对图像特征进行提取和浓缩，而编码器输出的大小不变，所提取出的特征容量有限；解码过程中，多尺度融合的方式使得隐藏层包含更多可能在编码过程中丢失的信息，使得最终的图像重构效果更好。而复杂花型包含的特征信息更多，丢失的可能性更大，所以MDCAE模型在复杂花型上的提升效果更明显。

4 结 语

本文提出了一种基于多尺度去噪卷积自编码器的缺陷检测方法。该算法对特征图进行了多尺度特征融合，使得融合后的特征图具有更丰富的语义信息。该方法在仅使用无缺陷样本的情况下，训练建立的多尺度卷积自编码器模型可以自动重构修复待测样本中的缺陷。计算待测色织衬衫面料图像与重构图像的残差，并对残差图像进行数学形态学处理，可以有效实现缺陷检测和定位。该方法的准确率和实时性能够满足色织衬衫面料缺陷检测的工程化需要。