基于去噪卷积自编码器的色织衬衫裁片缺陷检测

张宏伟，汤文博,李鹏飞,葛志强，高振铎

(1.西安工程大学 电子信息学院,陕西 西安 710048;2.浙江大学 工业控制技术国家重点实验室,浙江 杭州 310027)

0 引 言

色织衬衫花型美观多样,近年来产销量与日俱增,已成我国出口创汇的重要服装产品之一。但在色织物生产过程中,由于织造设备故障、纱线问题等因素的影响[1],会造成织物表面各种不同形态的疵点,严重影响色织衬衫的产品质量和市场议价能力,导致产品价格降低45%～65%[2]。目前,为降低色织物缺陷对色织衬衫产品的质量影响,多数色织衬衫织造企业在色织物裁剪工序之后和缝制工序之前,加入人工验片的工序,利用人工视觉进行检测并剔除有缺陷裁片。但人工检测劳动强度大,检测效率低。近年来,随着图像处理和计算机视觉技术迅猛发展,利用视觉技术辅助织物疵点自动检测吸引了产业界和学术界的广泛关注[3]。

色织物由经纱和纬纱交织而成,形成了点、星、条和格子等典型的纹理花型。常规的织物缺陷的检测方法主要可分为3类:一是基于统计学算法的灰度共生矩阵[4]、数学形态学法[5]等;二是基于频谱算法的Gabor滤波器法[6]、傅里叶变换法[7]和小波变换法[8];三是基于模型算法的马尔科夫随机场法[9]和自回归模型[10]等。常规算法主要是解决白坯布和花型纹理相对简单的净色织物缺陷检测问题,难以有效解决花型颜色复杂的问题。另外,色织物色彩种类繁多,且新花型随着时尚元素推陈出新,导致基于有监督机器学习算法的特征工程框架成本巨大,难以在实际的色织物缺陷检测中推广。因此,色织衬衫的缺陷检测方法具有显著的研究意义和工程意义。

深度学习是近年来兴起的机器学习技术,被广泛应用于图像识别、语音识别、自然语言处理等领域[11]。尤其对于图像处理,深度学习自动提取特征的能力极大简化了数据预处理的过程。根据学习方式的不同,深度学习可分为有监督和无监督学习。目前应用广泛的多目标检测算法的网络模型有Faster R-CNN[12]、YOLO(you look only once)[13]、SSD[14]等。有监督学习是指送入深度学习网络中进行学习的不仅是数据,还有与数据相对应的标签,然后通过反向传播算法和优化算法最小化实际输出与实际标签之间的误差来调整网络参数。在实际的深度学习网络中,可能有成千上万的参数需要学习,因此就需要非常大量的带有标签的训练数据。但标签是通过人工方式在进行数据学习之前就标记好的。在数据量非常大的情况下,对数据打标签将是耗时耗力的工作。

无监督学习方法中,比较著名的深度学习方法有受限波尔兹曼机、自编码器以及生成式对抗网络。自编码器是一种特殊的神经网络,定义目标函数,通过迭代收敛,使用了反向传播算法。与神经网络不同,自编码器是一种无监督学习算法,它的输入向量等于输出向量,通过中间隐层可以学习高维复杂数据。2017年,李云栋等[15]设计了一个4层的堆栈式去噪自编码器,重构TILDA 数据集里的无缺陷色织灰度图像数据,引入深度学习方法进行提花织物的特征提取,为无监督色织物缺陷检测提供了思路。但是,由于自编码器是全连接网络,在对图像特征进行建模时参数数量巨大,难以直接用于色织衬衫裁片图像的缺陷检测。近年来,卷积自编码器被广泛用于无监督特征提取、图像分类、3D 目标检索、面部表情识别、人体姿态识别等任务。在以上任务中,卷积自编码器均能提取到有效特征,并表现出突出的运算精度和效率[16]。文中引入去噪卷积自编码器结构,提出基于深度去噪卷积自编码器的色织衬衫裁片无监督缺陷检测算法。

1 方 法

本文提出的色织衬衫裁片缺陷检测算法由2个主要部分组成:基于深度去噪卷积自编码器的色织裁片图像重构算法和基于残差图像数学形态学分析的缺陷检测算法。首先,利用大量无缺陷训练样本进行噪声干扰,使用深度去噪卷积自编码器进行去噪重构的训练,得到能够从噪声中恢复色织衬衫花型的网络模型。随后,计算待测色织衬衫图像及其重构图像的残差,利用数学形态学算法检测和定位出残差中的缺陷区域。图1为色织衬衫裁片缺陷检测算法框架。

图 1 色织衬衫裁片缺陷检测算法框架

1.1 色织衬衫裁片图像重构模型

hk=σ(x*wk+bk)

(1)

将得到的hk进行特征重构,可以得到

(2)

(3)

本文采取深度去噪卷积自编码(Deep Denoising Convolutional Auto-Encode,DDCAE)的图像重构方法。不同于卷积自编码器,深度去噪自编码器的训练过程中,输入为原始图像加上噪声,输出目标为原始图像。DDCAE的核心思想是能够对“损坏”的原始数据编码、解码,并且恢复真正的原始数据,以获得较好的特征。通过训练使自编码器学习到原样本图像更具鲁棒性的表达,从而降低噪声的影响。

重构模型之前,首先建立一套自制的色织衬衫裁片样本数据库,再搭建基于深度去噪卷积自编码器的色织衬衫裁片图像重构模型。然后,构造输出层为三通道的图像分辨率的数据结构,再使用3层卷积、3层反卷积的卷积结构,利用丰富的无缺陷训练样本重构色织衬衫裁片图像,通过大量图像重构恢复的结果对比,选取效果最佳的网络结构。另外,利用添加的训练噪声和缺陷样本,可以学习出更加鲁棒的色织裁片花型重构模型。最后得到基于色织衬衫裁片图像的重构恢复模型。

图2是色织衬衫裁片图像重构网络结构。展示了DDCAE网络模型的体系结构。网络输入图像为三色通道,512×512的像素。卷积层数为3层卷积,3层反卷积。

图 2 色织衬衫裁片图像重构网络结构Fig.2 Image reconstruction network structure of yarn-dyed shirt segments

表1为输入图像经过3层卷积3层反卷积的卷积层数和最大池化层数的变化过程记录。

表 1 网络结构

1.2 单通道残差图像分析的缺陷检测模型

在利用大量的无缺陷样本训练出色织衬衫裁片图像噪声修复模型和缺陷修复模型后,使用残差图像分析的缺陷检测模型对待测图像进行定位及检测。当待测色织衬衫裁片出现缺陷,修复后的图像和待测原图做差。做差后,将原三通道图像变为单通道灰度图像,残差部分就是待测图像中的缺陷区域。在色织裁片无缺陷图像重构残差分布为白噪声的情况下,如果出现残差图像数据分布特性变化,即可通过数学形态学的开闭运算检测和定位出残差图像中的缺陷区域,建立基于残差图像分析的色织衬衫裁片检测模型。

Rn=I1-I2

(4)

式中：Rn代表残差图像；I1表示重待检测缺陷图像；I2表示重构修复后的图像。两者做差,即可得到残差图像Rn。

1.3 残差图像的形态学处理

对于重构修复后的图像和待测缺陷图像做差后的残差图像需要进一步进行图像形状和结构的处理才能提取出更完整的检测目标,数学形态学有膨胀、腐蚀、开启和闭合4种基本运算。设A表示目标图像,B表示结构元素,y表示平移量。膨胀腐蚀运算可分别定义为

A⨁B={y|(B)y∩A≠Φ}

(5)

AΘB={y|(B)y⊆A}

(6)

膨胀是将物体周围的点合并到该物体中,能缩小或者填充比结构元素小的孔洞,它也可以连接有间断的物体,形成连通区域。腐蚀是去除物体的边界,具有细化或者收缩物体的作用,它还可以滤除小于结构元素的物体。闭运算具有填充比结构元素小的孔洞,弥合狭窄的间断等作用。开运算则具有平滑物体轮廓、消除小于结构元素的物体和极小突出物等作用。因此,与腐蚀和膨胀运算相比,开运算与闭运算能更好地保持目标物体的大小。

在数学形态学中,由腐蚀和膨胀的先后操作顺序可以组合成形态学开运算和闭运算,开运算和闭运算都可以去除比结构元素小的特定图像细节,同时保证不产生全局的几何失真,先腐蚀后膨胀称为开运算,先膨胀后腐蚀成为闭运算。

开闭运算可分别定义为

A∘B=(AΘB)⨁B

(7)

A·B=(A⨁B)ΘB

(8)

结合各种运算的特点,经过反复实验,本文选用图像形态学运算中的先腐蚀后膨胀运算的开运算对灰度残差图像进行处理,残差图像经开运算后得到的白色连通部分即为色织衬衫裁片的缺陷区域。

2 实 验

实验主要由以下5部分组成:实验平台搭建,数据集的准备,网络模型搭建、模型训练、以及网络结构优化。

2.1 实验平台介绍

实验采用GPU平台,该系统主要配置为一个CPU Intel i7-6800k,一个NVIDIA GeForce 1080Ti 11G和8个16G内存,操作系统为Ubuntu 16.04,CUDA9.0,cuDNN5.1, TensorFlow-gpu1.11.0版本,Anoconda3.0。

2.2 色织衬衫裁片数据库

实验数据样本来自于集中制作的色织裁片数据库,其中包含3种数据集,分别是Simple Lattices数据集,Stripe Patterns数据集,Complex Lattices数据集。共含有66种不同的色织衬衫花型,11 900张色织衬衫裁片图像。实验样本选取色织裁片数据集中的6种典型织物花型,其中无缺陷图片有1 007张,有缺陷图片有86张,图3为部分色织物衬衫裁片无缺陷及有缺陷样本图像。

2.3 结果与分析

2.3.1 基于去噪卷积自编码器的色织裁片图像重构模型 首先在GPU工作站中搭建基于深度去噪卷积自编码器的色织衬衫裁片图像重构模型。其次,将每一种织物花型图像以3层卷积3层反卷积的网络结构分别在NVIDIA GeForce 1080Ti上迭代1 000次,训练时间分别为5～6 h。训练结束后,通过对验证集的测试与实验检测结果的对比,记录效果最佳的网络参数及网络。对于同一种花型,分别使用无缺陷和有缺陷的图像作为输入,重构出来的结果如图4所示。图4(a)中Defect-free为无缺陷图像,Noisy-image为加入噪声的输入,Reconstructed 1为待测图像重构后的图像;图4(b)中Defective为缺陷图像,Noisy-image为加入噪声的输入,Reconstructed 2为待测图像重构后的图像。可以看出,当输入为无缺陷图像,重构后的图像相比原始图像,更清晰,更具鲁棒性。当输入为有缺陷图像,经重构模型恢复后,缺陷区域消失。

(a) 无缺陷样本

(b) 有缺陷样本图 3 色织衬衫裁片样本图Fig.3 Sample diagram of yarn-dyed shirts

2.3.2 基于残差图像分析的缺陷检测模型 使用基于深度去噪卷积自编码器的色织裁片图像重构模型，对有缺陷的图像进行降噪处理,将图像重构恢复为无缺陷图像。将重构之后的图像与待测有缺陷图像相减做差,即可得到残差图像，如图5所示。图5(a)中Defect-free为无缺陷图像,Reconstructed 1为待测图像重构后的图像, Residual 1为待测图像与重构图像做差后的残差图像;图5(b)中Defective为缺陷图像,Reconstructed 2为待测图像重构后的图像, Residual 2为待测图像与重构图像做差后的残差图像。可以看出,无缺陷的色织衬衫裁片图像进行去噪重构求残差后基本没有明显的残差数值,而有缺陷的色织衬衫裁片图像进行重构和计算残差之后,在缺陷区域会出现显著的像素残差。

(a) 无缺陷图像重构

(b) 缺陷图像重构图 4 深度去噪卷积自编码器对色织裁片噪声图像的重构Fig.4 Reconstruction of yarn-dyed fabric noise image by deep denoising convoleutional setf-encoder

(a) 无缺陷样本残差图像

(b) 无缺陷样本残差图像图 5 待测样本图像与重构图像的残差示意图Fig.5 Residual image detection and location based on morphological analysis

2.3.3 色织衬衫裁片残差图像形态学处理 对残差图像,需要进一步进行图像形状和结构的处理才能提取出更完整的检测目标,文中使用形态学中先腐蚀再膨胀的3×3开运算算子,对残差图像进行缺陷检测和定位。待测无缺陷残差图像中细微的残差数值经过开运算后,可以有效屏蔽,如图6(a)所示,Detection 1为残差图像经开运算后的检测图像;有缺陷残差图像中的缺陷区域,经过开运算计算之后,缺陷区域可以明显的得到,如图6(b)所示, Detection 2为残差图像经开运算后的检测图像。

(a) 无缺陷图像检测及定位

(b) 缺陷图像检测及定位图 6 基于形态学分析的残差图像检测定位Fig.6 Residual image detection and location based on morphological analysis

2.3.4 实验结果讨论 在实际的织物裁片缺陷检测中, 经常使用检出率和过检率作为定量评价指标。 为了接近工程指标,选取检测成功率(CR) 和过检率(FAR)作为定量评价,CR和FAR的计算公式为

(9)

(10)

式中：TP为有疵点并检测出疵点；FP为无疵点检测出疵点；FN为有疵点未检测出疵点；TN为无疵点并未检测出疵点。

实验选取低秩矩阵显著性算法(Code-LowRankSaliency,CLRS)以及Gabor滤波器作为实验对比算法。在2.1节所述的实验平台上,使用相同色织衬衫裁片待测样本,对比本文提出的DDCAE算法,CLRS算法和Gabor滤波器在6种织物花型样本集上的检测成功率(CR)和过检率(FAR)作为评价标准。

表2记录了DDCAE算法,CLRS算法以及Gabor滤波器对6种色织衬衫裁片样本的检测成功率数据。其中,D1,D2,D3分别为DDCAE算法,CLRS算法,Gabor算法的成功检出量,P1，P2,P3分别表示DDCAE算法，CLRS算法以及Gabor算法的检测成功率。

图7为DDCAE和CLRS 2种方法经形态学分析后的实验效果对比图。使用相同的疵点图像,CLRS方法检测效果明显不够理想,检测区域较大,还存在部分误检区域;而本实验所采用的方法可以完整地定位出缺陷的基本轮廓,结果较好。对41张色织衬衫裁片样本, DDCAE的平均检出率为97.56%,CLRS平均检出率为75.61%。

表 2 检测成功率

图 7 CLRS、DDCAE检测效果对比图Fig.7 Comparison of CLRS and DDCAE detection results

图8为DDCAE和Gabor 2种方法经形态学分析后的实验效果对比图。使用相同的疵点图像,Gabor效果对缺陷检测存在漏检的情况,检测成功率存在偶然性;而本实验所采用的方法可以完整地定位出缺陷的基本轮廓,结果较好。对41张色织衬衫裁片样本,DDCAE的平均检出率为97.56%,Gabor平均检出率为43.90%。

图 8 Gabor、DDCAE检测效果对比图Fig.8 Comparison of Gabor and DDCAE detection results

表3记录了DDCAE算法,CLRS算法和Gabor滤波器对6种色织衬衫裁片样本的过检率。其中,F1,F2,F3分别为DDCAE算法,CLRS算法,Gabor算法的过检数量,P1，P2,P3分别为DDCAE算法,CLRS算法,Gabor算法的过检率。

表 3 过检率

图9为DDCAE和CLRS 2种方法的过检实验效果对比图。使用无缺陷的图像作为测试图像,CLRS方法会存在显著的过检区域；而本文提出的DDCAE中的重构恢复缺陷检测算法则准确地判定该幅图像没有缺陷区域。使用6种织物花型,48张色织衬衫裁片样本, DDCAE的平均过检率4.17%,CLRS平均过检率为41.67%。

图 9 CLRS、DDCAE过检效果对比图Fig.9 Contrast chart of CLRS and DDCAE over-inspection effect

图10为DDCAE和Gabor 2种方法的过检实验效果对比图。使用无缺陷的图像作为测试图像,Gabor的检测结果难以分辨出图像中是否存在缺陷；而本文提出的DDCAE中的重构恢复缺陷检测算法则准确地判定该幅图像没有缺陷区域。使用6种织物花型,48张色织衬衫裁片样本, DDCAE的平均过检率4.17%,Gabor平均过检率为25%。

图 10 Gabor、DDCAE过检效果对比图Fig.10 Contrast chart of gabor and DDCAE over-inspection effect

3 结 语

本文提出了一种基于深度去噪卷积自编码器的色织衬衫裁片缺陷自动检测的方法。该方法在仅使用无缺陷样本的情况下,可以自动提取色织裁片纹理特征,并对无缺陷样本加入噪声训练,所建立的重构恢复模型可以自动将待测样本中的缺陷进行重构修复。利用待测色织衬衫裁片图像与重构修复后的残差,进行数学形态学分析,可以有效进行缺陷检测。该方法的准确率和实时性能够满足色织衬衫裁片缺陷检测的工程化需要,为色织裁片缺陷检测和分类提出了一种无需人工设计特征的有效方案。