基于深度学习的机织物起毛起球客观评级分析

吴 骏,徐 天,于 坤

(1.天津工业大学,a.天津市光电检测技术与系统重点实验室;b.电子与信息工程学院,天津 300387; 2.天津市产品质量监督检测技术研究院纺织纤维检验中心,天津 300192)

中国是纺织品生产大国,纺织品的稳定出口对中国的经济稳定至关重要[1]。每年因织物起球问题被消费者投诉约占纺织品质量问题总量的29.51%[2]。织物起毛起球原因是织物表面纤维在外力摩擦强于纤维抱合力时,纤维形成绒毛;当绒毛足够长时,绒毛相互缠绕,达到一定程度时就形成了毛球[3]。目前主要是通过专业人员在特定环境下对照标准样照对起毛起球样本进行评级,该方法局限性多、主观性强,而且准确率与专业人员疲劳程度有关。因此研发一种客观评级系统很有必要。

国内外学者为克服人工标准样照检测的局限性,逐渐地开始使用计算机作为工具,采用基于图像分析原理的客观起球分级系统对织物的起球倾向进行了评价[4],取得了很好的效果。织物起毛起球目前主要是存在两种客观评级的方式[5]：一种是根据灰度信息在空间域内进行毛球分割以及评级;另一种是在频域内利用频率等信息进行图像处理。

在空间域中,Konda等[6]通过获取起毛起球图像类间方差与类内方差的最大比值当作分割阈值,提取织物毛球面积和毛球个数作为两个特征参数作为判定标准。蔡林莉等[7]首先利用直方图均衡化和加法运算增强毛球信息和背景信息的对比度,通过二值化等方法分割毛球。Hu等[8]通过二维高斯模板匹配的方式来定位毛球以及确定分割阈值。Liu[9]利用边缘流的方法提取织物的颜色、相位、纹理以及毛球信息,将毛球大小、数量以及体积作为最终的评级标准。

在频域中,因毛球和纹理具有一定的周期性结构,在频域中表现为一定的频率信息。Xu[10]通过频谱信息过滤织物的纹理信息,使用圆形模板匹配法定位毛球并选取全局阈值进行毛球分割。Palmer等[11]使用二维离散小波变换的方式来对织物起毛起球图像处理,在频域上对织物进行分析从而进行客观评级。Jing等[12]在频域信息中利用小波分解方法将无关信息和织物表面毛球分开,通过SVM分类器对织物起毛起球进行评级。Zhang等[13]使用小波来进行纹理分析并提取毛球特征信息,通过毛球的密度参数来进行织物的等级评级,即使在频域内进行织物起毛起球评级效果要优于空间域[14],也仍然需要人工选择各种系数,没有真正实现端到端的起毛起球客观评级研究。

传统的织物起毛起球评级方法几乎分为3步：首先分割出毛球信息,其次人工选取毛球的特征参数,最终根据这些选定的参数进行等级评估,人工选取参数的好坏直接影响最终的分类结果。为了避免人工挑选参数带来的误差,有学者通过结合人工神经网络进行评级。Furferi等[15]通过训练前馈反向传播人工神经网络判断织物起毛起球过程,但需要人工输入织物图像的熵曲线峰值以及亮度信息。Yu等[16]结合使用DFF特征提取器和SVM分类器进行客观评级。Xiao等[17]应用BP模型和其他优化模型来预测织物起毛起球。以上方法只是减少了人工参与,并没有完全实现端到端织物评级。

为解决传统的织物起毛起球评级方法评级速度慢、成本高、主观性强的问题,卷积神经网络为客观评级提供了一种新的思路。本文主要做了以下工作：制作了两种机织物数据集共4376幅不同等级起毛起球图像,其中机织物A为纯纺织物(100%涤纶),机织物B为混纺织物(20%涤纶,80%羊毛)。最终设计出一种Wide-SqueezeNet网络模型,该种网络模型是在SqueezeNet[17]网络基础上改进了Fire模块,在Fire模块中增加了不同尺度的特征融合,以提高网络特征提取的能力;并且使用深度可分离卷积将普通卷积替换掉,这样可以减轻网络的一些计算量,提高速度。使用新的卷积神经网络来对毛球图像进行评级可以避免人工参与,降低人工成本,提高检测工作的效率。

1 图像数据采集

按照GB/T 4802.3—2008《纺织品 织物起毛起球性能的测定 第3部分：起球箱法》标准,应用滚球箱式起毛起球仪(方圆YG511S-ⅣA)进行测试,滚球箱式起毛起球仪如图1所示。按照标准将织物样本裁剪成125 mm×125 mm大小,将裁剪好的织物样本固定在聚氨酯载样管上,为防止样本在翻滚过程中脱落,将样本两端用胶带以固定,制作好的试管样本如图2所示。将固定好的样本每4个放进滚球箱,通过设定不同的翻滚次数来获取不同等级的起毛起球样本[19]。

图1 滚箱式起毛起球仪Fig.1 Roller box pilling instrument

图2 试管样本Fig.2 Test tube sample

借鉴织物起毛起球面料在纺织行业的评级环境,搭建了一套织物起毛起球图像采集系统。由于在采集过程中采用静态的方式,所以采用的是面阵相机。面阵相机分为彩色工业相机、灰度工业相机和红外工业相机,由于红外工业相机主要用于获取某个波段的红外信息且价格相对昂贵,因此不在考虑范围内。本文对比了灰度相机和彩色相机采集到的图像,对比结果如图3所示。通过对比可以看出,彩色相机收集到的图像将样本的毛球信息和背景信息无差别记录下来,而灰度相机忽略了背景信息,更加突出毛球信息。相比之下灰度相机采集的起毛起球图像在毛球辨识度方面优于彩色相机,所以本次使用的是海康威视生产的MV-CE013-50GM工业面阵灰度相机。

图3 彩色相机与灰度相机采集图像对比Fig.3 Comparison of images captured by color camera and grayscale camera

采集系统的光源选取的是LED方形倾斜光源,此光源不仅有助于突出织物表面的毛球信息,而且可以抑制部分噪声的影响,提高采集图像的质量。最终图像采集系统如图4所示。

图4 图像采集系统Fig.4 Image acquisition system

本文选取了不同成分和含量的机织物作为样本,共采集到4376幅不同等级的起毛起球图像作为数据集。其中纯涤纶的机织物A有5个等级的起球样本,混纺织物B(20%涤纶,80%羊毛)在达到二级后会产生毛球脱落现象,因此没有一级起球样本。这些起球样本均由专业评级人员进行评定。两种机织物不同等级的样照示例如图5所示。

图5 不同等级的样照示例Fig.5 Samples of different sample grades

2 Wide-SqueezeNet网络的设计

2.1 SqueezeNet介绍

SqueezeNet是常用的轻量级卷积神经网络,主要由1×1卷积和3×3卷积组成,在保持与AlexNet相同精度的前提下,参数量减少了50倍。本文在SqueezeNet网络的基础上设计了Wide-SqueezeNet网络模型,SqueezeNet网络的整体结构如图6所示。

图6 SqueezeNet网络结构Fig.6 SqueezeNet network structure

该模型共包含10层,第1层为卷积层,主要用来提取图像特征;第2—9层为Fire模块,Fire模块如图6所示,每经过两个模块之后,通道数会增加;第10层是1×1卷积层,将特征维度与类别相匹配。

2.2 Fire模块改进

由于SqueezeNet网络参数量少,导致对复杂问题的表达能力较弱,在起毛起球图像中颗粒大小、形状、分布密度、纹理变化等信息复杂,基础网络往往很难应对,为克服SqueezeNet网络的表达能力不足,本文对Fire模块进行了如图7所示的改进。

图7 Fire模块改进前后对比Fig.7 Comparison of the fire module before and after the improvement

原始Fire模块主要含有两层的卷积：一个是squeeze层,其中采用1×1的卷积核,第二个是混合使用1×1卷积和3×3卷积核的expand层。在SqueezeNet网络中共8个Fire模块,通过模块化设计,减少了参数量,但SqueezeNet网络共10层,因此网络的非线性表达能力较弱[20]。

改进后的Fire模块与原始Fire模块相比,增加了一个短连接,目的是解决在训练过程中梯度发散、难以优化等问题。受VGG网络的启发,大卷积核可由几个小卷积替代,在具有相同感受野的同时,不仅减少计算量,而且增加了非线性表达能力[21],因此在短连接中加入了两个3×3卷积,以获取不同尺度的特征图信息,最终与原始Fire模块输出特征图进行特征融合,不仅增大网络的感受野、提取到不同尺度的特征图信息,而且增强了网络的非线性表达能力。

2.3 深度可分离卷积

SqueezeNet网络大小为AlexNet网络的1/50,但计算量却只是AlexNet的1/6,这是由于SqueezeNet 在模型压缩的同时,采用了较多的3×3卷积操作,这些操作计算量相对较大,在增加特征融合之后,网络的计算量将更大,通过观察SqueezeNet的计算量分布,计算量主要集中在3×3卷积,为了减少计算量,本文采用深度可分离卷积,替换掉普通卷积,采用深度卷积与逐点卷积可以减少计算量,其中深度可分离卷积如图8所示。

图8 深度可分离卷积Fig.8 Depthwise separable convolution

深度可分离卷积首先通过逐深度卷积将单个滤波器使用到每一个输入的通道,其中逐深度卷积部分参数(N_depthwise)的计算如式(1),使用1×1卷积组合不同深度卷积的输出,从而可以得到一组新的输出结果,其中逐点卷积中参数(N_pointwise)的计算如式(2),而普通卷积计算参数(N_normal)如式(3),通过卷积参数的计算可以看出,深度可分离卷积在计算量上远小于普通卷积,因此本文使用深度可分离卷积替换普通卷积以达到减少计算量的目的。

N_depthwise=K×K×Cin=3×3×3=27

(1)

N_pointwise=1×1×Cin×Cout=1×1×3×4=12

(2)

N_normal=K×K×Cin×Cout=3×3×3×4=108

(3)

式中：K为卷积核的尺寸,Cin为输入通道数,Cout为输出通道数。

3 实验分析

3.1 实验对象

实验对象是两种起毛起球的机织物图像,将两种机织物起毛起球数据集放在一起训练,每一种织物的每一个起毛起球等级均划分一类,共分为9类。机织物数据集共4376幅图像,按照8∶1∶1的比例将所有的数据集划分为训练集、测试集以及验证集。

3.2 实验环境的配置

实验在Linux系统下操作完成,使用的深度学习框架为Pytorch,GPU型号为NVIDIA GeForce GTX 2080Ti,显存为11 GiB,CPU型号为Intel(R) Core(TM) i7-6700,频率为2.10 GiBHz,RAM型号为DDR3,容量为32 GiB。

3.3 算法参数的设定

本次训练损失函数采用的是交叉熵损失函数,激活函数为RELU[22],经反复测试,最佳参数如表1所示。

表1 模型参数设置Tab.1 Model parameter settings

3.4 起毛起球评级效果

起毛起球分类网络的评价参数主要是准确率、计算量、模型大小和检测时间。本次实验将两种机织物起毛起球数据集放在一起训练,对比了一些经典的分类网络在相同数据集下的表现,不同分类网络的准确率如表2所示。

表2 不同分类网络的准确率Tab.2 Accuracy of different classification networks

由表2可知,SqueezeNet基础网络在起毛起球分类任务中的准确率为97.111%,改进后的网络在准确率上达到了99.333%,相比于基础网络提高了2%,说明增加的特征融合在起毛起球评级过程中是有效果的。本文对每次改进均做了消融实验,网络模型及各项指标如表3所示。

表3 网络模型及各项指标Tab.3 Various indicators of the network model

通过表3可知,Fire模块在加入特征融合之后,分类效果有较大的提升,说明增加的分支增强了网络的特征提取能力,但模型大小和计算量也增加了10倍;将普通卷积替换为深度可分离卷积之后,准确率达到了99.333%,而且模型大小和计算量与原始网络基本接近,使网络轻量化的同时,更快地处理数据。

一个5×5卷积的感受野是和两个3×3卷积的感受野相同的,本文对比了两个3×3卷积和一个 5×5 卷积对结果的影响,不同尺寸卷积核的准确率如表4所示。

表4 不同卷积核尺寸准确率Tab.4 Accuracy of different convolution kernel sizes

通过结果可以看出,两个3×3卷积的效果要优于一个5×5卷积,因为两个3×3卷积不仅降低了计算量,也增强了非线性表达能力,与VGG网络提出的思想是一致的,因此本文采用的是两个3×3卷积用于提取特征。

本文对比了网络改进前后预测一幅图像所用时间,时间对比如表5所示,改进后的网络预测时间降低0.036 s。

表5 单幅图像所用时间对比Tab.5 Comparison of times spent in a single image

通过表3可知,利用深度可分离卷积之后的网络模型大小和计算量是普通卷积网络的1/10,通过测试两个网络预测一幅图像所用时间,进一步验证了使用深度可分离卷积的网络在预测速度上更快,且预测一幅起毛起球图像仅需0.072 s,而人工预测一幅起毛起球图像需要几分钟到十几分钟不等,此网络预测速度上远快于人工检测。

3.5 可靠性分析

卷积神经网络的可靠性通常指其在输入数据有一定程度的噪声或扰动时,仍能够准确地分类目标,这种情况也被称为模型的鲁棒性。本文通过输出网络的部分特征图和热力图验证Wide-SqueezeNet网络在机织物起毛起球客观评级中的可靠性,如图9和图10所示。

图9 部分特征图Fig.9 Partial feature map

通过图9中Wide-SqueezeNet的特征图可以看出,改进的网络在提取特征时将背景信息和毛球信息有效的区分开来,并且更加突出毛球信息,这样不仅能有效缓解图像的噪声带来的影响,而且有效的改善了光照问题。

热力图是卷积神经网络进行分类的重要依据,热力图中红色表示权重较大的部分,蓝色表示权重较小的部分。通过图10中Wide-SqueezeNet的热力图可以看出,毛球信息均被分配了较大的权重,说明网络分类的主要依据为毛球信息;而且毛球周围信息分配的权重比其他地方的权重大,说明在分类时网络不仅关注毛球信息,也关注毛球周围的纹理信息,这与专业评级人员所描述的样照评级方法相符合。

4 结 论

本文通过建立两种机织物的数据集,改进Fire模块以提升SqueezeNet的特征提取能力,并使用深度可分离卷积来降低计算量。实验结果表明,这些改进使网络分类准确率提高,同时保持模型大小和计算量基本不变。通过特征图和热力图验证了Wide-SqueezeNet在机织物评级中的可靠性。此外,该网络测试一幅图像仅需0.072 s,比人工评级时间更短。因此,综合评估表明这个网络能够满足行业要求。