基于弱监督SOD 网络的网状白坯织物缺陷检测方法

刘秀平 王柯欣 冯国栋 闫焕营

（1.西安工程大学，陕西西安，710048；2.深圳罗博泰尔机器人有限公司，广东深圳，518109）

随着我国农业市场化建设与农业经济飞速发展，农业领域中纺织品应用广泛，对纺织品质量把控变得尤为重要，因此对其及时高效进行缺陷检测具有一定需求。农业领域中农林防护网多采用网状白坯织物，材质为高压低密度聚乙烯丝。该织物具有纱孔易变形、纱线抗滑移性差、经纱易沿纬纱左右滑动等特点；且多由纱线串套而成，结构和纹理特征复杂，在缺陷检测中存在特征点难找的问题，影响企业产量和产品质量。

将显著性检测（Saliency Object Detection，SOD）引入深度学习是目前计算机视觉领域主流方向［1］，SOD 是自然场景中显著物体的检测和分割，包括前注意阶段和注意力阶段。近年来基于深度学习的纺织品缺陷检测在企业应用广泛，在降低传统人工质检成本的同时提高了检测精度与效率，因而在智能制造中具有市场前景与研究意义。常见纺织品缺陷检测技术有基于频谱分析的方法、基于结构的方法、基于统计学的方法、基于深度学习的方法等［2］。

基于频谱分析的方法，关注图像空间分布和频域信息，频域特征对图像噪声灵敏度弱且低于空间分布特征，检测中通常需将频域和空间分布信息结合。王延年等［3］提出基于改进阈值分割和傅里叶变换的织物疵点检测算法，将网布图像进行傅里叶变换后得到频谱图，再利用Butterworth低通滤波器滤除高频分量，成功检测常见织物疵点。ISMAIL N 等［4］通过傅里叶变换获得频谱并识别织物图像疵点，通过结合傅里叶变换与神经网络，成功对12 种织物缺陷分类。尉苗苗等［5］提出基于最优二维Gabor 滤波器的织物缺陷检测方法，使用小波变换提取织物纹理特征，提高了检测实时性。该类方法对图像噪声灵敏度低并存在一定局限性，对随机纹理类纺织品缺陷检测效果不显著。

基于结构的方法，将图像视为由多种纹理单元组合成的整体，通过提取表面纹理特征并分析纹理规律检测出缺陷部位。李亚标等［6］通过对图像各通道进行二维小波分解，并提取各细节子图能量特征，实现对图像纹理特征的采集，成功判断缺陷点是否存在并识别常见缺陷类型。COHEN F S 等［7］提出基于高斯马尔科夫随机场模型，对正常无疵点纹理图像建模，将检测问题转化为高斯马尔科夫随机场模型中最大假设检验问题，该方法能检测多数疵点。李仁忠等［8］提出基于EM 算法的高斯混合模型，通过降采样减弱图像纹理特征，计算像素后验概率并准确判断出缺陷特征。此类方法只针对纹理规律性较强纺织品有效，其他情况易受织物背景纹理干扰导致检测精度低，基于此局限性，该方法仅在早期应用较多。

基于统计学的方法，主要通过提取织物图像上部分统计量获得纹理特征，包括一阶和二阶统计量，其中图片灰度颜色均值、极差、最值等属于一阶统计量；方差、标准差、协方差等属于二阶统计量。OZDEMIR S 等［9］提出基于自组织映射的灰度共生矩阵方法，通过将灰度共生矩阵中纹理信息提供给自组织映射实现图像分类，并融合模糊算法与类别共生矩阵，与经典共生矩阵相比拥有更高检测精度。祝双武等［10］提出通过织物纹理特征建立二维自相关函数的方法，计算纹理周期并划分成子窗口，该方法对整体纹理特征被破坏的织物检测效果佳。GNANAPRAKASH V 等［11］将人工神经网络与灰度共生矩阵相结合检测织物缺陷，使用灰度共生矩阵提取纹理特征，检测出特征明显的织物缺陷点；该类方法原理简单、计算方便，但试验表明：当被测图像噪声过多且疵点与背景区别不明显时，就无法准确检测疵点。

基于深度学习的方法，已通过卷积神经网络（Convolutional Neural Network，CNN）在图像识别、目标检测与分割领域取得重要进展。BALZATEGUI J 等［12］提出一种太阳能电池板图像缺陷检测方法，通过特定U-net 结构一次性获得缺陷分割图，与CNN 滑动窗口方法相比优化了检测时 间。XIAO L 等［13］提 出 改 进 的 掩 码RCNNIPCNN 模型，通过残差网络生成金字塔特征和缺陷边界盒并对其分类，利用FCN 在缺陷边界盒中生成缺陷掩码，实现多种缺陷的准确检测。YANG H 等［14］提出多尺度特征聚类全卷积网络，利用多尺度子网络重构纹理背景，从输入图像中减去纹理背景作为残差图像，成功实现跨类织物缺陷检测。将深度学习应用在织物缺陷检测更符合工业生产实际要求，通过与便携式移动设备结合实现缺陷实时检测是未来发展趋势。

本研究提出一种基于弱监督SOD 网络的网状白坯织物缺陷检测方法。首先，通过草图标注实现网络的单轮端到端训练，加入最大池化层，将空间和通道信息分开考虑，减少信息丢失；并通过融合模块聚合多层次信息，使高级、低级特征和全局信息被更好处理。其次，提出3 种损失函数作为包含辅助损失和主要损失的总损耗，预测具有一致目标结构的整体显著区域；为确保不同尺寸输入下输出一致的显著图，通过正则化作为自治机制提高模型泛化能力。最后，提出边界细化模块提高边界定位精度并解决梯度问题和网络退化。

1 弱监督SOD 改进网络模型

弱监督SOD 改进网络模型为编码器-解码器框架，如图1 所示，具体包括以下几个部分。

图1 弱监督SOD 网络整体框架图

其一，为考虑来自特征映射所有信息，输入后添加步长为2 的最大池化层，并选择激活度最高元素达到减少信息损失的目的，使空间维度上所有像素都被充分考虑。

其二，在编码器层后设计头部注意力（Head Attention，HA）模块［15］，利用空间和通道注意力机制学习具有代表性的纺织品表面缺陷特征。

其三，提出融合模块（Cross Aggregation Module，CAM）应用在解码器每一层，f1、f2、f3分别表示底层细节、高层语义特征、全局上下文信息，通过CAM 将这3 种信息交织融合并更好地传递到下一层。该模块能捕获不同显著性区域间关系，实现多层次特征聚合。

其四，定义3 种损失函数在训练过程对预测结果显著图进行监督，分别为部分交叉熵损失（Part Cross Entropy Loss，Lpce）、局部显著相干性损失（Local Saliency Coherence Loss，Llsc）和显著结构一致性损失（Saliency Structure Consistency Loss，Lssc）；将Llsc和Lpce组成的辅助损失（Auxiliary Loss，Laux）应用在每一个子集以便训练并对中间低分辨率显著图进行监督。

其五，提出基于残差结构的边界细化模块（Boundary Refinement Module，BRM），利用显著性边界信息进一步细化边界，对不同分支特征进行加法运算后提高边界定位精度，主要损失函数（Dominant Loss，Ldom）由Lpce、Llsc、Lssc3 种损失函数组成，用于对模型泛化能力和预测值精度的评估，进一步优化检测结果。

1.1 投影快捷方式

在原始ResNet50 编码器结构中，由于输入与输出维度不匹配，对输入应用投影快捷方式实现元素求和并完成特征映射［16］。ResNet50 网络结构中使用的默认投影快捷方式如图2（a）所示。原始投影快捷方式使用步长为2 的1×1 卷积核，由于通道和空间匹配都由1×1 卷积核执行，卷积核会在减少两倍空间大小时丢失75%特征激活，剩余特征激活不具有特定的选择标准，会导致信息损失和噪声产生，并对通过网络的主要信息流造成负面影响。

图2 投影快捷方式

本研究所用投影快捷方式如图2（b）所示。在进行1×1 卷积前添加一个3×3 最大池化，空间维度所有像素都被充分考虑。将空间和通道投影分开，对于空间投影，使用步长为2 的3×3 最大池化，对通道投影使用步长为1 的1×1 卷积核。空间投影会考虑来自特征图的所有信息并选择激活度最高元素，从而减少信息损失。

1.2 CAM 融合模块

由于编码器层在学习显著特征并将其传到解码器时某些细节特征会被泛化，每一解码层都使用前一层输出的底层细节、高层语义特征、全局上下文信息作为预测显著区域输入。通过自学习来学习每个输入特征时应分配给每个解码层不同权重［17］，基于此设计了一个CAM 模块，如图3 所示。3 个输入进行多尺度转换后对应不同输出结果，其中全局平均池化（GAP）用来保留图像背景信息，使用一个3×3 卷积层和平均池化层学习每个输入特征，得到权重后进行归一化处理，如式（1）所示。

图3 交叉融合模块

式中：s为自细化模块SR（self-refinaved）；w1、w2、w3为权值；fout为输出特征。

通过式（1）构建了一种更全面的特征表示方式并生成相对精细的显著性图，3 种特征分支交互融合时伴随着自细化操作［18］，减少特征提取时的误差，使改进后的SOD 网络可以聚合多层次特征。

1.3 BRM 模块

由于多尺度特征聚合时会造成细节丢失［19］，为提高边界定位精度，提出BRM 模块将边界信息构建为残差结构，同时细化显著图中的区域和边界区域，如图4 所示。其中，w、x、h分别表示长度、宽度和高度。该模块包括快捷连接和恒等映射，通过短接进一步修正预测结果，提高目标对象的定位并优化边界。恒等映射由两个3×3 卷积通过映射短接和一个ReLU 激活函数构成，再将输出的残差结构结果与原特征进行融合相加，最后输出边界增强后的预测结果同时保留边缘信息，解决了梯度问题和网络退化。该模块使检测结果去模糊并得到边界明确的显著结果图。

图4 边界细化模块

1.4 损失函数

本研究设计的网络结构中总损耗由输出对应的主要损失（Ldom）和各级辅助损失（Laux）两部分组成。

1.4.1 部分交叉熵损失（Lpce）

部分交叉熵损失作为预测值与真实标签值之间距离度量，具体来说，解码器每阶段进行3×2卷积时将通道压缩到1 后计算显著性评分并与偏交叉熵损失协同作用，因此部分交叉熵损失的计算如式（2）所示。

式中：y表示真实信息̂表示预测值͂是通过草图标签所标注像素。

1.4.2 局部显著相干性损失（Llsc）

草图标注时由于存在大量未标记像素，仅凭给定草图标签无法获取显著区域全部信息；此外，SOD 任务不关注类别信息，因此本研究引入弱监督来得到更优化的具有明确边界的显著性映射［20］。基于此，设计了局部显著相干性损失（Llsc）帮助SOD 网络预测带有草图标注的平滑显著性映射；对同一输入图像的像素i和j，由于网络无法有效区分接近边界像素的显著区域，这些像素的显著性评分并不总与其相邻像素相似，因此在两像素i和j之间设计一个基于高斯核带宽滤波器的相似能量，计算具有相似特征或距离相近的相关性像素的显著评分，最终局部显著相干性损失如式（3）所示。

式中：Ki为像素i周围K×K核所覆盖区域，F(i，j)为滤波器，D(i，j)为两不同像素i和j之间像素差，用来预测像素i和j的显著性评分。

局部显著相干性损失（Llsc）迫使卷积核中相似像素采取一致的显著性评分并在训练时进一步将标记点传播到整个图像，此过程中使用部分交叉熵损失对标记点监督，从而SOD 网络不需要额外信息就能获得具有有限标记的扩大后的显著区域。

1.4.3 显著结构一致性损失（Lssc）

显著性目标检测模型要求对同一图像不同比例预测的显著性映射图保持一致，但弱监督SOD网络对相同输入下不同尺度显著性映射预测时效果不佳，导致模型泛化能力差并在测试集预测时降低准确率。因此本研究通过正则化操作提高模型泛化能力并减少过拟合现象，并引入显著结构一致性损失（Lssc）预测不同输入尺度下显著性映射，显著结构一致性损失如式（4）所示。通过式（4）改进后的弱监督SOD 网络能学习更丰富的目标结构信息并增强不同尺度输入时泛化能力。

2 试验结果与分析

2.1 参数设置与数据集介绍

本试验使用ResNet50 作为骨干网络的基线在TILDA 公开数据集上预训练。为解决随机小批量样本优化问题，使用随机梯度下降方法更新模型参数并优化整个网络。其中batchsize 为64，动量为0.9，权值衰减为5×10-4；设置最大学习率为0.05，最小学习率为5×10-4作为预衰减策略对网络进行300 epoch 训练。由于数据集中图片为768 pixel×512 pixel，训练时将每幅图片缺陷部分大小裁剪为200 pixel×200 pixel 并进行水平随机翻转后输入到网络中预测显著性图像；使用Pytorch 实现模型，所有试验都在工控机（Intel Core i7 3.60 GHz，操作系统为Windows10，安装内存为8 GB，CPU 频率为2.2 GHz）上运行，每预测1 张缺陷图像约0.03 s。

模拟实际工业环境，选取网状白坯织物尺寸范围均在40 目~60 目之间。对6 种常见织物缺陷图像进行采集，分别为断经（broken end）、断纬（broken weft）、污 点（stain）、破 洞（pole）、打 结（tie）、裂纹（crack）。输出纺织品图像大小统一为256 pixel×256 pixel，该数据集所含纺织品图像共12 000 张，其中断经1 750 张、断纬2 000 张、污点2 150张、破洞2 200张、打结1 900张、裂纹2 000张。

2.2 试验验证

为验证本研究算法识别精确率，首先在公开数据集TILDA 下对6 种不同网状白坯织物缺陷进行试验，如图5 所示。从上至下依次为织物缺陷原图（以下简称原图）、弱监督下缺陷检测显著图（以下简称显著图）和边界细化后的检测结果图（以下简称边界细化图）。可以看出，边界细化图与原图中缺陷形状高度一致，且缺陷周围误检点较少。对于断经、断纬和污点3 类缺陷，该算法的显著图和边界细化图均具有较好效果，边界细化图与原图保持高度一致并且缺陷周围基本不存在误检点；但因数据集中网状白坯织物存在透明性且缺陷图像周围边界不明确导致与缺陷具有较高相似，因此对于破洞、打结、裂纹这3 种缺陷检测效果不理想，检测过程中出现细微误检点。

图5 6 种常见网状白坯织物显著性缺陷检测结果图

为进一步印证本研究算法的有效性，设置对比试验，对不同算法下检测同一织物缺陷的性能进行比较，如图6 所示。可以看出，MINet、ITSDNet 这两种算法的边界细化图与原图像存在较大差异，误检点较多；GateNet、DFI、GCPANet 3 种算法的边界细化图与原图像缺陷也存在细微差异；本研究算法的边界细化图与原图高度相似，相对于其他5 种算法具有较高精确率，同时对织物缺陷图像边界信息不明确、图像透明性以及图像信息的丰富度等问题均有改善，提高检测准确率和产品质量的同时更加符合农业生产中实际检测要求。

图6 同一缺陷在不同显著性检测算法下检测效果

为对本研究模型更好地定量评估，使用平均绝对误差（MAE）、召回率（R）、精确率（P）、Emeasure和F-measure五种评价指标度量模型性能。表1 为本研究算法和GCPANet［22］、GateNet［23］、ITSDNet［24］、DFI［25］、MINet［26］、PICANet［27］6 种 不同算法在TILDA 数据集和自采数据集（Ours）实际两种数据集下，对网状白坯织物缺陷检测中各性能指标的定量比较。从表1 中可知，本研究算法的R、E-measure和F-measure在两种数据集上分别达到92%、93%、91%以上，说明本研究算法取得了较好的检测结果且漏检率低；同时MAE指标相较于其他6 种算法值最小，说明本研究算法模型解决了数据过拟合现象，预测准确且具有较好鲁棒性。

表1 本研究算法与其他算法在两种数据集上各性能指标定量比较 单位：%

为进一步评估本研究算法在同一数据集下检测效果，使用MAE、R、E-measure和F-measure四种评价指标对本研究所采集实际农业场景中网状白坯织物缺陷数据集的6 种常见缺陷进行验证，如表2 所示。从表2 中可知，本研究算法中6 种缺陷的MAE指标均低于4.8%，召回率R指标达到92%以上，E-measure和F-measure指标也均达到93%和91%以上。综上所述，本研究算法对6 种缺陷检测效果均达到了较好水平，预测准确且具有较高鲁棒性。

表2 本研究算法对6 种缺陷检测的评价指标单位：%

通过消融试验验证添加各模块后对网络性能的影响，评价指标选取MAE，消融试验结果如表3 所示。由表3 可知，添加CAM 模块后，HA 模块与CAM 模块融合取得了较好效果，在添加Lssc和Llsc后，MAE得到显著改进，最后加入BRM 模块对边界细化后得到了最好的效果。通过消融试验可知，使用本研究所提出的改进后基于弱监督SOD 显著性算法检测效果最佳。

表3 消融试验

3 结论

在本研究中，针对网状白坯织物缺陷检测过程中由于传统人工检测效率低、误检率较高等问题，提出一种基于弱监督SOD 网络目标检测算法。通过草图标注进行端到端训练，并在快捷投影方式中添加最大池化层，使所有空间信息都被充分考虑。此外，由于不同层次特征特点不同，设计一个融合模块整合不同层次特征，并输出织物图像显著图，然后通过部分交叉熵损失作为预测值与真实标签值之间距离度量，提出局部显著性相干损失对未标记点进行监督和显著性结构一致性损失，提高模型泛化能力，通过3 种损失函数衡量模型鲁棒性。最后通过边界细化模块，提高边界定位精度，使检测到的缺陷显著图更加清晰。

研究表明，该算法在公开数据集和本研究所采集数据集上均能对缺陷完整检测，模型质量高且兼顾了鲁棒性；E-measure和F-measure指标也均达到93%和91%以上，说明漏检率和误检率较低；但对于相似度较高、分辨率较低且背景复杂的图像，还存在一定问题，需在后续研究中继续优化算法，并扩充数据集，提高检测效果，扩大网状白坯织物的尺寸范围，并探究密度和厚度对检测结果的影响。