基于深度学习的复杂图案印花织物疵点检测

顾德英 陈 龙 李文超 王 娜

（东北大学秦皇岛分校，河北秦皇岛，066004）

在纺织行业中，疵点检测是织物生产和质量管理的关键环节。传统的织物疵点检测大多是依靠人工进行，需要检测人员一直用肉眼观察生产线上的织物，但随着纺织工业的生产标准不断提高，织物的图案、花色越来越复杂，人工检测的速度和精度逐渐与纺织产业的要求产生脱节。此外，人工检测存在如检测效率低、检测速度慢、漏检率较高等不足。因此，自动化织物疵点检测设备代替人工检测是纺织业领域发展的必然趋势，准确、高效、自动化地检测到复杂图案印花织物疵点具有重要意义［1］。

目前，国内外的学者针对单色、规则图案的织物疵点检测问题已经取得了一定的研究成果。2014 年，GIRSHICK R 等［2］提出R⁃CNN 区域卷积神经网络结构，利用候选区域结合卷积神经网络提取特征，但该算法训练过程耗时相对过长。LIU Z 等［3］采用点到点的方式，利用卷积神经网络对织物疵点进行检测，该方法适用于复杂的织物纹理背景。文献［4］提出在网络模型中增加卷积网络约束来提高训练速度。景军锋等［5］提出了针对单色织物疵点检测和分类的算法，但该算法未在纹理复杂的织物上实践。LI Y 等［6］提出了一种对栈式去噪自编码器，并在其中融合Fisher 准则，但随着织物图片样本数增加，其准确率会有所下降。许玉格等［7］提出了一种基于深度学习的纹理织物疵点检测方法，该方法可提升检测的准确率，但织物疵点种类增多时，需进一步调整才能符合实际应用需求。刘洲峰等［8］提出了一种对比图像像素的邻域和主邻域结构图的方法。该方法对图案规则的织物样本检测效果较好，但对图案不规则的织物样本检测效果较差。

综上所述，织物疵点检测技术虽然取得了一定的成果，但在复杂图案印花织物疵点检测方面仍存在准确率不足及漏检率高的问题。因此，本研究提出一种基于深度学习的复杂图案印花织物疵点检测方法。该方法采用改进的织物疵点检测模型，结合改进的损失函数对数据集进行处理，有效提升了检测的准确率，降低了误检率和漏检率。

1 改进的不规则疵点检测模型

为解决复杂图案印花织物疵点检测在准确率、误检率以及漏检率上存在的问题，本研究在ResNet50 网络的基础上融入可变形卷积（De⁃formable Convolutional Networks，DCN）结构［9］，得到改进后的ResNet50⁃DCN 网络模型。该网络模型在提取疵点特征的过程中，采用网络的第3～第5 阶段生成的特征图建立BFP⁃FPN（Bal⁃anced Feature Pyramid ⁃ Feature Pyramid Net⁃works）模块［10⁃11］，然后在该模块的输出部分引入具有线性性质的特征融合模块，该模块可以融合织物图片的模板图和待检测的疵点图，从而获取融合后的特征图，消除了复杂图案背景对织物图像的影响，然后将提取到的结果送入RPN（Re⁃gion Proposal Network）网络，获得相应的候选框后进行ROI 池化处理，得到大小相同的候选框，最终对候选框做分类以及回归处理。模型的整体结构见图1。

图1 整体网络结构图

1.1 ResNet50⁃DCN 网络模型

一般情况下，ResNet50 网络［12］中卷积核是大小固定的，在面对不同尺寸或者不同形状的织物疵点时，缺乏一定的自适应能力，会导致定位不精准。而在DCN 模块中的每一个单元均能够进行变形，且任一单元点均可跟随一个具有学习能力的偏移量进行移动。复杂图案印花织物疵点形状很多呈现不规则状态，仅使用原始的ResNet50 网络不能较好地处理不规则疵点，所以，本研究在ResNet50 网络的基础上引入DCN 来适应形状不规则的织物疵点，较好地提升了检测的准确率。

原始的ResNet50 网络模型主要包括5 个阶段，首先将待检测的织物图片输入到网络中，接着进入第1 阶段，该阶段主要包括卷积、批处理、Re⁃lu 激活函数以及最大池化，第2～第5 阶段主要由卷积模块和识别模块组成，然后输出对应的特征图。

本研究在ResNet50 网络模型的后3 个阶段中加入DCN，见图2。图2 虚框内是3×3 的DCN，首先在普通卷积上引入2D 偏移量，然后依据输入部分的特征图，再利用补充卷积层进行学习，实现对复杂图案印花织物的不规则形状疵点的学习以及适应，最后将输入部分获得的特征图以及偏移量一起送入卷积层获得相应的输出特征图。

图2 ResNet50⁃DCN 网络模型

1.2 改进的BFP⁃FPN 结构

FPN 模块在检测小像素目标中效果较好，该模块由2 个部分组成。第1 部分通过自下而上提取特征，第2 部分将自上而下的每一层特征图和左侧的特征图相加，2 个部分之间采取横向连接方式，最后获取特征融合后的预测结果。由于不同层级间特征具有不平衡性，FPN 结构在提取特征时存在提取不平衡的问题，因此，本研究使用BFP⁃FPN 模块缓解不同层级间特征不平衡问题，并在BFP⁃FPN 模块后添加具有线性性质的特征融合模块，改进后的网络结构见图3。图3 中，C1～C4 表示FPN 结构获得的4 个尺度的输出结果，P1～P4 表示经过BFP 处理后的输出结果。

图3 改进的FPN 网络模型

引入的特征融合模块实质是一种线性组合方式，即将含有复杂图案印花织物疵点图片的特征图与不含任何疵点的模板图片特征图进行加权求和，其采用的计算公式见式（1）。

式中：Df表示待检测特征图，Tf表示模板特征图，Of表示输出的融合特征图，m、n表示学习参数。自动学习模板特征图与待检测特征图之间存在相关性，改进后的BFP⁃FPN 结构能够更充分提取特征信息，同时增强不同层级间特征的平衡性。

2 改进的损失函数

Focal Loss 函数［13］一般用于处理多分类任务中数据样本的不平衡问题。本研究中的织物疵点类型丰富且数据样本分布不均，因此采用Focal Loss 函数克服在不同类型织物疵点图片样本下存在的不均衡问题。该函数中通过采用softmax函数计算目标的预测值，softmax 函数的计算公式见式（2）。由式（2）可知，该函数主要由指数函数构成，其具有放大性质，该性质在一定程度上会导致数据的上溢。所以，本研究在原函数的基础上添加了一个常数项作为调节因子，保证结果不变的同时确保了数据的正确性。

式中：y的值为0 或者1，ŷ是目标的预测值，γ表示调节权重曲线的倾斜程度。

在多分类问题中，Focal Loss 函数可以简化为Lfl=-(1-ŷ)γlogŷ，在式（3）的基础上提出了一点改进，见式（4）。

式中：K与γ均用于表示调节权重曲线的倾斜程度，添加的ε值表示调节因子，用于防止指数函数造成的数据溢出。

因为指数函数自身的性质可以推导得到softmax(-Kxi+ε) =softmax(-Kxi)，所以改进后的损失函数有效地避免了数据处理时存在的上溢情况，同时保证了获取数据的准确性。

3 试验分析

3.1 试验数据集及试验设置

本研究采用的计算机配置为Intel i7 8700K CPU 和NVIDIA GeForce GTX1080TI GPU，操作系统是Ubuntu16.04，采用PyTorch 深度学习框架，试验中设置batch size 为2，训练步数为550 000，初始学习率为0.002，优化参数动量因子为0.9，衰减系数为0.000 1。本研究的数据集中包含了18 063 张织物疵点图片，680 张模板图片。其中，模板图片是指只含有背景纹理信息且不包含疵点的织物图片。试验过程中采用分辨率为4 096 pixel×1 696 pixel 的织物图片，并且选用其中的16 256 张布匹疵点图片做训练集，然后将剩下的1 807 张布匹图片做验证集。本研究主要针对破洞、缝头、网折、虫粘、花毛、沾污以及织疵共7 类疵点进行检测，试验结果见图4。

图4 本研究模型检测结果图

最终通过分类准确率（Accuracy，Acc）与平均精度均值（mean Average Precision，mAP）两项指标的值判断改进的网络模型和原始网络模型的性能。准确率计算公式见式（5）。

式中：TP表示正确分类的正例，TN表示正确分类的负例，FP表示负例被错分为正例，FN表示正例错分为负例。

平均精度（Average Precision，AP）表示针对单个类别的识别器，mAP表示对不同类别的AP获取平均结果，具有评价多个分类器的性能。mAP的值域在0～1 的范围内，mAP值越大说明其检测准确率越高。具体见式（6）～式（8）。

式中：AP中采用了11 点插值的方式获取最佳的检测精度，r表示11 个点中的任意一点，ρinterp(r)表示单一类别识别器在任意一点获取的检测精度值，ρ(r͂)表示召回值为r͂时的检测精度值，N表示分类器的个数总和。

3.2 ResNet50⁃DCN 网络性能

ResNet50 与ResNet50⁃DCN 的网络性能对比试验结果见表1。由表1 可知，mAP和准确率分别提高了0.75 个百分点和0.91 个百分点，误检率和漏检率分别降低了0.91 个百分点和0.29 个百分点。改进后的网络模型能够有效提高检测准确率，同时也改善了网络模型存在的误检率和漏检率问题。改进后的ResNet50⁃DCN 网络模型具有更强的不规则织物疵点的特征提取能力。

表1 ResNet50 和ResNet50⁃DCN 网络性能对比

3.3 BFP⁃FPN 网络性能

在FPN 网络中加入BFP 模块，利用优化的BFP⁃FPN 结构，改善了复杂图案印花织物疵点在FPN 网络不同层级特征不平衡问题。试验结果见表2。由表2 可知，mAP和准确率分别提高了0.79 个百分点和0.70 个百分点，而误检率和漏检率分别降低了0.70 个百分点和0.10 个百分点。改进后的网络模型比原始网络模型稍有改善，说明BFP⁃FPN 模块结合特征融合模块对特征提取具有较好的效果。

表2 FPN 和BFP⁃FPN 网络性能对比

3.4 本研究改进算法试验结果

不同模型在织物疵点数据集上的试验结果见表3。由表3 可知，本研究改进的算法与已经存在的优秀算法相比，其mAP值达到了67.87%，提高了2.34 个百分点，且有效地将复杂图案印花织物疵点检测的准确率提升了3.01 个百分点，并将误检率与漏检率分别降低了3.01 个百分点、0.04个百分点。

表3 不同模型在织物疵点数据集上的试验结果

4 结论

本研究提出的基于深度学习的复杂图案印花织物疵点检测方法从准确率、误检率、漏检率上均优于原始算法。试验过程中主要针对表面平整的印花织物进行检测，采用改进的ResNet50⁃DCN网络结构增强了对不规则织物疵点的适应能力，利用优化的BFP⁃FPN 结构改善了复杂图案印花织物疵点在FPN 网络不同层级特征不平衡问题，并且使用改进的损失函数有力地确保了数据的正确性。试验表明，该算法有效地克服了复杂图案印花织物疵点检测过程中存在准确率较低、误检率和漏检率较高的检测难点，较好地改善了复杂图案印花织物疵点检测模型的性能。