基于对抗修复网络的输送带表面缺陷检测

摘要：针对输送带缺陷数据获取和标注困难、输送带工作场景中的不稳定因素和数据波动导致基于深度学习的输送带缺陷检测方法精度低的问题，提出了一种基于对抗修复网络的输送带表面缺陷检测模型。该模型主要由自编码器结构的生成器和马尔可夫判别器组成。在训练阶段，将模拟的输送带表面缺陷图像输入生成器，得到无模拟缺陷的重构图像，提升模型对未知缺陷的泛化能力；将原始无损输送带图像、重构图像和模拟的输送带表面缺陷图像输入马尔可夫判别器，通过残差块获得特征图，提高模型对于微小缺陷的检测能力。在检测阶段，将待测图像输入训练完的生成器得到重构图像，再通过训练完的马尔可夫判别器提取待测图像与重构图像的特征图，根据待测图像与重构图像特征图之间的均方误差和待测图像特征图最大值，计算异常分数并与设定的阈值进行比较，从而判断待测图像是否存在缺陷。实验结果表明，该模型的接收操作特征曲线下面积（ROC−AUC）达0.999，精确率−召回率曲线下面积（PR−AUC）达0.997，单张图像检测时间为13.51 ms，能准确定位不同类型缺陷位置。

关键词：输送带表面缺陷检测；对抗修复网络；自编码器；生成器；马尔可夫判别器

中图分类号：TD528/634 文献标志码：A

0 引言

带式输送机是一种在煤矿生产中应用广泛的物料运输装置，输送带是其关键部件之一[1]。在实际应用中，由于落料冲击、物料边缘尖锐等因素容易造成输送带非常态损坏[2]。若未能及时检测输送带损坏，破损会进一步扩展，进而造成物料损失、生产中断，严重时甚至产生安全隐患，因此准确、快速地检测输送带表面缺陷是物料安全、高效运输的重要保障[3]。

早期输送带缺陷检测主要采用接触式方法（如在托辊上安装棒形检测器、压力检测器和漏料检测器），方法简单但易受环境干扰，且难以检测较小的破损和划痕[4]。随着高性能处理器的发展，机器视觉技术得到应用。程月等[5]使用Canny 算子和支持向量机分析输送带裂纹图像的像素面积和长宽比，从而检测输送带撕裂；王以娜[6]利用预采集的输送带表面数据作为模板，与运行时采集的图像匹配，实现了输送带纵向撕裂检测。机器视觉技术提高了输送带缺陷检测能力，但需复杂的图像预处理和严格的成像条件，较难满足现场要求。

为克服传统机器视觉技术的不足，研究者尝试使用深度学习进行输送带表面缺陷检测，主要分为监督学习、半监督学习及无监督学习3 种方式。周宇杰等[7]对YOLOv4 的路径融合网络进行改进，提高了输送带表面缺陷检测精度；张梦超等[8]通过对YOLOv4-tiny 网络的特征金字塔和残差块进行优化，实现了对输送带缺陷的分类检测。但这种监督学习方法依赖大量的缺陷样本标注来进行模型训练，而获得完备充足的输送带表面缺陷数据极其困难。针对缺陷数据不足的问题，Guo Xiaoqiang 等[9]和YangQi 等[10]使用半监督学习和数据增强技术，采用多分类条件生成对抗网络和知识蒸馏，以增强监督学习的表现。但煤矿生产环境的复杂性导致缺陷具有未知性和无规则性，数据增强难以复制实际缺陷的复杂性，从而限制了基于先验知识的半监督学习方法的有效性[11]。为此，部分学者如Teng Yapeng 等[12]和Lü Chengkan 等[13]利用无监督学习方法，使用生成模型和自动编码器学习图像差异，以便在不依赖大量标注数据的情况下进行缺陷检测。但输送带工作场景光照变化、环境噪声等的不规则性和数据的发散性导致模型输入图像特征分布不稳定，影响生成模型的输出一致性，导致现有无监督学习方法对输送带表面缺陷检测精度较低。

本文提出了一种基于对抗修复网络的输送带表面缺陷检测模型。该模型通过自编码器结构的生成器和马尔可夫判别器的对抗训练[14]，使得生成器能够生成逼真的图像，提高判别器对缺陷的敏感性；在模型训练过程中引入模拟的输送带表面缺陷图像，以增强模型对未知缺陷的泛化性能，提升模型在复杂工作场景下的缺陷检测精度。

1 输送带表面缺陷检测模型

1.1 总体结构

基于对抗修复网络的输送带表面缺陷检测模型主要由自编码器结构的生成器与马尔可夫判别器组成，如图1 所示。

在训练阶段，将模拟的输送带表面缺陷图像输入生成器，先通过编码器提取低维的边缘、纹理信息，并逐步生成丰富的高级语义信息，再利用解码器对高级语义信息进行解码，消除图像中模拟的缺陷，获得重构图像。将原始无损输送带图像、重构图像和模拟的输送带表面缺陷图像输入马尔可夫判别器，通过残差块提取图像特征，获得3 种图像的高级语义信息，再通过降维块将高级语义信息压缩为特征图。

在检测阶段，将待测图像输入训练完的生成器得到重构图像，再通过训练完的马尔可夫判别器提取待测图像与重构图像的特征图，并基于特征图计算异常分数，将异常分数与设定的阈值进行比较，以判断待测图像是否存在缺陷。

1.2 模拟的输送带表面缺陷图像

在实际煤矿场景中，输送带表面缺陷以多种形式存在。然而，在表面缺陷数据收集过程中，很难覆盖所有可能出现的异常情况，且仅使用正常样本进行训练的模型对实际表面缺陷的泛化能力较差。受去噪重建异常嵌入模型（DRÆM）[15]及基于内存的端到端分割网络（MemSeg）[16]的启发，本文使用柏林噪声生成无规则掩膜，结合纹理数据集DTD[17]来模拟输送带表面缺陷，使其尽量贴近现场缺陷的无规则性，同时增强生成器对于未知样本的生成能力。模拟的输送带表面缺陷图像生成流程如图2 所示，具体步骤如下。