基于深度学习的表面缺陷检测研究与应用

摘要：产品表面缺陷检测是制造业质量控制的关键。本研究综述了表面缺陷检测问题在学术界和工业界最新的方法并提出了小概率表面缺陷检测问题的重要性。小概率表面缺陷问题的出现以及对应研究的匮乏严重阻碍了学术界与工业界之间研究的相互验证，导致深度学习技术在诸多工业细分场景下的应用长期处于水土不服的状态。本研究介绍了一种依托工业产品设计数据打通工业界与学术界障碍的思路，以及其在解决小概率表面缺陷检测问题上的尝试。基于此思路，对工业场景在小概率表面缺陷问题上的研究和方法进行了规划及应用。

关键词： 表面缺陷；视觉；小概率；深度学习；工业场景

中图分类号：TP183 文献标识码：A

文章编号：1009-3044（2024）23-0120-04

开放科学（资源服务）标识码（OSID）

0 引言

在复杂工业过程中制造产品时，由于设计和机械生产设备的故障以及不利的工作条件，会产生诸如内部孔、凹坑、磨损和划痕等缺陷。由于日常使用，产品也容易腐蚀和疲劳。这些缺陷中，用户对于产品外观品质的重视程度远大于其他种类缺陷，其对于用户的直观产品感受起到关键作用，当产品表面出现划痕，气泡，脏污等表面缺陷时，将导致产品的整体美观度大打折扣，其价产品价值与品牌价值都会随之受到严重影响。

因此，表面检测缺陷是企业在不影响生产的情况下提高产品质量所应具备的核心竞争力。与人工检测相比，自动缺陷检测技术具有明显的优势。它不仅能适应不合适的环境，而且能长期工作，具有较高的精度和效率。表面缺陷检测技术的研究可以降低生产成本，提高生产效率和产品质量，为制造业的智能化制造打下坚实的基础。

随着深度学习技术的快速发展，目前国内工业界在进行表面缺陷检测任务时，基于深度学习技术与机器视觉相结合的非破坏性方法逐渐占据主流。小概率表面缺陷问题的出现是一个跨场景问题，此类问题兼具学术场景中对于表面缺陷检测技术的方法论与工业场景中复杂的生产要素，小概率表面缺陷检测问题在解决时会遇到多种在学术界不存在的问题，这些问题严重阻碍了深度学习技术在工业场景的真正落地。

1 表面缺陷检测研究在学术界的现状

学术界通用场景中，表面缺陷检测问题由于深度学习技术的迅速发展，其问题的主要挑战与困难主要来源其所具有的小样本与小目标的特性，具体可归纳为如下几点。首先小样本特性导致其具有缺陷的样本过少，容易造成模型的过拟合；此外，目前公开的标准数据集如Microsoft COCO与ImageNet数据集，拥有一定数量的小目标样本，但性能仍有很大的改善空间；小目标在标注的时候容易漏标注，造成数据集含有一定量噪声；有监督算法需要大量标注人力，与节省人力的初衷相违背；不同产品间的模型泛化能力差，不能在多产品间共同使用。目标监督算法主要f6Kr3CUshM3FMwNyIJrMkA==包含监督目标检测、半监督/弱监督目标检测、跨域算法。

2 表面缺陷检测在工业界中的现状

2.1 传统方法及缺陷

表面缺陷检测技术在工业场景的应用由来已久，其研究主要可以分为三个阶段，分别为人工目视法检测，单一机电或光学检测以及传统机器视觉系统检测。

人工目视法很早就广泛应用于大量工业场景中，现在该方法仍然在中小规模的工业场景中占据着主流地位。据统计，当前75%以上的工业场景表面缺陷检测仍依赖人工目视检测法。然而，随着国内人口红利的逐渐消失和产业转型，用工困难的问题愈发凸显。

超声波缺陷检测方法广泛用于检测样品内部结构中的缺陷，具有检测速度快、操作简单的优点。在检测内部材料和结构以及产品尺寸缺陷方面也具有特殊优势。然而这种方法不适用于结构复杂、检测效率低的工件。

基于机器视觉的缺陷检测方法适用于产品表面缺陷的检测，在二元缺陷检测问题中，其准确率高达88.60%[1]。划痕、孔洞、鳞片、点蚀、边缘裂纹、结壳和夹杂物的缺陷检测精度可达到95.30%[2]，因此在表面缺陷检测中得到了广泛的应用。

除了上述几种工业产品缺陷检测方法以外，还有其他类别的检测技术，如X射线图像缺陷检测技术、脉冲磁电阻法、声发射技术。这些方法都呈现了较为优秀的检测结果。然而这些研究大多是针对单一缺陷检测问题的，没有多种缺陷复合的问题场景，如材料、形状、尺寸、颜色和其他特殊产品表面出现的缺陷。与此同时，对具有不同尺寸、裂纹深度和其他信息的缺陷的研究比较匮乏，这也是现有缺陷检测研究的主要限制。

2.2 深度学习方法

深度学习方法受到学术界的快速发展，广泛应用于产品缺陷检测的所有领域。整体上看，基于深度学习的表面缺陷检测技术可分为两大类，表面缺陷检测[3]和内部故障诊断。表面缺陷检测类似于视觉检测，即借助深度学习图像处理技术从图像中的目标特征学习，以分类和定位图像中的产品缺陷，而内部故障诊断类似于听觉检测，即通过使用时域或频域中的数字信号进行模态分析来诊断旋转部件（如轴承）的故障。这些算法的最高精度可以达到99.00%，单个图像的识别时间为0.12毫秒。最低精度水平为86.20%。在深度学习方法中，主要有监督学习、非监督学习和强化学习。

1） 监督学习

监督学习的目标是在输入向量（表面图像）和目标向量（缺陷标签0或1） 之间建立条件分布模型。其中支持向量机（SVM）、决策树和神经网络[4，5]是这一类问题的经典解决方法。SVM作为二元分类的分类器，经常用于识别缺陷和无缺陷区域。Ghorai等人[5]认为，分类器在缺陷检测中的性能取决于特征和分类器的组合。他们将测试图像分为缺陷图像和正常图像，然后将分类器（即SVM和VVRKFA） 与不同的特征集（即Haar、DB2、DN4） 进行融合。

Liu等人[6]认为，缺陷检测任务实际上是一个二元分类问题。使用两层前馈神经网络将测试图像的像素分为缺陷区域和无缺陷区域。卷积神经网络（CNN） 相较于传统神经网络进一步优化缺陷检测问题，通过加入卷积和下采样模块，有效地调整了模型的参数量并减小了模型尺寸。因此，目前基于CNN的架构被广泛应用于自动特征提取以及工业场景中的图像缺陷检测。

2） 无监督学习

在实际工业应用中，收集大量目标图像样本并对其进行精准的标注是非常困难的，即工业场景中模型训练的输入更适合由一组没有任何标注的输入向量组成。无监督学习致力于发现输入数据内在相似的潜在特征。

CNN不仅可以用于监督学习，还可以用于无监督学习。深度卷积生成对抗网络（DCGAN） 同样也是一种CNN结构，其通过在传统生成对抗网络（GAN） 的基础上建立一定的约束，以达到克服其输出不稳定的缺点。与此相似的方法多以无监督学习的方式进行缺陷检测。在特定场景下该方法具有无监督性，以及较好的实际应用价值。尽管上述无监督学习方法能够从未标注的图像数据中进行训练与学习，但它们易受到噪声和初始值的影响，导致其在工业细分场景下的通用性降低。

3） 增强学习

强化学习方法通过一种奖惩系统，自动优化模型内部参数，可以达到使用相对较小的数据集来实现表面缺陷检测的目的。Ren等人[6]提出了一种仅仅需要少量数据就能完成自动表面缺陷检测任务的通用方法，该方法从预训练的深度学习网络中对特征进行迁移，并在输入图像上对预训练的分类器进行卷积，该算法将三种缺陷类型的检测性能大大提高。

强化学习方法可以在弱监督下同时实现小样本的缺陷分类和定位。此外，通过融合CAE和半监督GAN（SGAN） ，提出CAE-SGAN，其中CAE充当识别检测区域的高级分类器。SGAN半监督学习提高的泛化能力证明CAE-SGAN方案与其他一些类似的检测方法相比具有较强的竞争力。

3 基于深度学习的小概率表面缺陷检测

3.1 困难与挑战

深度学习技术依然是小概率缺陷检测问题的主流方法与趋势，但是无论在学术界和工业界中，小概率的表面缺陷检测问题目前都没有一个较为完美的方案，深度学习技术在解决此类跨场景问题时，面临的主要困难与挑战包括如下几个方面。

算法方法论差异巨大。学术界中的方法主要基于公开数据集的尝试，该类方法产生的模型在生产场景中的迭代会涉及许多不同的生产环节，这些迭代的管理非常容易混乱。

数据集缺失严重。工业场景中并没有现成的类似于MS COCO，ImageNet这样大数量的公开数据集，这导致在细分场景下的表面缺陷检测问题缺少足够的预训练数据，进一步导致算法在设计与工程化阶段的敏捷开发困难重重。目前在工业场景中，MvTec AD数据集已经属于比较典型的优秀开源综合性数据集，该数据中，共包含 15 个类别，其中 5 个类别为不同类型的纹理，其余 10 个类别为 10 个不同类型的对象，3 629幅图像用于训练和验证，1 725幅图像用于测试，共5 354张图片，示例如图1。数量上与前文中提到的MS COCO（88万张）等数据集相差巨大。

需求复杂并且差异性较大。工业界生产场景的产品种类繁杂，基于工艺与产品材料特质出发的表面缺陷检测需求呈现非常分散的特性，这导致了算法技术的推广十分困难，不同场景下的需求实现都需要重新开展完整的开发工作，投入的成本巨大。除此之外，生产者及用户对应检测技术的性能指标上都有着普遍的较高期待，现有的深度学习技术很难在有限的成本投入下匹配用户的性能要求。

配套工具要求以及维护成本高。工业界生产场景下的表面缺陷检测问题不再是单一的方法研究问题，而是一个完整的系统工程，每个阶段都有不同的工程师参与，包括产品经理，光学工程师，结构工程师，算法工程师，应用工程师，运维工程师等。串联多个环节需要一套高效的工具链，目前已有百度、阿里、以及阿丘科技等公司在此方面进行了大量的产品化工作，但是总体而言，小概率表面缺陷检测问题的解决依然面临着较高成本投入的问题。

3.2 应用尝试与发现

工业界整体自动化率与世界先进水平尚有差距，随着产品个性化定制的市场需求增加，柔性制造能力的提升需求更加迫切。另外逐年增加用工困难，促使工业企业制造智能化改造势在必行。

随着数字孪生技术的发展，使用二维设计数据与机器视觉技术，完成第一代Model-based Inspection （MBI） 检测方法，如图2所示，用于个人笔记本电脑整机全表面印刷内容缺陷检测任务。

该方法通过构建虚拟映射空间，实现订单配置与产品二维成像之间的实时反馈，精确定位检测目标。其次通过映射后的印刷内容与真实尺度下的设计内容之间的像素级比较，结合深度学习与OCR技术，实现在印刷内容上出现的表面瑕疵的细粒度检测。检测准确率从94%提高到99.9%，远超国内一流厂商设备的检测性能，大大提高产品的生产效率与出货品质。目前已完成复制多套设备进行工厂车间中所有组装线的设备改造。

3.3 后续研究方法与初步规划

虽然MBI在特定场景下较好地完成了现有设备无法完成的表面缺陷检测任务，其结合设计数据与已有的表面缺陷检测技术的思路可以被视为工业界与学术界跨界合作的一种示范，但是对于非印刷内容区域的表面缺陷检测仍需要进一步的研究工作。

随着在数字孪生领域与深度学习领域内的进一步深耕，在后续的研究工作中开展基于三维模型映射和Transformer的半监督小概率表面缺陷异常检测研究工作。

此方法主要通过与工业模型设计软件CREO的深度结合，使得产品在设计阶段中的重要设计数据可以以模型的形式，加入表面缺陷检测模型的训练过程中去，凭借虚拟映射的方式直接生成待测图像所对应的热力图，取代Transformer结构中原本热力图生成的结构，达到表面缺陷检测的高精度、小样本问题。详细研究目标计划分为如下三个方面：

计划研究目标研究基于半监督技术的异常检测技术。结合CREO中可以用于提供先验知识的大量二维、三维设计数据，分别以深度神经网络，胶囊网络、对抗生成网络为主要研究方向，找出标记为无缺陷样本中的异常样本，利用已有样本进行风格迁移等手段，生成满足检测需求的样本数据集，开发具有强泛化能力的异常检测算法，实现工业级的小概率表面缺陷图像识别技术，初步算法计划如图3所示。

计划研究基于三维特征的低延时异常检测技术。基于三维设计数据模型，结合高速实时视觉三维定位技术，针对便携式计算机整机系统全外观表面的复杂场景下的异常检测问题展开研究，构建通用的、高精度的、可实际应用的异常检测技术。

计划研究便携式计算机整机系统工业训练资源库。以真实自然的由工业摄像机采集的图片为基础，用于半监督技术前提下的异常检测任务。数据集涵盖了组装、测试、检测等真实工业生产中的所有涉及产品表面缺陷的视觉场景，由不少于50 000组的高分辨图片组成，涵盖不同工件材质种类，纹理材质，缺陷类型，并进行详细的多类别分类，如图4所示。对于每一张缺陷图片，提供像素级别的准确参考标准来评价对应表面缺陷检测模块的性能。

4 小概率缺陷检测研究总结与趋势

通过研究发现，无论在学术界还是工业界中，大多数现有的缺陷检测研究集中于特定产品或领域的表面缺陷检测，这导致了类似于小概率缺陷检测这种产生与跨界的研究方法缺乏足够的关注。基于深度学习的小概率表面缺陷检测是产品生产的重要组成部分，研究其检测技术对打通学术界与产业界的障碍同样具有重要的现实意义。本文认为表面缺陷检测的以下方面在之后的研究中需要特别注意：

加强跨界研究。基于深度学习的小概率表面缺陷检测问题仅仅是诸多横跨工业界与学术界之间的问题之一。此类问题的研究开展不仅仅要在学术上横向发散思路，借鉴如自然语言处理，推荐系统和数字孪生技术领域中的优秀方法。还需要扎根于工业实际生产场景中，紧密结合业务的实际需求，尝试提供一种通用的缺陷标准定义方法。通过小概率缺陷的问题的分析，此类方法的研究同样离不开从用户的角度进行研究。以上方向都将成为未来研究中的一种趋势。

建设工业场景表面缺陷样本库。任何基于深度学习技术的表面缺陷的技术都离不开大量数据的支撑。一个好的数据集更有利于问题的发现和总结，从而便于问题的解决。 目前，工业产品表面缺陷检测领域还没有一个庞大而统一的数据集。 对于特定的研究对象和研究场景，经常使用不同的数据集。除此之外，在之前的章节中，类似于域相似评估的缺陷检测方法以及基于MvTec AD为基础的异常检测方法都为小概率缺陷检测的未来提供了启发性的参考，但是这一切都离不开对于多种工业场景缺陷类别的梳理和综合性的表面缺陷样本库的构建。

应用三维特征于深度学习检测模型。二维图像表面缺陷检测技术的主要对象是表面划痕和擦伤。获得有关缺陷的深入信息是有限的。然而，在实际生产过程中，产品的缺陷信息不仅显示在产品的表面上，还需要使用三维缺陷检测方法来检测产品的三维表面特征。除此之外，由于工业场景中，产品的三维设计数据广泛存在与各个生产环节中，如何结合半监督或无监督学习的方式，通过使用此类参数化数据实现深度学习训练与测试过程中的有效反馈将是一个非常值得研究的方向。

参考文献：

[1] BOARETTO N，CENTENO T M.Automated detection of welding defects in pipelines from radiographic images DWDI[J].NDT & E International，2017，86：7-13.

[2] MASSEREY B，FROMME P.Surface defect detection in stiffened plate structures using Rayleigh-like waves[J].NDT & E International，2009，42（6）：564-572.

[3] CZIMMERMANN T，CIUTI G，MILAZZO M，et al.Visual-based defect detection and classification approaches for industrial applications-a SURVEY[J].Sensors，2020，20（5）：1459.

[4] 董长虹. Matlab 神经网络与应用[M].北京： 国防工业出版社， 2005.

[5] 胡伍生.神经网络理论及其工程应用[M].北京：测绘出版社，2006.

[6] GHORAI S，MUKHERJEE A，GANGADARAN M，et al.Automatic defect detection on hot-rolled flat steel products[J].IEEE Transactions on Instrumentation and Measurement，2013，62（3）：612-621.

【通联编辑：李雅琪】