应用于产品表面缺陷检测的神经网络IBS-Net

王新宇，蒋三新

(上海电力大学电子与信息工程学院，上海 201306)

0 引言

在工业生产过程中，材料、环境、工艺参数的微小变化常导致产品表面产生缺陷，影响质量。表面缺陷检测作为生产线中的关键环节，对产品质量监测和生产健康状况反馈有重要意义。目前，人工目视的缺陷检测方法已逐步被自动检测技术取代，然而，传统的自动光学检测技术[1-4]和基于人工设计特征的机器视觉技术[5-8]存在不稳定性、主观性和局限性等问题，难以满足实际生产需求。

近些年来，以卷积神经网络为代表的深度学习模型在计算机视觉领域的应用给缺陷检测指出新的方向[9]。R. Ding等[10]在Faster R-CNN基础上引入多尺度金字塔网络，应用于PCB表面缺陷检测；汤踊等[11]将经典的两阶段网络Faster R-CNN应用于高压输电线路部件的识别与缺陷检测；Y. J. Cha等[12]将Faster R-CNN的骨干卷积网络替换为ZF-net后直接应用于桥梁表面缺陷检测与定位；刘志[13]在深度残差网络Resnet基础上引入了注意力机制和多尺度特征融合方法，提出了AT-SSD算法，应用于LED芯片表面缺陷检测。Y. Li等[14]改进了SSD的骨干卷积网络，提出了MobileNet-SSD网络，用于检测罐装密封容器表面缺陷。当前表面缺陷检测中采用的算法与通用目标检测算法一致，视表面缺陷为普通目标，而忽视了表面缺陷与普通目标之间的差异，因此常会导致缺陷定位有偏差，检测结果有错误和冗余等问题。对此，本文分析表面缺陷的特性，据此改进两阶段网络模型，并基于“以小见大”思路，提出了IBS-Net算法。在构建的包含13类缺陷、共35 000个样本的芯片表面缺陷数据集和已公开的热轧钢带表面缺陷数据集上的实验结果表明：本算法具有良好的有效性和应用价值。

1 表面缺陷分析

将表面缺陷与普通目标相对比，分析发现表面缺陷存在如下特性：

1.1 缺陷与缺陷之间的互斥性

在目标检测中，目标之间相互交叠的现象非常常见，检测交叠目标是目标检测的难点，如图1的目标检测结果中，“car”、“person”、“bicycle”目标相互交叠。然而，表面缺陷之间相互交叠的情况并不常见，一个位置上一般只有一个缺陷，因此，缺陷检测应该给出一个确定的结果。图1中的缺陷检测结果存在冗余。

图1 目标检测结果与表面缺陷检测结果

1.2 缺陷与缺陷之间存在重要性差异

在目标检测中，所有目标的检测都是平等的，然而表面缺陷之间存在重要性差异。本研究通过电子显微镜采集到14类7万余张半导体芯片表面缺陷图像，样本分布如图2所示，各类缺陷样本占比存在很大差异，各类缺陷的发生概率不同，即存在着重要性差异，表面缺陷检测理应考虑其差异性。

图2 芯片表面缺陷数据的样本分布情况

2 两阶段网络的改进算法：IBS-Net

由于表面缺陷与普通目标之间存在以上差异，通用目标检测算法不适合直接应用于表面缺陷检测中，据此，本文利用缺陷之间的互斥性并基于“以小见大”的思路，改进2阶段网络，提出IBS-Net。

2.1 改进的重叠度评估标准CoP

在通用目标检测算法中，常采用边界框交并比(IoU)来评估边界框之间的重叠程度，IoU在正负样本匹配与非极大抑制(NMS)方法中都起着至关重要作用，然而，IoU是不全面的、不精准的，如图3所示的情况。图3(a)中，BBoxi与BBoxj的IoU小于0.5，但BBoxj已明显覆盖了BBoxi；图3(b)中，BBoxj与BBoxi的交叠区域占其中任一框的比例都已超过0.5，然而其IoU不足0.4，图3(c)也是如此。IoU明显不足以衡量重叠程度，依据IoU来指导正负样本匹配其合理性存疑，基于IoU的NMS方法处理边界框也会有所疏漏。

(a) (b) (c)图3 边界框示例

为了精准衡量边界框之间的重叠程度，本文提出新的评估标准：覆盖比(cover percent，CoP)。CoP计算示意图见图4，CoP计算方法见式(1)。

图4 CoP计算示意图

(1)

式中：CoP为BBoxi和BBoxj的重叠区域在其一中占比；变量X为BBoxi或BBoxj，其具体指代可依据需要设定。

2.2 IBS-Net网络架构

在两阶段网络中，采用骨干卷积网络提取特征，再通过区域提取网络(RPN)生成若干感兴趣区域，特征区域映射与池化后得到的候选框经过NMS筛选，随后送入分类和定位回归子网络。NMS过程中，许多包含缺陷信息的候选框常因其类别置信度低或重叠度高而被剔除，如果能够合理利用这些候选框，将有利于提升检测器性能。为此，本文引入“以小见大”思路，当辨别物品时，仅凭物体的局部也能判断出物体名称和位置，应用到表面缺陷检测中，即可由局部缺陷推知整体缺陷。本文在两阶段网络基础上改进，提出了IBS-Net(imaging the big from the small network)，网络架构见图5。

图5 IBS-Net网络结构图

IBS-Net采用特征金字塔网络(feature pyramid network，FPN)提取深浅层特征，提取的多层特征图之间存在上下文语义关系，通过RPN在每层特征图上生成的若干候选框之间也存在着相关性，具体表现为：如果某一特征层内的某个候选框包含目标缺陷，那么在相邻特征层中，与其位置上相互重叠的候选框也必然包含目标缺陷或局部缺陷，这些候选框都包含缺陷信息。为了合理筛选及利用候选框，本文提出了特征相关的非极大抑制方法(feature related NMS，FR-NMS)和正样本扩充方法(positive sample augmentation，PSA)。FR-NMS将筛选的包含局部缺陷信息的候选框将作为半正样本来扩充正样本，半正样本仅用于分类子网络。最后，在后处理阶段，利用缺陷之间的互斥性，提出了多类别非极大抑制方法(category related non-maximum suppression，CR-NMS)，优化分类与定位回归子网络生成的预测结果。

2.2.1 特征相关的非极大抑制方法FR-NMS

FR-NMS共分2步对从多个特征层中提取的候选框进行筛选。第1步是层内NMS，以类别置信度为标准，采用参数CoP衡量候选框之间的重叠程度，在每个特征层内候选框之间独立地执行NMS，去除重叠度较高的候选框；第2步是层间筛选，利用相邻特征层内候选框之间的相关性，筛选并保留包含缺陷或局部缺陷信息的候选框。FR-NMS流程见图6。

图6 FR-NMS算法结构图

2.2.2 正样本扩充方法PSA

FR-NMS筛选保留的候选框会与真实框相匹配以划分正负样本，采样后用于最终的分类与定位回归训练，然而当前的基于IoU的匹配方法导致正负样本数目的不平衡，单一样本中缺陷数量少、尺寸小，使得与目标缺陷的相匹配的候选框(即正样本)数量更加减少，加剧了正负样本之间的不平衡。为了缓解上述问题，本文提出了一种正样本扩充方法PSA。该方法遍历所有候选框与真实框计算CoP与IoU，以CoP与IoU的联合限制判定负样本、正样本以及半正样本，实现候选框与真实框的匹配，其中，将重叠度高的包含缺陷或局部缺陷信息的候选框作为半正样本，来扩充正样本，用于辅助缺陷类别的判定。

2.2.3 多类别非极大抑制方法CR-NMS

依据前文分析的缺陷之间存在的互斥性，本文提出了CR-NMS应用于后处理阶段，优化分类与定位回归子网络生成的预测结果。CR-NMS同时考虑边界框的类别及其置信度，实现边界框的筛选与优化。CR-NMS算法流程如图7所示。

图7 CR-NMS算法流程图

首先，将所有类别置信度小于预设阈值(0.1)的冗余边界框直接删除；然后，以边界框的类别置信度为指导，执行基于CoP的NMS，筛除重叠度高的边界框；最后，以边界框的面积为指导，对存在包含关系的边界框优化选择。边界框优化流程如图8所示。

边界框优化过程中，充分考虑相互包含的边界框的类别置信度和类别标签进行择优选择保留。择优选择保留方法如图9所示，其中，本文提出“相似值”来衡量2个边界框的相似度，计算方法见式(2)，采用预设的相似值阈值Te(经验值1.15)来指导择优选择。

图8 边界框优化流程框图

图9 边界框择优选择示意图

f(Si,Sj)=e|Si-Sj|

(2)

式中：Si和Sj为边界框的类别置信度。

3 缺陷检测评估方法PEUO

通用目标检测中目标是平等的，但是表面缺陷之间存在重要性差异，那么MS COCO数据集目标检测评估方法不适用于评估表面缺陷检测，对此，本文提出了表面缺陷检测评估方法PEUO，主要思想是依据不同类缺陷其发生概率的不同而设置不同的权值比重，体现重要性差异。

对于任何缺陷，检测器做出的判断有4种可能性：正确、错误、不确定和遗漏。正确或错误的判断即最后保留了一个边界框并且定位准确，但其类别标签正确或是错误，此外，将背景误判为缺陷也属于错误；不确定即检测器在缺陷处给出了多种判断结果，其中含有正确标签；遗漏即漏检了缺陷，未对其做出预测。为评估检测器对单一类别缺陷的检测性能，提出以下4个指标：平均精度(average precision，AP)、平均错误率(average error rate，AE)、平均不确定率(average uncertainty rate，AU)和平均遗漏率(average omission rate，AO)，计算方法如式(3)、式(4)所示：

(3)

Nall=Nc+Nw+Nu+No

(4)

式中：Nc、Nw、Nu和No分别为此类缺陷的正确、错误、不确定和遗漏判断的样本数；Nall为此类型缺陷的样本总数。

为评估检测器对所有类别缺陷的综合检测性能，提出了以下4个指标：综合平均精度(mean AP，mAP)、综合平均错误率(mean AE，mAE)、综合平均不确定率(mean AU，mAU)和综合平均遗漏率(mean AO，mAO)，计算方法见式(5)、式(6)。

(5)

(6)

式中：C为缺陷类别数；αi为第i类缺陷的权重，即第i类缺陷样本数占所有类别缺陷样本总数的比例。

4 实验结果与分析

为了评估IBS-Net算法的检测性能，本研究分别将两阶段目标检测算法Faster R-CNN[15]、RetinaNet[16]、Cascade R-CNN[17]和IBS-Net应用在多种表面缺陷数据集上进行对比实验，采用PEUO标准进行评估。本研究全部实验均在配备Nvidia 2080Ti GPU的工作站上进行，在Ubuntu系统下，采用基于PyTorch的MMDetection检测库搭建检测器，所有检测器采用已在MS-COCO数据集上预训练后的Resnet-50和Resnet-101作为骨干卷积网络。

4.1 表面缺陷数据集

本研究对采集的芯片表面缺陷数据进行预处理后制作了芯片表面缺陷数据集(chip defect dataset，CDD)。采用CDD和已公开的热轧钢带表面缺陷数据集(NEU-DET)[18]2种表面缺陷数据集训练和验证检测器。CDD与NEU-DET中样本分布见表1、表2。CDD中包含11类、35 000张缺陷图像(512像素×512像素)，缺陷名称为：外来异物(Foreign)、金属残留(Gold)、元件缺损(Incomp)、凹陷凸起(Lump)、药液残留(Res)、元件划伤(Scrach)、漏刻蚀(UBM)、元件异色(Discolor)、元件遗漏(Missing)、桥接短路(Short)和3种类型原料不良(Raw I、Raw II、Raw III)。NEU-DET中包含6类、1 800张缺陷图像(200像素×200像素)，缺陷名称为：氧化皮(Rolled in scale)，斑块(Patch)，开裂(Cracking)，点蚀表面(Pitted surface)，内含物(Inclusion)和划痕(Scratch)。

表1 CDD中各缺陷样本分布

表2 NEU-DET中各缺陷样本分布

4.2 缺陷检测实验

两阶段目标检测算法Faster R-CNN、RetinaNet、Cascade R-CNN和IBS-Net在CDD数据集上的实验结果见表3。当以ResNet-50为骨干卷积网络时，相较于其他两阶段检测器，IBS-Net的检测性能最佳，mAP达94.2%；其次，“不确定”的判断减少的同时，“错误”、“遗漏”情况增加，其具体原因仅根据综合性能结果不能做出分析，具体见图11；此外，IBS-Net相较于其他两阶段检测器，计算复杂度显著增加。当骨干卷积网络从ResNet-50替换为ResNet-101后，mAP均有增加。FPS显著降低，这是由于ResNet-101拥有更深层神经网络，可以更好地提取缺陷的特征，但同时也有更多的参数需要训练，增加了计算复杂度。表4是检测器在NEU-DET上的检测结果，表4也可以验证以上结论。

表4 基于NEU-DET数据集的检测结果

为了进一步分析IBS-Net的性能，图10比较了采用ResNet-101为骨干卷积网络的Faster R-CNN和IBS-Net检测器在各类缺陷中的检测结果。从图10(a)可以看出，IBS-Net显著提高了各类缺陷的准确率(AP)，图10(c)中各类缺陷的“不确定”判断的比例(AU)极大降低，这进一步证明了IBS-Net的有效性。同时也可以看出IBS-Net的不足，图10(b)中部分类缺陷错误率有明显上升，这表明“由局部缺陷推知整体缺陷”的思想不具有普遍性，对尺寸小、特征相似的缺陷并不友好，应当有针对性地应用。其次，图10(d)中漏检情况没有改善，表明当前骨干卷积网络提取特征的能力仍有不足，需要进一步改进神经网络。

图11为部分芯片表面缺陷的检测结果，从图11中可见，Faster R-CNN的预测结果多冗余，IBS-Net的预测结果更好。

4.3 消融实验

为了更好地理解IBS-Net，讨论了IBS-Net中FR-NMS、PSA和CR-NMS的作用及影响。采用ResNet-101为骨干卷积网络的IBS-Net在CDD上实验，结果如表5所示。

(a)

(b)

(c)

(d)

图11 表面缺陷检测结果对比

表5 基于CDD数据集的消融实验结果

当仅应用FR-NMS时，准确率下降，错误率、不确定率、遗漏率都增高，这是由于FR-NMS筛选的候选框多包含缺陷或局部缺陷，重叠度较高且置信度较小，且未能被合理利用，影响了检测性能。此外，FPS显著下降，这说明在FR-NMS的特征层间筛选候选框过程中需要经历数次迭代，影响了效率；当仅应用PSA时，准确率有轻微提升，这说明半正样本的增添有助于分类任务；当仅应用CR-NMS时，不确定率显著降低，准确率提高，但同时“错误”的判断增加，这是由于CR-NMS对部分“不确定”结果未作出正确处理；当同时应用FR-NMS和PSA时，准确率显著提升，这是因为PSA可以将FR-NMS筛选的包含缺陷或局部缺陷信息的候选框合理利用，表明“由局部缺陷推知整体缺陷”的思路有助于提升检测性能；当FR-NMS、PSA和CR-NMS全部应用时，相互弥补了各部分的缺陷，IBS-Net的检测性能达到最佳。

5 结束语

本文将基于深度学习的目标检测方法引入到表面缺陷检测中。通过分析并利用表面缺陷的特性，有针对性地改进了检测算法，提出了两阶段网络的改进算法IBS-Net和表面缺陷检测评估方法PEUO。在构建的芯片表面缺陷数据集CDD和公开的热轧钢带表面缺陷数据集(NEU-DET)上的实验表明，IBS-Net算法可以有效实现表面缺陷的识别与定位。同时，本研究仍然有不足，IBS-Net算法参数多、时间复杂度较高，在进一步的改进中，可以考虑研究轻量型网络，使其更能满足实时检测需求，此外，三维类型缺陷的检测也是后续的研究方向。