基于异常检测的产品表面缺陷检测与分割

王素琴，任 琪，石 敏，朱登明

基于异常检测的产品表面缺陷检测与分割

王素琴1，任 琪1，石 敏1，朱登明2,3

(1. 华北电力大学控制与计算机工程学院，北京 102206；2. 中国科学院计算技术研究所前瞻研究实验室，北京 100190；3. 太仓中科信息技术研究院，江苏 太仓 215400)

工业制造中缺陷样本难以获得且缺陷表现形式多样，只用训练正样本的异常检测技术越来越多地被应用于产品表面缺陷检测。异常检测一般通过评估产品图像的异常分数对产品进行有无缺陷的判断，缺乏对缺陷位置的描述，最新提出的异常分割方法对此进行了改进，但对缺陷区域的分割不够精确。基于异常检测方法，使用标准化流来判断产品表面是否有缺陷，采用多尺度特征融合并对齐来初步定位缺陷位置，结合梯度和最大信息熵，使用分水岭算法对初定位结果进行优化得到缺陷分割掩码。在丽盛制板，KolektorSDD和AITEX 3个表面缺陷数据集的检测与分割结果均优于其他同类方法。此外，在小样本数据集上也能达到良好的检测与分割精度。

异常检测；缺陷分割；多尺度特征融合；特征对齐；分水岭算法

工业生产中，产品表面质量事关产品性能及安全，因此，需要对其表面质量进行严格检测。人工目视检测被广泛应用于表面缺陷检测中，虽然可以凭借检测员丰富的经验对正常和异常零件做出精确判断，但存在人工成本高昂和不同检测员检测标准有差异的局限性。因此，使用机器视觉方案解决表面缺陷检测问题成为当前研究热点。

传统的机器视觉方案通常使用图像滤波、边缘提取、阈值分割和形态学处理等图像处理算法以达到检测表面缺陷的目的。此类方法虽然检测速度快、准确性高，但对图像的质量要求也很高。除此之外，传统机器视觉图像处理算法通常是针对某一特定数据集设计，普适性差。基于深度学习的方法学习图像数据的通用特征表达，在缺陷分类和定位上取得了非常好的效果，越来越多地被应用于表面缺陷检测领域。

有监督缺陷检测方法凭借大量缺陷样本，有效学习缺陷的特征表达，从而达到检测要求，但实际生产中难以获得缺陷样本。此外，由于制造过程的不可预见性，新的缺陷类型随时可能出现，面对新的、多样化的缺陷，检测标准和评估指标往往不同，需要耗费大量人力资源对训练样本进行标注以满足有监督缺陷检测的训练需求，尤其是图像分割的标注。

针对数据集中负样本极少而正样本多的问题，无监督方法只需要学习正样本的特征表达，从而可以对测试样本进行精确分类。基于无监督学习，BALDI[1]提出了一种异常检测方法，训练过程只需提供足够的正样本，无需提供缺陷样本，且无需人工标注，即可达到有监督检测的效果。异常检测中常用的模型如变分自编码器[2]和GANs[3]采用重建图像的方式来检测异常，其重心主要放在对图像的分类问题上。仅仅对图像做分类并不能直观地展示缺陷在图像中的位置及其特征。DifferNet[4]使用标准化流(normalization flow，NF)[5]求得图像的异常分数并作分类，同时基于梯度信息得到缺陷的大致位置。此方法虽然能够定位缺陷，但并未分割出缺陷区域，且定位不准确，不能够真实反映缺陷的特征信息。

针对异常检测网络在缺陷定位和分割方面存在的问题，本文主要做了以下几点工作：

(1) 基于DifferNet网络，选择若干特征图进行多尺度特征融合并对齐，初步定位缺陷位置；

(2) 基于梯度和最大信息熵，采用分水岭分割算法优化初定位结果得到更贴近缺陷区域的分割掩码；

(3) 使用结合图像级统计信息和像素级匹配信息的评价指标E-measure[6]来评估分割结果；

(4) 在自行构建的丽盛制板数据集，公共表面缺陷数据集KolektorSDD[7]和AITEX[8]上进行实验，并与近三年最优的异常检测分割方法进行对比，结果表明，本文方法在分割精度和鲁棒性方面优于其他同类方法。

1 相关工作

早期有较多传统图像处理算法进行缺陷检测。文献[9]面对高空间分辨率多光谱遥感影像使用分水岭分割算法产生过分割的问题，结合各个波段的光谱信息和形态学处理对图像进行修正，有效克服了分水岭分割算法的过分割问题，但形态学结构元素的选取直接影响图像的修正。文献[10]使用OTSU算法和欧氏距离聚类算法对皮革表面缺陷进行分割和分类，在聚类算法中结合形态学处理对图像进行腐蚀操作，能够有效地检测出皮革表面缺陷。传统图像处理算法通常适用于缺陷区域明显，与背景颜色差异较大，易于分割的图像，但一个具体的算法往往只适用于一种缺陷图像或少数几种缺陷图像，泛化性差。

深度学习算法通过从大量的图像数据中学习缺陷特征信息弥补了传统图像处理算法的不足。文献[11]使用马尔科夫随机场对晶片图像缺陷做分割，并基于AdaBoost分类器对分割出的局部缺陷区域进行分类。文献[12]利用级联自编码器结构，基于语义分割将输入的缺陷图像转换成像素级预测掩码输出，再通过卷积神经网络(convolutional neural networks，CNN)对分割区域进行分类。文献[13]提出双重联合检测CNN，以较少的先验知识自动提取有效的图像特征进行缺陷检测。上述方法均基于有监督的学习，在缺陷图像数据量充足的情况下能达到很好的检测效果，但实际生产中有缺陷样本获取难度很大，仅使用正样本的无监督或使用正样本和少量负样本的半监督学习方式成为了研究重点。

文献[14]使用条件生成对抗网络，在正样本上学习高维图像的生成和潜在空间的推理，在UBA数据集[15]的AUC达到了0.643。文献[2]考虑变量分布可变性的概率度量，利用变分自编码器重构概率，从而达到异常检测的目的，在MNIST数据集[16]的AUC和F1分数分别达到0.731和0.383。文献[17]提出了由生成器和判别器组成的端到端单分类体系结构，生成器学习目标图像的概率对图像进行重建，判别器学习区分重建图像和真实图像，网络在MNIST数据集上的F1分数达到0.85以上。文献[18]对自编码器偶尔会将异常样本重建为正常样本的问题，使用记忆模块存储正常数据的原型，因此，在异常检测中，异常样本的重构误差将大大减小，网络在MNIST数据集上的AUC达到了0.975。以上方法只将图像分类为正常或异常，并未涉及到对异常区域的定位。

文献[19]利用师生网络解决自然图像中无监督异常分割这一具有挑战性的问题，教师网络指导学生网络的训练，学生网络集合的预测方差和回归误差得到最终的异常分数和异常分割，在专门为异常检测准备的MVTec AD数据集[20]上，该网络的AUPRO达到了0.857。文献[21]在K近邻算法的基础上，将多分辨率特征金字塔与正常图像相匹配以计算像素间的距离来定位异常位置，在MVTec AD数据集的图像级和像素级AUROC分别达到了0.855和0.960。文献[22]描述向量数据，并将其拓展到基于补丁的自监督学习以分割异常像素，在MVTec AD数据集的图像级和像素级AUROC分别达到了0.921和0.957。文献[23]利用预处理CNN进行块嵌入，并采用多元高斯分布获得正常样本的概率表示，同时利用CNN不同语义级别之间的相关性对异常进行定位，网络在MVTec AD数据集的图像级和像素级AUROC分别达到了0.955和0.973。文献[24]利用师生网络学习正常样本的分布，此外，集成多尺度特征匹配策略检测各种大小的异常，在MVTec AD数据集的图像级和像素级AUROC分别达到了0.955和0.970。

2 网络构建

本文构建的网络主要分为图像处理模块、特征提取器、检测模块和分割模块4个部分，网络结构如图1所示。图像处理模块首先对输入图像进行旋转操作以扩充数据集，且对扩充后的图像构建图像金字塔以获得不同尺度的结构信息。特征提取器采用AlexNet网络，将最终输出特征输入到检测模块实现异常检测，同时，保存提取到的多尺度特征信息来分割缺陷。检测模块基于标准化流将特征映射到潜在空间以求其密度分布，最后得到图像的异常分数。分割模块首先利用保存的特征信息进行多尺度特征融合并对齐，初步定位缺陷位置，为了分割出更细致的缺陷区域，再利用图像级梯度信息，得到缺陷轮廓清晰的梯度图，接着使用最大信息熵算法确定最大熵的灰度值并以该灰度值为阈值进行分割，这可以将梯度图中的噪声干扰去除，最后采用分水岭算法结合梯度图和阈值分割图分割出缺陷区域。网络输出的分割掩码相比初定位结果，在缺陷的外观轮廓及细节信息上更接近真实缺陷。

图1 网络结构

2.1 图像处理与特征提取

图像处理模块对输入图像使用Torchvision库的Transforms模块进行转换，为获得稳定的异常分数及精确的缺陷分割，将图像按顺时针方向每隔90°旋转一次以扩充数据集，再对扩充数据集构建448×448，224×224和112×112大小的3个尺度的图像金字塔以获得不同尺度的结构信息。

从零开始对输入的正常图像训练一个异常检测网络难以得到令人满意的效果，为此，使用在ImageNet数据集上预训练过的AlexNet[25]网络作为特征提取器，该网络的各层输入输出见表1。

表1 AlexNet特征提取器结构

对于输入网络的图像Î，提取的特征为

特征提取器在训练阶段提取并保存正常样本的特征信息，在测试阶段将测试样本的特征与训练过程中保存的特征信息对齐以定位缺陷。

2.2 异常检测

对图像Î进行异常检测，则要计算图像特征Î的概率密度P()，通过标准化流f将映射到使用标准正态分布定义P()的潜在空间:{→|Î,Î}，从P()可以直接计算样本的似然性。异常样本的特征应该不在分布范围内，因此具有比正常样本更低的似然性，根据计算得到的似然性将一个样本分类为正常或异常样本。为了获得更稳定的异常分数()，使用多重变换T()Î求图像的平均负对数似然性，即

其中，是旋转、亮度和对比度调整的组合操作。一张图像的异常分数如果高于阈值，则图像被分类为异常，该决策可以表达为

其中，()=1表示分类为异常。

2.3 缺陷分割

在图像被分类为异常或正常后，下一步目的是定位并分割一个或多个异常像素。本文考虑通过对齐特征图来定位并分割出异常像素。为了获得准确的定位和分割结果，使用同一主干网络在图像的每个像素位置Î提取深度特征图f(,)。所提取到的特征图与图像金字塔类似，较浅层具有较高的分辨率和细节信息，较高层的分辨率较低，但包含更多的特征信息。为了对齐特征图，使用多尺度特征融合来描述每个位置，即连接不同层的特征输出，这样的特征既包含图像的局部细节信息，也包含图像全局信息，且能够保证找到测试图像和正常图像之间的对应关系。在个最近邻的所有像素位置上构建一个特征图库，即

像素的异常分数是通过计算特征(,)与图库中最近的个特征之间的平均距离得到的，因此目标图像中像素的异常分数的计算为

其中，N(f(,))为特征f(,)在训练阶段保存的特征图中检索个最近邻特征；若(,)大于给定的阈值，则该像素为异常像素。

基于无监督训练的多尺度特征融合并使用对齐来定位缺陷位置，其缺乏对缺陷细节信息的描述。使用梯度衡量图像灰度的变化率，加强图像中前景和背景的区别可以有效描绘出缺陷轮廓。因此，对输入网络的图像求其局部梯度值，即

其中，，分别为图像的方向和方向。

在图像的局部梯度值中，除缺陷外，还存在一些与背景有显著区别的噪声点。为了区分这2种情况，使用最大信息熵算法决策出使得缺陷区域与背景区域2部分灰度统计信息量最大的阈值，使用该阈值对图像进行阈值分割可以有效消除噪声点影响，其计算式为

其中，为输入的梯度图；为梯度图灰度值取值范围。

使用最大信息熵对梯度图进行阈值分割缺乏对像素在空间关系上的相似性和封闭性的考虑，而分水岭算法会将邻近像素的相似性作为重要参考，从而空间位置上相邻且灰度值相近的像素点互相连接起来构成一个封闭轮廓，即

其中，(,)为原始图像，，分别为图像的方向和方向。

3 数据构建及预处理

3.1 图像处理与特征提取

(1) 丽盛制板数据集。该数据集在工厂生产环境中实时采集，其中包括缺陷图像10种类型，共405张图像；正常图像共450张。每张缺陷图像中包含至少一种缺陷，图像的分辨率为500×500，数据集缺陷类型及图像数量见表2。

表2 丽盛制板数据集缺陷类型及数量

丽盛制板数据集的缺陷图像数量不均衡，缺陷表现形式不一，既有条状缺陷又有团状缺陷，且部分缺陷占整张图像面积比例较小，如图2所示。本文在原始数据集中不足10张的采用旋转、水平翻转、平移等组合操作进行数据增强，最终随机得到的训练集包含正常样本200张，测试集包含正常样本20张，异常样本共10类，每一类包含10张图像。

图2 丽盛制板数据集缺陷样本及真值图

(2) 公共表面缺陷数据集。为验证本文网络的鲁棒性，在背景纹理及光照条件更复杂的公共表面缺陷数据集KolektorSDD和AITEX上进行实验，其样本如图3所示。KolektorSDD数据集中包含了50组电子换向器图片，其中每组包含8张图片以及对应的语义分割标签，图像宽均为500像素，高为1 240～1 273像素。AITEX数据集由7种不同织物结构的245张图像组成，图像尺寸均为4096×256像素，其中无缺陷图像140张，平均每种织物20张，此外还有105张纺织行业中常见的不同类型的织物缺陷图像。

图3 公共表面缺陷数据集缺陷样本((a) KolektorSDD数据集；(b) AITEX数据集)

3.2 图像预处理

对图像进行缺陷检测易受到背景纹理等因素的影响，因此需要对图像进行预处理。图像灰度处理将3通道图像转换为1通道图像，有效降低图像数据量。原始图像中存在噪声，采用均值滤波来去除。图像经灰度和均值滤波2步预处理后的结果如图4所示。

图4 图像预处理结果((a)原图；(b)预处理结果图)

不同数据集、不同缺陷类型图像的尺寸各异，为方便网络训练及处理，使用Opencv将所有图像缩放到500×500分辨率。

4 实验结果分析

实验使用系统环境为Ubuntu16.04LTS的GPU服务器，硬件配置为NVIDIA GeForce RTX 2080Ti和16 G内存，网络基于Pytorch深度学习框架搭建和训练。

4.1 评价指标

接受者操作特征曲线下面积(area under the receiver operating characteristic，AUROC)[4]常被用来评价二值分类器的优劣，其值越接近1，说明分类结果越好，其计算与混淆矩阵(表3)有关。

表3 混淆矩阵

注：TP表示正确分类为正样本的数量；FN表示错误分类为负样本的数量；FP表示错误分类为正样本的数量；TN表示正确分类为负样本的数量

AUROC指由真阳性率(true positive rate，TPR)作纵轴和假阳性率(false positiverate，FPR)作横轴绘制的曲线与横轴所围面积，即

在分割精度评估方面，增强匹配指标(E-measure)充分考虑图像级统计信息和像素级匹配信息，测量精度显著优于传统测量方法，常被用来评估二值前景图的分割精度。为了能够同时反映全局统计量和局部像素匹配信息，定义输入二值映射的每个像素值与其全局平均值间的距离为偏差矩阵，即

其中，是一个所有元素值都为1的矩阵，且尺寸与输入二值映射相同。对二值真值图和二值分割图计算其偏差矩阵和之间的相似性为

4.2 异常检测

网络训练使用Adam优化器更新和优化模型参数，设为0.000 1，设为True，设为0.2，设为4。初始时，设为500，当数据迭代至200次时模型已经收敛，随着迭代次数的增加，检测与分割精度并未提高反而有所下降，因此将训练迭代次数设为200。

本文方法与GANomaly[14]，DifferNet，SPADE[21]，STPM[24]和PaDiM[23]方法在异常检测方面进行了对比，结果见表4。在丽盛制板数据集上，本文方法的平均AUROC达到了0.996，为所有方法的最高精度，在10种缺陷类型中，有9种AUROC达到了1，由于短痕类数据中缺陷弱小且表现形式更丰富，学习难度较大，其检测精度略低于DifferNet，SPADE，STPM和PaDiM方法。在KolektorSDD数据集上，本文方法的平均AUROC达到了0.871，高于其他对比方法。在AITEX数据集上，本文方法的AUROC达到了0.985，比其他方法提高了至少8.2%。与其他对比方法相比，本文方法在3个表面缺陷数据集上均取得了最优结果，对表面缺陷数据进行异常检测可以精确地对图像做分类。

表4 异常检测结果

注：加粗项表示在该组的最优AUROC

此外，在丽盛制板数据集上，用10张正常样本训练得到的模型仅在短痕类缺陷上的AUROC下降到0.785，而其他9种类型缺陷的AUROC仍然为1，平均AUROC达到0.979。在KolektorSDD，AITEX的小样本实验中，分类精度AUROC分别达到0.817和0.790。结果表明，本文方法对小样本数据能保持较高的异常分类精度，适用于小样本异常检测。

4.3 缺陷分割

基础网络DifferNet只对缺陷进行粗略定位，其定位结果比较模糊，且缺乏对缺陷区域的分割，如图5第3列所示，因此本文与最近提出的异常检测分割方法SPADE，STPM和PaDiM在丽盛制板，KolektorSDD和AITEX 3个数据集上进行分割实验。分割结果如图5所示，对黑块、黑线等面积较大或形状清晰的显著缺陷，本文方法的分割结果更接近真实缺陷区域，对黑团、圆斑等面积较小的非显著缺陷，也能对其进行精确分割。对各方法的分割结果使用E-measure评估，见表5。在丽盛制板数据集上的平均分割精度达到0.701 3，高于其他方法，10种缺陷中，在黑团、黑线、短痕、黑点、破损和凹坑这6种缺陷上的分割精度达到了最优。在KolektorSDD数据集上的E-measure值达到0.583 6，相比其他方法至少提高了9.3%。在AITEX数据集上的E-measure值达到0.478 7，相比其他方法至少提高了42.9%，远优于其他方法。实验结果表明，在保证图像高精度分类的基础上，本文方法分割缺陷区域更精确。

为验证在小样本数据集上的分割效果，仅使用包含10张正常样本的小数据集进行训练，训练得到的模型在丽盛制板，KolektorSDD和AITEX3个数据集的分割精度分别达到0.681 1，0.583 4和0.440 5，均优于使用非小样本训练集训练的其他方法。实验证明本文方法在小样本表面缺陷数据集上也能得到良好的分割结果。

4.4 对比及消融实验

本文使用在ImageNet数据集上预训练过的AlexNet网络作为特征提取器，为验证特征提取器的有效性，比较了同样在ImageNet数据集上预训练过的VGG16[26]和ResNet50[27]网络，在3个表面缺陷数据集上的异常检测和缺陷分割的评估结果见表6。

从实验结果看，在缺陷分类问题上，AlexNet特征提取器在AITEX，KolektorSDD和丽盛制板3个表面缺陷数据集上的分类精度分别达到了0.985，0.871和0.996，均优于VGG16和ResNet50。对缺陷分割问题，AlexNet 在AITEX和丽盛制板数据集上的分割精度优于VGG16和ResNet50，分别达到了0.478 7和0.701 3，仅在KoloktorSDD数据集上的分割精度低于VGG16，其分割精度为0.583 6。综合来看，选择AlexNet作为特征提取器。

根据2.3节提出的方法对缺陷进行粗定位时，不同尺度特征的融合对最终的分割结果有不同的影响，因此，表7中详细比较了在丽盛制板数据集上，不同尺度融合情况的分割精度。由表1可知，AlexNet特征提取网络经不同卷积层和最大池化层提取的特征图分辨率分别为55×55，27×27，13×13和6×6，消融实验在这4个不同分辨率的特征图上进行。

图5 缺陷定位及分割结果

表5 缺陷分割结果

注：加粗项表示该组的最优E-measure

表6 特征提取器对比实验结果

注：加粗项为最优结果

从实验1～4可以观察到，只使用单特征图对齐，随着分辨率减小，分割的效果越来越差，因此，应尽可能保留55×55分辨率的特征图。实验1和5对比，证明多尺度融合可以提高分割精度。实验5～15则表示不同尺度特征融合的分割评估结果，当融合4个尺度的特征图时，分割掩码的评估结果是最优的，E-measure值为0.701 3。

在融合4个尺度大小的特征图的基础上，对AITEX和丽盛制板2个表面缺陷数据集的初定位结果是否进行最大信息熵分割或分水岭分割优化进行了消融实验，缺陷分割结果图和分割精度统计分别如图6和表8所示。

表7 多尺度消融实验结果

注：加粗数据为最优结果

图6 分割优化消融实验结果((a)原图；(b)真值图；(c)特征对齐；(d)特征对齐+最大信息熵；(e)特征对齐+分水岭算法；(f)特征对齐+最大信息熵+分水岭算法)

表8 分割优化消融实验结果

注：加粗数据为最优结果

从4组实验可以看到，采用基于梯度图和最大信息熵的分水岭分割算法在AITEX和丽盛制板2个数据集上均达到最优结果，E-measure值分别为0.478 7和0.701 3。

5 结 论

本文主要针对使用异常检测方法对表面缺陷图像进行缺陷分割不精确的问题，提出了一种无监督异常分割方法，采用多尺度特征融合并对齐进行初步定位，再基于梯度和最大信息熵的分水岭分割算法对初步定位结果进行优化。本文方法在丽盛制板，KoloktorSDD和AITEX 3个表面缺陷数据集上的异常分类精度均达到了当前最优水平，且比现有异常分割最好的方法在分割缺陷区域时对缺陷细节的描绘更好，在结合图像级统计信息和像素级匹配信息的二值前景分割评估指标E-measure上均优于其他同类方法。除此之外，本文方法在小样本数据集上也取得了良好的缺陷分类与分割结果。本文提出的缺陷分割方法在背景纹理相似或有规律的表面缺陷数据上表现良好，在背景杂乱或无规律的表面缺陷数据图像上进行异常检测与分割将是接下来的研究重点。

[1] BALDI P. Autoencoders, unsupervised learning, and deep architectures[C]//2011 International Conference on Unsupervised and Transfer Learning Workshop. New York: ACM Press, 2012: 37-50.

[2] AN J, CHO S. Variational autoencoder based anomaly detection using reconstruction probability[EB/OL]. [2021-07-28]. http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf.

[3] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.

[4] RUDOLPH M, WANDT B, ROSENHAHN B. Same same but DifferNet: semi-supervised defect detection with normalizing flows[C]//2021 IEEE Winter Conference on Applications of Computer Vision. New York: IEEE Press, 2021: 1906-1915.

[5] KOBYZEV I, PRINCE S J D, BRUBAKER M A. Normalizing flows: an introduction and review of current methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(11): 3964-3979.

[6] FAN D P, GONG C, CAO Y, et al. Enhanced-alignment measure for binary foreground map evaluation[EB/OL]. [2021-06-10]. https://arxiv.org/abs/1805.10421.

[7] TABERNIK D, ŠELA S, SKVARČ J, et al. Segmentation- based deep-learning approach for surface-defect detection[J]. Journal of Intelligent Manufacturing, 2020, 31(3): 759-776.

[8] SILVESTRE-BLANES J, ALBERO-ALBERO T, MIRALLES I, et al. A public fabric database for defect detection methods and results[J]. Autex Research Journal, 2019, 19(4): 363-374.

[9] 李攀峰, 党建武, 王阳萍. 基于多光谱混合梯度的遥感影像分水岭分割方法[J]. 兰州交通大学学报, 2019, 38(5): 47-54.

LI P F, DANG J W, WANG Y P. Watershed segmentation of remote sensing image based on multispectral hybrid gradient[J]. Journal of Lanzhou Jiaotong University, 2019, 38(5): 47-54 (in Chinese).

[10] HOANG K, WEN W, NACHIMUTHU A, et al. Achieving automation in leather surface inspection[J]. Computers in Industry, 1997, 34(1): 43-54.

[11] LEE S H, KOO H I, CHO N I. New automatic defect classification algorithm based on a classification-after- segmentation framework[J]. Journal of Electronic Imaging, 2010, 19: 020502.

[12] TAO X, ZHANG D P, MA W Z, et al. Automatic metallic surface defect detection and recognition with convolutional neural networks[J]. Applied Sciences, 2018, 8(9): 1575.

[13] WANG T, CHEN Y, QIAO M N, et al. A fast and robust convolutional neural network-based defect detection model in product quality control[J]. The International Journal of Advanced Manufacturing Technology, 2018, 94(9-12): 3465-3471.

[14] AKCAY S, ATAPOUR-ABARGHOUEI A, BRECKON T P. GANomaly: semi-supervised anomaly detection via adversarial training[EB/OL]. [2021-05-10]. https://arxiv.org/abs/1805.06725.

[15] ROGERS T W, JACCARD N, MORTON E J, et al. Automated X-ray image analysis for cargo security: critical review and future promise[J]. Journal of X-Ray Science and Technology, 2017, 25(1): 33-56.

[16] LECUN Y, CORTES C, BURGES C C.THE MNIST DATABASE of handwritten digits [EB/OL]. [2021-06-19]. http://yann.lecun.com/exdb/mnist/.

[17] SABOKROU M, KHALOOEI M, FATHY M, et al. Adversarially learned one-class classifier for novelty detection[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 3379-3388.

[18] GONG D, LIU L Q, LE V, et al. Memorizing normality to detect anomaly: memory-augmented deep autoencoder for unsupervised anomaly detection[C]//2019 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2019: 1705-1714.

[19] BERGMANN P, FAUSER M, SATTLEGGER D, et al. Uninformed students: student-teacher anomaly detection with discriminative latent embeddings[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 4182-4191.

[20] BERGMANN P, FAUSER M, SATTLEGGER D, et al. MVTec AD—A comprehensive real-world dataset for unsupervised anomaly detection[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2019: 9584-9592.

[21] COHEN N, HOSHEN Y. Sub-image anomaly detection with deep pyramid correspondences[EB/OL]. [2021-07-11]. https:// arxiv.org/abs/2005.02357.

[22] YI J H, YOON S. Patch SVDD: Patch-level SVDD for anomaly detection and segmentation[EB/OL]. [2021-05-26]. https://arxiv.org/abs/2006.16067v2.

[23] DEFARD T, SETKOV A, LOESCH A, et al. PaDiM: a patch distribution modeling framework for anomaly detection and localization[EB/OL]. [2021-08-01]. https://arxiv.org/abs/2011. 08785.

[24] WANG G D, HAN S M, DING E R, et al. Student-teacher feature pyramid matching for unsupervised anomaly detection[EB/OL]. [2021-04-19]. https://arxiv.org/abs/2103.04257.

[25] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[26] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2021-08-07]. https://arxiv.org/abs/1409.1556.

[27] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 770-778.

Product surface defect detection and segmentation based on anomaly detection

WANG Su-qin1, REN Qi1, SHI Min1, ZHU Deng-ming2,3

(1. School of Control and Computer Engineering, North China Electric Power University, Beijing 102206, China; 2. Prospective Research Laboratory, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China; 3. Taicang Institute of Information Technology, Taicang Jiangsu 215400, China)

In industrial manufacturing, it is difficult to obtain defective samples and the defects are in diverse forms. Anomaly detection, which only trains positive samples, is being increasingly applied to defect detection on product surfaces. Anomaly detection generally determines whether the product has defects by evaluating the anomaly score of the product image, while unable to describe the locations of the defects. The latest anomaly segmentation method has been improved, but the segmentation of the defective area is not accurate enough.Based on the anomaly detection method, normalization flow was employed to judge whether the product surface was defective, and multi-scale feature fusion and alignment were adopted to initially locate the defects. Combined with the gradient and maximum information entropy, the watershed algorithm was used to optimize the initial positioning results to obtain the defect segmentation mask. The detection and segmentation results on the three surface defect datasets of Lisheng Board, KolektorSDD, and AITEX are superior to other similar methods. In addition, good detection and segmentation accuracy can also be achieved on few-shots.

anomaly detection; defect segmentation; multi-scale feature fusion; feature alignment; watershed algorithm

TP 391

10.11996/JG.j.2095-302X.2022030377

A

2095-302X(2022)03-0377-10

2021-11-29；

2022-01-20

29 November，2021；

20 January，2022

国家自然科学基金项目(61972379)

National Natural Science Foundation of China (61972379)

王素琴(1970–)，女，副教授，硕士。主要研究方向为计算机视觉、数据分析与挖掘。E-mail：wsq@ncepu.edu.cn

WANG Su-qin (1970-), associate professor, master. Her main research interests cover computer vision, data analysis and mining. E-mail：wsq@ncepu.edu.cn

朱登明(1973–)，男，副研究员，博士。主要研究方向为虚拟现实、计算机图形学。E-mail：mdzhu@ict.ac.cn

ZHU Deng-ming (1973-), associate researcher, Ph.D. His main research interests cover virtual reality, computer graphics. E-mail：mdzhu@ict.ac.cn