GAN的轮胎X光异常监测技术研究

王宁宇，张景异

(沈阳理工大学 自动化与电气工程学院，沈阳 110159)

在日常生活中，汽车已经成为非常重要的交通工具。轮胎是汽车上非常重要的部件，轮胎的质量问题与交通安全息息相关。监督学习通过标注大量异常数据集训练模型，从而判断轮胎属于异常类或正常类。在实际工业生产中，异常轮胎的图像通常不易获取，而正常轮胎的图像获取十分方便，造成严重的类间不平衡问题。异常监测任务是指给定包含大量正常图像的训练集及含有少量异常图像的测试集，训练异常监测模型并进行参数优化。训练正常图像时，模型学习正常图像的分布，在测试时输出异常分数并设置阈值，将大于阈值的图像识别为异常图像[1]。近年来随着计算机科学的不断发展，使用神经网络代替人力对轮胎进行异常监测已经获得了很好的发展趋势。Goodfellow I J等[2]提出了生成对抗网络；在此基础衍生出不同的生成对抗网络(Generative Adversarial Networks，GAN)结构，如使用卷积神经网络代替多层感知机的深度卷积生成对抗网络(Deep Convolutional GAN，DCGAN)[3]；添加条件信息实现的条件生成对抗网络(Conditional GAN，CGAN)[4]；共享生成器并构成环形的循环生成对抗网络CycleGAN[5]；调节损失函数使训练更加稳定的瓦瑟斯坦生成对抗网络(Wasserstein GAN，WGAN)[6]等。目前的GANomaly模型在轮胎子口区域各类异常(如杂质、气泡、间隙过大)进行监测时，效果有所不同且总体性能不佳，距离实际使用仍有不小的差距。因此需要对网络结构进行调整，将正常图像与异常图像更好地区分开。

本文拟通过改进GANomaly的归一化层使网络专注于图像的异常信息；重新定义异常分数，增加正常图像与异常图像的差距；并通过对比实验论证改进之处的可行性。

1 GANomaly模型分析

GANomaly的总体框架如图1所示。

图1 GANomaly总体框架图

2 网络结构调整与改进

2.1 改进归一化层

在GANomaly网络处理轮胎X光正常图像时，由于图像数量巨大，单张处理图片工作量较大，且不易发现正常图片所具有的特征，为此需要将图像进行批次处理，在加速处理大量图像的同时，也能表达正常图片所含有的信息。为此原网络中引入批归一化(Batch Normalization，BN)[8]的方式处理图像，BN将同一批次中指定通道上的特征图做归一化处理，侧重于表达同一个批次中同一通道上的特征信息，加速整体的训练速度；但BN归一化方式忽略了单个图像特定的细节信息，不能划分正常图像与异常图像的本质区别。

实例归一化(Instance Normalization，IN)[9]方式是在单张图像的每个通道上单独进行归一化操作，主要适用于风格迁移中，对依赖于某个图像的生成图像，整个批次进行归一化不适合图像风格化。因此在风格迁移中使用IN归一化方式不仅能够加速模型的收敛速度，还能保持每个图像间的独立性。为更好地区分正常图像与异常图像在细粒度上的差别，将原网络中所有BN层用IN层进行替代，进而更好地捕获单张图片的特征信息。

2.2 异常分数

(1)

式中score为异常分数。

2.3 网络总体结构

将BN归一层替换为IN归一层后，网络第一阶段总体结构如图2所示。

图2 网络第一阶段总体结构

在第一阶段训练时，只投入正常图像进行训练；在采用IN归一化的网络上对正常图像进行特征提取，捕获正常图像所具有的特征信息，保存最终得到的网络模型。网络第二阶段总体结构如图3所示。

图3 网络第二阶段总体结构

在第二阶段训练时，将正常图像与异常图像同时投入到网络中进行训练，提取正常图像与异常图像的特征信息，特征识别网络分别训练正常特征信息与异常特征信息，并通过softmax进行分类。与GANomaly网络的异常分数不同，此次将特征识别网络的输出作为输入图像的异常分数，按照不同维度分割特征信息，重新定义异常分数。与GANomaly网络不同的是，在改进后的网络中训练时，可将异常图像投入到网络中进行训练；若存在漏判的异常图像，可将漏判的异常图像重新投入到网络中再次训练，降低网络的漏判率，提升异常监测的效果；而原GANomaly只能对正常图像进行训练，不能处理漏判的异常图像，不能充分利用异常图像的特征信息。

2.4 评价标准

由于轮胎X光正常图像与异常图像的数量间存在很大的不平衡性，正常图像的数目远高于异常图像，若只使用简单的分类准确率衡量最终的实验结果，无法衡量模型的好坏。

受试者工作特征(Receiver Operating Characteristic，ROC)曲线常用于度量分类的不平衡性问题，在正常与异常类间数量差异较大时，ROC曲线能够保持不变。对实验结果进行评判时采用曲线下的面积(Area Under Curve，AUC)，即ROC曲线下与坐标轴围成的面积，AUC越接近1，模型效果越好。

3 实验

选取气泡作为异常监测种类，在子口区域进行实验，采用BN归一化方式并设置批次为1024，测试不同数量图像与1024张图像所获得的AUC值，如表1所示。

表1 BN归一化测试实验结果对比

由表1可见，不同数量图像测试与1024张图像同时测试所得的结果不同，随着测试图像张数接近批次，测试效果越来越好。将BN归一化层替换为IN归一化层，设置不同数量，在子口区域测试对比，实验结果如表2所示。

表2 BN和IN实验结果对比

由表2中数据可知，采用IN归一化方式，批次不同而AUC值均为0.81，未发生变动，输入图片的张数对测试结果无影响。

选取10000张正常图像，在改进IN层后的网络上进行训练；选取4000张正常图像和3000张异常图像训练特征提取网络。为保持测试标准的一致性，改进归一化层网络和特征提取网络的测试集使用相同的2000张正常图像及1000张异常图像。重新定义异常分数，对比原网络与改进后网络，结果如图4所示。

图4 结果ROC曲线

由图4可知，改进前的ROC曲线AUC值为0.84；总体改进后的ROC曲线AUC值提升到0.95。实验结果对比可知，改进后的网络模型在轮胎子口区域的异常监测效果得到明显的提升。

分别选取杂质、气泡、间隙过大作为异常监测对象进行实验，网络改进前后测试所得的AUC值如表3所示。

表3 网络改进前后测试的AUC对比

通过表3可知，改进后网络实验所得AUC值获得提升，说明整体性能得到了提升。

在改进后的网络上选取气泡作为异常进行测试，正常图像和异常图像的得分如表4所示。

表4 网络改进后测试所得分数

由表4可知，异常图像的得分明显大于正常图像的得分，正常图像与异常图像的区分度更高，改进网络能更好地划分正常图像与异常图像。

4 结论

结合IN归一化方式的优势，对GANomaly进行改进，通过在轮胎X光图像数据集上进行实验证明：IN归一化方式在对网络捕获特征信息方面性能有所提升；改进后的模型将原来的异常分数重新进行了多维度的分割，更好地区分轮胎X光正常图像与异常图像。