基于压缩激励模块的工业产品缺陷分类算法*

刘瑞珍，王冠程，郭 彪

(1.太原科技大学 电子信息工程学院，山西 太原 030024；2.太原科技大学华科学院，山西 太原 030020)

0 引言

在工业生产中,由于现有技术、制造工业、复杂生产环境等因素的影响,极易在产品表面形成裂缝、污渍、气泡状间隙、划痕、夹杂物等各种各样的缺陷,这些缺陷不仅会影响到产品的美观,严重的甚至会对产品的寿命和安全造成影响,因此,为了确保生产线产品的质量,对产品表面缺陷进行检测是很有必要的。

传统的产品表面缺陷检测的方法是通过人工目视来完成,该方法检测精度和检测速度易受检测人员主观因素和经验的影响[1]。目前,基于机器视觉的缺陷检测技术已逐渐替代原始的人工目视,并被广泛应用于工业生产中,帮助企业减少了人工劳动力,提高了工业产品缺陷检测的效率和质量[2]。基于机器视觉的缺陷检测技术核心在于对被检物图像中缺陷特征的提取,在图像特征的提取过程中,针对不同的产品缺陷,需要依靠人工重新定义和设计缺陷的特征表示。在工业环境中,产品表面缺陷的种类是多种多样的,这就为缺陷的特征提取过程增加了难度,因此基于机器视觉的缺陷检测技术对于图像特征表示方面存在一定的局限性,其缺陷分类的准确率难以满足实际的工作需求。

深度卷积神经网络是机器学习的一个新兴研究领域,克服了手动重新定义每个新缺陷特征表示的困难,显著提高了图像分类、目标检测和其他视觉任务等应用中的检测性能。该方法能够自主地学习并提取缺陷的特征表示,缺陷种类繁多时,不需要手工进行缺陷特征的设计,能够得到更普遍的应用[3]。

本文主要利用深度学习的方法对工业产品表面缺陷进行分类,同时考虑到生产流水线上对工业产品表面缺陷进行实时检测的必要性,在原有工作的基础上,增加了压缩和激励机制,提出了基于压缩激励模块的工业产品缺陷实时分类算法,在确保缺陷分类模型占用内存尽可能小的前提下,缺陷分类的正确率和分类时间仍能满足工业实时性需求。

1 基于压缩激励模块的工业产品缺陷实时分类算法

1.1 并行压缩激励模块与并行非对称压缩激励模块

文献[4]提出的SENet(squeeze-and-Excitation Networks,压缩与激励网络)主要通过对通道关系进行建模来提升网络的性能,也就是通过学习的方式自动地获取每个通道的重要程度,然后依照这个重要程度提升有用的特征,同时抑制对当前任务意义不大的特征。文献[4]提出的压缩激励模块的灵活性就在于它可以直接应用到现有的网络结构中,本文将压缩激励模块嵌入到以前工作中提出的并行模块和并行非对称卷积模块中,分别形成并行压缩激励模块和并行非对称压缩激励模块,如图1所示。图1中,X为并行模块的输入,X′为最后的输出,F1和C分别为并行模块输出的特征图宽度和个数。

图1 并行压缩激励模块和并行非对称压缩激励模块

并行压缩激励模块首先是对并行模块输出的特征图进行压缩操作,即用全局均值池化层对输出的特征图在空间维度进行特征压缩,将C个通道上的特征图都变为一个实数,表征着在特征通道上响应的全局分布。紧接着是激励操作,即两个全连接层组成一个瓶颈层去建模通道间的相关性,激活函数依次选为ReLU激活和Sigmoid激活。第一个全连接层把C个通道压缩成了C/16个通道来降低计算量并充分捕捉通道之间的关系,第二个全连接层再恢复成C个通道。文献[4]中尝试了取不同压缩比例时的性能,最后得出当压缩比例为16时整体性能和计算量会达到相对均衡,因此,本文也选用压缩比例为16进行实验。通过Sigmoid激活之后获得0～1之间归一化的权重,最后通过一个Scale操作将归一化后的权重加权到并行模块每个通道的特征图(F1×F1)上,即对特征图进行缩放。这样做的目的是想通过权重的大小把不重要的特征减弱,重要的特征加强,从而让提取特征的指向性更强,能够提取到更加丰富的缺陷特征。

并行非对称压缩激励模块其原理和实现步骤同并行压缩激励模块。

1.2 工业产品缺陷分类网络设计

本文提出的工业产品缺陷分类网络是基于并行压缩激励模块和并行非对称压缩激励模块设计的,其结构如图2所示。该网络主要由一个标准的3×3卷积层(卷积层1)、5个并行压缩激励模块和1个并行非对称压缩激励模块组成。在并行压缩激励模块2、3、4和并行非对称压缩激励模块之后分别使用最大池化层来减少特征映射的维数和参数。Lin等[5]的工作中用全局均值池化层代替全连接层,以减少网络的参数量,同时克服了全连接层容易过拟合的缺点,提高了整个网络的泛化能力。本文利用全局均值池化层的上述优点,在并行压缩激励模块5之后使用一个全局均值池化层来增强特征映射与类别之间的对应关系,使卷积结构保留得更好、分类更准确;此外,全局均值池化层与全连接层相比,无任何参数需要优化,大大地减少了网络的参数量及计算量。最后,网络经过Softmax层对输入的工业图像进行分类,得到分类结果。

图2 工业产品缺陷分类网络结构

2 实验结果及分析

2.1 数据集介绍

本文选用的工业产品图像是从某电子二厂获得的偏光片图像。该数据集分为无缺陷图像、污渍图像和标记图像三类。该数据集共有5 000张(200×200)像素的偏光片灰度图像,其中无缺陷图像1 000张,污渍图像和标记图像各2 000张,部分偏光片图像如图3所示。实验中将这5 000张图像随机地按3∶1∶1的比例分配为训练集、校验集和测试集。本文实验过程中需要检测偏光片图像中是否存在污渍和标记缺陷,并能将其与无缺陷图像正确地分类。

图3 部分偏光片图像

污渍图像即生产过程中偏光片表面有污渍的样品,它们需要被正确分类出来,并将污渍清洗干净后可再次投入使用;标记图像即生产过程中用特定的编码装置喷涂的有特殊记号的样品,这类缺陷样品被正确分类出来后将不能再次进行使用。从图3中可以看出,偏光片表面缺陷的位置不固定,形状多种多样。

2.2 实验结果

本实验环境为Linux Ubuntu 14.04操作系统,8 GB内存,NVIDIA GeForce 1080显卡,并用Caffe深度学习框架进行训练。训练过程和校验过程中将每批进入网络训练的图像个数分别设置为20和10。动量因子、权重更新量和初始学习率分别设置为0.9、0.000 2和0.001,网络采用随机梯度下降方法进行训练,最大迭代次数设置为140 000次。

为了验证本文方法的有效性,将本文方法的实验结果与文献[6]的基于并行深度可分离卷积模块与并行非对称卷积模块的偏光片缺陷检测方法的实验结果进行了对比,如表1所示。从表1可以看出,本文方法的分类正确率比文献[6]方法提高了0.2%,模型大小、参数量与乘-加操作(multiply-accumulate operations,MACCs)无明显的增加。因此,本文方法可以在不大量增加参数量和MACCs的基础上显著提高模型的分类正确率,满足行业对缺陷产品在线实时检测的需求。

表1 两种方法在校验集上的实验结果

使用测试集来验证本文方法的有效性及泛化能力,测试集中共有无缺陷图像200张,污渍图像和标记图像各400张,此测试集既没有参与网络的训练过程,也没有参与网络的校验过程,测试结果如表2所示。从表2可以看出,本文方法比文献[6]方法能够获得更低的分类错误率,充分验证了本文方法的有效性,虽然测试过程中单张图像的分类时间比文献[6]方法增加了1 ms,但是仍满足工业需求。

表2 两种方法在测试集上的实验结果

3 总结

本文在以前工作的基础上,提出了基于压缩激励模块的工业产品缺陷分类算法。主要是在原有的并行模块和并行非对称卷积模块的基础上增加了压缩和激励机制,通过显式的建模特征通道之间的相互依赖关系来提升网络的表征能力。压缩激励模块的使用也能通过权重的大小把不重要的特征减弱,重要的特征加强,让提取特征的指向性更强,使网络能够提取到更加丰富的缺陷特征,从而提高缺陷分类的正确率。实验结果表明,本文方法在偏光片图像数据集上缺陷分类正确率高于文献[6]方法,其模型占用内存大小和单张图片的测试时间仍满足工业实时性需求。未来的工作中,可以通过改进网络的方法使得分类正确率、模型占用空间大小及分类时间达到一个均衡。