基于双通道卷积神经网络的缺陷检测

张 翠，杨志清，周茂杰

（1.桂林理工大学 博文管理学院，广西 桂林 541006；2.桂林理工大学，广西 桂林 541004）

0 引言

注射生产过程复杂，影响塑料产品的质量因素较多，生产过程中任何环节出现问题都有可能造成成型产品出现缺陷，因此针对如何检测塑料产品的质量，查找生产过程中出现的问题，提出了针对性的机器检修和参数调整方案。传统的注射行业采用人工检测产品的缺陷，由于人眼的识别能力有限，一些细节问题难以识别，导致缺陷检测的精度不高。随着人工智能的发展，计算机视觉的应用领域也不断扩展，在模具生产、精密仪器加工、自动驾驶、医学病理识别等领域都发挥了重要作用。近年来，深度学习的应用推动了计算机视觉的发展，通过对产品的外观检测发现其缺陷，推导生产工艺所存在的问题。

现利用机器学习的方法分析塑料产品的图像，找出存在的缺陷并进行分类。采用压缩与激励网络SENet与残差网络ResNet相结合，构建产品缺陷检测系统模型，利用产品的图像进行学习，得到缺陷检测图像识别模型参数，对塑料产品中的气泡、烧焦、开裂、变形、收缩等5种缺陷进行检测[1]，通过检测产品的准确率和召回率指标衡量模型缺陷检测的有效性。

1 相关研究

产品的缺陷检测是指根据检测样品表面出现的斑点、痕迹、色差、形状等特征判断其是否存在缺陷。在模具零件加工、塑料产品与精密仪器铸件生产中广泛使用的方法是根据产品的表面特征判断其存在的工艺问题。传统的检测是从人工识别方式发展而来，用人工方式检测产品需要花费大量的人工成本，且存在标准不统一、识别能力有限、检测的准确率不高等问题。现代工业中普遍采用超声检测法、X射线检测法进行产品缺陷检测[2]。

近年来，随着计算机的计算能力、图像处理能力的不断增强，机器学习算法改进提升，使计算机视觉方法应用于工业生产中成为可能。深度学习技术在工业、农业的应用中取得了较大进展，在目标检测、智能机器人、智能车、农业病虫害识别中获得了一定的研究成果。深度学习的方法是提取底层特征，经过多个层次的参数学习、特征组合，合成了新的高层语义特征，这些特征在进行图像识别中更具代表性。由于深度学习具有更强的学习能力和特征表达能力，被应用于工业产品的缺陷检测中，识别产品中的不合格品，达到提高产品质量的目的[3-5]。

基于深度学习的产品缺陷检测常用神经网络进行设计，包括卷积神经网络（CNN）、循环神经网络（RNN）以及这些神经网络改进版本和组合形式。为了解决图像识别特征的问题，采用多个卷积核提取特征，并采用多层CNN和端到端的学习方法对产品缺陷进行预测。为了识别多种产品缺陷，区别缺陷的不同之处，采用CNN与CRF（条件随机场）相结合进行网络训练，完成产品的缺陷检测[6]。为了获得图像的全局特征，采用循环神经网络（RNN）取代卷积神经网络（CNN），不需要对特征值进行池化操作，减小了特征损失。随着网络层数的增加，在提升训练效果的同时，也产生了梯度消失和梯度爆炸的问题，残差网络（ResNet）结构在普通的神经网络的输入和输出层中加入了残差因子，提升了训练的效果[7]。图像的特征丰富，如何选择最具代表性的特征是神经网络要解决的一个重要问题，所以在神经网络中加入了注意力机制，SENet采用挤压和激励相结合的方法，学习以通道为单位的权重信息，并与原图像结合计算，实现了注意力的计算。

塑料产品广泛存在人们的生活中，其制作工艺复杂，产品在成型过程中出现多种问题，塑料产品的缺陷检测是工业产品检测的一种，现有机器学习方法中需要大量的标注样本库，但是市场上缺少通用的塑料产品缺陷图像库，为了解决训练样本不足的问题，迁移学习的方法用于塑料产品的缺陷识别工作中，取得了较好的识别效果。基于计算机视觉的检测方法包括图像采集和缺陷检测2个步骤。在图像采集过程中，因为采集设备不同和采集环境的差异，会造成图像质量的不同，通过图像识别产品中存在的差异需要大量的预处理工序，以保证缺陷识别的准确率。

机器学习方法中，CNN网络在目标检测和语义分割中起到了重要作用。CNN网络可以提取图像的局部特征进行特征组合，然后进行图像的识别。在现有的CNN网络中有大量的改良模型，例如：VGG、Resnet、Inception、DenseNet等模型在工业制造中得到了广泛应用，并取得较好的效果[8,9]。将机器学习方法应用于塑料产品的缺陷检测工作中，既可以提高工业生产的自动化程度，又可以提升检测的准确率，为工业生产服务，提高了生产效率[10-13]。现将SENet与ResNet相结合，利用各自的优势，有效提取图像特征，改进训练效果，应用于塑料产品的缺陷检测，提升产品检测的准确率。

2 模型设计

采用双通道卷积神经网络进行系统设计，模型设计如图1所示。首先从工业生产现场获得塑料产品的图像，因为工业生产环境复杂，每次拍摄的图像都存在一定的差异，需要对这些图像进行亮度、对比度、放大缩小等处理，得到维度为254×254×3的标准图像进行卷积计算。利用标准图像分别作为2个卷积通道的输入，分别进行卷积计算后，进行融合计算（Concatenate），再通过2个全连接层（FC）得到用于分类的特征值，利用Softmax函数进行缺陷分类。

图1 系统模型设计

系统模型重点是将SENet和ResNet相结合，2个卷积通道分别进行学习，提取底层特征，并进行组合，得到高级语义特征，最后用于图像的分类中。

2.1 ResNet

残差网络是为了解决神经网络中不断增长层数导致的计算复杂度增加、梯度爆炸和梯度消失问题，在CNN网络的输入和输出层之间加入残差计算方法，残差网络结构如图2所示。

图2 残差网络结构

传统的神经网络一般是将上一层的输出当作下一层的输入，完成网络层次的叠加，残差网络中在2个层次之间加入了残差单元。图2中在l层与l+1层之间有2条通道，分别用于建立X本身的映射关系和残差学习的关系，在有参数学习的通道中用于学习两层之间的残差映射关系。用F(X,Wi)表示残差映射，经过2个通道的映射后相加得到Y=F(X,Wi)+X。

2.2 SENet

SENet网络结构是将图像分类的top1错误率降低到2.5%，说明SENet网络结构可以有效提高图像识别的准确率。SE模块主要包括挤压、激励、重新标注3个层次，首先需要对利用卷积计算得到的特征图进行Squeeze操作，得到各个通道的全局特征，然后对全局特征进行Extraction操作，得到各通道间的关系和权值，最后利用通道权重与原图相乘，得到了特征图的最终特征分布，如图3所示。

图3 SENet网络结构

Squeeze操作采用global average pooling将一个通道上的所有信息行平均，得到通道上的全局特征，解决了CNN网络中的感受野较小问题，计算方法采用公式（1）。

其中，uc(i,j)表示图像中的一个像素，W和H分别表示图像的宽度和高度，Squeeze操作对所有像素值求和后取平均值。

Excitation操作需要各通道中信息的关系，如公式（2）所示，采用2个全连接的bottleneck结构，其中，r参考inception网络中为系数，为一个超参数，σ和δ为2个激活函数，经过计算，可以提取由公式（2）压缩后的图像特征。

最后利用学习得到的权重参数与原卷积网络计算的各通道特征相乘，计算得到SENet的输出，如公式（3）所示。

其中，uc表示公式计算的每个通道的特征图像，sc表示通道的权值，相乘后得到融合后的图像信息。

将SENet模块和ResNet残差模块结合，在图像上同时捕获全局和局部信息，避免了信息丢失。

3 试验分析与结果

3.1 试验样本

因为没有现成的样本库，从塑料企业获得了10 000张成型塑料的图像，用于验证模型的有效性，其中有缺陷的图像7 203张，合格产品（无缺陷）图像2 797张。将所有的图像打乱后，取80%为训练样本，20%为测试样本进行试验，缺陷图像情况如表1所示。

表1 缺陷图像情况

3.2 试验环境设置

硬件条件为Intel Core i7处理器，20G内存，NVIDIA GTX1080Ti 2G显存，采用Tensorflow框架实现该模型的构建，利用Python编程进行算法设计和分析，采用GPU进行训练和测试。

3.3 试验结果分析

为了验证设计和模型的有效性，分成了2组试验，第1组是全局训练及测试试验，采用通用的准确率（Precision）、召回率（Recall）和F1值3个指标对模型算法性能进行评价，针对某一实体关系类型的抽取结果，具体评价公式为：

采用工业生产中图像进行试验，试验结果如表2所示，通过将ResNet与SENet组合的网络结构在准确率和召回率上都比单独用一种网络结构的准确率分别提高4.8%和1.4%，召回率分别提高0.5%和1.3%，说明所采用的模型可行。但是采用工业图像进行试验的效果无法达到采用图像库中的图像进行试验的精度，主要是工业生产中的图像采集标准和图像特征不明显造成的。

表2 试验结果

第2组是分类试验比较，将不同种类的数据分别与正常产品数据放在一起进行测试，比较算法在不同类型的缺陷检测中发挥的作用，试验结果如表3所示。经过比较开裂缺陷和气泡缺陷识别效果较高，分别达到89.3%和87%，变形和收缩两类缺陷的检测效果最差，识别率大约为70%。

表3 分类试验结果

4 结束语

主要研究基于机器学习的塑料产品缺陷检测方法，利用工业生产中的图像经过预处理后，输入机器学习模型中，得到模型的参数，然后利用模型进行图像分类，识别图像中具有缺陷的部分和缺陷的种类。通过将ResNet与SENet网络相结合，解决网络中的特征通道注意力和梯度爆炸、梯度消失问题，在图像识别中取得较好的效果。通过2种试验证明，模型可以有效提高分类的精度，但是不同的缺陷识别表现不一，由于工业生产环境复杂，需要更多的预处理过程，以达到更佳的识别效果。