基于残差网络和迁移学习的瓶坯表面质量检测研究*

2021-07-30段春梅张涛川李大成

机械工程与自动化 2021年2期

段春梅，张涛川，李大成，陈肖

(佛山职业技术学院，广东佛山 528137)

0 引言

近年来，深度学习技术成为缺陷检测比较流行的技术之一，可通过神经网络学习产品特征，提高缺陷分类识别的准确率，结合机器视觉技术实现缺陷检测的自动化。汤凯[1]等人利用改进的残差网络实现图像的识别，在公开的CIFAR10数据集识别的准确率提高了6%。常川[2]将基于ResNet深度的图像分类方法引入到人类蛋白质图谱图像分类中，证明自动分类法具有更高的准确率和精度。吴宇豪等[3]将改进的残差网络应用于面部表情的识别，通过实验证明其准确率和高效性。王恒等[4]以残差网络为基础网络，利用迁移学习实现乳腺癌图像自动分类，通过实验证明其可行性。许玉格等[5]通过基于通道叠加的ResNet50的网络模型对布匹瑕疵进行特征提取，提高了布匹瑕疵检测的准确率。很多学者利用深度学习技术对不同产品进行缺陷检测研究，本文以瓶坯为研究对象，结合机器视觉技术和深度学习技术对瓶坯表面缺陷进行自动检测。

1 瓶坯图像样本采集系统及数据增强

为了对采集的瓶坯图像进行缺陷分类识别，本文设计了瓶坯图像采集系统。瓶坯图像采集系统包括工业相机、平面光源和运动控制系统,其结构如图1所示。可根据需求通过位置调节机构调整工业相机位置，平面光源安置在工业相机的相对位置上，放置瓶坯的旋转台安装在工业相机和平面光源之间，通过控制系统控制旋转平台，每次旋转120°，保证获取每个瓶坯的三张图片。

图1 瓶坯图像采集系统

目前没有开放的瓶坯样本数据集，项目团队与企业合作，由企业提供包含黑点、气泡、划痕和无缺陷的4类瓶坯样品，通过上述的图像采集系统采集样本图片，并采用翻转、旋转等变换方法对样本进行数据增强，提高样本数量。

2 残差网络

残差网络是由一组残差块子网络(ResNet)组成,残差块结构如图2所示。残差网络就是由这些残差块堆叠成一个更深的网络[6]。

图2 残差块结构

残差块分为直接映射和残差映射两部分，残差映射部分一般由两个或者三个卷积操作构成[7]；直接映射部分是把残差网络的上一层网络输出直接传输给下一层网络，没有增加额外的参数，同时在反向传播过程中也是将梯度直接传递给上一层网络，其表达式如下：

xi+1=f(h(xi)+F(xi,Wi)).

(1)

其中：xi为输入；Wi为卷积操作；f为激活函数；h(xi)为直接映射部分；F(xi,Wi)为残差映射部分。

本研究采用的是ResNet18和ResNet50网络，其网络结构参数如表1所示[8]。

表1 ResNet18和ResNet50网络结构

3 迁移学习模型

本文基于残差网络设计了一种迁移学习模型，如图3所示。迁移学习的基本目的是把已训练好的模型参数作为新模型参数的初始化值，帮助新模型在目标数据集上训练。

图3 迁移深度学习模型

瓶坯样本图像的大小为512×512(像素)的RGB图像，其中ResNet18总共有18层，包含17个卷积层；ResNet50总共有50层，包含49个卷积层。对输入图像进行特征提取，最后使用平均池化、全连接层和softmax实现4类的瓶坯缺陷分类。

4 实验分析

本文将通过数据采集系统采集的瓶坯样本图片进行了数据增强及分类，总共有4 852张样本图像，将获得的瓶坯样本图像的数据集分成训练集、验证集和测试集三部分。本文采用了基于ResNet残差网络的迁移深度学习对瓶坯进行缺陷分类，输入图像都有相对应的“类别标签”，其中类别标签总共有4种分类，分别为黑点、气泡、划痕和无缺陷。在网络训练过程中，随机抽取5次样本进行训练，并利用最优的训练模型对测试数据进行测试实验，得到的检测结果如表2所示。对于实验结果分析，使用了准确度评估指标。