基于深度学习的带钢焊缝杯突试验结果分类

张 勇

（马鞍山钢铁股份有限公司，安徽马鞍山 243000）

前言

随着机器视觉技术的快速发展，可以通过搭建深度神经网络不断进行迭代学习，使机器能够替代人工完成高精度要求的检测任务，提高检测的准确性和安全性。采用轻量化深度学习网络可以对带钢焊缝月牙边杯突试验结果进行分类，采用迁移学习的思路进行训练并使用Grad-CAM 对训练好的模型进行可视化分析［1-3］。

1 算法分析

1.1 Grad-CAM 算法

为了弥补CAM 算法的局限性，Grad-CAM 算法［4］改变了获取特征层对应通道权重的方法，Grad-CAM 算法的核心是将没有经过激活函数的各类别的预测得分通过反向传播的梯度信息来计算特征层对应的权重w1，w2，…，wn。网络首先需要通过正向传播参数获取合格类别的预测值，接着针对求得的预测值进行反向传播得到对应特征层的梯度信息，最后计算梯度信息各通道的均值，其类似于CAM 算法中使用全局平均池化求取的权重，定义如式（1）所示。

式中：c1和c2—分别代表特征层A中特征图的宽和高；

Z—特征图的大小，其值为c1与c2的乘积；

yt—类别为Ture时的未激活预测置信度；

—特征层A中第k张特征图，第i行j列的的值；

—特征层A中第k张特征图的权重，该值为图1中的wt1，wt2，…，wtn。

图1 Grad-CAM 模型示意图

将求得的权重与特征层A进行加权求和后使用ReLU 激活函数对这个合并的特征层进行处理后即可输出激活热力图。

Grad-CAM 模型示意图见图1，定义如式（2）所示。

式中：Ak—特征层A的第k张特征图；

1.2 MobileNet V3

为更好地使用轻量级网络，MobileNet V3［5-6］网络通过改进基础模块提高模型的精度，精简耗时较多但作用不大的结构，提高模型的速度，重新设计非线性的且易于量化的激活函数。

MobileNet V3 网络均为先升维获取高维特征后再对特征图进行降维。具体实现为针对DW 卷积后的特征图，先使用一个均值池化求得所有通道的均值，接着通过一个全连接层和一个标准ReLU 激活函数，将通道数降到输入的1∕4，然后再通过一个全连接层和一个Hard Sigmoid（Hsig）激活函数将通道升到与输入特征图相同并输出对应特征图的权重，最后将该权重与输入的特征图相乘获取特征更明显的数据。

Sigmoid（Ssig）激活函数和Hard Sigmoid（Hsig）激活函数的定义如式（3）所示。其中Ssig激活函数计算困难且求导复杂，Hsig激活函数相较而言更容易量化数据。

Swish（Sswi）激活函数的定义如式（4）所示，对于较深的神经网络而言，使用Sswi激活函数可以在一定程度上提高模型的精度。但由于其是由Sswi激活组成，存在大量的计算，这使得Sswi激活函数不适合使用到轻量型网络之中。为了解决这一问题，使用函数曲线近乎重合但易于计算的Hard Swish（Hswi）激活函数进行替换，其定义如式（5）所示，其中x为输入神经元。

MobileNet V3 网络通过精简头尾部分减少了一定的计算量，头部减少了第一个卷积核的数目。尾部将先升维再池化改为了先池化为1×1的特征图再卷积升维，这一操作能够通过减少连接参数的方式减少计算量。

1.3 抑制过拟合

试验采集了200 份数据样本，在经过数据扩充之后为2 400 份，其中不合格的样本在扩充前仅为25 份，数据集使用轻量型的模型从头部开始训练会过拟合。为了解决这一问题，在使用迁移学习的基础上冻结训练好的特征提取部分参数［7］，仅训练模型最后的分类层，并通过L2 正则化（Weight Decay）和随机失活（Dropout）在一定程度上解决过拟合问题。

2 试验及分析

2.1 试验环境

试验环境服务器的硬件配置分别为8 GB 内存；Intel Core i7-6800K 处理器；NVIDIA GTX1080Ti 图形处理器。软件配置分别为Ubuntu16.04；Python3.7编程语言；PyTorch深度学习框架。

2.2 试验数据集及分析

试验所用的数据集由马钢的冷轧连退生产线收集而来，共收集了200 份经过杯突试验的样本。使用工业相机进行采集后数据集如图2 所示，将杯突裂口跨过焊缝和裂口出现在热影响区域上面的情况划分为合格样本，样本数量为175；将仅出现沿焊缝开裂的划分为不合格样本，数量为25。

图2 焊缝杯突试验采样图

由于使用的数据集合格和不合格样本的数量相差较大，若直接进行分类训练会使得训练出来的分类器的准确率接近多数样本在总样本中的占比。为了解决数据样本少且不均衡的问题，需要对数据集进行数据增强。对合格样本和不合格样本均使用镜像、旋转、调整亮度和对比度、增加高斯和椒盐噪声的方法进行扩充，将总样本数量扩充到2 400份，合格样本和不合格样本数量均为1 200 份。对两种样本均随机按4：1的比例划分为训练集和验证集，共1 920张图片用于训练，480张图片用于验证。

2.3 试验结果与分析

具体试验内容为经过迁移学习的ShuffleNet V2、MobileNet V2 和MobileNet V3 网络。评价指标分别为准确率（简称A）、损失值（简称Loss）、模型参数量（简称P）、检测单张图像的时间（简称S）。

具体的试验分组如表1 所示，这4 组试验均在基于迁移学习的基础上进行试验。

表1 分类试验分组

所有试验均冻结网络的特征提取层，仅训练重组特征并分类的全连接层，设置所有试验样本的训练轮数为100，每轮试验训练集和验证集的批量均设置为32。其中，试验一和试验二初始学习率设为0.01，最终学习率为0.001，优化器采用Adam。试验三和试验四初始学习率设为0.000 1，不进行变化，在训练的全连接层使用0.2 的Dropout，优化器采用SGD。

各组试验训练结束后，保存试验每轮更新后的模型，并通过TensorBoard 保存模型结构和训练过程。记录验证集的各评价指标数值，结果如表2所示。

表2 分类试验分组评价结果

由表2 可知，基于迁移学习的轻量型网络能够保证一定精度，最差的ShuffleNet V2_0.5X 网络准确率也达到了94.2%，其检测单张图像的时间仅为1.62 ms。试验一与试验二为ShuffleNet V2的不同规格复杂度的模型，更加复杂的1.0 X版本通过增加中间层的通道数能够提高1.4 个百分点的准确率，虽然在一定程度上增加了模型的参数量，但其检测速度与0.5 X 版本的基本相同。对比试验二与试验三的数据可知，MobileNet V2 网络的准确率仅比ShuffleNet V2网络高了0.2个百分点，却付出了近一倍的模型参数量，且单张图像增加了0.32 ms 的检测时间。试验四的准确率为99.4%，虽然相对于试验三有更多的参数量，但是网络的准确率提高了3.6 个百分点，证明了通道注意力机制能够更有效地筛选特征，单张图像的检测时间减少了0.19 ms。对于分类模型的输出为各类别的置信度，为了进一步观察模型的分类依据，使用Grad-CAM 算法可视化训练好的MobileNet V3模型提取特征的热力图。

试验四所训练的MobileNet V3网络对合格样本进行可视化后的热力图见图3，图3中的色调越暖代表网络越关注该区域。图3 中的（a）关注的重点区域为沿着焊缝的纵向撕裂，（b）关注的重点区域为贯穿母材的月牙形裂口，（c）关注的重点区域为贯穿焊缝的月牙形裂口，（d）关注的重点区域为沿着杯突试验边缘开裂的裂口。试验证明了MobileNet V3网络能够有效地提取用于分类的合格特征。

图3 MobileNet V3网络合格样本热力图可视化

图4 为MobileNet V3 网络不合格样本的热力图，不合格样本的特征仅为沿着焊缝开裂的裂口，该特征存在于所有的样本之中，故而在可视化不合格样本时，网络在图像中间区域找不到明显的分类特征，关注的重点区域则会转移到裂口的边缘。

图4 MobileNet V3网络不合格样本热力图可视化

综上所叙，基于迁移学习的MobileNet V3 能够有效提取杯突样本的裂口特征并进行分类，对于当前风格的图像能够达到99.4%的准确率，证明其可以应用到工业生产之中。

3 结论

试验结果表明文中设计的基于迁移学习的MobileNet V3 网络能够有效提取杯突试验样本的裂口特征并进行分类，对于样本图像能够达到99.4%的检测准确率，该方法能够满足实际检测需求。