基于卷积神经网络与迁移学习的碳钢石墨化自动评级研究

谢小娟，杨宁祥

(广东省特种设备检测研究院 珠海检测院，广东 珠海 519002)

0 引言

碳钢由于可加工性良好且性价比较高而广泛应用在压力锅炉、蒸汽管道及高温高压机组的有关部件中。在长期服役过程中，碳钢在一定的温度和压力作用下会产生石墨化现象，降低材质的强度与韧性，最终导致脆性爆管等严重事故。目前，关于碳钢石墨化的检测方法主要依赖金相分析法，即采用人工目测的方法，通过金相显微镜观察试样的金相组织图像，然后与标准图谱相对照进行石墨化评级[1-2]。这种评级结果带有很强的主观性，误差较大，且重复性不好。

随着计算机视觉技术与神经网络算法的发展，研究人员开始应用图像处理技术与机器学习方法进行金相组织分析。例如，樊丁等人[3]采用canny图像边缘检测算法及8-链码目标轮廓跟踪的方法对钴基合金金相组织进行了定量分析。吴伟等人[4]以ImageJ软件为工具，采用图像增强、分割等技术提取TC4钛合金金相组织的特征参数。姜博等人[5]基于图像处理技术结合数学形态学的方法，对铸造镁合金 AM50进行金相分析，得到了晶粒尺寸在整个试样上的分布规律。此外，还有针对AL-Ti-B中间合金[6]、GCr15轴承钢[7]等材料进行金相图像识别的研究。总结起来，这类方法大都首先基于图像处理技术获取试样的颜色、纹理、形状等特征，再根据特征向量利用神经网络、支持向量机等方法进行图像分类。虽然图像识别准确率有了一定的提高，但是由于本质上依然依赖人工设计与选择特征，难以获得最接近试样属性特征的自然表达，导致训练时间长且误差率较高。

卷积神经网络(CNN, convolutional neural network)通过引入局部连接、权值共享、最大池化、非线性激活等方法，允许神经网络从图像中自动学习特征，避免对图像进行复杂的边缘检测、阈值分割等前期预处理，比传统机器学习方法具有更强大的特征学习和表达能力，因而在图像分类、目标检测等方面得到了越来越广泛应用[8-11]。对于神经网络模型而言，为获得更好的精度，需要具有更宽、更深或更高的图像分辨率，导致模型参数增多，训练时间增长，在此背景下各种紧凑型CNN被提出，以寻求在模型精度与计算成本之间的最佳平衡点。Tan和Le[12]提出的EfficientNet网络采用复合缩放方法，通过平衡网络的深度、宽度和图像分辨率，已被证实在大幅减少模型参数量的前提下，可以获得更好的计算性能和模型精度。因此，本研究基于EfficientNet网络构建碳钢石墨化金相图像的自动评级模型，以期实现通过直接输入原始图像，便能快速获得评级结果。同时，为避免碳钢石墨化金相图像样本过少带来的模型过拟合问题，采用迁移学习及数据增强的方法来提高模型的准确率，以更好地满足实际检验的需要。

1 碳钢石墨化图像采集与数据增强

1.1 金相图像采集

根据《碳钢石墨化检验及评级标准》(DL/T786-2001)[13]中的规定，在对试样进行机械或化学抛光后，利用CCD摄像机通过光学显微镜对待检验部位进行成像，获得金相组织图像，如图1所示。

图1 金相图像采集系统

根据金相组织中石墨面积百分比、石墨链长度以及石墨形态将碳钢材料石墨化程度分为1～4级，分别对应“轻度石墨化”、“明显石墨化”、“显著石墨化”和“严重石墨化”，如图2所示。

图2 碳钢材料不同石墨化程度图

1.2 图像数据增强

图像样本的数量和质量直接影响深度神经网络的检测精度，为获得具有更好泛化能力的模型，提高分类的准确率，卷积神经网络需要大量的训练样本，而目前碳钢石墨化图像并没有诸如ImageNet等庞大的公共图像数据库，因此对试验数据集进行图像增强，以扩充数据样本。

本研究采用现场检验所收集与积累的450张碳钢金相图像作为用于模型的训练和测试的原始数据集，包括正常与不同石墨化程度的图片。图像增强的方法为几何变换(包括旋转、翻转和平移等)、像素调整(亮度调节、对比度调节和添加噪声等)，通过增加数据样本来提高模型的鲁棒性与泛化能力，最终样本图像被扩充为3 210张。再将这些图像的尺寸归一化为224×224×3，完成训练样本集的构建。最后按照通用数据集划分策略，将数据集随机分配成训练集(70%)、测试集(25%)和验证集(5%) 。

2 基于EfficientNet的碳钢石墨化评级系统

根据金相组织图像的特点以及现场检验所需的快速高精度要求，本研究采用EfficientNet网络用于特征提取，构建碳钢石墨化图像评级系统结构如图3所示。该网络在ImageNet数据集上获得了84.4%的Top-1精度和97.1% 的Top-5精度，并且参数量减少了8.4倍，速度快了6.1倍[12]。

图3 系统结构图

首先对输入的金相组织图像进行降噪、矫正等预处理；然后将图像映射到EfficientNet主干网络进行特征提取；最后经Softmax层输出石墨化等级的标签。同时，为了优化模型训练效率，将ImageNet数据集训练得到的模型参数作为网络的初始化参数，迁移到金相数据集上进行训练。

2.1 EfficientNet分类模型

在卷积神网络中，通过提高网络深度(depth)、网络宽度(width)和输入图像分辨率 (resolution)大小都可以获得更好的精度。但是三者的组合空间太大，人力难以穷举。EfficientNet提出基于复合模型缩放的方法实现三个维度上的平衡，使用复合系数来从深度、宽度和分辨率三个维度统一扩展网络，在实现较高准确率的同时又充分节省计算资源，如式(1)所示：

(1)

式中，d、w和r分别代表网络的深度、宽度和分辨率。α、β和γ分别代表网络深度、宽度和分辨率的分配系数，也是需要求解的参数。φ的大小根据型可用资源进行调节，对应着消耗资源的大小。β和γ在约束上有平方，是因为如果宽度或分辨率增加1倍，其计算量FLOPs增加4倍，而深度增加1倍，其计算量FLOPs只会增加2倍。

α、β和γ可以通过网络搜索得到最优解。EfficientNet以MobileNetV2[14]中的反向残差结构和压缩-激励优化[15]为基础构建 MBConv(mobile inverted bottleneck convolution) 作为网络的基本模块，在3×3或者5×5卷积网络前利用1x1卷积升维，之后增加了一个关于SE通道的注意力机制，最后利用1x1卷积降维后增加一个残差边，如图4所示。在限制目标FLOPs和存储空间的情况下，不同的φ参数可搜索得到一系列网络EfficientNet B0-B7。

图4 MBConv 结构图

本文采用 EfficientNet-B0 作为模型的主干网络，如图5所示。该网络包括16个MBConv层，2个Conv层，1个全局平均池化层(Global average pooling)和1个FC全连接层，各参数如表1所示。考虑到模型对底层特征的依赖，在开始阶段只采用步长为2的卷积操作，未使用最大池化，以减少细节特征的丢失。另外，网络中的多个卷积阶段采用了5×5的卷积核，是因为MBConv5×5的浮点运算次数比MBConv3×3要少，计算效率较高。

表1 EfficientNet-B0网络参数

在全连接层之后，使用Softmax函数将网络输出结果映射为分类概率，如式(2)所示。最后选择概率最大值作为图像的分类结果。

(2)

zj=wj·x+bj

(3)

式中，yi表示softmax输出的该图像属于第i类的概率，x为全连接层的输入，bj为偏置项，wj可视为该图像属于第j类的特征权重，体现的是每维特征的重要程度，通过加权求和得出计算结果，再经Softmax函数转换为概率值。

同时，由于在实际检验中，获取大规模金相图像用于模型训练并不现实，因此在模型中，为避免图像样本数量不足而导致网络训练过拟合和不稳定的问题，采用批标准化(BN,batch normalization)和dropout[16]优化方法来减小卷积层之间的依赖，降低部分神经元在训练过程中的活性，抑制过拟合的发生，进而提高网络的泛化能力，增强模型分类的鲁棒性。

2.2 迁移学习

卷积神经网络的参数训练需要大量的标记样本数据，而对于碳钢石墨化评估来说，缺少大规模的金相组织图像样本，本文引入迁移学习[8]的方法，借助已经训练好的模型权重进一步学习。ImageNet数据集十分庞大，包括120余万张图片和1 000个分类，因此本文将在ImageNet数据集上进行训练得到预训练(Pre-trained)权重，将其作为EfficientNet网络的初始参数，然后在此基础上进行参数微调(Finetune)，使得模型一方面继承了从ImageNet数据集上学习到的特征提取能力，另一方面节省模型训练时间，提高模型的泛化能力。

3 实验结果与分析

3.1 实验平台与模型训练

碳钢石墨化评级模型使用Python编程语言及PyTorch深度学习框架实现，模型训练的硬件环境为Intel i7 CPU,64G RAM，NVIDIA 2080Ti GPU。

模型训练采用两种方式进行，一种从零开始直接训练，另一种采用预训练权重和微调的方法进行迁移训练。迁移训练主要分为两个阶段：首先加载预训练权重，冻结主干网络训练；然后冻结归一化层，训练其他的网络层。设置模型训练的超参数学习率为0.001，批尺寸为16，最大迭代数(epochs)为10。不同训练方法的损失值及准确率曲线如图6、7所示。

图6 训练损失值曲线

图7 不同训练方法的准确率曲线

从图中可以看出，相较于直接训练，利用迁移训练的损失值在迭代482次之后就已收敛并且毛刺波动较小，经过三轮训练后准确率也达到了95.7%。这也进一步证明了迁移学习能有效提高模型的训练效率。

3.2 模型性能评价

为准确分析评级模型的性能，除使用准确率A(Accuracy)作为评价指标外，针对每一类采用精确率P(Precision)、召回率R(Recall)以及F1值对评价结果进行全面评估，具体计算标准如式(4)～(6)所示，其中F1值是精确率和召回率的调和均值。上述指标的取值范围均在0～100%之间，并且越大越好。

(4)

(5)

(6)

式中，TPi为样本实际属于i类且模型评级为i类；FPi为样本实际不属于i类但模型评级为i类；FNi为样本实际属于i类但模型评级不为i类。

将测试集样本输入评级模型，根据分类结果得到混淆矩阵如图8所示，进而计算出模型处理金相图像的性能指标如表2所示。

图8 金相图像评级的混淆矩阵

表2 碳钢石墨化评级模型的精度性能指标

通过表2可以发现，各类石墨化程度的预测精确率在93%以上，召回率在92%之上，整体准确率达到了97.01%，满足碳钢石墨化现场检测的精度要求。

为了进一步评价模型的实用性，对EfficientNet算法处理金相图像的平均检测时间T、算法的浮点运算数FLOPs和算法的参数量P及占用内存M进行统计分析，以衡量模型的复杂程度，如表3所示。

表3 碳钢石墨化评级模型的计算复杂度指标

根据表3中的数据，模型在仅需12 MB内存的情况下，单幅金相图像的检测延迟时间为10.27 ms，金相图像检测速度满足现场检测的实时性需要。

4 结束语

针对碳钢石墨化的智能评级问题，基于EfficientNet卷积神经网络设计了应用于碳钢金相图像的自动分类模型。通过数据增强的方法，建立了碳钢石墨化等级的金相图像数据集。在模型训练阶段，引入迁移学习方法，缩短了训练时间。采用测试数据集对模型的精度与复杂度进行评价，实验结果显示，在仅需12 MB内存的情况下，该模型能够实现碳钢石墨化分类的准确率达到97%以上，单幅金相图像的检测时间仅为10.27 ms。这说明该模型不仅能够准确地对碳钢石墨化金相图像进行准确评级，还能满足现场检验对实时性的要求。在下一步的工作中，将继续扩充金相图像数据集，提高模型识别准确率，同时将探究如何研制基于移动终端的碳钢石墨化智能评级系统，提升模型的实用价值。