基于残差网络的高温合金微观组织图像分割方法

张利欣， 车世界， 徐正光， 付 超， 袁 立， 边胜琴

(1.北京科技大学自动化学院,北京 100083;2.北京科技大学新金属材料国家重点实验室,北京 100083;3.北京科技大学计算机学院,北京 100083)

高温合金因具有较高的高温强度、良好的抗氧化、抗热腐蚀、抗疲劳性能和断裂韧性等综合性能在航空航天和舰船等领域有着重要的应用需求,作为航空发动机等重大装备的关键材料,其研制和评价能力将对中国相关领域装备研发和应用产生重要影响。材料的性能主要取决于材料的微观组织结构,因此,对高温合金材料的微观组织分析成为了材料研究和评价的关键环节。高温合金材料微观组织分析主要针对微观组织中相的分布、形状和尺寸等特征开展,传统的微观组织分析主要依靠人工方法对微观组织进行分割并依据相关标准开展组织特征的计算、评价等工作。存在受人工经验主观影响大、分析时间长、局部统计受限以及精度不高等问题,因此,通过更为先进的方法获得准确的微观组织图像分割结果,进而对物理特征进行自动计算,将大大加快材料微观组织的分析速度和精度。

高温合金微观组织图像因在样品制备过程中受到抛光、腐蚀剂以及光照等方面的影响,不同材料微观组织本身在不同状态下存在的差异性,使得高温合金组织图像出现不同程度的不规则、边界模糊以及待提取的析出相和基底相灰度差异小等现象,为高温合金材料图像分割增加了难度。图像分割方法被广泛应用到了材料微观组织图像分析中,主要是基于形状、灰度、纹理等单一特征进行图像分割,如阈值分割、边缘检测、CV模型等[1-4]传统的图像分割方法。然而受所选取特征的限制,所有上述方法仅在噪声较少以及特定环境下的图像中获得了较好的边缘检测效果,存在鲁棒性差等问题。也有一些使用支持向量机与人工提取特征相结合的方法进行材料微观组织图像分割[5]，但其分割的精准性依赖于人工特征的选择对实验样本不能自动提取特征。

近年来,随着深度学习的不断发展和应用,基于卷积神经网络(convolutional neural networks, CNN)的网络和架构在各种计算机视觉任务中表现出色[6-8]。基于从原始数据中学习高级特征的强大能力,使用深度学习的方法,用于解决高温合金微观组织图像分割问题。目前,深度学习在相关图像分割领域取得了一些进展,如吴晨玥等[9]提出了基于改进卷积神经网络的视网膜血管图像分割方法,对视网膜血管图像获得了更优的分割效果；Masci等[10]提出一种带有最大池化层的卷积神经网络方法,用于监督钢缺陷分类；Azimi等[11]和Shelhamer等[12]提出一种基于全卷积神经网络的像素分割方法,该方法将CNN的全连接层,全部用卷积层替代,并结合最大投票的策略对钢微观组织进行像素级分类,取得了较好的结果。但是上述方法成功的前提条件都要求基于大量的图像样本。由于本文的研究对象高温合金微观组织图像的获取较为复杂,需要经历样品加工、制备、成像等多个环节,试验费用和时间方面都需要较大开销,很难获得大量的图像样本数据。因此,如何在有限样本的客观条件下,实现基于深度学习的高温合金微观组织图像分割是必须要面临和解决的问题。

Ronneberger等[13]提出了一种编码器-解码器(encoder-decoder)结构的网络,该网络在挖掘深层语义信息的同时融合低层的细节信息,并通过数据增强的方法扩充有限样本,实现了从非常少的生物医学图像样本中获得较好的实验结果。Zhao等[14]提出了一种金字塔形式的池化结构,能够聚合不同区域的上下文信息,从而提高网络获取全局信息的能力。

目前,很多理论和实验已经表明一个更深层次的网络会有更好的表现[15-17]。然而,随着深度的增加,网络训练愈加困难。He等[18]提出了一种残差网络,利用恒等映射来促进训练,有效解决了网络深度带来的训练问题。

在此,对于高温合金微观组织图像高效分析问题,提出一种结合U-net网络及残差网络两者优势的Res_Unet网络,并辅以强大的数据增强技术及不同的学习策略来对高温合金的微观组织图像进行分割。通过实验验证,与现有技术相比,本文所提出的方法不仅有效解决了图像样本少的问题,还显著提高了高温合金微观组织图像的分割精度。

1 Res_Unet网络提出

1.1 网络结构

Res_Unet网络为编码器-解码器结构,如图1所示。该网络由三部分组成:编码器、连接器和解码器。

编码器对输入图像进行编码压缩,由一个卷积模块和4个残差模块(residual block)构成。每个残差模块组成如图2(b)所示,每个模块之间的区别在于每个残差模块中卷积层参数的设置。

连接器主要用于编码器和解码器之间信息传播的路径,允许信息以更容易的方式在深层与浅层之间传播,有利于解码器更好地恢复图像。解码器用于恢复图像并对图像中每个像素进行分类,该部分由5个解码模块(decoder block)组成,每个解码模块包括BN层、ReLu激活层和反卷积层。各部分的具体参数和输出大小如表1所示。

Res_Unet网络与U_net网络相比不同的是,首先,对每一层的输入进行批归一化处理；其次,用残差模块代替U_net中的“卷积层-Relu激活层”模块；然后,采用步长为2的卷积做下采样,代替U_net网络中部分pool池化层；最后,移除U_net网络中不必要的裁剪操作,使得网络输出的图像大小与输入图像大小一致,并加深了网络的深度。

图1 Res_Unet网络结构Fig.1 The architecture of the Res_Unet

InputBlock layerConv layerFilterStrideOutput size512×512×3Enconding 1Conv 1(maxpool)7×7/643×322256×256×64128×128×642Conv 2-5(3×3/64)×41128×128 ×643Conv 6Conv 7-9(3×3/128)(3×3/128)×32164×64×12864×64×1284Conv 10Conv 11-13(3×3/256)(3×3/256)×32132×32×25632×32×2565Conv 14Conv 15-17(3×3/512)(3×3/512)×32116×16×51216×16×512Connection6(maxpool)Deconv 182×23×3/512218×8×51216×16×5127Deconv 193×3/512132×32×5128Deconv 203×3/256164×64×256Decoding9Deconv 213×3/1281128×128 ×12810Deconv 223×3/641256×256×6411Deconv 233×3/641512×512×64outputConv 241×1/21512×512×2

图2 卷积神经网络基本模块Fig.2 Modules of convolution neural networks

1.2 交叉熵损失函数

首先将网络的输出值经softmax函数映射,获得高温合金微观组织γ′相的概率。取值范围从0～1,表示的是该像素点是γ′相的概率大小,即数值越大,该像素点是γ′相的概率就越大。最理想的分割结果是微观组织图像中所有γ′相对应的数值都为1,非γ′相则为0。为此,通过构建并最小化损失函数来实现这种约束。采用交叉熵函数来构建损失函数,用Adam最小化该损失函数。

Softmax函数定义为

(1)

式(1)中：x为图像的像素值；k表示网络输出的第k个通道；ak(x)表示第k个通道的网络输出值；K表示类别的数量，K=2,pc(x)表示像素属于c类的概率。

交叉熵损失函数定义为

(2)

式(2)中：yk表示指示变量,如果该类别和样本的类别相同就是1,否则是0;pk(x)表示像素x属于类别k的概率。

1.3 数据增强

在无法获取更多图像数据的情况下,除了改进网络结构,通过数据增强方法扩充数据同样至关重要。现使用多种数据增强方法的组合,从原始图像中产生更多新的变换图像。在具体实现中,采用线上数据增强方式,即图像变换通过CPU完成,而此时的图形处理器(graphics processing unit,GPU)正在训练前一批图像。因此,这些数据增强方式对训练时间不产生影响。具体采用如下三种方式:第一种数据增强方式包括裁剪、翻转、平移和镜像等常用数据扩充手段[19]；第二种数据增强方式包括透射变换和弹性变换[20]。对采用第一种方式后已变换的图像进行随机的透射变换或弹性变换。实验表明,这种数据增强技术对本文实验结果起到了重要性作用。第三种数据增强方式包括改变图像的亮度值和对比度,该变换使网络学习不同光照环境下的高温合金微观组织图像,拥有更好的鲁棒性能。

2 实验方法

2.1 数据集获取

本研究以某航空发动机涡轮叶片材料的微观组织图像为对象, 叶片材料为DZ125定向凝固高温合金。在DZ125的枝晶干、枝晶间、晶界及碳化物等微观组织中,枝晶干γ′相具有服役前在各部位尺寸形貌均匀一致、对服役温度和应力敏感以及可反映叶片服役温度差异的特点。同时,γ′相也是与叶片力学性能最相关的重要强化相[21]。因此,重点对DZ125微观组织的γ′相开展研究。

研究涉及的高温合金微观组织图像是通过ZEISS SUPRA 55场发射扫描电子显微镜获取的。数据集共包含48张,图像大小均为1 024×702像素。根据图像类别分布的一致性,将图像进行分层抽样,其中42张作为训练集,6张作为测试集。

2.2 训练过程

实验基于PyTorch0.4.0开源框架,在型号为Geforce GTX TITAN X的GPU上进行训练。

使用训练集对Res_Unet网络模型进行训练,其训练参数如表2所示。

表2 训练参数

“各阶段迭代次数”值分别表示基础学习率的迭代次数、学习率第一次衰减后的迭代次数、学习率第二次衰减后的迭代次数。

2.3 学习策略

在Res_Unet网络模型训练的过程中,为能确定网络模型参数最优，将训练集进一步划分为训练集和验证集,其中验证集用于模型最优参数的选取。

将训练集划分为5个大小相似的互斥子集,为保持各子集数据分布的一致性,其数据通过对训练集分层采样的方式获得。每次训练选取4个子集的并集作为训练集,1个子集作为验证集。这样就可以获得5组训练/验证集,可进行5次训练和验证,获取这5个训练好的最优模型进行模型融合。虽然,验证集在其对应的单个训练模型上未能得到学习,但是从整体上看,是得到充分利用的。实验表明,这种方法有助于网络性能的提升。

2.4 性能评估

实验中采用图像分割中最为常用的均交并比(mean intersection over union,MIoU)评价指标对网络准确度进行评估,具体定义为

(3)

(4)

式中：K表示类别的数量；nij表示类别i预测为类别j的像素点个数。

3 实验结果与分析

为验证本文提出的Res_Unet网络的性能优劣,在高温合金微观组织图像数据集上对Res_Unet网络的图像分割精度和效率等方面进行测试,并与其他方法如FCN、U_net等进行比较。

3.1 训练过程

不同网络结构的训练过程如图3所示,可以看出,与FCN、U_net相比本文提出的Res_Unet网络在训练过程中,收敛速度更快,同时能够获得更低的损失值。

图3 训练过程曲线对比Fig.3 Comparison of the training process

3.2 γ′相分割结果对比

选取三幅高温合金的微观组织图像进行对比分析,本文方法、传统方法、FCN、U_net等方法的图像分割结果如图4所示。根据图4(c)的传统方法和图4(f)Res_Unet网络方法的分割结果可以看出,本文的方法在γ′相分割精度上有了较大提高,MIoU从71.64%提高到93.97%。图4(d)、图4(e)分别为FCN、U_net网络分割的结果,通过与Res_Unet网络分割结果对比,可以看出,Res_Unet网络对不同光照环境、不同形态分布的高温微观组织图像都能获得非常好的分割结果,甚至对复杂并且噪声污染较为严重的图像,也能有出色的表现。

图4 不同方法的图像分割结果对比Fig.4 Comparison of the segmentation results with different methods

表3是Res_Unet与FCN、U_net网络对图像分割结果的数据对比,无论在平均交并比、参数数量、训练时间还是测试时间上,本文设计的网络都明显优于其他两个网络。

表3 不同方法测试结果对比

3.3 训练时间/准确度对比

将Res_Unet网络的解码器部分进行迁移学习,再训练网络,试验结果显示虽然在准确度上提升有限,但提高了网络的训练效率(见图3 pretrained训练曲线)。另外,在此基础上通过训练多个模型进行融合,进一步使准确度由94.15%提升到95.14%,具体参数如表4所示。

表4 Res_Unet不同训练策略下的结果对比

4 结论

高温合金微观组织图像分析是高温合金材料研究和评价的重要手段,提高高温合金微观组织图像分割精度和速度对于高温合金材料发展具有重要意义。通过上述的实验验证和对比分析,可以看出本文提出的Res_Unet网络在高温合金微观组织图像提取γ′相的分割任务中,表现出优良的性能,尤其对于受到噪声污染的微观组织图像,也能获取非常好的分割效果。较已有的方法,基于Res_Unet网络的深度学习方法在提高微观组织图像分割精度的同时,也很大程度上缩短了网络的训练时间,为材料微观组织分析提供了更加快速准确的分析方法。同时,本文的方法解决了材料领域小样本图像分割的问题,为深度学习在小样本图像的应用提供了有益探索。

下一步,将根据微观组织图像分割结果开展组织特征提取、特征选择等工作,为开展微观组织与性能的关系研究奠定基础。