基于优化U-Net网络的乳腺肿瘤区域分割方法

史健婷，崔闫靖，常 亮

(黑龙江科技大学 计算机与信息工程学院，黑龙江 哈尔滨 150022)

0 引 言

乳腺癌是发生在乳腺腺上皮组织的恶性肿瘤。全球乳腺癌发病率自20世纪70年代末开始一直呈上升趋势。调查数据表明，乳腺癌是女性恶性肿瘤发病率最高的病症。乳腺癌的防治关键在于早发现、早诊断，及时治疗将提高患者的治愈率和存活率。目前有多种检测癌症的方法，其中乳腺超声检测技术因为成本低以及性价比高的特性，逐渐被大众接受。随着计算机技术的快速发展，计算机辅助诊断(CAD)参与到诊断过程中，为医生提供参考，使结果更加具有准确性以及客观性，不仅可以降低误诊率，也提高了效率。

早期乳腺超声图像分割算法多是利用统计学的知识来处理图像，算法对于图像的质量没有太多要求，但是分割效果不好，速度较慢。基于深度学习的图像分割算法可以自动提取图像特征，分割效果有明显的提高。U-Net深度学习模型由于对数据量要求的特性，多被应用于医学图像的分割。肿瘤在超声图像中一般表现为低回声区，因此乳腺超声图像具有斑点噪声较多、边缘模糊不清、灰度不均匀等特性，增加了肿瘤的分割难度[1]，采用传统的U-Net模型难以取得满意的分割效果。

为此，文中研究了近几年的乳腺超声图像分割技术，并对各种分割方法的优缺点做了对比分析，提出了一种新的分割方法。为了提高图像质量，在图像预处理时加入高斯滤波线性滤波器来抑制超声图像的噪声，平滑图像，在一定程度上提高训练模型的鲁棒性和适应性。为了提高分割的精确度和效率，在网络模型中引入残差结构，解决了因网络深度的增加造成的梯度消失问题，使准确率得到明显提升。

1 图像分割方法

乳腺超声图像的肿瘤区域分割的效率和精度一直是提高肿瘤分类判别精确度的关键，许多研究人员在肿瘤分割方面做了很多研究。肿瘤在超声图像中一般表现为低回声区。乳腺超声图像具有斑点噪声多、边缘比较模糊、灰度不均匀、肿瘤形状不规则等特性。针对以上特性，本节将从已有的传统图像分割算法和使用深度学习的图像分割算法两大类别来进行介绍和对比。

1.1 传统图像分割方法

基于阈值的分割方法[2-3]是最基本、应用最广泛的分割方法，特点是实现简单，计算量不大，效率高。但由于这种方法忽略了空间特征，因此噪声对分割结果的影响很大。而聚类法[4-6]则考虑到空间特征，解决了阈值法对噪声敏感这一问题。分水岭法[7-8]分割结果是目标的边界，但它的致命缺点是容易过分割。活动轮廓模型法[9-15]对初始轮廓的依赖性较强，而乳腺超声图像具有弱边界特性，故不能取得好的分割效果。马尔可夫随机场法[16-18]的特点是模型参数较少、空间约束性较强，但缺点是复杂度高，耗时高。图论法[19-23]算法原理简单，运行效率较高，分割效果也比较好，但是在乳腺超声图像比较复杂时，会有过分割和欠分割的情况发生。

1.2 深度学习图像分割方法

1.2.1 卷积神经网络

卷积神经网络(convolutional neural networks，CNN)是一种近年来比较常见的深度神经网络学习方法，常被用于图像分类、图像检测等方面，在生物医学图像的识别中也经常以卷积神经网络为基础。CNN之所以有如此的成就是因为它具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此可以自动学习不同层次结构下的图像特征。CNN通过卷积操作和池化操作来对特征进行学习和抽取，在相对较浅的卷积层由于其感受野较小所以可以学习到更多的局部特征，当卷积层处于较深层时由于感受野的扩大就可以学到更加抽象的特征。抽象特征对物体的全局化信息更加敏感，对提高识别性能有一定的帮助。

CNN在传统的分类任务中表现出非常强大的能力，通过对图像进行特征抽取，可以非常快速地完成对图像的分类，但是在进行图像特征抽取时会丢失一些特征信息，可能会使物体的轮廓信息不完全，不能很好地对像素分类，因此做到精确的分割就很有难度。

CNN也可以做一些简单的图像分割任务，通常是采用像素块的方式使用需要分类的某个像素周围的一个图像块作为其分类依据。这种方法最大的缺陷就是存储开销非常大，由于相邻的图像块会产生叠加，在计算的时候就会产生大量冗余信息。其次像素块的大小也会影响分类的速度和准确度，从而限制了分类的性能。

1.2.2 全卷积神经网络

全卷积神经网络(FCN)是基于传统CNN改进的，主要用于图像语义分割。与传统的CNN不同的是，FCN用卷积层代替了CNN中的全连接层，没有了全连接层单元数的限制，输入图像的大小也不再受限制。FCN在最后一层特征图后使用反卷积对其进行上采样，使特征图大小与输入图像的尺寸相同。

1.2.3 U-Net网络

U-Net神经网络是由Ronneberger等提出的一种网络结构，U型的对称结构由左侧的编码网络和一个右侧对称的解码网络构成。左侧编码网络中主要是由交替的卷积层和池化层实现特征图的提取和空间维度的学习，而解码网络正相反，通过更换卷积层的采样方式，使用上采样来恢复目标细节和相应的空间维度来实现精确定位。除此之外U-Net网络还通过捷径连接的思想将编码网络和解码网络之间进行上下文信息的跨层连接。捷径连接思想通过裁剪和复制低层特征图与高层特征图结合起来，恢复更好的目标细节，实现精准的自动上下文像素级分类。传统的U-Net在多种医学图像分割中均表现出良好的性能，即使在一些数据量少的任务下也能获取不错的效果。U-Net网络结构如图1所示。

图1 U-Net网络结构

在全卷积U型网络U-Net提出来之后，国内外有很多学者都在此基础上做了大量的研究。梁舒[24]在2018年提出将残差学习单元加入U型网络，通过提高网络深度来增强模型的特征学习能力，然而简单地增加深度，会导致梯度弥散或梯度爆炸。李嘉冀[25]在2019年提出将注意力机制应用在U-Net网络上进行特征提取，提供了新的特征选取方式。此后医疗图像分割算法的优化都集中在这两个方向上。

2 改进后的图像分割算法

2.1 优化后的算法流程

文中方法流程如图2所示：(1)对数据集进行数据扩增；(2)将扩增后的超声图像使用高斯滤波进行去噪；(3)将图像数据集分成训练集、验证集以及测试集；(4)将训练集中的图像放入文中改进的网络中进行训练，而后用验证集对模型的训练效果进行验证，看收敛效果是否理想；(5)将测试集放入训练好的网络模型中，测试网络模型的分割性能。

图2 文中方法流程

2.2 图像预处理

2.2.1 数据扩增

对于深度学习模型来说，大量的训练数据是模型具有更好泛化能力的前提。想要获取大规模经过医生标注的乳腺肿瘤超声图像极为困难，并且由于成本原因无法满足深度学习模型对大规模数据的需求。

在目标域数据分布具有变换不变性的前提下通过对原始数据进行随机几何变换等操作进行数据扩增。可以得到大量的与原始数据近似或独立同分布的医学数据，使深度学习网络可以学习到更多关于训练数据的不变性特征。通过数据增强，使得扩增后的样本数据可以增加网络学习到的特征多样性，以此来提高网络在进行特征学习是对原始数据的信息利用率。

在对乳腺肿瘤超声图像进行数据扩增操作时要注意以下两点：(1)确保扩增后的数据与原有数据独立同分布或近似独立同分布；(2)确保扩增后的数据要很好地保留原有数据中肿瘤图像的形状或形态以及边缘等重要诊断特征。

综合以上考虑，采用随机几何变换的方法对原始数据进行数据增强，在以上要求下将产生大量的训练样本，有效扩大了数据集规模，解决因样本量有限导致网络训练出现过拟合的问题，使U-Net在有限训练数据集情况下也能获得理想的分割效果。

但是在传统的数据扩增中，超声图像和掩码图像需要分别进行扩增，不仅增加了计算量，而且会限制数据扩增的随机性，在对超声图像进行随机变换时无法保证掩码图像进行同样的变换。针对这一问题，文中先对超声图像和掩码图像进行通道合并，之后进行数据扩增，这样不仅减少了计算量，同时使得数据扩增的方式更加丰富。

文中数据集的标签是与超声图像大小一样的二值图。标签中白色区域对应乳腺超声图像的肿瘤区域，黑色区域对应超声图像非肿瘤区域。通道合并后的图片，通过随机旋转、偏移、缩放等操作进行数据扩增。

2.2.2 高斯滤波去噪

噪声在图像当中常表现为一引起较强视觉效果的孤立像素点或像素块。简单来说，噪声的出现会给图像带来干扰，让图像变得不清楚。

由于乳腺超声图像受技术影响会产生边缘模糊、图像质量过低、斑点噪声过多等特性，再加上肿瘤形状或形态的随机多变因素，极大地增加了网络对肿瘤特征的学习过程。为此，可以在充分保留肿瘤形状或形态以及边缘和纹理特征的前提下对超声图像进行去噪预处理操作来减少图片质量对特征提取能力的影响。

通常会通过一些常规的滤波操作来抑制噪声从而改善原始超声图像的质量。针对乳腺超声图像斑点噪声和肿瘤的不规则形态等因素，实验表明使用高斯滤波通过大小固定的窗口对原始超声图像进行滤波操作可以消除图像中的斑点噪声使图像趋于平滑。如图3所示，图像(a)为超声原始图像，可以看出存在诸多噪声，图像(b)为超声图像高斯滤波后结果。

图3 乳腺肿瘤超声图像及其高斯滤波结果

2.3 网络优化

2.3.1 残差单元

残差网络的出现是在2015年被He等人提出的，其目的是为了使得更深的网络不会带来训练集上准确率的下降。残差网络通过加入捷径连接和标识映射变得更加容易被优化，如图4所示。每一个残差单元可以用公式(1)、(2)表示。

图4 残差单元

Yi=h(Xi)+F(Xi,Wi)

(1)

Xi+1=f(Yi)

(2)

其中，Xi和Xi+1表示第i个残差单元的输入和输出，F(•)表示残差函数，h(Xi)表示一个标识映射函数，f(Yi)表示激活函数。

2.3.2 网络优化

在训练集上，传统神经网络越深效果不一定越好。随着网络层数的加深，训练会变得很难收敛，模型在达到一定层数后继续增加层数，会导致准确率下降。这被称为网络的退化问题。针对网络退化问题，出现了一种新的网络结构—残差网络，解决了随着网络层数加深导致的准确率下降等问题。

U-Net由于把编码特征加入到解码特征中，可以在小数据量下取得很好效果，但是有个问题，U-Net网络不够深，对特征的表达不够准确，残差网络之所以取得这么好的分类效果就是网络足够深。文中在U-Net网络中加入了两层残差学习单元，增加了U-Net的网络深度，提高了该模型的特征提取能力，得到了更好的分割效果。图5是改进后的U-Net网络，其中残差块的数量为6。

图5 改进的U-Net网络

3 结果与分析

文中所用原始数据集为532张超声图像，经过随机数据扩增10倍后按8∶1∶1划分为训练集、验证集、测试集。实验训练初始参数学习率、权重衰减参数、动量参数分别设置为1×10-6、5×10-4、0．95，卷积核使用高斯分布N(0，0.1)进行初始化，使用梯度下降优化算法对模型进行收敛训练．

实验配置: Windows10操作系统，英特尔i7处理器，16 GB内存，NVIDIA GeForce 1060 Ti 4G显卡，使用CUDA10.0计算架构和cuDNN7.5加速库。

3.1 实验结果

对测试数据集进行预处理后，将测试数据集送入模型中进行预测，输出乳腺肿瘤图像的分割结果。图6中，图(a)为乳腺肿瘤超声图像，图(b)为标签，图(c)为分割结果。

图6 分割结果

分割结果表明，文中的分割方法对多肿瘤以及不规则的超声图像有着很好的分割结果。

3.2 结果评价与分析

表1给出了FCN、文献[25]、文献[26]和文中模型分割单张图像所需时间(batch_size=1)。

表1 分割单张图像所需时间

从模型的单张图片的测试时间来分析，可以得出三点结论：(1)FCN模型的网络参数较多，因此模型的测试时间较长；(2)文献[25]在2个3×3的卷积和1个2×2的池化运算之后插入一个残差学习单元，模型复杂度的增加造成了测试时间的增加；(3)文献[26]将模糊逻辑引入神经网络中，将模糊逻辑和注意力机制相结合，该方法对特征要素重要程度进行重新标定造成了计算复杂度的增加。

为了对分割性能进行评测，表2给出了文献[27]、U-Net和文中模型的分割结果。

表2 不同分割方法在测试集上的结果

从表2进行对比和分析，可以得出以下结论：(1)根据准确率的数值对比可以看出，文中方法在准确率上高于文献[27]中所用的方法和U-Net方法，说明文中方法的分割结果对目标区域的覆盖程度更高；(2)召回率又称为查全率，表示样本中有多少被预测正确了，从高于其他两种方法的召回率和交并比可以看出文中方法分割的区域更加精确，标签中肿瘤区域更加相似；(3)由于准确率和召回率是互相影响的，高准确率会造成低召回率，高召回率会造成低准确率，因此，为了在保证准确率的情况下提升召回率，使用F度量进行衡量。高于其他两种方法的F度量值也表明了文中模型能够取得更好的分割结果。

4 结束语

提出了一种基于优化U-Net网络的乳腺肿瘤区域分割新方法。首先对超声图像进行高斯滤波处理以获得更强的特征提取能力，然后以预处理后的图像和掩膜图像作为输入，使用加深网络深度和添加随机噪声的方式提升了模型的分割精度，分割结果有了更多的细节表达。在测试集上的实验表明，改进后的U-Net网络有更好的分割结果。针对肿瘤部位去对比不同分割方法，结果表明该分割方法具有更高的精度和准确率。