改进U-Net的超声乳腺肿瘤分割网络

陈 曦，刘 奇，邓小波，何柯辰，全美霖

1.四川大学 电气工程学院，成都 610065

2.四川大学 生物医学工程学院，成都 610065

乳腺癌是女性最常见的癌症。2019年美国新增患乳腺癌女性约268 600名，约41 760名女性死于乳腺癌[1]。在中国，女性新增乳腺癌病例占全世界新增乳腺癌病例的12.2%，乳腺癌死亡病例占全世界乳腺癌死亡病例的9.6%[2]。临床经验表明，虽然造成乳腺癌的病因尚未完全清楚，但乳腺癌的早期诊断对治疗尤为重要[3]。

在临床阶段，乳腺癌的诊断方法主要分为侵入式诊断、非侵入式诊断[4]。侵入式诊断也称活体组织检查。活体组织检查结果是乳腺癌确诊的最终依据，但会给患者带来一定生理创伤，除了恶性肿瘤以外的大部分情况下是不必要的[3]。非侵入式诊断是利用X光成像、超声成像、核磁共振成像等方式对乳腺病变区域进行医学影像检查。X光检查产生的电离辐射对患者及医生身体有害。核磁共振成像虽然成像质量较好，但成本较高。超声成像则具有无创、成本低等特点，因而在许多国家被广泛用于乳腺癌的早期诊断。

乳腺癌前期诊断中的超声筛查依赖于医生的细致评估，这要求医生有丰富的临床诊断经验[5]，而满足这一条件的医生数量在一些医院十分受限。另外，由于中国新增乳腺癌患者数量逐年增长，医生每天需要评估大量乳腺超声图，疲劳可能导致医生注意力下降，造成诊断差错。为了解决以上问题，计算机辅助诊断系统（computer aided diagnosis，CAD）[6]被用于乳腺超声图像的诊断中。

CAD系统工作流程一般分为如下步骤：（1）对乳腺肿瘤区域进行精确分割。（2）对分割结果进行特征提取。（3）基于所提取特征使用分类器对乳腺肿瘤进行等级分类，判断肿瘤是否为恶性。图像分割是CAD系统的关键一步，特征提取步骤基于图像分割结果，而提取到的特征将直接影响诊断结果。

图像分割方法总体上分为两大类：传统图像分割方法、基于深度学习的分割方法。传统图像分割方法包括基于阈值、区域生长、活动轮廓模型等方法。Yeh等[7]首先使用阈值法对图像进行二值化得到初步目标区域，再利用形态学算法和碟盘扩张算法确定候选肿瘤目标，最终基于修正规则经过多次迭代的方法得到分割结果。Yu等[8]提出一种基于区域生长的方法，超声图像最开始被分成九部分，然后进行去噪处理并设置种子点以及临近像素，最后用区域生长算法分割肿瘤区域。Zhang等[9]提出一种基于改进Snake模型的超声乳腺肿瘤分割方法。其针对超声图像特点，在内部能量中加入对轮廓平均长度项的控制，外部能量则改进为由图像统计特征的区域能量以及梯度方向势能决定，由此实现对肿瘤的分割。以上方法虽能对乳腺肿瘤进行分割，但需要人工介入。例如阈值分割方法需要根据灰度值分布人工选取阈值，区域生长方法则需要人工设置种子点，基于活动轮廓的方法则需要人为勾画初始轮廓。有些传统方法即便不需要人工介入而能对肿瘤实现全自动分割，但也需要前期对图像进行十分复杂的预处理，而预处理多为各种算法组合而成，这导致结果依赖于具体数据集，算法的广泛性较差。

近年来，深度学习技术获得极大发展，其在医学领域的作用也逐渐显现出来。在超声乳腺肿瘤分割任务中，鉴于传统算法的缺陷，许多学者开始研究使用深度学习的方法。Yap等[5]尝试使用基于LeNet的卷积神经网络对超声乳腺肿瘤进行分割。该方法虽能成功对肿瘤实现分割，但需要将图片切成固定大小的小块后才能放入网络进行训练，且分成小块的方式会损失较多的位置信息，严重影响网络对图像全局信息的提取。该作者在文献[10]中采用全卷积神经网络（fully convolutional networks，FCN）对乳腺肿瘤进行分割。但该方法不能很好地解决肿瘤尺寸形状多变问题，导致结果并不十分理想。另外，对上述模型进行训练需要较多数据，而目前公开的超声肿瘤分割数据十分有限。

FCN[11]开创了端对端全卷积神经网络的先河，此后PSPNet[12]、SegNet[13]、U-Net[14]、Deeplab系列[15-17]等语义分割网络陆续涌现出来。医学图像分割数据较少，而U-Net在数据量受到限制时依旧表现较好，因此被广泛用于医学图像分割任务。U-Net网络是一个对称的网络，它包括收缩路径以及扩张路径。收缩路径不断减小特征层的空间尺寸，而扩张路径则将特征层不断还原至原图大小，最终输出分割结果。由于超声图像具有阴影较多、边界模糊等问题，U-Net表现也不理想。

许多学者致力于使用或改进U-Net结构相关研究。Amiri等[18]将超声乳腺肿瘤分割分为两个阶段，第一阶段使用U-Net进行较大范围的分割，第二阶段再使用第一阶段的分割结果用U-Net进行进一步分割，最终得到较为精确的肿瘤分割结果。但该方法需要额外进行第一阶段的掩码制作，且两个U-Net网络需要分别训练。Zhuang等[19]提出一种用于超声乳腺肿瘤分割的改进U-Net分割网络RDAU-Unet。在U-Net的收缩路径中引入空洞卷积（atrous convolution）[16]增大网络感受野，并用Attention Gate模块[20]代替原来的剪裁以及复制操作。该方法虽然比U-Net结果更好，但在多尺度特征提取方面尚有不足。虽然上述方法有一定不足，但给本文提供了宝贵的改进思路，即引入空洞卷积。

MultiResUNet[21]是Ibtehaz等提出的基于U-Net的改进网络，为了提取更多尺度目标的特征信息，其所提出的MultiRes block中采用了级联各卷积层输出的方法，不仅可以提取到多尺度信息，还使网络更加轻量化。超声乳腺肿瘤分割要求网络不仅有提取多尺度目标能力，由于超声图像存在阴影，还要求网络有较强的区分背景以及肿瘤目标的能力。MultiResUNet虽然能够提取多尺度的特征信息且相对轻量化，但其区分背景以及肿瘤目标的能力有限。

鉴于上述网络存在的优缺点，本文针对超声乳腺肿瘤分割任务特点提出一种改进U-Net结构的网络MultiMix U-Net。其主要优势有：

（1）MultiMix block特征提取模块同时兼具更强的多尺度特征提取能力以及更强的区分目标和背景能力。

（2）改进部署后的Respath使收缩路径与扩张路径之间对应特征信息的传递更加有效。

（3）对乳腺肿瘤的分割精度优于经典分割网络，且参数量较少。

1 MultiMixU-Net

本文基于U-Net，提出MultiMixU-Net，网络结构具体如图1所示。MultiMixU-Net参考了U-Net的编码器-解码器结构，由收缩路径和扩张路径组成，收缩路径与扩张路径之间有4条特征融合通道。

1.1 MultiMixU-Net总体结构

网络总体结构如图1所示，图中粉色、蓝色方块分别代表收缩路径、扩张路径上的特征层。

收缩路径由若干个MultiMix block以及2×2最大池化层组成。除第一个MultiMix block外，每经过一个MultiMix block，特征层的通道数加倍，空间尺寸保持不变。每经过一个2×2最大池化层，特征层的空间尺寸大小减半，通道数保持不变。

扩张路径由若干个2×2转置卷积、普通3×3卷积块以及一层1×1卷积层构成。橙色箭头表示2×2转置卷积，它将特征层空间尺寸扩大的同时将通道数减半。绿色箭头代表普通3×3卷积，用于减半特征层通道数。紫色箭头代表1×1卷积，它将特征层通道数最终降为2，因为目前只需区分出肿瘤目标和背景。

在原始U-Net网络中，收缩路径位于网络较浅部分，其路径中的特征层拥有较多空间信息，较少语义信息。扩张路径则位于网络较深部分，其路径中的特征层拥有较多语义信息，由于经过多次的下采样操作，缺乏空间信息，为了获得更好语义分割结果，常采取特征融合的方式来提升结果。U-Net收缩路径与扩张路径之间的特征融合采用对应特征层复制级联的方式。复制级联方式虽然简单，但收缩路径与扩张路径的各对应特征层之间可能存在语义间隔，直接复制级联不利于网络性能的提升。为了减轻两部分特征层之间的语义间隔，本文在通道数为64、128的特征融合通道上引入了Respath，如图1蓝色箭头所示，来自收缩路径的特征层在经过了Respath后才与扩张路径的特征层进行级联。其余特征融合通道上保留原有复制操作，如图1虚线箭头所示。

1.2 MultiMix block

1.2.1 空洞卷积

空洞卷积又名膨胀卷积，其本质是在普通卷积核中插入参数值为0的空洞，使卷积核尺寸扩大。在不增加卷积核训练参数的同时增大网络的感受野是空洞卷积最大的优势，其让网络能够提取范围更广的特征信息。空洞卷积核膨胀的尺寸大小与膨胀率D有关。插入空洞后的卷积核尺寸与原始卷积核尺寸以及膨胀率D对应的关系可表示为：

其中，K表示插入空洞后的卷积核尺寸，k表示原始卷积核尺寸，D表示膨胀率。普通卷积就是膨胀率为1的空洞卷积。尺寸为3的原始卷积核，使用不同膨胀率（1，2，3）的空洞卷积如图2所示。随着膨胀率的增大，卷积核的尺寸也增大，网络也就越能提取更大范围的特征信息。

当前在各种网络中使用空洞卷积的方式大致有串行连接方式、并行连接方式。串行连接方式是指对空洞卷积进行级联，这可显著增加网络感受野，让网络更能区分背景与目标。并行连接方式将模块的单条卷积通路改成多条卷积通路，每个通路上的空洞卷积设定不同的膨胀率以提取不同尺度的特征信息，最后将各支路特征信息进行融合。

1.2.2 MultiMix block结构

在超声乳腺肿瘤分割任务中，同时存在肿瘤区域与背景难以区分、肿瘤形状大小多变两个问题。采用串行连接方式可能会导致多尺度特征信息提取不足。并行连接方式可能会导致网络区分目标与背景能力受限，且会消耗大量计算资源。

为了同时解决这两类问题，MultiMix block在MultiRes block的基础上以串行连接空洞卷积的方式引入空洞卷积通路。当卷积层的卷积核尺寸固定，不同数量卷积层级联可以得到不同的感受野，而级联一个通路上各个卷积层的输出即可获得多尺度的融合特征信息。因此MultiMix block将各通路上各个卷积层的输出进行级联，并将普通卷积通路的输出与空洞卷积通路的输出进行相加融合。这样不仅可以增强网络区分背景以及目标的能力，还能提取更多尺度特征信息。

MultiMix block的结构如图3所示。图3中最上面一条通路标识普通卷积通路，卷积核用蓝色标识。中间通路代表空洞卷积通路，卷积核用绿色标识。底部残差连接的卷积核则用橙色标识。MultiMix block模块最后将包括残差连接在内的所有通路的输出进行相加输出。

普通卷积通路以及空洞卷积通路均包含3个卷积层，且每层卷积层后都加了BN（batch normalization）[22]层。两个通路均采用3×3卷积，但空洞卷积通路上的卷积需要设定卷积膨胀率这一参数，如图3中D1、D2、D3所示。另外，两通路中每层卷积的卷积核数量也并非保持一致，而是按照一定比例进行分配，这样有利于网络的轻量化。两个通路中的虚线表示对各卷积层的输出进行复制，虚线方框则代表级联操作。橙色方块表示残差连接中的1×1卷积。

在该结构中，特征层输入的通道数以及特征层输出的通道数可自主设置，但规定为8的倍数。特征层在普通卷积通路和空洞卷积通路中传递的通道数由输出通道数以及提前设置的分配比例共同决定，图中的1、3、4表示分配比例。当输出特征层通道数为128时，普通卷积通路与空洞卷积通路的卷积核个数则分别是16、48、64。为了应对乳腺肿瘤尺寸大小多变的特点，本文将空洞卷积通路中的各卷积层膨胀率D1、D2、D3分别设置为3、15、31。

1.3 Respath

Respath[21]在MultiResUNet中用来减小收缩路径特征层与扩张路径特征层之间存在的语义间隔。来自收缩路径的特征层经过Respath后才与对应扩张路径的特征层进行级联，且经过Respath后的特征层空间尺寸、通道数均保持不变。单条Respath由若干个残差卷积块组成。图4中展示的是由4个残差卷积块组成的Respath。MultiResUNet网络中总共包含4条特征层融合通道，因此该作者在MultiResUNet中引入了4条Respath。从上到下4条Respath的残差卷积块数量依次设置为4、3、2、1。

为达到减小语义间隔的目的，本文尝试引入Respath。但在实验中发现，完全引入在MultiResUNet中的4条Respath的结果不但没有提升反而变得更差。对此，本文在不改变MultiResUNet中Respath结构只改变Respath部署的条件下进行了对比实验，具体实验信息见第2.4.1小节。最终本文将Respath仅用在了通道数为64、128的特征层融合通道上，如图1中Respath1、Respath2所示[21]。各Respath中残差块的数量与MultiResUNet中对应位置Respath中的残差块数量一致。对于通道数为256、512的特征层融合通道，则直接采用复制方式，不使用Respath。

2 实验及结果分析

2.1 数据集

为对本文所提网络进行评估对比，本文使用Yap等公开的超声乳腺肿瘤数据集[5]。该数据集在西门子ACUSON Sequoia C512系统上收集，总共163张，来自163位女性。该数据集包含110例良性肿瘤以及53例恶性肿瘤。在该数据集的163张超声图中，有浸润性导管癌40例，肿瘤肿块图像中小叶癌2例，原位冠状动脉癌4例，不明恶性病变7例，有良性影像中纤维腺瘤39例，不明囊肿65例，其他类型6例。该超声数据集的平均尺寸大小为454×537，在本文实验中，图片尺寸统一设置为512×512。该数据集的标签均由经验丰富的医生标注，原图以及标签图示例如图5所示。

2.2 评价指标

为了量化对比本文所提出模型以及对比模型，本文将使用如下经典的量化评价指标：交并比（intersection over union，IoU）、Dice相似系数（Dice similarity coefficient，DSC）、全局准确率（global accuracy，GA）、特异度（Specificity）、灵敏度（Sensitivity）、精确率（Precision）、负正类率（false positive rate，FPR）。

IoU是语义分割中重要的评价指标，其计算分割网络所预测肿瘤区域与标签中肿瘤区域的交集部分所占并集部分的比例。DSC是用于不平衡数据集的重要评价指标，本文所使用数据集在一定程度上存在种类不平衡问题，因此也将DSC作为评价指标。由于语义分割本质上是对像素点进行分类，本文也使用了像素点分类预测准确度相关的评价指标如GA、Precision、Sensitivity、Specificity、FPR等指标。各指标的计算方式如下：

2.3 实验平台及参数设置

2.3.1 实验软硬件环境

本文进行实验的设备是一台工作站，其软硬件环境如表1所示。本文所提出的模型基于PyTorch[23]深度学习框架进行搭建、训练以及测试。

表1 实验软硬件环境信息Table 1 Hardware and software environment settings

2.3.2 实验及参数设置

由于数据集仅有163例，本文采用五折交叉验证方法对所有模型进行评估。163例数据中随机抽取33例作为测试集，再将剩下的数据分为训练集以及验证集。验证集用来保存模型表现最好的参数。每个模型在最后会保存5个权重参数，加载所保存的5个权重参数分别在测试集上进行测试，对测试结果取平均值即得到每个模型的最终评价结果。

在图片输入网络之前进行标准化。标准化的参数如均值、标准差均由各训练集计算得到。本文在实验训练过程中使用随机梯度下降优化器（stochastic gradient descent，SGD），使用Kaiming初始化[24]进行参数初始化。由于数据集中肿瘤区域仅占整个超声图像的较小比例，选择带权重的交叉熵损失函数作为目标函数。初始学习率设为0.000 1，Momentum设置为0.4，Batch size设置为5，Epoch设置为1 000。每100个Epoch将学习率设置为原来的一半。

2.4 实验结果以及分析

本文用第2.1节所提超声乳腺肿瘤分割数据集对模型进行训练及测试，并将本文最终提出的MultiMixU-Net与各经典网络进行对比。本文也利用消融实验验证了MultiMixU-Net网络中MultiMix block和使用改进部署后Respath的有效性。

2.4.1 Respath部署方式的确定

将U-Net收缩路径中每两个连续的卷积层（包括最底部）替换为MultiMix block后，所得网络命名为U-Net+MultiMix block。该网络中收缩路径特征层与扩张路径特征层进行特征融合依旧采用复制级联的方式，然而网络的收缩路径部分与扩张路径部分本就位于网络的不同深度，这导致收缩路径特征层与扩张路径特征层之间存在一定的语义间隔。为了减少两部分特征层之间的语义间隔，本文尝试在U-Net+MultiMix block特征融合通道上引入Respath。

U-Net+MultiMix block中总共包含4条特征融合通道，第一条特征融合通道（即通道数为64的特征融合通道）所对应收缩路径特征层与扩张路径特征层在网络中相隔最远，因此语义间隔也最大。本文将Respath首先在第一条特征融合通道上采用，对于Respath在其他特征融合通道上的使用均在此基础上进行添置。为了确定使网络表现最好的Respath部署情况，本文设置的模型如表2所示，各模型的指标结果和实例分割结果如表3、图6所示。

表2 用于确定Respath部署方式的模型设置Table 2 Model settings for determining layout of Respath

如表3所示，在U-Net加入MultiMix block且不在特征融合通道中加入Respath可使DSC达到0.769 2，IoU可达到0.625 4，在像素分类指标Global Accuracy上也可达到0.979 9。当在通道数为64的特征融合通道上使用Respath时，模型U-Net+MultiMix block+Res path*1的结果中各项指标与U-Net+MultiMix block的结果大致相当，稍有下降。在通道数为64、128的特征融合通道上使用Respath时，U-Net+MultiMix block+Respath*2相较于U-Net+MultiMix block在多项指标上均有提升，其中DSC从0.769 2提升至0.775 7，IoU从0.625 4提升至0.634 1，Global Accuracy、Sensitivity、Precision也有对应小幅度提升。然而当继续在通道数为256、512的特征层融合通道中添加使用Respath时，各项指标结果非但没有提升反而有明显的下降。

表3 各候选模型的指标结果Table 3 Result of different candidate models on metrics

在实例分割图6中，也可以看出U-Net+MultiMix block+Respath*2相比较于其他网络有更少的假阳区域，且最终的分割结果也更逼近标注图。本文推测，这可能是由于U-Net+MultiMix block网络中第一条、第二条特征融合通道所对应收缩路径特征层与扩张路径特征层之间语义间隔都较大，只把Respath加在第一条特征融合通道上作用不明显。而对于第三条、第四条特征融合通道，其对应收缩路径特征层与扩张路径特征层在网络中相隔较近，语义间隔较小，使用Respath反而会传递一些冗余信息从而影响网络整体性能，因此保持复制的方式更为有效。

综合以上评价指标结果以及实例分割结果，本文选择U-Net+MultiMix block+Respath*2作为最终模型，并将其命名为MultiMixU-Net。

2.4.2 MultiMixU-Net与经典网络的对比

本文将最终提出的MultiMixU-Net与经典分割网络U-Net、SegNet、MultiResUNet、AttentionU-Net、CE-Net[25]、DC-UNet[26]进行对比，训练过程中验证集上的DSC上升曲线对比如图7所示，各指标对比如表4所示，实际分割结果示例如图8所示。

表4 各网络的对比实验指标比较Table 4 Comparation of result of different networks on metrics

图7 表明MultiMixU-Net在验证集上的DSC曲线不仅上升最快，且数值最高，这表示MultiMixU-Net具有较强的特征学习能力。

在语义分割任务中重要的衡量指标IoU、DSC分别达到0.634 1、0.775 7，相比于作为基础模型的U-Net分别提升0.154 1、0.127 3。虽然MultiMixU-Net在Sensitivity指标上不如CE-Net，但如果同时考虑其他指标，尤其是关键的IoU以及DSC指标，MultiMixU-Net更能对乳腺肿瘤进行较精确的分割。DC-UNet是MultiResUNet的改进版本，从评价指标上也可看出，DC-Unet结果优于MultiResUNet。

图8展示MultiMixU-Net与参与对比的其他网络在测试集上的分割结果。U-Net分割结果存在较多的假阳区域，其并不能够很好地区分肿瘤区域以及背景区域。CE-Net、SegNet结果中的假阳区域较少，个别例子中可以找准肿瘤区域，但肿瘤分割结果形态与标注图有较大差异。MultiResUNet能够在目标与背景对比明显的超声图片中找到肿瘤区域，且分割形状也较接近于标签图，但存在较多假阳区域。MultiMixU-Net分割结果中的假阳区域相较于其他模型明显减少，且分割结果形态更逼近标注图。综合对比来看，MultiMixU-Net无论在区分肿瘤及背景能力上还是在分割结果形态方面都好于其他对比网络，且参数量较少。

2.4.3 消融实验及分析

为了证实本文所提结构确实有效，做消融实验进行验证。消融实验的基础模型设置为U-Net。为了验证MultiMix block的作用，本文将U-Net收缩路径中包括最底部的每两个连续卷积层替换为MultiMix block，特征融合通道采用简单的复制操作而不使用Respath，该模型在消融实验中被命名为U-Net+MultiMix block。在第2.4.1小节中的U-Net+MultiMix block+Respath*2在实验中被用来验证修改Respath部署的有效性。消融实验中各模型评价指标如表5所示，实例分割结果如图9所示。

从表5可看出，MultiMix block的引入使得每个评价指标都有提升，其中DSC从0.648 5提升至0.769 2，IoU从0.480 0上升至0.625 4，FPR则从0.021 1下降至0.012 0。在U-Net+MultiMix block的通道数为64、128的特征融合通道上引入Respath则使U-Net+MultiMix block结果进一步提升，DSC达到0.775 7，IoU达到0.634 1，Global Accuracy则达到0.980 3，虽然在Specificity以及FPR上稍有下降，但数值大致与U-Net+MultiMix block结果相同。

表5 消融实验指标展示Table 5 Result of ablation experiments on metrics

从实际分割实例图9可以看出，当超声肿瘤图片中背景存在较大面积阴影时候，U-Net网络对于区分背景以及肿瘤目标的能力不足，分割结果中会出现较多假阳区域。即使在找准肿瘤位置的图片中，其最后的分割结果也与标注图有较大形态上的出入。引入MultiMix block后，分割结果中假阳部分相比较于U-Net有了明显的减少，且在分割结果形态上也更逼近于标注图。假阳区域明显减少是由于MultiMix block中有一条空洞卷积通路，这让网络感受野更大，能提取更多上下文信息，增强了网络区分肿瘤目标与背景的能力。分割结果在形态上的提升则是由于MultiMix block内部的特征信息级联融合方式。U-Net+MultiMix block+Respath*2的分割结果表明，在通道数为64、128的特征融合通道上引入Respath不仅使假阳区域有了进一步减少，还使分割结果的形态更加逼近标注图。以上实验证明，MultiMix block以及Respath的改进部署的确在网络中有效。

3 结束语

针对超声乳腺肿瘤分割任务，本文提出一种基于U-Net改 进 的 网 络MultiMixU-Net。MultiMixU-Net将U-Net收缩路径中（包括底部）的每两个连续卷积层替换为本文提出的MultiMix block，并在通道数为64、128的特征融合通道上引入Respath。本文使用Yap等公开的超声乳腺肿瘤分割数据集对MultiMixU-Net进行了训练以及测试，并与经典的SegNet、U-Net、MultiResUNet、AttentionU-Net、CE-Net等网络进行对比。实验无论是在指标上还是在实例分割结果上都表明，MultiMixU-Net分割结果优于其他对比网络，且参数量较少。但本文网络只在单一数据集上进行了验证，缺乏对多站点数据的评估。模型训练的超参数需要根据所处理的数据集进行调整，不能完全保证模型权重能在多站点数据集之间性能无损地迁移。