基于全局特征U-net的胰腺图像分割

向智霆，刘剑聪，魏 柳，王淇锐，简丽琼，肖 斌,3

(1.重庆邮电大学 计算机科学与技术学院，重庆 400065；2.宁夏回族自治区血液中心， 银川 750001；3.图像认知重庆市重点实验室， 重庆 400065)

0 引 言

胰腺癌是一种恶性度高、早期较难发现的消化道肿瘤。近年来，胰腺癌的发病率在全球范围内呈上升趋势，该疾病难以治疗且死亡率较高。为了提高手术成功率，医生需要准确了解胰腺区域细节特征，因此，开发一个能够真实准确反映胰腺特征的计算机系统势在必行。在计算机辅助疾病诊断领域，对肺[1-3]和心脏等大型器官疾病的诊疗已经初具成效[4-5]，但由于胰腺体积较小，具有形状变异性，受到背景场的干扰很大，在计算机断层成像(computed tomography, CT)中胰腺区域的精确分割依旧十分困难。

传统医学图像分割方法大体可分为3类[6]：①阈值分割法；②边缘分割法；③种子区域生长法。阈值分割法利用图像中物体灰度值强度的不同选取目标区域，具有低成本、易实现的特点，但腹部CT图像中胰腺区域与周围组织的灰度值相近，并且胰腺由于具有个体差异性难以选取合适的阈值，故阈值分割法不能胜任胰腺图像分割的任务。边缘分割法利用不同的算子检测图像边缘，通常这些边缘标示图像中灰度、颜色、纹理不连续的位置。Sobel算子[7]根据像素点上下、左右相邻点的灰度加权差在边缘处达到极值来检测图像边缘。在胰腺图像分割任务中，腹部区域器官较多、结构复杂，并且胰腺区域没有明显的灰度边缘，故边缘分割法也难以取得理想的效果。种子区域生长是一种典型的串行区域分割方法。文献[8]提出种子区域生长法，将图像按灰度值不同分割成若干小区域，之后从种子区域出发按照特定的规则将小区域合并为大区域，直至迭代停止。种子区域生长算法中种子点选择需要人工交互，但在没有先验知识的情况下，人工选择的种子点和随机选择的生长规则使分割效果与实际情况存在较大差异。此外该算法对噪声和灰度均不敏感，这可能会产生空洞和过分割现象，因此种子区域生长法不适用于对灰度信息要求较高的胰腺分割领域。

随着深度学习的发展，神经网络已经在医学图像分割领域广泛应用。常见的用于医学图像分割的深度学习方法有U-net[9]、全卷积神经网络 (FCN)[10]、Segnet[11]等。其中U-net方法提取了编解码器结构，编码过程可以捕捉语义信息，与之对应的解码过程可以进行精确定位，并且该结构可以在数据集有限的情况下获得良好的效果。针对U-net在胰腺图像分割任务上的不足，文献[12]提出了一种先粗分割再细分割的胰腺分割方法，采用粗分割定位胰腺的区域并对图像进行裁剪获得包含胰腺区域的较小图像，能够减少背景的干扰，增加胰腺的分割准确率，最终，文献[12]提出的基于FCN的定点模型平均Dice相似系数(Dice similariy coefficient,DSC)达到 83.18%。文献[13]提出利用神经网络反复进行上下文学习的胰腺分割方法，将卷积神经网络(convolutional neural networks, CNN)进行胰腺分割预训练，后将CNN多层相邻胰腺分割结果输入RNN整合其相邻层的信息得到胰腺分割结果，利用该方法得到更加精确的胰腺分割结果，并使平均DSC提升至83.70%。文献[14]将深度神经网络分割与Bayeux统计形状模型结合在胰腺分割模型中。该方法利用Bayeux统计形状模型获取丰富的先验形状改善神经网络的分割能力，得到平均DSC为85.32%，但通过Bayeux模型获得先验形状十分繁琐。文献[15]提出一种基于3D计算机断层扫描的自动化系统：第1步，通过在3个正交轴的方向上扫描，把随机森林方法结合到胰腺的3D边框；第2步，利用神经网络融合3个方向语义特征，得到可靠的胰腺边缘，最后得到的平均DSC为81.30%。

尽管胰腺图像分割的准确率逐年升高，但依旧有一些困难没有解决。分割的困难主要体现在以下几个方面：①胰腺与周围组织没有明显的灰度边缘；②胰腺是软体组织具有形状变异性，个体与个体之间存在较大差异；③胰腺器官较小，只占腹部CT图像的很小一部分。全局特征具有旋转不变性和灰度不变性等显著的优点，能够很好地把握胰腺的纹理特征及其整体形状。本文将全局特征模块与U-net网络集成，通过全局特征模块提取胰腺的全局特征，并与编码器提取的局部特征进行整合后输入解码器提升分割结果的准确率。该方法不仅能够把握胰腺的全局特征，而且能够增强网络对细节信息的提取能力，进一步提升分割效果。

1 基于GF U-net的胰腺图像分割方法

1.1 网络体系结构

全局特征能够整体把握目标形状，纹理信息，能够直观表示胰腺特征。受全局特征和U-net的启发，本文提出了基于全局特征U-net(U-net with global features, GF U-net)的胰腺图像分割方法，采用与U-net类似的整体架构，两侧为对称的编码器和解码器，通过中间对应的快捷连接传递上下文信息并在网络底部加入全局特征模块。编码器将提取的特征通过快捷连接传入解码器，解码器整合编码器不同层次的信息以及全局特征模块的形状信息，使得网络更加准确和健壮，本文GF U-net的网络体系结构如图1所示，图1直角蓝色框表示一个多通道特征映射，虚线框代表一个网络操作单元。

图1 GF U-net的网络体系结构Fig.1 Network architecture of GF u-net

1.2 全局特征模块

在经典U-net网络上，衍生出了加入残差模块[16]的Residual U-net[17]网络和加入注意力模块[18]的Attention U-net[19]网络。Residual U-net网络加深了网络的深度，使得网络的表达能力增强且能够抽象出图像更深层次的特征，从而提高网络识别率；Attention U-net网络加入了注意力机制，使得网络能够对目标区域赋予更大的注意参数，从而对目标区域分割更准确，这两种网络也存在对目标形状、纹理等特征把握不准的问题。

全局特征是指图像的整体特征，用于描述图像或目标的颜色、形状、亮度和纹理等特征，具有良好的不变性和表示直观等特点。全局特征模块如图2所示。胰腺在计算机断层成像中具有较明显的整体形状以及清晰的纹理特征，经典U-net通过快捷连接传递上下文信息，难以较好地掌握目标区域的形状、纹理信息。本文针对胰腺的特点提出的GF U-net方法，能够通过全局特征模块提取全局特征对胰腺区域进行整体约束。全局特征模块能够保存编码器提取胰腺的局部特征，并通过特征提取分支整合局部特征得到胰腺的全局特征，最后通过拼接单元将局部特征和全局特征进行拼接输入解码器。主干分支包括两个3×3的卷积紧跟非线性单元(Selu)用以提取更深层的特征并保留局部特征。特征提取分支包括两个3×3的卷积紧跟非线性单元以及一个2×2的最大池化层减小特征图尺寸，然后通过两个特征通道数(1 024和512)的全连接层用以整合局部特征得到全局特征。虽然相对于卷积和池化操作不能很好地把握相邻每个节点之间的关联性，但全连接层在每个节点之间都建立了参数关联，能够更好地表现出图像的全局特征。拼接单元将复制4×4的全局特征张量与主干分支的输出张量进行拼接，最后通过3×3的卷积调整为所需特征通道数输出解码器。本文的GF U-net不仅有全局特征，还包含胰腺的局部特征。全局特征很好地保留了胰腺重要的形状、亮度和纹理等信息。局部特征具有数量丰富，特征相似性小，遮挡情况下不会因为部分特征的消失而影响其他特征的检测和匹配等特点。

图2 全局特征模块组成Fig.2 Global feature module composition

1.3 损失函数

在医学图像分割中，Dice[20]通常被用来衡量目标区域和待测区域的重合程度。Dice通过“∩”计算出真实输出和预测输出的相同部分后进行归一化并修改为负值。Dice值越小时两者重合程度越高，分割效果越好，并且Dice计算效率高。因此，本文选用Dice衡量输出掩模与真实掩模的差距，同时能够加快网络的收敛，提升分割精度，将其作为GF U-net的损失函数。其定义为

(1)

(1)式中：M为真实输出；N为预测输出。

1.4 实现细节

本文实验采用美国国立卫生研究院(national institutes of health，NIH)公开胰腺数据集，其中包含了82个病人的腹部增强三维CT图像(512×512×D,D∈[180，465])。切片用标签的包围框裁剪，得到胰腺部分的原始图像[12]。考虑到胰腺的共同强度分布，本文将图像缩放到[0,1]，使用标签对原始图像进行标记，选出含有胰腺部分的切片，然后通过全零填充将图像标准化为192×256×160。在进行实验时，对学习率、批大小和训练迭代次数进行调参，并尝试了多种激活函数。最终，得出网络的最优参数构成：学习率设置为0.000 01；训练迭代次数设置为10；批大小设置为1；激活函数使用Selu。为了提高实验结果的准确性，避免产生训练集依赖，本文采用了四折交叉验证。

2 实验结果及分析

本文采用与Dice相似的DSC作为评估标准，GF U-net方法与其他文献分割方法的DSC对比如表1所示。

表1 DSC实验结果比较

在表1的分割结果中，GF U-net方法的DSC平均值最高，达到87.13%，标准差为3.76%，在最好的情况下DSC值为93.58%，最坏的情况为76.39%。与文献[12]提出的基于FCN的定点模型相比，GF U-net方法的最低DSC值提高了11.29%；与文献[13]胰腺分割方法相比，标准差减小了1.34%，因此，GF U-net方法更加稳健。文献[14]通过微调U-net并结合贝叶斯方法使DSC平均值达到了85.32%，但也未达到本文方法水平。因此，本文的GF U-net方法具有更好的鲁棒性，能够在极端情况下的测试样例中获得明显优于其他处理方法的结果，在计算机辅助疾病诊断领域具有实用价值。

在NIH数据集第29号病例中应用U-net[9]、Residual U-net[17]和本文GF U-net方法，图3为效果展示图。图3第1列为NIH数据集中的原图切片，29#-72表示第29号病人的72号切片；第2列MASK为标准胰腺区域；第3—5列分别表示GF U-net (GN)、Residual U-net (RN)、U-net方法对第29号病人的胰腺图像分割结果。

同年，党中央部门机构改革也开始推进。这次改革重点抓定职能、定机构、定编制的“三定”工作，实施党政职能分开，理顺党的工作部门和行政部门、党的工作机构和政府机构、党的群团组织和党务工作部门之间的关系，精简机构和人员编制。

图3 第29号病例效果展示图Fig.3 Illustration of case No.29

从图3可以看出，在第29位病人CT的第79切片中，GF U-net的效果比Residual U-net与U-net都好，与真实情况基本吻合。Residual U-net和U-net的结果与真实偏差较大且出现了组织区域断离的情况。整体来看GF U-net以及Residual U-net出现了不同程度的过分割现象，而传统的U-net则同时出现了过分割和欠分割的现象，因为U-net仅简单通过快捷连接在编码器和解码器之间传递上下文信息，无法准确把握胰腺的形状、纹理信息，导致分割效果较差。GF U-net通过全局特征模块提取胰腺图像中的全局特征，最终结果更加符合真实的胰腺区域。本文方法能够较好地把握胰腺的全局特征，对于胰腺的整体形状把握更加准确，分割的效果平滑且更符合生物器官特征。对29号病例的分割准确率GF U-net为76.31%，Residual U-net为76.24%，U-net最差，只有74.53%。在3种结构中，GF U-net分割准确率最高，更接近于实际的掩模。

用GF U-net, Residual U-net和U-net这3种方法再对 NIH数据集第72号病例进行处理，图4 为第72号病例效果图。GF U-net方法拥有最高的DSC，达到了93.58%，能够更准确地把握胰腺的细节特征。在72号病人的第80个CT图像切片中，真实的胰腺区域中部有较小的突起，GF U-net能够较明显地分辨该区域，而U-net则完全不行。本文的方法能够更好地分辨胰腺的局部特征。

结合图3、图4可知，对于具有最低DSC的29号病例和具有最高DSC的72号病例，GF U-net都能取得较好的效果。因此，针对具有不同形状特征的胰腺，本文的GF U-net方法具有更强的鲁棒性，能够更准确地提取局部特征并整合全局特征。

3 结束语

胰腺形状难以描述且灰度信息难以与周围的环境区分开，本文在加深网络层数的基础上引用全局特征，能够更好地提取胰腺的抽象特征以便和背景区分，描述出胰腺的基本形状、纹理特征。本文方法基于U-net结构，通过进一步收缩网络，加深网络深度，引用全局特征模块来描述形状，提升网络对胰腺形状的整体把握。在NIH数据集进行试验得到的平均DSC为87.13%，优于目前的方法，且具有更好的鲁棒性。以后将进一步探索胰腺图像分割中的潜在特征鉴别，以提升胰腺图像分割的精度。

图4 第72号病例效果展示图Fig.4 Illustration of case No.72