基于深度学习的器官自动分割研究进展

郭 雯，鞠忠建，吴青南，全 红，戴相昆

（1.武汉大学物理科学与技术学院，武汉 430072；2.解放军总医院第一医学中心放疗科，北京100853；3.北京大学国际医院，北京 102206）

0 引言

在包括放疗在内的诸多医学领域，基于CT、MRI等医学影像的器官分割或轮廓勾画作为疾病诊疗的必要辅助手段日益受到关注，尤其是在以图像引导和自适应放疗为代表的精准放疗领域[1-2]。准确、高效的器官分割可为精准照射肿瘤和更好地保护正常组织器官提供有力帮助。

既往大量医学图像分割的研究主要基于图像语义，如阈值法、边界检测法、区域法等，在复杂场景下分割效果不尽理想[2]；而基于模板、人工提取特征的算法在与组织边界不明显的器官识别中表现较差。

深度学习在计算机视觉处理领域取得了巨大成功[3]，一些研究团体尝试将其应用到医学图像自动分割中[4]，实现对患者组织器官的有效分割，为疾病检查与诊断、放疗中危及器官勾画打好基础。本文基于临床上最常用的CT和MRI 2种辅助检查图像，介绍使用深度学习方法自动分割器官的研究进展。

1 深度学习网络模型

深度学习的概念最早由Hinton等[5]在2006年提出，其模型分3类，分别是基于卷积运算的神经网络，如卷积神经网络（convolutional neural networks，CNN）；多层神经元自编码神经网络，如自动编码机（auto encoder，AE）；多层自编码预训练、根据特征微调神经网络权重的深度置信网络（deep belief networks，DBN）。在医学图像器官分割领域，CNN是研究最多也是最为基础的深度神经网络。

1.1CNN

CNN在1980年由Fukushima提出[6]，基本结构如图1所示，从输入单元通过若干交替设置的卷积层和池化层学习图像信息、得到特征映射，最后通过全连接层表征输入图像类别或提取重要信息。

图1 CNN结构示意图

在CNN基础上已经发展出一系列图像分割领域表现出色的模型，如视觉几何组（visual geometry group，VGG）[7]、残差神经网络（residualneuralnetworks，ResNet）[8]等，但精度的提高依赖于网络层数增加，这会加剧过度拟合问题。另外，输出图像尺寸远小于输入，无法满足端到端的医学图像分割需求。

1.2 全卷积神经网络（full convolutional networks，FCN）与 U-Net

FCN是在医学图像分割领域广泛应用的CNN变体，结构如图2所示。其跳级连接使网络深层计算融合图像细节，提高了分割精确度，增强了输入图像的鲁棒性；反卷积结构使输出图像恢复至输入尺寸[9]。

图2 FCN结构示意图

U-Net是基于FCN发展出的更适合医学图像二值分割特点的网络模型，结构如图3所示。收缩路径利用下采样捕捉图片上下文信息以获取图片特征，扩展路径通过水平连接融合图像细节，实现特征精准定位[10]。该结构可根据需要自由加深，适应了医学图像尺寸偏大的情况。

FCN与U-Net各有特点：U-Net卷积时未使用填充结构，导致输出图像尺寸小于输入图像；FCN在进行浅层特征融合时使用求和方式，U-Net则使用串联方式。因此，FCN与U-Net在医学图像分割领域均占有一定地位。

1.3 其他常用深度学习网络

在医学图像器官分割领域表现优异的其他深度学习网络还有循环神经网络（recurrent neural network，RNN）、稀疏自动编码机（sparse auto encoder，SAE）、生成式对抗网络（generative adversarial networks，GAN）等。RNN 是一种时序的神经网络，常用于获取时序信息或处理序列数据[11]，如Andermatt等[12]应用RNN在整个3D空域对全脑图像进行单像素分割。SAE由多层自动编码器堆栈组成[13]，通过自动编解码从像素数据中获取图像特征，如Guo等[14]使用堆叠稀疏自编码器（stackedsparseautoencoder，SSAE）成功分割前列腺。GAN近来在图像分割领域广受关注，它通过生成模型与判别模型的互相博弈学习图像样本，如Jin等[15]使用条件生成式对抗网络（conditional generative adversarial networks，cGAN）分割肺结节并取得良好效果。

1.4 深度学习网络改进

以上几种深度学习网络模型是器官自动分割领域较为基础的模型。研究者们会根据应用场景、图像类型和器官种类等因素有针对性地对网络进行改进，提高器官分割的精度和效率。主要改进方法有以下几种：

（1）增加卷积路径。如Kamnitsas等[16]分割脑部MRI时，输入图像通过两条卷积路径：一条针对大面积、高像素的图像获取全局信息，另一条针对小面积、低像素的图像获取局部信息。最后将两条路径结果串联通过全连接层，达到全脑分割戴斯相似性系数（Dice similarity coefficient，DSC）值89.9%的结果。通过增加卷积路径，网络可学习图片不同层次的信息。

（2）增加网络模块。如Zhao等[17]先使用FCN对图像进行初步分割，然后将输出通过条件随机场（conditional random fields，CRF）模块使分割更好地关联图像上下层信息，达到全脑分割DSC值87%的结果。增加有利于器官分割的模块可有效提高分割精度。

（3）级联网络。如Christ等[18]分割肝脏时，先使用U-Net1从输入图像中分割肝脏，再将结果输入U-Net2分割肝组织；同时，U-Net2也直接从输入图像中分割肝组织。2个U-Net以这种方式形成复杂连接，形成级联全卷积神经网络（cascaded fully convolutional network，CFCN），达到肝脏和病变分割DSC值均高于94%的结果。通过将深度学习网络进行串、并联等进行连接，增加了网络深度，增强了分割专一性。

图3 U-Net结构示意图

（4）融合多种网络。如Alom等[19]使用ResNet和RNN改造U-Net，形成循环残差卷积神经网络（recurrent residual neural network，R2UNet），实现肺部肿瘤分割平均DSC值98.32%的好成绩。ResNet中的残差连接有效避免了伴随网络加深而来的梯度消失与爆炸的问题，RNN中的循环连接提高了肺部CT的上下层切片信息的关联度，U-Net中的水平连接使更多图像细节向网络深层传递。

上述对深度学习网络的调整或改进使得分割结果有一定提升。

2 基于深度学习的CT和MRI图像的器官分割

通过分割医学图像中的器官、组织等，可以获得许多与患者有关的临床参数，为疾病初筛、身体检查提供参考，并可以辅助医师完成放疗计划设计中十分重要的勾画工作，提高效率。CT和MRI是目前最常用的医学辅助成像方法，利用深度学习方法分割其图像中的正常器官及病灶如脑部肿瘤、肺结节等在临床上有重要意义。

2.1 脑部分割

准确分割脑部结构是辅助诊断中枢神经系统疾病如精神分裂症[20]、阿尔茨海默病[21]的有效手段，可在放疗时保护脑的重要结构免受射线损伤。国际上有关脑部图像分析的比赛，如BRATS、ISLES及MRBrains等，所用方法几乎被深度学习占据，并以CNN为基础的分割方法表现最为优异。CNN自动分割脑部的高引文献汇总见表1。

表1 深度学习分割脑部MRI图像高引文献

图4展示了Havaei等[26]使用增加卷积路径的方法改造的CNN结构图。该网络有两条路径：一条路径集中在图像小区域内卷积，最大输出层为一个全连接层，进行图像局部感知；另一条路径对整个图像进行卷积，输出层由2个最大输出卷积层组成，进行图像全局感知。最终两条路径的分割结果串联而成，通过完全连接归一化层得到最终分割结果。

图4 Havaei等[26]分割脑部MRI所用CNN结构图

尽管颅脑MRI图像是3D的，但为降低计算要求，多数研究者将图像分割为2D切片逐片分析，最后将结果相连接形成3D分割[23-27]。也有文献报道了直接进行3D分割的情况，如Kamnitsas等[16]和Nair等[28]提出了3D CNN方法，Andermatt等[12]和Stollenga等[30]使用改进后的RNN在整个3D空域实现单像素分割，解决了CNN结构对输入图像尺寸有限制、感受野限于图像局部[33]的问题。

2.2 肺部分割

目前，肺部影像获取方法仍以X射线及胸部CT检查为主，肺部分割研究主要基于CT图像。放疗中，准确分割肺部对降低其受量十分关键，可提高患者生存质量，也为二次放疗保留余地。分割肺结节或肺部肿瘤同样对肺癌辅助检查十分有效。近3 a来应用深度学习分割肺部或检测肺部疾病的部分高引文献见表2。

表2 深度学习分割肺部CT图像高引文献

由表2可以看出，分割肺部首次使用了胶囊网络[34]，该网络以向量神经元表示器官各部分属性，增大了对更大尺寸图像处理的能力，特别适用于肺部CT图像较大的特点；肺结节分割结果也已接近放疗科医师水平[36]，假阳性结节识别率较低[37]。

图5展示了Wang等[36]分割肺结节使用的CFCNN结构图，其由增加CNN卷积路径的方法改造得到。该网络的两条路径分别对图像的3D切片和2D切片进行卷积池化，得到不同尺度信息。3D切片分支由于包含了上下层图像信息，可获得图像全局信息；2D切片分支则专注单片图像细节，可获得图像局部信息。最终两条卷积路径的输出通过全连接层形成图像前景和背景的特征映射。

图5 Wang等[36]自动分割肺结节所用CF-CNN结构图

2.3 肝脏分割

目前利用深度学习分割肝脏主要基于CT图像进行。肝脏与周围器官灰度值接近，其大小、形状受患者个体差异及呼吸动度影响较大，分割具有挑战性。自2016年起，基于CNN的自动分割就取代了基于形状和外观的建模方法，成为肝脏分割挑战SLI-VER07的最优方法[38]。基于CT图像采用深度学习自动分割肝脏的部分高引文献见表3。

表3 深度学习分割肝脏CT图像高引文献

由表3可知，基于改进CNN的3D分割方法应用最广，因其可以充分利用三维空间信息，结合浅层和深层的特征增加肝脏分割的准确性。目前，基于CT图像分割肝脏主要以研究器官分割为主，分割病变区域大多需要MRI图像辅助。

图6展示了Dou等[43]应用的3D深度监督网络（deeply supervised network，DSN）结构图，通过将CRF模块嵌入FCN的方式改造而成。网络在FCN-2和FCN-4的反卷积过程中使用CRF形成深度监督器，得到肝脏细节信息作为输出；传统反卷积过程预测肝脏轮廓作为输出；最后将3次反卷积输出叠加，形成与输入3D图像体积相同的预测图像。

图6 Dou等[43]在CT图像中分割肝脏割所用3D DSN结构图

2.4 胰腺分割

胰腺与其周围组织关系紧密且形状多变，为其从图像中分割带来一定困难[48]。目前，国内分割胰腺的报道主要基于 MRI，一般使用基于字典的方法[49-50]或利用统计学方法[51]进行分割；国际上使用深度学习方法分割胰腺的报道主要基于CT图像。部分分割CT图像中胰腺的高引文献见表4。

由于胰腺具有高度的解剖变异性，使用分割肺部、肝脏的网络往往无法达到很高的精度，需要具有更复杂神经元连接方式的网络。结合表4可知，分割胰腺所用网络的附加模块更加多样[55]，结构更加复杂[53]，且更关注对网络运算时间的控制[54]。

Roth等[52]在进行胰腺分割时，将滑窗方式提取的2.5D图像切片、CT超像素小区域切片以及超像素概率映射切片3种尺度的图像通过CNN的3个通道，通道结构均如图7所示，在3个完全连接层中使用2次随机失活对数据进行约束，防止分割结果过度拟合。通过增加网络路径，学习图像不同尺度信息，提高了图像处理流程，增强了分割准确性。

2.5 前列腺分割

前列腺是深度学习自动分割研究较早关注的领域。前列腺癌变诊断常以MRI为基础，而放疗时需对患者盆部CT图像进行精准前列腺勾画。使用深度学习方法自动分割前列腺高引文献见表5。

表4 深度学习分割胰腺CT图像高引文献

图7 Roth等[52]自动分割胰腺基本网络结构图

表5 应用深度学习方法自动分割前列腺高引文献

前列腺毗邻膀胱，紧挨直肠，与周围组织粘连严重，手动分割效率低下。由表5可知，采用以CNN为基础的网络可以快速分割前列腺MRI图像，达到较为准确的分割精度。其中提出的VNet[59]算法由于对器官特征的学习能力强，被广泛应用于其他器官分割领域[62-67]。

图8展示了Milletari等[59]分割前列腺所用V-Net结构，其在U-Net中加入了残差连接结构，所得网络不仅包含U-Net端到端的图像分割特点，而且包含ResNet收敛速度快、降低过拟合的特点，可用于3D图像分割。V-Net左侧的压缩路径提取图像特征，缩小图像尺寸；右侧的解压路径通过跳过连接结构与反卷积所得结果串联，融入图像细节，增强分割精度。最终，输出图像恢复到原始大小，并通过归一化指数函数获得图像前景和背景的概率预测，得到最终分割结果。

图8 Milletari等[59]在MRI图像中分割前列腺所用V-Net结构图

2.6 其他器官分割

使用深度学习方法自动分割医学图像的研究涉及范围广泛，对许多器官或组织均有尝试，且表现不俗。如Thong等[68]将CT图像分割成43×43的图像块，利用2D CNN分割肾脏；Taha等[69]提出基于CNN的Kid-Net方法直接从3D CT图像中分割出肾脏的动脉、静脉及输尿管；Zilly等[70]使用基于集合学习的CNN成功分割视网膜图像中的视盘；Lessmann等[71]使用基于FCN的方法实现CT图像椎骨分割；Yu等[72]提出一个深度残差全卷积网络（fully convolutional residual network，FCRN）在皮肤镜图像中分割黑色素瘤……随着研究的深入，深度学习有望在器官分割领域获得更多、更好的结果。

3 预测与挑战

实现器官的自动分割在临床上意义显著，尤其是在放疗领域，可辅助或代替医师完成勾画，既显著减少医师重复性工作，也为自适应放疗等新技术的临床应用提供基础。但要实现其临床应用仍有一些问题亟待解决。

一是3D图像训练问题。为降低计算要求，多数研究者使用2D切片进行训练。而MRI与CT图像均为3D图像，为此越来越多的研究者通过增加网络复杂程度[16]、加入条件模块[17]、构建3D网络[12]和使用RNN[19]等方式实现3D空域的单像素分割，增大感受野，更好地约束输出图像。

二是少样本训练问题。有标注的临床样本获取难度大，用于网络训练的医学图像训练集通常较小。考虑到医学图像的特殊性，一般采用2种方式提高分割精度：在数据增强方面，采取改变2D图像形状及分辨力、与3D图像共同训练的方法；在网络改进方面，采取增加网络路径、引入密集连接、残差结构等方式。

三是网络构建问题。器官分割领域所用网络多由其他领域的成熟网络改造而成，鲜有发明新网络的报道。其原因在于医学领域缺乏精通深度学习、能够独立搭建网络的研究人才。需要医学与计算机领域进一步密切合作，共同开发器官分割精度更高、速度更快的网络。

此外，还有一些问题仍需多方面努力，如临床信息公开甚至商用时面临的法律和伦理问题、训练数据脱离医师监督后的安全问题、疾病临床分期复杂可能导致的网络普适性问题等。

4 展望

使用深度学习方法进行医学图像器官分割已有广泛研究。为提高自动分割准确性，使用深度神经网络结构多以CNN为基础；采取多尺度、多模态预处理输入图像，增加样本容量；增加网络通道数，优化数据处理流程；优化网络结构，融合多种函数与连接结构，生成更多的衍生网络；汲取新技术，使用FCN、ResNet等效果更好的网络模型。这些改进提高了分割器官的速度，增强了不同器官间的迁移性和泛化性，可进行多器官同时分割，且分割更准确，DSC值普遍大于 0.8，部分结果可媲美医师[16，35，45，52，61]。

对于器官分割中存在的问题，未来，研究者们将通过图像迁移学习、样本GAN生成、多中心合作等多种方式，提高网络的成熟度和泛化性，以进一步提高分割精度和分割效率；并在此过程中将样本学习方式从有监督向半监督或无监督方式转变，尝试在缺乏大量图像样本或样本不可用的情况下，不影响器官分割的准确性。另外，设计一种不依赖于用户手动调整参数、形式化数据集间差异的网络也是重要的研究方向，它的实现将提高应用于不同器官分割时的迁移性和普适性，进一步降低人的主观干预，试图实现器官分割全自动化。随着越来越多专为医学领域设计的算法的涌现，器官分割自动化已经显示出巨大希望。

5 结语

深度学习发展飞速，不论是在医学图像器官分割方面还是对于其他临床初步应用，其结果都令人鼓舞。尽管要获得广泛认可仍然任重道远，但是随着医学图像领域更多网络模型的研究、样本可用性及算法改进的探索、数据处理容量和速度的提升以及更多资本与资源的投入，新的深度学习技术不断涌现，各种类型的深度神经网络正在有效解决具有挑战性的图像分割问题，为该领域做出更大的贡献。