基于深度学习的心脏MRI 图像分割综述

张 婕，阿都建华，羊建兴

（成都信息工程大学 软件工程学院，四川 成都 610225）

0 引言

心血管疾病是全球第一大致死疾病，每年因心血管疾病死亡的人数远多于任何其他疾病死亡人数。据《中国心血管病报告2018》报告推算，中国心血管病患病人数大约为2.9 亿，死亡率高于肿瘤及其他疾病且居首位，占居民疾病死亡构成的40%以上，农村死亡率高于城市［1］。我国心血管疾病患者人数急剧增加且患病有年轻化趋势，心血管疾病防治应引起公众重视。随着现代医学的发展，为降低居民心血管疾病死亡率、误诊率，核磁共振（Magnetic Reso⁃nance Imaging，MRI）、计算机断层扫描（Computerized To⁃mography，CT）、超声（Ultrasound，US）等医学成像技术应用广泛，医学成像技术可定性和定量地评估心脏解剖结构和心功能，为疾病诊断、疾病监测、治疗规划等提供支持。目前公认心脏MRI 是评价心功能的金标准［2］，且MRI 具有对人体伤害较小、成像清晰等优点。

分割心脏MRI 图像是临床心脏病诊断基础，在该环节将整个心脏组织按照不同部位进行分割，这对心室、心房、心肌内外膜等结构定量分析至关重要。通常，心脏图像分割的解剖结构包括左心室、右心室、心外膜、心内膜、心肌等。

深度学习算法擅长从数据中自动发现复杂的特征，常用于对象检测和分割。传统机器学习方法需要有效的特征和先验知识保证分割结果准确性，而基于深度学习的方法通过学习过程和端到端的方式直接从数据中学习，得到的结果可应用于其他图像分析程序。得益于计算机硬件的发展以及不断增加的开放医学图像数据集，基于深度学习的分割算法在图像分割研究中应用愈加广泛。特别是自2016 年公开的心脏MRI 数据集，基于深度学习的心脏MRI 分割研究逐渐成为新的研究趋势［3］。

本论文首先介绍心血管疾病现状及研究的必要性，概述基于深度学习的心脏MRI 图像分割方法；然后介绍MRI成像特点、深度学习基础，详细阐述目前分割效果最好的3个深度学习网络；最后，总结当前研究存在的问题，并指出未来研究方向。

1 概述

1.1 MRI 成像特点

随着现代医学成像技术的不断发展，磁共振成像（MRI）、计算机断层扫描（CT）和超声（US）等多种成像技术应用于心血管疾病临床诊断，为医生诊断提供有力的支撑。

MRI 是利用核磁共振原理，依据能量在不同结构环境中不同的衰减情况，在外加磁场内，用探测器检测信号并输入计算机，经过转换处理在电脑上显示图像。由于其具有良好的软组织对比分辨率、扫描视野大、可获得各方位和角度的斜断面图像等优点，成为主流医学成像方式。与CT 成像相比，MRI 成像清晰且无辐射，在某些组织和部位成像显示更明显，不易产生噪声干扰，无需介入即可成像；与US 成像相比，MRI 成像更清晰，噪声影响小，在分割方面表现更好。图1 从左至右依次是MRI 成像图、CT 成像图和US 成像图。从图1 中可以看出超声图像质量差，CT 图像质量有所改善，但CT 对人体有伤害，MRI 成像清晰且对身体伤害较小，所以一般临床上更倾向于使用MRI 作为临床诊断标准。

Fig.1 MRI，CT and US images图1 MRI 成像图、CT 成像图和US 成像图

1.2 深度学习基础

深度学习是用于建立、模拟人脑进行分析学习的神经网络，并模仿人脑机制来解释数据的一种机器学习技术。人脑中基本单元是“神经元”，成千上万的神经元互相连接成一个更庞大的结构，称为“神经网络”。学术界尝试模仿人脑“神经网络”以建立一个类似的学习策略，借名为“神经网络”。神经网络通过模仿神经元之间传递信息的模式处理信息，大量使用在计算机视觉和自然语言处理研究中。

2006 年Hinton 等［4］提出一个实际可行的Deep Learning框架。Deep Learning 采用分层结构，包括输入层、隐层（多层）、输出层组成的多层网络，与人脑结构相似，有连接的只有相邻两层之间的节点，隔层和同层节点则没有相互连接，大致结构如图2 所示。

Fig.2 Deep learning basic structure图2 深度学习基本结构

1.3 数据集

采用基于深度学习的方法进行心脏MRI 图像分割需要大量数据进行网络训练和测试，而医疗数据集收集困难、标注复杂并且涉及隐私等问题导致公开的数据集稀少、研究难度大。目前公开的心脏MRI 数据集如表1 所示。

Table 1 Open heart MRI datasets表1 公开的心脏MRI 数据集

2 心脏MRI 图像分割方法

MRI 在脑部、颈部、脊椎和心脏等部位检测中十分重要，已被公认为心血管病诊断金标准。医学图像分割是重点也是难点，可为临床诊断中器官、组织定性定量分析提供依据，提高分割结果准确性与医生诊断正确率，间接提升病人存活率。自2016 年越来越多的MRI 数据集开放，利用深度学习进行MRI 分割成为研究热点。目前用于心脏MRI 图像分割最广泛、最高效的3 种深度学习网络是卷积神经网络（Convolutional Neural Networks，CNN）、全卷积神经网络（Fully Convolutional Networks，FCN）和U-net。

2.1 基 于CNN 的MRI 分 割

CNN 是最常见的用于图像分析的深度神经网络，广泛应用于图像分类、目标检测等领域。2012 年Dan 等［5］提出常用于图像分类的CNN 也可以用于图像分割，且不需要对网络架构进行大调整。神经网络一般是多层结构，包括输入、输出和隐层3 大部分。其中隐层部分通常由卷积、池化、激活函数和全连接组成，卷积核提取特征信息；然后通过池化层即下采样对特征进行压缩，从而消除冗余特征，提高统计效率和模型泛化；最后，全连接层连接所有特征将其放入分类器中进行分类，网络结构如图3 所示。

Fig.3 CNN network structure图3 CNN 网络结构

CNN 在医学分析中的研究包括图像识别、分割、配准、重建、融合等，相关技术主要集中于图像识别与分割两个方面。如Tan 等［6］利用CNN 网络回归推断心室分割中心室中心点和内心外膜轮廓极坐标空间；Mortazi 等［7］基于多视点卷积神经网络的自适应融合策略与一个新的损失函数，允许快速和更准确的收敛，实现基于反向传播的优化；Wolterink等［8］提出一种利用扩张卷积神经网络自动分割先天性心脏病患者心血管、心肌和血池的方法；Zabihollahy 等［9］提出了一种利用卷积神经网络分割心肌瘢痕的半自动方法；尹航［10］提出心室分层设计与Mask R-CNN 算法相结合的方法，自动化分割心室内膜并得到较好的分割效果；汤仁君［11］通过融合多个CNN 模型的输出获取更多的图像特征。

2.2 基 于FCN 的MRI 分 割

FCN 最早由Long 等［12］在2015 年提出，它把全连接换成卷积，获得一张2 维的feature map，后接Softmax 获得每个像素点分类信息，实现像素级别的预测，是一种端到端的图像分割方法。其网络结构如图4 所示。

Fig.4 FCN network structure图4 FCN 网络结构

2016 年Tran［13］基于FCN第一次在MRI图像上直接分割左心室、心肌和右心室，这种端到端的方法在速度和准确性方面明显优于传统方法；Poudel 等［14］提出了一个循环的全卷积网络（RFCN），它从整个二维切片堆栈中学习图像表示，并通过内部内存单元利用片间空间依赖性。RF⁃CN 将解剖检测和分割结合到一个单独的体系结构中，该体系结构经过端到端训练，从而大幅减少计算时间，简化分割管道，明显改善心尖附近的轮廓分割结果，并可能实现实时应用；2017 年Lieman-Sifry 等［15］开发了快速心室结构，将ENet 结构与FCN 结合用于心室分割，与已有心室分割结构相比，在保持良好准确性的前提下速度加快近4 倍，内存花费仅1/6；Patravali 等［16］利用深度卷积网络开发了一个用于全自动心脏分割的2D 多通道FCN；Li 等［17］利用FCN 进行全心分割；Bai 等［18］提出了一种基于FCN 的CMR 图像自动分析方法，在短轴CMR 图像上LV 和RV 及长轴CMR 图像上的左心房（LA）和右心房（RA）分割达到了与人类专家同等的高性能；2019 年Fahmy 等［19］提出基于FCN 的图像处理平台，可快速、自动地分析心肌天然T1 映射图像，减轻手工分析负担和观察者相关可变性；Xiong 等［20］使用双全卷积神经网络对左心房进行分割；Moccia 等［21］利用FCN 进行左心室疤痕组织分割。

FCN 在MRI 图像分割上发挥了重大作用，由它衍生出的诸多新网络结构在MRI 分割上都有良好表现，在速度和准确性上均有提升，由于它可以实现端到端的分割以及良好的可拓展性，奠定了它在心脏MRI 分割应用中的重要地位。实验表明三维网络表现不如二维网络表现，这主要是由于大多数心脏MRI 扫描的典型低透面分辨率和运动伪影限制了3D 网络的适用性［22］。

2.3 基 于U-NET 的MRI 分 割

由于建立公开医学图像数据集过程艰难、耗时长，不同标记人的标记存在一定区别，所以一般公开的医学数据集数量稀少且患者样本数量也参差不齐。在2015 年Ron⁃neberger 等［23］基于FCN 提出了一种新的网络结构U-NET网络，它是一种广泛应用于医学图像分割的U 型网络结构，如图5 所示。因为医学图像边界模糊、梯度复杂，需要较多的高分辨率信息，经过连接操作从编码器直接传递到同高度解码器上的高分辨率信息能够为分割提供更加精细的特征，如梯度等。U-NET 结合了低分辨率信息和高分辨率信息，所以在医学图像分割中具有独特优势。

Fig.5 U-net network Structure图5 U-net 网络结构

2016 年已有几种最先进的心脏图像分割方法采用UNET 或其3D 变体，3D U-NET［24］和3D V-NET［25］作为骨干网络被应用于心脏分割。2017 年Isensee 等［26］提出了一种方法，通过将分割和疾病分类集成到一个全自动的处理流水线中解决命名限制，使用一组U-NET 激发的结构分割心脏结构；2018 年Xia 等［27］提出一种全自动的两阶段分割框架，其中第一个3D U-NET 从向下采样的图像粗略定位心房中心，然后第二个3D U-NET 从原始图像中准确裁剪部分图像，分割出心房。2019 年Khened 等［28］开发了一个包含inception 模块的密集型U-NET，结合多尺度特征对具有较大结构变异性的图像进行稳健分割；Tao等［29］采用U-NET建立一种基于深度学习的短轴电影MR 图像左心室（LV）功能全自动量化方法，并评估其在多中心环境下的性能。

2.4 对比分析

表2 对CNN、FCN 和U-NET 这三种典型的心脏MRI 数据分割深度学习网络进行了优缺点的总结，后续可以根据它们优缺点深入研究让它们更加适合心脏MRI 的分割工作。

Table 2 Comparison of advantages and disadvantages of CNN，FCN and U-NET表2 CNN、FCN 与U-NET 优缺点比较

3 种网络在左心室、左心室心肌和右心室分割的Dice values（ED 和ES 阶段的平均骰子得分）统计如表3 所示。为了保障结果公平性，本文仅统计了ACDC 挑战赛使用的本文3 种方法的分割算法，表中所有方法都在ACDC 挑战赛测试集（50 名受试者）上进行评估。由表3 可以看出FCN网络及其变体与U-NET 网络及其变体使用比较广泛，在分割上各有优势，在左心室分割上U-NET 及其变体效果优于FCN，在心肌分割方面两种方法效果相当，在右心房分割方面FCN 效果优于U-NET。

FCN 网络和U-NET 网络分割效果对比如图6（a）所示，第1 行是使用FCN 网络的分割结果，第2 行是使用U-NET网络的分割结果，第3 行是医生的标注结果，可以看出在左心室分割方面U-NET 网络效果优于FCN 网络，U-NET 左心室分割精度为0.950，FCN 左心室分割精度为0.935；在右心室分割方面FCN 网络效果优于U-NET 网络，U-NET 右心室分割精度为0.902，FCN 右心室分割精度为0.949。图6（b）是2D U-NET 和3D U-NET 的分割效果对比，第1 行为原图，第2 行为医生标注图，第3 行是2D U-NET 分割结果，第4 行是3D U-NET 分割结果，可以看出3D U-NET 网络分割结果并不优于2D U-NET 网络分割结果，在边缘细节方面还是2D U-NET 网络表现更好。使用Dice 值进行分割结果评价，在左心室分割方面2D U-NETDice 值为0.925，3D U-NETDice 值为0.920；在右心室分割方面2D U-NETDice值为0.845，3D U-NETDice 值为0.87。

Table 3 Dice values of three methods in ventricular and myocardial segmentation表3 3 种方法在心室和心肌分割方面的Dice values

2.5 其他方法

除了上述3 种使用最广泛的图像分割网络，还有多个其他新型神经网络也被用于图像分割，虽然暂未应用于心脏图像分割领域，但其应用范围会不断扩展。如DenseNet网络具有很好的抗过拟合性能，参数量较少，计算量较小和泛化能力强等优点，被唐明轩［30］用于视网膜血管分割研究，取得了很好的分割效果；Deeplabv3+网络具有更大感受野范围的空洞卷积代替普通卷积，它的深度可分卷积，对于每个输入通道独立执行空洞卷积，孙先亮［31］利用ASPP空间金字塔结构中采样率不同的并行网络获取图像多尺度特征信息，编-解码器结构使编码器和解码器各司其职，编码器捕获高层语义信息，解码器逐步恢复边界信息，该网络被用于肺部图像分割研究，也获得了很好的分割效果。

Fig.6 Comparison of segmentation results图6 分割效果对比

3 挑战与未来工作

随着公共医学数据集的增加和先进的网络架构的出现，深度学习方法在各种心脏分割应用中的表现比传统方法更佳。其分割快速、精确的优势使其在临床中前景巨大，但也存在一些困难，这些困难为该领域未来工作提供了潜在研究方向。

（1）样本多样性。深度学习方法最大的困难是缺乏标注数据。常见作法是通过仿射变换扩充数据集，但无法改进数据集多样性，不能反映真实世界的样本分布。针对该问题，可利用4 类方法进行改进：微调迁移学习、弱半监督学习、自我监督学习和非监督学习。

（2）模型泛化。训练集不一样模型也会产生差别，导致泛化能力较弱，解决该问题的关键是增加数据集多样性。生成模型（如GANs、变分AE）、强化学习和反例生成吸引了学者注意，这些模型旨在直接从现有数据中学习数据增强策略。

（3）图像质量和噪声。深度学习方法能够准确分割图像的前提是图像质量较高，而现有公开数据集图像质量通常较低，影响算法结果。针对该问题，有研究使用基于深度学习的方法获得更好的图像分辨率、视图规划与运动校正，使伪影减少，阴影检测和图像采集后的噪声得到抑制。但是，如何将这些算法与分割算法结合集成到一个高效、针对患者的图像系统中，为临床提供准确的诊断辅助参考，仍需进一步研究。

4 结语

本文对用于MRI 图像分割的深度学习技术进行了全面概述，主要概述了CNN、FCN、U-NET 3 个网络在心脏MRI 图像分割中的应用，对比了各网络在该领域最新研究进展及优缺点，介绍了两种在心脏MRI 图像分割领域有潜力的新网络，总结了深度学习方法在心脏MRI 图像分割领域存在的困难及后续研究方向。随着技术的发展，将有越来越丰富的深度学习方法用于提高分割精度和稳健性，成为临床医生的有力工具，因此深度学习在心脏MRI 图像分割中有重要的研究意义。