基于深度迁移学习的心脏MRI图像左心室分割

苑金辉，乔 艳，费烨琳，胡晓飞

(1.南京邮电大学 通信与信息工程学院，江苏 南京 210003；2.南京邮电大学 地理与生物信息学院，江苏 南京 210003)

0 引 言

心血管疾病已经成为当今社会影响人类身体健康的头号杀手。据国内数据统计，心血管疾病造成的死亡人数已占到疾病总死亡人数的40%以上，在死亡构成中排名前列，高于肿瘤等其他疾病[1]，使得左心室分割引起了研究者的关注。用于心脏疾病诊断的医疗影像技术有很多，其中核磁共振成像技术(MRI)是使用较为广泛的一种。心脏核磁共振能够提供较为清晰的心脏结构、心肌运动以及组织学特征信息。因此国内外研究人员对心脏核磁共振进行了广泛研究，在不断更新算法的同时也得到了许多研究成果。

目前国内外广泛应用的分割方法有多种，传统的分割方法有基于边缘的图像分割、基于区域的图像分割、结合特定理论的图像分割等[2-7]。但随着深度学习的不断发展，人们开始将目光投向医疗领域，试图用一些基于深度学习的方法来进行医学图像分割。近些年来，越来越多的研究人员尝试将深度学习的思想应用到心脏左心室图像分割的研究上来。他们致力于研究出一种全自动心脏左心室图像分割方法，并且取得了比其他传统方法更好的效果。M. R. Avendi等人[8]利用卷积神经网络从心脏MR图像中定位出心脏左心室区域，然后以栈式自编码算法模型来勾勒出左心室的初始形状，在此基础上，经过可变模型分割出最终结果。J Long等[9]提出一种全卷积神经网络的分割方法,使用转置卷积把特征图还原至原图尺寸从而达到像素级别的分割，进而实现整幅图像分割。Nasresfahani等[10]在图像处理阶段提取出ROI区域，采用全卷积神经网络对左心室进行分割。2016，Poudel等[11]采用递归全卷积网络(递归完全卷积网络，RFCN)[12]分别对FCN和RFCN两种方法的分割效果进行了比较。在对心脏MRI图像左心室定位问题的研究上，Omar Emad等人[13]提出利用深度学习的方法来定位心脏MRI图像中左心室的位置。此后，通过深度学习方法对医学图像进行分割的研究层出不穷，并获得了良好的表现[14-21]。

该文基于迁移学习和多尺度判别的生成对抗网络(transfer learning and multi-scale discrimination based GAN，TLMDB GAN)，用基于迁移学习的分割网络(transfer learning based segmentation network，TLBSN)构建生成网络提取特征，解决样本数据不足、网络难以获得足够的特征信息的问题，并通过构建多尺度的判别器以获得局部和全局特征信息，提升分割的准确性。

1 文中方法

1.1 生成对抗网络

如图1所示，生成对抗网络由生成器(G)和判别器(D)两部分组成。

图1 经典的生成对抗网络结构

用于分割任务的生成网络通过学习图像与标注数据之间的映射关系尽可能生成能够欺骗判别网络的分割图像，而判别器接收到分割图像后对图像进行判定，通过判定结果调整生成网络的参数。通过大量的迭代过程使生成网络和判别网络达到一个平衡，获得最优分割结果。

生成器(G)和判别器(D)使用下述价值函数进行极大极小化博弈：

(1)

其中，x是来自未知分布Pdata的真实图像，z是来自概率分布(如高斯分布)pz的生成器的随机输入，G和D分别表示GAN中生成网络和判别网络的参数。

1.2 改进的生成对抗网络

由于GAN对数据的特征具有良好的学习和表示能力，为了构建一个具有良好分割能力的模型，经过对GAN理论的进一步研究，该文提出了一种用于分割模型的生成对抗网络，即TLMDB GAN。该网络结构如图2所示。

图2 改进的生成对抗网络

1.2.1 基于迁移学习的分割网络

在医学图像分割的研究中，数据集往往是限制研究的一个重要问题，由于标注数据难以获得，因此很多数据集往往只有几十张或几百张图片，远远无法满足研究需求。而大规模的数据集往往可以使神经网络学习到更多的特征信息，获得更好的泛化能力。所以可以在较大的数据集上预训练，将得到的参数迁移到目标网络，用来自源网络的权重初始化目标网络，然后目标网络其他层将被随机初始化，再通过逐步微调在目标网络上训练目标数据集，提升分割效果。

该文使用全卷积神经网络做分割网络。分割网络由编码模块和解码模块两部分组成，编码模块采用VGG16的结构，解码模块通过卷积层和上采样层逐层对齐编码模块。为了获得精确的分割结果，使用跳跃连接(skip-connection)学习目标的多尺度信息。

该文采用图3所示的迁移学习方法实现左心室分割的分割网络。首先尝试将从ImageNet数据集学习到的自然图像的特征信息转移到目标数据集(即该文使用的左心室MRI数据集)的左心室分割目标任务上，但是由于自然图像与医学图像相似度较低，分割网络很难通过先验知识学习到足够的医学图像特征，所以需要将预训练网络在目标数据集上进行二次训练，根据源域和目标域的大小和相似程度选择对预训练网络进行逐层微调使网络自适应地调整网络参数，避免直接微调整个网络导致产生过大的计算量。通过迁移学习可以在小目标数据集上训练较大的网络模型而不会出现严重的过拟合。

图3 基于迁移学习的分割网络

在经过参数迁移后，通过逐层微调方法对目标网络进行自适应参数调整，以提高网络学习特征的能力。如图4所示，通过逐层冻结与释放卷积层，微调释放卷积层的参数，在微调过程中通过释放各层后的分割效果确定微调的有效层数，选取最佳分割网络。

图4 逐层微调流程

1.2.2 多尺度判别器

为了准确地学习图像的特征信息，很多方法通过具有不同输入分辨率或者提取网络各层间的特征信息实现多尺度的特征融合。在图像分割方面，大多数Gans的判别器使用单纯的全卷积神经网络，输出real/false。该文使用多尺度的判别网络，用多尺度的损失监督分割网络学习像素的局部与全局的特征信息，加强各个层间的特征学习，使分割网络能够更好地分割左心室区域。

通过实验发现，将L1均方误差损失函数与生成对抗网络的目标函数相结合能够得到更好的分割结果，L1均方误差损失函数如下：

(2)

其中，F(xi)为分割网络通过训练后生成的分割图像，Yi为分割网络的目标图像。

最终总的目标函数为生成对抗网络目标函数与L1均方误差损失函数之和：

(3)

判别器结构如图5所示。

图5 多尺度判别器

2 实验及分析

2.1 实验数据

实验数据来源于多伦多儿童病医院影像科[22]，该数据集由33名受试者的短轴心脏MR图像序列组成，每位受试者都有8到15个序列，每个序列是一个20帧的心动周期，其中含有手动分割标签5 011张图像，使用其中4 009张图像作为实验的训练集，剩下的1 002张图像作为测试集。原始图像大小为256×256，通过ROI提取128×128的大小以在保存左心室轮廓的情况下减少无用信息，如图6所示。

图6 Cardiac MRI dataset数据集的图像

图7为将专家手动分割轮廓和文中算法分割轮廓进行二值化后得到的结果。

图7 不同左心室心肌分割结果二值图

2.2 评价标准

该文采用Dice系数、Jaccard系数和灵敏度(Sen-sitivity)三种评价指标对分割准确度进行度量。

Dice系数表达式如式(4)所示，Dice系数值越大，代表分割后的结果与专家手动分割图像越相似，准确率越高。

Dice=2|X∩Y||X|+|Y|

(4)

Jaccard系数表达式如式(5)所示，该项指标代表专家手工标注图像与分割得到的左心室轮廓区域的交集区域面积与并集区域面积的占比。

J=|X∩Y||X∪Y|

(5)

灵敏度(Sensitivity)表达式如式(6)所示，灵敏度代表所有正样本划分正确的比例。

Sensitivity=|X∩Y||X|

(6)

其中，Y为专家手动分割左心室的目标和背景的像素集，X为实验分割左心室的目标和背景像素集。

2.3 实验结果

该文使用Pytorch实现，Batch Size大小设置为10，激活函数选择ReLU，由于使用迁移学习，所以学习率要设置的比较小，设为0.000 2。分割网络与判别网络均使用Adam优化算法进行优化。

表1列出了TLMDB GAN、TLBSN、U-net网络和研究左心室分割的文献[10,23]的方法在文中数据集上得到的实验结果。由表1结果能够看出TLMDB GAN分割内膜和外膜的Dice系数分别为0.939 9和0.969 7，相比其他方法高出0.01；在Jaccard系数和Sensitivity系数上均超过了其他方法，达到了当前最高精度，比其他方法高出0.02。

表1 Cardiac MRI数据集的实验结果

由表1结果可知，相较于其他方法，文中方法的分割结果更接近于专家手动分割结果，证明了其有效性。

3 结束语

针对左心室分割数据集有标注图像较少时出现的分割精度较低、学习困难等问题，提出了一种基于迁移学习的心脏MRI图像左心室分割方法。该方法使用全卷积神经网络在自然数据集进行训练，用学习到的特征信息调整网络参数，再将这些网络参数迁移至分割网络用来训练Cardiac MRI数据集，在此基础上对网络进行微调以学习更精确的细节特征。通过多尺度的判别器提取不同层之间的特征监督分割网络更好地学习局部与全局信息。

实验结果表明，该方法在左心室MRI图像分割中，分割精度获得了较大的提升。但是这种方法使用大量的自然图像会导致网络对图像特征进行误判，影响了分割精度，因此如何解决这个问题将是下一步的研究方向。