应用对抗神经网络的胶质瘤MR图像分割

李丰卓，符玲玲，郭金鑫，卢玉红，唐奇伶

（中南民族大学 生物医学工程学院，武汉 430074）

脑胶质瘤是由于大脑和脊髓胶质细胞癌变所产生的、最常见的原发性颅脑肿瘤，发病率高、治愈率低［1］.LGG（Low-Grade Gliomas）是其中最常见的，具有高度侵袭性［2］，可以是良性或恶性，生长速度较慢.临床上通常采用粗略测量的方法评估，因此，实现肿瘤的准确分割和精确定位十分必要［3］.随着医学影像学的发展，影像学技术在脑肿瘤患者的治疗中起着重要作用，MRI是一种非侵入性成像模式，特别适用于临床脑部病变检查.因此，开发使用磁共振（Magnetic Resonance，MR）图像的LGG分割模型，将为临床LGG的诊断过程自动化提供必要的前提.

近年来，脑肿瘤的分割分为手动分割和自动分割，然而手动分割成本大且耗时，分割结果会因医生经验的不足有显著差异［4］.因此，自动分割是主要的分割方法.而传统计算机图像自动分割如基于区域分割、阈值分割以及特定理论等方法.大都利用图像浅层区域特征来实现分割，分割结果主要取决于图像预处理.近年来，深度学习算法发展迅速，得益于卷积神经网络（Convolution Neural Network，CNN）［5］的提出.例如：AlexNet［6］，FCN［7］，VoxResNet［8］等方法对图像处理方法的应用产生重大影响.深度学习还可以根据检测目标数据的特性来设计模型.HAVAEI等人［9］利用CNN设计一个两通路模型，一个是卷积，一个是全连接，但是由于网络模型的参数较多计算量较大，模型难以收敛，分割结果较差.ZHANG等人［10］利用大脑原始MR图像设计一个粗略分割的全卷积神经网络（Fully Convolution Neural Network，FCN）模型，先检测出肿瘤的整体区域，再使用肿瘤区域作为训练样本，训练精确分割的FCN得到脑肿瘤的内部结构，但是在两阶段的分割过程中缺失了脑肿瘤图像.STAWIASKI等人［11］以U-Net网络作为基础架构，在编码路径中，每一层均输入该层图像大小的数据，有效防止了训练过程中脑肿瘤信息的损失；在解码路径中，应用多尺度深度监督方式实现更准确的分割.但该方法中，虽然网络被用来结合低级和高级功能，但忽视了相邻像素之间的相关性，没有空间一致性的保证，与手工分割相比，分割结果在形状上差异较大.

针对上述方法的不足之处，本文提出了一种应用对抗网络的深度学习分割模型，该模型包含生成器和判别器，生成器的作用是构造真实图像和分割掩膜之间的映射，并接受来自判别器的反馈.引入生成器来解决可用训练集较小，获取医学图像标记数据困难等问题，从而提高模型的分割精度.判别器的作用是判断输入是来自真实样本集还是假样本集，通过对抗学习提高生成器分割的精度.

1 方法

1.1 框架

本文提出的低级别胶质瘤分割框架由生成器和判别器组成，在本文中，生成器网络和判别器网络分别用G(∙)和D(∙)表示，图1为低级别胶质瘤分割算法框架.生成器G(∙)输入的是尺寸为H×W×3的脑肿瘤图像x，生成器G(∙)的输出是尺寸为H×W×1的分割掩膜概率图G(x)，判别器D(∙)接收的输入是将胶质瘤RGB图像与单通道分割掩膜融合之后的图像数据，也就是H×W×4的图像信息，其中一部分以肿瘤图x及其真实分割掩膜标签y的数据对作为输入，另一部分以肿瘤图x及其生成器G(∙)分割结果图的数据对作为输入，最后输出的是空间概率图，其中的像素值表示输入是来自手动分割还是G(∙)分割的几率.

图1 低级别胶质瘤分割算法框架Fig.1 The Algorithm framework for segmentation of low-grade glioma

1.1.1 生成器

选取U-net网络结构作为GAN的生成器网络，G(∙)网络架构和设置如图2所示.胶质瘤原始图像的大小为256×256×3.U-net网络由编码器结构（左边）和解码器结构（右边）组成.与原始U-net不同，编码器每一层使用大小为4×4，步长为2的卷积层代替池化层，实现特征图信息的采集，激活函数使用Leaky ReLU（Leaky Rectified Linear Unit）［12］.

解码器对特征图上采样，解码器的前四层使用Re⁃LU作为激活函数，在对称的每一层都使用跳跃连接（Skip connection）将上采样和下采样的特征图按维数融合，最后一层用sigmoid激活函数获得输出分割掩膜.

1.1.2 判别器

判别器网络采用CNN架构，其作用是将生成器生成的概率图和分割掩膜标签图区分开来.一部分以肿瘤图及其分割掩膜标签的数据对作为输入，另一部分以肿瘤图及其生成器G(∙)分割结果图的数据对作为输入，最后一层输出概率值判断输入是来自于手工分割还是生成器.卷积过程中的卷积核大小都是3×3，激活函数采用LeakyReLU替换ReLU，当输入小于0时给一个很小的梯度，避免信息完全丢失掉，进行了相应的保留.

1.2 损失函数

在判别器中采用GOODFELLOW等［13］提出的理论，使用对抗损失函数来更新网络，对抗损失表示为：

式中x表示来自未知分布Pdata的原始肿瘤图像；y表示来自未知分布Pdata的分割掩膜标签，E(∙)表示分布函数的期望值，D(x，y)表示输入是真实图像的概率，D(x，G(x))表示输入是生成图像的概率，概率为［0，1］.判别器D(∙)和生成器G(∙)利用对抗损失对网络进行优化.在实际的分割任务中，还需要通过添加分割损失函数来利用分割掩膜标签，分割损失函数用来计算输出的预测概率分布和真实概率分布之间的差异，对结果具有直接的导向作用.本文中我们用到了交叉熵对其进行优化，交叉熵损失函数［14］表示为：

将GAN的对抗损失与交叉熵损失互相结合，它们的目标函数分别表示为

式中，系数λ的作用是平衡两个目标函数.

1.3 评价标准

对低级别胶质瘤MR图像的分割相当于在像素级别上进行分类，将通过准确性（Accuracy），敏感性（Sensitivity），特异性（Specificity），Dice相似系数［15］等作为评估分割性能的度量指标.其公式如（5）~（8）所示.

式中X表示本文网络模型分割的掩膜结果，Y表示医生手动分割掩膜的结果，X∩Y代表网络的分割结果与医生手动分割结果重叠部分的像素区域.对于分割模型，将其看作对每一个像素进行分类，判断每个像素是否属于脑肿瘤.根据真实类别与网络预测类别的关系，划分出4种组合，它们之间的关系如表1所示.其中真正（true positive，TP）表示正类被模型判断为正类的样例，假正（false positive，FP）表示负类被模型判断为正类的样例，真负（true negative，TN）表示负类被模型判断为负类的样例，假负（false negative，FN）表示正类被模型判断为负类的样例.

表1 关系示意图Tab.1 Relation diagram

Dice相似系数用来衡量分割结果与手工掩膜的相似性，该评价指标广泛应用于医学图像分割领域，式（8）表示试验分割结果和真实分割结果之间的重叠度，相似性系数值越接近1，表示相似性越高；相反，相似性系数值越接近0，表示相似性越低.

2 实验与结果分析

2.1 实验数据集以及数据预处理

使用的胶质瘤数据来自癌症影像档案库（The Cancer Imaging Archive，TCIA）.包含了110例患者的LGG图像.图像数据集包括前对比（pre-contrast）、流体衰减反转恢复（Fluid-attenuated inversion recovery，FLAIR）和后对比（post-contrast）三个序列.标记数据集来自美国杜克大学医学院放射学系.每例患者的图像切片在20~88之间不等.由于不同的患者的图像大小有显著性差异，在网络训练前，将胶质瘤MRI图像进行预处理，先进行裁剪、填充和标准化.裁剪是在每个病人的三个维度（即长度、宽度和高度图像切片）上进行的.裁剪后，将裁剪后的图像通过填充零值来保持图像的纵横比，从而将图像大小调整为256×256.标准化采用z-score标准化方法，使所有组织区域像素值大小范围在-1到1之间.处理完之后剔除掉无病灶切片，含有胶质瘤图像的切片数目为1373，为了解决数据集较少问题，通过图像随机处理的方法来增加数据量，对于每一张肿瘤切片及其对应的分割掩膜进行5度到15度的随机旋转，最后得到了原始数据集两倍的图像切片数量.预处理过程如图3所示.

图3 预处理的低级别胶质瘤MR图像Fig.3 Preprocessed low-grade glioma MR image

2.2 实验分析

2.2.1 学习率参数对模型的影响

在训练模型过程中，研究的实验硬件环境为NVIDIA TITAN V，Intel Core i9 10900K，软件环境为Windows 10系统，Anaconda 3.5，cuda 10.0，pytorch 1.4.0，在Cudnn 10.1架构平台进行计算.

在网络的训练过程中，由于初始学习率影响模型的收敛，设置了不同的初始学习率验证生成模型和判别模型的收敛性，寻找最佳的学习率.epochs设置为50，batchsize设置为8.对于生成器，五组的初始学习率分别为0.005、0.007、0.01、0.03、0.05.对于判别器，五组的初始学习率分别为0.0005、0.0007、0.001、0.003、0.005.在训练过程中两个网络的loss随epoch变化的情况如图4和图5所示.

图4 生成器收敛曲线Fig.4 Generator convergence curve

图5 判别器收敛曲线Fig.5 Discriminator convergence curve

在实际训练过程中，使用随机梯度下降（SGD）作为生成器的优化算法，设置SGD的动量参数为0.9，batchsize为16，初始学习率设置为0.01.使用Adam优化器优化判别器，其中，学习率设置为0.001，动量设置为0.998.采用交叉验证的方法，具体来讲，选取100例作为训练集，10例作为测试集，将110例患者肿瘤MRI图像数据与对应的分割掩膜分成22个子集，每个子集都包含5个患者病例.在训练子集上进行模型训练，然后将模型用于测试用例来测试.重复22次，直到每个子集都作为测试集使用过.然后，取最终测试的平均值作为最后的分割结果.

对于判别器D(∙)训练阶段，不会更新生成器参数，在每次迭代中输入原图大小的4通道数据，一半是3通道RGB胶质瘤图像与单通道手工分割掩膜标签的通道组合，一半是3通道RGB胶质瘤图像与单通道分割网络的分割掩膜标签的通道组合.对于生成器G(∙)训练阶段，不更新判别器的参数，仅对生成器网络的参数进行更新.

2.2.2 平衡系数λ对性能的影响

损失函数在深度学习中用来反映模型的预测与实际数据的不一致程度，对结果具有直接的导向作用.本文采用GAN损失与交叉熵损失的混合损失作为最终的损失函数（公式3）.为了比较不同λ值对分割性能的影响，我们设置了不同的λ值来分析分割结果，如表2所示.

表2 不同平衡系数在测试集的实验结果Tab.2 Experimental results of different balance coefficients in the test set

最后，设置了不同的λ值去测试模型的分割性能.实验首先评估对抗损失的影响，注意到在没有对抗损失的情况下，该模型获得95.42%的Accuracy得分和81.31%的Dice得分.当λ被设置等于0.001时，该模型的Dice得分将提高5.8个百分点，此时模型的效果达到了最优，分割精度最高.而当λ=0.002时，模型性能的Dice得分下降了1%，表明对抗损失太大.随着λ的取值继续增加，模型的Dice得分明显下降，表明对抗损失越大，对分割结果影响越大.当λ=0.005时，模型性能的Dice得分下降了约5.9%，表明对抗损失太大.由此可知，使用合适比例的对抗损失和交叉熵损失的混合损失函数能够提高分割结果.

2.2.3 不同判别器对性能的影响

为了验证不同类型的判别器对模型的性能影响，我们设置了四种具有不同输出大小的判别器，每个模型括号内的大小代表判别器的输出大小，实验结果如表3所示.由表3可知，相比于Patch GAN和Image GAN，没有判别器的U-net表现出较差的性能，这表明引入了判别器可以提高模型性能.此外，具有最优判别性能的Pixel GAN的分割性能胜过其他判别器，这证明了一个性能优异的判别器是对抗网络能否成功训练的关键.

表3 不同判别器在测试集的实验结果Tab.3 Experimental results of different discriminator in the test set

选取上述实验中性能最优的初始学习率，平衡系数λ和分割结果最好的Pixel GAN对网络进行训练，得到分割网络的准确率变化图.我们将epoch设置成50，纵轴表示分割准确率.横轴的间隔设置为5，每5个epoch生成一个准确率，50个epoch之后的Accuracy变化图如图6所示.由图6可知，模型在20个epoch之后Accuracy趋于稳定.

图6 生成器网络的分割准确率变化曲线图Fig.6 Generator network segmentation accuracy rate curve

2.2.4 与其他方法的比较

为了定量验证本文方法的有效性，选取了几个采用相同数据集的算法进行比较，如表4所示.BUDA等人［16］采用经典U-net网络结构，在最终的输出层使用sigmoid函数代替softmax函数.NASER等人［17］提出一种基于经典的U-net网络结合迁移学习的深度学习方法来实现低级别胶质瘤的分割和分类.由表可知，相比以上几种基于CNN的深度学习算法，我们的方法在Dice系数上取得了较好的表现，综合各项评判指标来看本文方法的总体性能优于其它方法.

表4 与其他方法的比较Tab.4 Comparison with other methods

低级别胶质瘤MR图像预测分割的结果如图7所示.在每对图像中，第一幅图像显示红色热图区域是本文网络自动分割结果，在第二幅图像中，绿色轮廓包围区域是低级别胶质瘤的手工分割掩膜区域，红色轮廓包围区域是本文分割网络的分割结果.可以看出本文方法画出的轮廓形状与手工分割相似.证明了判别器的引入使得生成器可以学习到更多的结构信息.

图7 测试数据集的分割结果图Fig.7 Segmentation result graph of test data set

3 结论

本文针对传统的基于CNN的分割算法在分割中存在的问题，提出一种应用对抗网络的低级别胶质瘤MR分割算法，使用改进的U-Net网络作为生成器的基础架构，获得逐像素的分割结果，引入判别器在训练过程中交替训练生成器和判别器实现肿瘤区域的分割.相比基于CNN的传统方法，减少了手动设计特征，避免了逐像素分割中相关信息的丢失，保证了空间一致性，学习到了更多的肿瘤结构信息.在测试集的实验结果表明，本文方法的预测结果优于其他传统方法.另外，由于训练完成后，在测试集仅需要测试分割网络，不需要判别器网络模型，因此，分割速度较快结果更精确.