基于MD-CGAN的脑部肿瘤图像生成方法研究

何敏 邱圆 易小平 郭畅宇

摘要：深度學习已广泛用于脑部磁共振（MR）图像分析中，但脑部肿瘤MR图像样本不足会严重影响深度学习模型的性能.提出基于多鉴别器循环一致性生成对抗网络（MD-CGAN）的样本生成方法.利用所提出的MD-CGAN生成脑部肿瘤病理区域图像，将生成的脑部肿瘤病理区域图像覆盖脑部正常图像子区域，合成得到脑部肿瘤MR图像.MD-CGAN引入的双对抗损失避免了模型崩塌问题的产生，引入的循环一致性损失函数可以保证脑部正常子区域图像生成脑部肿瘤病理区域图像，从而使得MD-CGAN生成的图像具有高质量和多样性.以FID值作为评价指标，利用本文提出的MD-CGAN与近几年较经典的生成网络生成脑部肿瘤病理区域图像并计算FID值.实验结果表明，本文所提出网络的FID值比SAGAN、StyleGAN和Style- GAN2的值分别低26.43%、21.91%、12.78%.为进一步验证本文方法的有效性，利用生成的脑部肿瘤图像扩充样本，并依托扩充前后的样本集进行脑部肿瘤分割网络训练.实验表明，样本扩充后的分割网络性能更优异.本文方法生成的脑部肿瘤MR图像质量高、多样性强，这些样本可代替真实样本参与模型的训练，从而有效解决脑部肿瘤MR图像训练样本不足的问题.

关键词：深度学习；磁共振图像；样本扩充；生成对抗网络

中图分类号：TP391文献标志码：A

Research on Brain Tumor Image Generation Method Based on MD-CGAN

HE Min1，QIU Yuan1，YI Xiaoping2，GUO Changyu1

（1. College of Electrical and Information Engineering，Hunan University，Changsha 410082，China；2. Xiangya Hospital of Central South University，Changsha 410031，China）

Abstract：The samples are insufficient due to the difficulty of obtaining real brain tumor MR images，which seriously affects the performance of deep learning models. Therefore，a sample generation method based on the Multiple Discriminator Cycle-consistent Generative Adversarial Network （MD-CGAN）is proposed in this paper. Firstly，the MD-CGAN model is used to generate brain tumor pathological region images，and then these pathological region images are overlaid with the normal sub-regions of brain images to synthesize brain tumor MR images. Among them，the double adversarial loss introduced by MD-CGAN avoids the problem of model collapse，and the cycle consistency loss function introduced can ensure that the normal brain sub-region images generate the pathological region imagesof brain tumors，so that the images generated by MD-CGAN have high quality and diversity. Taking the Frechet Inception Distance（FID）as the evaluation index，the MD-CGAN proposed in this paper and the more classic generative networks in recent years are used to generate the images of brain tumor pathological regions and calculate the FID value. The experimental results show that the FID of our MD-CGAN is 26.43%，21.91%，and 12.78% lower than those of SAGAN，StyleGAN，and StyleGAN2，respectively. To further demonstrate the effectiveness of our proposed method，we use the generated brain tumor images to expand the training set and then train the segmentation models on this expanded dataset. The experimental results show that the performance of segmentation networks trained on the expanded dataset is better. Based on the above experimental results，it can be concluded that the brain tumor MR images generated by our proposed method have high quality and rich diversity. These samples can be used to expand the training set and effectively solve the problem that brain tumor MR images are insufficient.

Key words：deep learning；magnetic resonance imaging；sample expansion；Generative Adversarial Networks （GAN）

脑肿瘤是一种常见的脑部疾病，发病率及死亡率均较高，严重威胁着人类的健康.目前，对于脑肿瘤的诊断，主要还是依靠医生对脑部磁共振（Magnetic Resonance，MR）图像进行分析来完成，需要耗费大量的时间、精力，且易受主观因素影响.

近年来，随着深度学习理论的发展，人工智能辅助的医学图像识别诊断技术在医学领域得以应用，因此，采用深度学习辅助的诊断技术来进行脑肿瘤诊断的方法也引起了广泛的关注.然而，基于医学图像隐私保护的特点，患者脑肿瘤图像获取难度大，导致样本数量严重不足，影响深度学习模型对脑肿瘤图像辅助诊断的效果[1].为解决脑肿瘤图像样本不足的问题，行之有效的方法是生成病理图像进行样本扩充[2].因此，研究图像生成方法，生成高质量、丰富多样性的脑肿瘤医学图像具有十分重要的意义.

目前，用于图像生成的方法主要包括两大类：一是传统方法，如旋转、平移、翻转等.在本质上并未对图像核心内容进行改变且生成的图像高度类似，容易使深度学习模型过拟合，该类方法并不适用于对医学图像进行扩充.二是基于深度学习的方法，如变分自编码器（Variational Auto-Encoder，VAE）6和Goodfellow等人提出的生成对抗网络（Generative Adversarial Networks，GAN）[4].VAE是一种将输入的随机噪声映射为生成数据的图像生成模型，主要由编码器和解码器组成.由于VAE生成的图像与原图的分布较接近，样式比较单一且质量不高，因此，该模型也不适用于对医学图像进行扩充.GAN是近几年应用广泛的图像生成模型，由一个生成器和一个判别器组成，生成器生成新的图像，判别器判别生成图像的真（真实的）假（生成的），两者通过相互博弈不断提高各自的能力，从而达到一种均衡状态.然而，GAN在训练过程中存在模型易崩塌，难以收敛等问题，这会导致生成的图像质量差且多样性不足.为了解决这些问题，近年来，GAN的一些变体GANs被提出.Radford等人[5]提出深度卷积生成对抗网络（Deep Convolutional Generative Adversarial Networks，DCGAN），加入了卷积层来代替全连接层，用以增强训练过程的稳定性，但是这种方法不能从根本上解决模型不稳定的问题，生成器G和判别器D仍然较难达到平衡状态.Zhu等人[6]提出循环生成对抗网络（Cycle-consistent Generative Adversarial Networks，CycleGAN），能将一个图像域转换生成到另外一个图像域，但这种转换通常是不稳定的.Nguyen等人[7]提出的双鉴别器生成对抗网络（Dual Discriminator Generative Adversarial Networks，D2GAN）有两个鉴别器，这两个鉴别器仍然与一个生成器进行极大极小的博弈，一个鉴别器会给予真实图像高分数，而另外一个鉴别器却给予生成图像高分数，在一定程度上提高了生成图像的多样性.Zhang等人[8]提出的自注意力生成对抗网络（Self-Attention Generative Adversarial Networks，SAGAN）将自注意力层加入生成器和鉴别器中，使得生成模型更易学习到图像全局特征之间的依赖关系，提高生成图像的多样性，但其计算负担较大.Karras等人提出的StyleGAN[9]重新设计了生成器的网络结构，但由于生成的图像伴有伪影，故在2020年又提出了StyleGAN2[10]，用于人脸图像生成效果优异.上述GANs虽在自然场景图像和人脸图像生成中表现良好，但面对样本严重不足，且病理区域形状、大小、位置等复杂多变的脑肿瘤病理图像，其生成效果难以满足医学图像智能诊断的需求.

基于上述问题，本文提出多鉴别器循环一致性生成对抗网络（Multiple Discriminator Cycle-consistent Generative Adversarial Network，MD-CGAN）生成脑肿瘤病理区域图像，而后将其与脑部正常图像合成即可得到脑部肿瘤图像，从而解决脑肿瘤图像样本不足的问题.实验结果证明了所提方法的有效性和可靠性.

1脑肿瘤图像生成方法

1.1脑肿瘤图像生成方法流程框架

基于MD-CGAN的脑肿瘤图像生成方法框图如图1所示.

1）脑肿瘤病理区域图像生成：通过MD-CGAN 将脑部正常图像子区域转换生成脑肿瘤病理区域图像.

2）脑肿瘤图像合成：利用所生成的脑肿瘤病理区域图像覆盖脑部正常图像中的子区域，合成得到腦肿瘤图像.

1.2肿瘤病理区域图像生成

为了生成脑肿瘤图像，首先利用MD-CGAN生成脑肿瘤病理区域图像.MD-CGAN结构包括2个生成器G和F，4个鉴别器DX1、DX2、DY1和DY2，2个生成器共享相同的网络参数，4个鉴别器共享相同的网络参数.MD-CGAN结构如图2所示，生成器和鉴别器的网络参数配置如表1所示.

生成器G用来生成假的脑肿瘤病理区域图G（g），生成器F用来生成假的脑部正常图像子区域F（b）.鉴别器DX1和DX2用来区分脑部正常图像子区域图像的真假，鉴别器DY1和DY2用来区分脑肿瘤病理区域图像的真假.特别地，鉴别器DX1和DY1给予真实图像高分数，对于生成图像则给予低分数；而鉴别器DX2和DY2则恰恰相反.

所提图像生成模型目标函数包括双对抗损失（Dual Adversarial Loss）[7]函数和循环一致性损失（Cycle Consistency Loss）[6]函数.

1）对于生成器G，鉴别器DY1和DY2，双对抗损失可表示为：

L_dual（G；DY₁；DY₂；g；b）=L_gan（G；DY₁；g；b）+λ₁L_gan2（G；DY₂；g；b）（1）

式中：g代表真实正常区域子图像域；b代表真实病理区域图像域；λ₁用来控制图像间相似度和多样性的相对重要性；L_gan与原始GAN网络目标函数相同.L_gan2定义如下：

相似地，对于生成器F，鉴别器DX1和DX2，可得双对抗损失函数为：

L_dual（F；DX₁；DX₂；b；g）=L_gan（F；DX₁；b；g）+λ₁L_gan2（F；DX₂；b；g）（3）

2）循环一致性损失主要用于保证通过正常区域图像来生成病理区域图像.定义如下：

这里，对于生成器G，损失函数希望生成图像G（g）的重建图像F（G（g））接近于真实脑部正常图像子区域图像g.而对于生成器F，则希望生成图像F（b）的重建图像G（F（b））接近真实脑肿瘤病理区域图像b.

需要特别说明的是，双对抗损失结合了KL散度和反向KL散度的差异，生成一个目标函数；然后利用这些分支的互补统计特性捕捉分散预估密度，使得模型达到纳什平衡，从而避免了模型崩塌，保证网络生成的脑肿瘤病理区域图像的质量和多样性.循环一致性损失可以保证两个领域的图像建立一个一对一的映射，而不是多对一的映射.通过这种方式，所提出的生成模型可以更全面地学习到脑肿瘤的特征.同时，无肿瘤的脑部正常子区域图像可以被逐一映射为有肿瘤的脑肿瘤病理区域图像.因此，循环一致性损失使得MD-CGAN能够利用无肿瘤的脑部正常图像子区域生成有肿瘤的脑肿瘤病理区域图像.

3）依据前述内容，所提生成网络模型（MDCGAN）的总体目标损失函数如下：

L_MD-CGAN=L_dual（G；DY₁；DY₂；g；b）+L_dual（F；DX₁；DX₂；b；g）+λL_cyc（G，F）

式中：λ用来控制双对抗损失和循环一致性损失的相对重要性.最终优化实现目标见式（6）.

本网络模型类似于原始GAN，采用折中训练的方式来更新G、DY1和DY2以及F、DX1和DX2.

1.3脑肿瘤图像合成

通过MD-CGAN模型生成得到脑肿瘤病理区域图像后，脑肿瘤图像可以通过以下步骤得到.

1）将生成的脑肿瘤病理区域图像中肿瘤部分截取成新的图像，创建截取的脑肿瘤病理区域图像和脑部正常图像数据集.

2）依据图像边缘纹理特征的相似性，将截取的脑肿瘤病理区域图像与脑部正常图像标记匹配.

3）利用截取的脑肿瘤病理区域图像覆盖与其所匹配的脑部正常图像的子区域，从而合成得到脑肿瘤图像.

2实验结果与分析

2.1实验数据

本文的脑部MR图像数据样本来自中南大学湘雅医院.数据通过磁共振成像仪采集自122位高级别胶质瘤病人，每位病人的数据包括T1、T1加权和T2模态，包含脑部肿瘤图像和正常脑部图像.在进行实验之前，对所持的脑部MR图像数据进行偏置场校正以及标准化等预处理.

获取的脑部MR图像数据集样本包含脑部腫瘤图像和正常图像，其中，脑部正常图像约7 000 张，含肿瘤的脑部肿瘤图像约800张，经筛选后选其中的1 000张脑部正常图像和500张脑肿瘤图像作为实验数据，并对500张脑肿瘤图像进行手工分割标签（Ground Truth）制作.部分图像样本示例如图3所示.图3（a）为含有肿瘤的脑部病理图像样本，图3（b）为脑部正常图像样本.

2.2脑肿瘤病理区域图像生成及实验对比

1）本文实验环境配置为Ubuntu16.04操作系统，NVIDIA RTX 2080Ti GPU，Intel Core i7-7820X CPU@ 3.50 GHzX12，Python 3.7，TensorFlow 1.14.0.

对于所提图像生成模型MD-CGAN的训练，将λ设置为10，λ₁设置为0.2，优化器采用Adam[11]，Batchsize设置为4.总的训练周期为300 epochs，其中，对于前150 epochs，学习率为0.000 2，在后150 epochs 中，学习率按照线性衰减逐渐衰减为0.

2）脑肿瘤图像生成结果：图4为MD-CGAN模型生成的脑肿瘤病理区域图像和合成的脑肿瘤图像.由图4可知，所生成的图像具有良好的质量和丰富的多样性.同时，生成的脑肿瘤图像与真实脑肿瘤图像具有高度相似性.因此，本文所提方法对于脑肿瘤图像生成具有良好的性能.

3）不同图像生成方法对比：脑肿瘤病理区域图像生成是本文所提脑肿瘤图像生成方法的核心.因此，将本文所提脑肿瘤病理区域图像生成模型MD- CGAN与近几年典型的图像生成模型SAGAN、Style- GAN和StyleGAN2进行对比，即分别用MD-CGAN、SAGAN、StyleGAN和StyleGAN2网络模型生成脑肿瘤病理区域图像，以验证MD-CGAN模型的有效性和优越性.图5为SAGAN、StyleGAN、StyleGAN2和MD-CGAN模型生成的脑肿瘤病理区域图像.

由图5（a）可知，SAGAN模型生成的脑肿瘤病理区域的形状等特征较类似，且图像质量不高.由图5（b）可知，StyleGAN模型生成的腦肿瘤病理区域图像伴有伪影，不符合真实脑肿瘤病理区域图像的特征分布.由图5（c）可知，StyleGAN2模型生成的脑肿瘤病理区域图像边界不够清晰.由图5（d）可知，MD- CGAN模型生成的脑肿瘤病理区域图像清晰且形态各异.由此可知，本文提出的MD-CGAN模型生成的脑肿瘤病理区域图像具有更高的质量和丰富的多样性.

为了进一步证明本文所提图像生成模型的优越性，采用Frechet Inception Distance （FID）[12]作为定量分析的评价指标.

式中：μ_r、μ_g和∑_r、∑_g分别表示真实和生成的病理图像的特征均值和方差.即用真实图像与生成图像提取特征向量后的均值和协方差的距离来评价，当生成图片和真实图片特征越相近时，均值之差的平方越小，协方差也越小，则FID值也越小，生成的图像质量越高.

表2为不同模型生成的病理区域图像FID值对比.由表2可知，本文所提MD-CGAN模型图像生成模型取得了最小的FID值，生成的脑肿瘤区域图像的FID值相比于SAGAN、StyleGAN和StyleGAN2的值分别降低26.43%、21.91%、12.78%.由此可知，本文所提模型MD-CGAN性能更优异.

本文所提模型有效结合了双对抗损失和循环一致性损失，双对抗损失有效抑制了脑肿瘤病理区域图像生成模型的崩塌问题，确保生成图像的质量；循环一致性损失确保了利用脑部正常图像子区域生成脑肿瘤病理区域图像的可能性和可靠性，解决了脑肿瘤图像样本不充足的问题.

2.3生成的脑肿瘤病理图像用于样本扩充

为了进一步验证本文所提脑肿瘤图像生成方法的有效性，采用生成的脑部肿瘤图像对原始数据集进行扩充，利用扩充前后的数据集分别训练脑部肿瘤分割网络模型，以验证生成的图像对模型性能的改善作用.采用U-Net[13]、ResUNet[14]、U-Net++[15]分割网络进行脑部肿瘤分割实验，先用原始的300张脑部肿瘤图像训练这3种分割网络；而后将生成的328张脑肿瘤图像加入原始数据集中，并用扩充后的数据集训练这3种分割网络；最后分别用相同的200 张原始脑肿瘤图像进行分割性能测试，以Dice相似性系数（Dice Similarity Coefficient，DSC）和相对改善率（Relative Improvement，IMP）作为评价指标.表3 为用于分割实验的脑部肿瘤图像样本分布，表4和表5分别为样本扩充前后脑部肿瘤分割性能训练结果和测试结果对比.

从表4可以看出，在样本扩充后的数据集上训练的U-Net分割模型的Dice相似性系数比在样本扩充前数据集上的高0.26%；在样本扩充后的数据集上训练的ResUNet分割模型的Dice相似性系数比在样本扩充前数据集上的高0.62%；在样本扩充后的数据集上训练的U-Net++分割模型的Dice相似性系数比在样本扩充前数据集上的高3.77%.由表5可知，在样本扩充后的数据集上测试的U-Net、ResUNet、U- Net++分割模型的Dice相似性系数比在样本扩充前数据集上的精度分别高3.89%、17.88%、1.46%.

从表4和表5可以看出，利用本文所提方法生成的脑部肿瘤图像扩充数据集对分割模型的训练和测试精度都具有改善作用，更有力地证明了本文所提脑肿瘤图像生成方法的有效性，可用于脑肿瘤图像数据样本的扩充.

3结论

本文提出一种新的脑肿瘤图像生成方法.首先，利用所提出的多鉴别器循环一致性生成对抗网络（MD-CGAN）生成脑肿瘤病理区域图像；然后利用生成的脑肿瘤病理区域图像覆盖脑部正常图像中的子区域从而最终合成得到脑肿瘤图像.将本文所提MD-CGAN模型与近几年较经典的SAGAN、Style- GAN和StyleGAN2模型所生成脑肿瘤病理区域图像进行对比分析，通过计算得出MD-CGAN模型的FID值最低，证明了所提模型在保证模型稳定性的同时，能够生成高质量的脑肿瘤病理区域图像.为了进一步验证所生成的脑肿瘤图像的有效性，进行了脑部肿瘤图像分割实验，分别用原始的和扩充数据样本后的脑肿瘤图像数据集进行脑部肿瘤分割.实验结果表明，U-Net、ResUNet、U-Net++分割模型在扩充样本后的训练和测试分割结果Dice相似性系数都比扩充前的高，由此进一步证明本文所提方法生成的脑肿瘤图像具有丰富的多样性，能够有效且可靠地扩充脑肿瘤图像数据集.

参考文献

[1] SHIN H C，TENENHOLTZ N A，ROGERS J K，et al. Medical image synthesis for data augmentation and anonymization using generative adversarial netwrorks [C]//International Workshop on Simulation and Synthesis in Medical Imaging. Granada：MICCAI，2018：1-11.

[2] POKA K B，SZEMENYEI M. Data augmentation powered by generative adversarial networks [C]//2020 23rd International Symposium on Measurement and Control in Robotics （ISMCR）. Budapest：IEEE，2020：1-5.

[3] CHUQUICUSMA M J M，HUSSEIN S，BURT J，et al. How to fool radiologists with generative adversarial networks？a visual Turing test for lung cancer diagnosis[C]//2018 IEEE 15th International Symposium on Biomedical Imaging（ISBI 2018）. Washington DC：IEEE，2018：240-244.

[4]GOODFELLOWI，POUGET-ABADIEJ，MIRZAM，et al. Generative adversarial networks [EB/OL].（2014-06-10）[2021-12- 01]. https：//arxiv.org/abs/1406.2661.

[5] RADFORD A，METZ L，CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks [EB/OL].（2015-11-19）[2021-12-01]. https：//arxiv.org/ abs/1511.06434v2.

[6] ZHU J Y，PARK T，ISOLA P，et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision. NewYork：IEEE，2017：2223-2232.

[7] NGUYEN T，LE T，VU H，et al. Dual discriminator generative adversarial nets [EB/OL].（2017-09-12）[2021-12-01]. https：//arxiv.org/abs/1709.03831.

[8] ZHANG H，GOODFELLOW I，METAXAS D，et al. Self-attention generative adversarial networks [C]//International conference on Machine Learning. Taiyuan：PMLR，2019：7354-7363.

[9] KARRAS T，LAINE S，AILA T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach：IEEE，2019：4401-4410.

[10] KARRAS T，LAINE S，AITTALA M，et al. Analyzing and improving the image quality of StyleGAN [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington DC：IEEE，2020：8110-8119.

[11] KINGMA D P，BA J. Adam：a method for stochastic optimization [EB/OL].（2014-12-22）[2021-12-01]. https：//arxiv.org/abs/1412.6980.

[12] BYNAGARI N B. GANs trained by a two time-scale update rule converge to a local nash equilibrium[J]. Asian Journal of Applied Science and Engineering，2019，8：25-34.

[13] RONNEBERGER O，FISCHER P，BROX T. U-net：convolutional networks for biomedical image segmentation [C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich：MICCAI，2015：234-241.

[14] DIAKOGIANNIS F I，WALDNER F，CACCETTA P，et al. ResUNet-a：a deep learning framework for semantic segmentation of remotely sensed data[J]. ISPRS Journal of Photogrammetry and Remote Sensing，2020，162：94-114.

[15] ZHOU Z W，SIDDIQUEE M M R，TAJBAKHSH N，et al. U- Net++：redesigning skip connections to exploit multiscale features in image segmentation[J]. IEEE Transactions on Medical Imaging，2020，39（6）：1856-1867.