基于生成对抗网络的肾小球病理图像合成

蔡健，孔祥勇，吴滢，尹梓名，王平，卢严砖，彭瑞阳，孙晓晗，王钰泽

（1.上海理工大学健康科学与工程学院，上海 200093；2.上海交通大学附属儿童医院，上海 200040；3.石河子大学食品学院，新疆石河子 832099）

0 引言

肾病是人类常见疾病，多表现为肾小球病变。肾小球内的形态及结构改变能够提供肾脏损害的关键信息，因此，通过肾活检组织病理学对肾小球形态结构进行分析至关重要。

随着人工智能技术的发展，深度学习在医学领域中的应用越来越广泛，其中卷积神经网络的发展尤为迅速，常用于癌症检测与分类，亦可用于肾小球疾病检测与病变分类。然而，由于缺乏高质量训练数据，肾小球疾病辅助诊断技术发展较为缓慢。

数据增强技术可用于扩充数据量不足的数据集，成为解决数据量不足问题的首要方法。传统数据增强技术可通过提高图像亮度与对比度，也可以对数据集图像进行平移、翻转、裁剪和变形等几何变换方式扩充数据量。该种方法与原始数据息息相关，对于提高算法性能产生的作用十分有限，不能明显改善模型训练效果。生成对抗网络（Generative Adversarial Networks，GANs）具有很强的数据合成能力，能够产生高质量的合成数据，从而提升算法性能，因此受到研究人员的广泛关注。

1 相关研究

GANs在图像生成、模式转换等计算机视觉领域应用广泛，例如人脸合成、风格转换等，其还能合成出难以获取的医学图像数据。例如，Diaz等利用深度卷积生成对抗网络（Deep Convolutional Generative Adversarial Networks,DCGANs）合成高质量的视网膜图像，并对青光眼视网膜图像进行了准确分类；Sun等利用GANs根据异常图像生成正常外观的医学图像，不需要训练数据成对出现便可获得质量较好的正常及病变脑部MRI图像。

由于医学图像尺寸较大、颜色信息复杂以及组织形态多样，病理图像合成具有较大挑战性。为此，李晨等利用GANs对宫颈癌病理图像相关数据集进行扩充，生成宫颈癌细胞质部分图像，然后利用分类模型对相关数据集进行分类，显著提升了低分化宫颈癌病理图像的分类效果；杨俊豪等针对数据集中乳腺癌病理图像各类样本数量不均衡的问题，提出使用GANs生成不均衡样本，将生成数据并入训练集进行训练，分类准确率提升5%。此外，在多种常见癌症病理图像分类任务中，GANs表现均良好。然而，上述合成方法获得的图像分辨率较低，且针对肾小球病理图像的合成研究较为缺乏。清晰的肾小球病理图像包含很多特征细节，获得分辨率较高的肾小球图像对于肾病的诊断至关重要。

针对以上问题，本文提出一种基于pix2pixHD的肾小球病理图像合成方法，用于合成高分辨率且清晰的肾小球图像，从而对数据集进行扩充，提高深度神经网络的学习效率，最终提升图像分割效果。首先利用肾小球mask掩膜作为图像合成的约束条件，利用生成器实现标签映射向肾小球病理图像的空间映射；然后引入标准差特征匹配损失对损失函数进行改进。结果表明，本文方法合成的高分辨率肾小球病理图像可以提高模型网络分割性能，相较对照图像合成算法具有更好的视觉效果和定量化指标评价结果。

2 本文方法概述

本文方法流程如图1所示，可以概括为初分割—生成—再分割的步骤。首先对原始病理图像中的肾小球进行分割，筛选出最优分割模型；然后采用不同图像生成算法对原始数据集生成肾小球病理图像，选择表现最优的图像生成算法。为验证图像生成算法的有效性，将生成的肾小球病理图像与原始病理图像合并成训练集，对初分割中的最优图像分割算法进行训练完成再分割，观察图像分割效果。

Fig.1 Flow of the method proposed图1 本文方法流程

3 网络模型建立

pix2pixHD是一个基于条件生成对抗网络（Conditional Generative Adversarial Nets，CGAN）的框架。相较于基于GAN的pix2pix，pix2pixHD具备多尺度的生成器和判别器，同时改进了损失函数设计，能够产生清晰的高分辨率图像。pix2pixHD通过将噪声和条件输入到生成器G中实现图像到图像的翻译，使用判别器D判断生成图像是否为真实图像，最终目标为寻找生成器与判别器之间的纳什平衡，目标函数表示为：

式中，

D

(

x

)表示判别器D判断输入数据来自真实数据的概率；

G

(

z

)表示生成器G根据数据分布生成的数据。

3.1 生成器结构

基于pix2pixHD全局生成器构建生成器网络，该网络为自编码网络的一种变体模型，通过编码与解码相结合的方式，根据特征图将噪声转化为与真实图像相似的图像。生成器由下采样、残差块和下采样组成，结构如图2所示。

Fig.2 Generator structure图2 生成器结构

对pix2pixHD原有编码器进行改进，将下采样变为最大池化加上残差块，缓解神经网络传播中信息丢失的问题，同时增加卷积块数量，使得网络更深，以便提取更加深层的信息。生成器由4个下采样、4个上采样和9个残差块组成。将尺寸为256×256，通道数为3的标签图像输入网络中，首先经过卷积核为7×7，步长为1的卷积层，得到尺寸为256×256，维度为64的特征图像；然后经过最大池化及残差块的4次下采样，每经过一次下采样，图像尺寸减半，维度加倍，每次卷积后都会进行批量标准化（Batch Normalization，BN）处理，将Relu作为激活函数。将经过下采样的特征图像输入到9个残差块中，每个残差块都包含两个卷积核为3×3，步长为1的卷积层，最后得到尺寸为16×16，维度为1 024的特征图像。特征图像经过4次上采样，每次上采样包含一个卷积核为3×3，步长为2的反卷积层，反卷积后进行BN处理，将Relu作为激活函数。此时，图像尺寸加倍，维度减半，得到尺寸为256×256，维度为64的特征图像。最后，将特征图像经过卷积核为7×7，步长为1的卷积层得到生成图像。

3.2 判别器结构

采用pix2pixHD的多尺度判别器，分别对原图进行2倍和4倍的下采样，对不同尺度的图像进行判别并取平均值。判别器结构如图3所示。

3个尺寸的判别器结构相同，均由5个卷积层组成。对于原尺寸判别器，首先输入大小为256×256，通道数为3的图像，经过3次卷积核为4×4，步长为2的卷积层，图片尺寸会相应缩小，维度会相应增大；然后经过2次卷积核为4×4，步长为1的卷积层。以上卷积后都会进行BN处理，以Leaky ReLU作为激活函数。

Fig.3 Discriminator structure图3 判别器结构

3.3 损失函数

对原有pix2pixHD损失函数进行改进，为了稳定训练，在原有损失函数中加入判别器的特征匹配损失。pix2pix的损失函数表示为：

判别器的特征匹配损失函数表示为：

最终损失函数为：

式中，λ表示特征匹配损失的权重。

3.4 U-Net模型构建

采用医学图像分割性能良好的U-Net网络作为骨干模型，使用特征提取能力强的VGG19小型网络作为模型的编码器，并加载在ImageNet数据集预训练完成的权重进行训练。U-Net分割模型结构如图4所示。

Fig.4 U-Net network structure图4 U-Net网络结构

对VGG19网络进行改进，保存卷积层与池化层并且去掉全连接层。其编码器有5个下采样编码块，输入图片尺寸为256×256，通道数为3，每个编码块都采用卷积核为3×3，步长为1的卷积操作，图像尺寸不会改变。图像到达下一个编码块时，会经过卷积核为2×2，步长为2的最大池化操作，图片尺寸变为原来的1/2，图像维度会增加。不同的编码块会提取不同深度的图像特征。最终，编码器会得到尺寸为8×8，维度为512的特征图像，然后通过卷积核为3×3，步长为2的反卷积以扩展特征图像尺寸。每次经过反卷积后都会与卷积过程中的相应尺寸特征层进行连接，此时特征层的维度会扩大为卷积后特征维度与反卷积后特征维度之和，然后再进行下一次反卷积，最终获得与原图尺寸相同的二值分割图像。

4 实验方法与结果分析

4.1 数据集

本文使用的数据集包括Kaggle肾小球分割比赛数据集和上海市儿童医院肾脏科病理图像数据，该数据集包含30张肾脏病理图像，其中20张图像作为训练集，10张图像作为测试集。训练集中包含3 000个肾小球图像，对病理图像中肾小球及相应mask图像进行裁剪，将其缩放至256×256，以构建肾小球数据集，用于图像生成。部分肾小球图像如图5所示。

4.2 实验参数设置

使用3种基于GAN的方法生成肾小球病理图像，分别为cycleGAN、pix2pix和pix2pixHD，均在Pytorch框架上使用Adam优化器进行训练，epochs为2 000，batchsize为4，初始学习率为0.000 2。对于肾小球分割实验，使用U-Net网络，以VGG19作为编码器，在Pytorch框架上使用Adam优化器进行训练，epochs为30，batchsize为16，初始学习率为0.000 1，并使用在ImageNet数据集上预先训练完成的模型进行参数初始化，损失函数为Dice loss。

Fig.5 Part of the glomerulus and itslabe lmap图5 部分肾小球及其标签图

实验平台为搭载NVIDIA GeForce RTX 2080Ti GPU及32GB内存的服务器，Linux系统，Python 3.6语言。

4.3 评价标准

采用Inception分数（Inception Score，IS）和Fréchet Inception距离（Fréchet Inception Distance，FID）评价模型性能。

IS的计算公式为：

FID的计算公式为：

式中，

X

表示实际图像，

G

表示生成图像，

T

表示矩阵对角线上元素的总和。FID越低说明两个图像分布越接近，意味着生成图片的质量较高、多样性较好。

采用Dice分数作为语义分割的评价指标，表示为：

式中，

x

为预测像素，

y

为Ground Truth。Dice分数越高说明分割效果越好。

4.4 实验结果

4.4.1 肾小球分割实验

在相同训练集下，选择不同分割模型对肾小球图像进行分割。为减少训练集样本较少的影响，分别对其进行垂直翻转、水平翻转、随机旋转90°、转置、平移缩放旋转、添加高斯噪声等传统数据增强操作，根据Dice分数选择最优分割模型。

由表1可知，在相同测试集及训练集下，以VGG19作为编码器的U-Net模型表现最佳，Dice分数为0.882，训练过程也更加稳定。VGG19作为编码器能更好地提取病理图像中肾小球的不同特征，因此本文选用以VGG19作为编码器的U-Net网络作为验证肾小球图像生成效果的分割模型。U-Net对肾小球的分割效果如图6所示。

Fig.6 Glomerular segmentation effect by U-Net图6 U-Net肾小球分割效果

Table 1 Comparison of segmentation effects of different models表1 不同模型分割效果比较

4.4.2 肾小球图像生成实验

比较本文模型与pix2pix、cycleGAN、pix2pixHD 3种经典图像生成模型的性能。图7为在相同标签下各模型生成的肾小球图像，其中pix2pix生成的图像过于杂乱无法展示。通过对比发现，本文方法能够生成更清晰的肾小球图像。

Fig.7 Comparison of images generated by different models图7 不同模型生成图像比较

由表2定量评估结果可知，本文模型合成的肾小球图像与原图FID值更加接近，即与原图更加相似；IS更高，说明合成图像质量较好；pix2pixHD算法生成的图像边界较为模糊，肾小球内部结构不清晰，IS值较小，说明图像合成质量较差；cycleGAN生成的图像没有清晰的轮廓，肾小球内部杂乱无章，定量评估从侧面验证了视觉上的判断；pix2pix生成的图像更加混乱，且没有完整的肾小球形状，定量评估指标也与原图指标相差较大。

Table 2 Comparison of quantitative evaluation of images generated by different models表2 不同模型生成图像定量评估指标比较

4.4.3 肾小球合成图像验证实验

使用VGG19作为编码器的U-Net网络作为分割网络，同时采用本文模型生成1 000张肾小球图像，并将生成图像并入原始训练数据集，一同输入到分割网络中进行训练，然后在相同测试集中进行测试，结果如图8所示。在向数据集中加入生成图像后，本文模型能更好地识别出肾小球。图9为未分割的肾小球图像，图10、图11分别为初分割和再分割的肾小球图像。可以看出，本文模型能更加精细地分割目标肾小球。且经过计算，本文模型再分割的Dice分数为92.3%，相较于不加入合成图像的数据集，有力提升了分割网络的表现，提升分数为4%，说明本文模型生成的图像包含传统数据增强方法所不具备的信息增益。

Fig.8 Adding synthetic glomerulus images segmentation renderings图8 加入合成肾小球图像的分割效果

Fig.9 Unsegmented glomerulus image图9 肾小球未分割图

Fig.10 Glomerular initial segmentation image图10 肾小球初分割图

Fig.11 Glomerularre-segmentation image图11 肾小球再分割图

5 结语

针对肾小球病理图像数据不足的问题，本文提出基于pix2pixHD的肾小球病理图像合成方法，通过对生成器结构及损失函数进行改进，融合更深层次的图像特征，相较于其他经典图像合成模型生成的肾小球病理图像更加清晰且多样，能够提供传统数据增强算法不含有的信息增益，从而提高了肾小球图像分割效果。然而，本文模型训练效率较低，需要使用的计算资源很多，下一步工作是优化模型结构，提升模型训练效率。