基于生成对抗的糖网病图像生成方法研究

余莹，刘颖，章浩伟

上海理工大学 健康科学工程学院(上海,200093)

0 引言

糖尿病视网膜病变（diabetic retinopathy，DR）是糖尿病的常见并发症之一，也是四大致盲眼病之一，具有较高的发病率和致盲率。在我国糖尿病人群中，发病5 年后DR 患病率为25%，10 年后增至60%，15 年后可高达75%～80%［1］。糖尿病病程、高血糖、高血压是引发DR 最相关的危险因素，当糖尿病患者长期处于高血糖状态，机体毛细血管网极易受到损害，影响到眼中微血管时，可诱发DR。在病变早期，眼中微血管变脆弱，出现血管隆突（微血管瘤）并破裂，导致血液、蛋白质等液体渗入视网膜，并引起视网膜水肿，根据受损视网膜部位的不同，造成轻度至重度的视力下降，此阶段发生的DR 病变称为非增殖性糖尿病视网膜病变（non-proliferative diabetic retinopathy,NPDR）。随着病情恶化，在视网膜表面会长出新的脆弱血管，称为新生血管，这些血管一旦破裂，造成眼球内出血、视力模糊及瘢痕组织，瘢痕组织牵拉视网膜，导致视网膜脱离，严重者可能引起新生血管性青光眼，导致永久性视力丧失［2］。研究发现DR 的大部分视力丧失可以通过早发现、早治疗进行预防，因此DR 的早期筛查显得尤为重要。目前DR 筛查最常见的方法是由经过专业培训的眼科医生进行眼底检查，然而由于医疗资源匮乏，训练有素的眼科护理人员远不足以应对快速增长的糖尿病负担，尤其在糖尿病人口众多的中国。因此，尽管越来越多的证据表明常规评估和早期干预对于DR 的重要性，但DR 的筛查力度远远不够。

深度学习（deep learning，DL）是人工智能广泛类别下的机器学习的一个分支，代表了人工神经网络的最新进展［3］，它能够从大量原始图像中学习特征并进行分类预测。目前，深度学习已广泛应用于乳腺肿瘤［4］、前列腺癌［5］、肺癌［6］及多种皮肤病［7-8］的治疗，并取得了优异成果，这无疑为DR 的早期筛查工作提供了新的可能。众所周知，将深度学习应用于疾病诊疗工作需要大量的医学数据支撑，但目前用于DR 检测的公共数据库非常少，且眼底图像质量差异很大，数据库中不免有部分图像存在曝光过强或过弱、眼底位置不正、血管模糊、图像存在镜头污迹等问题［9］，会对数据训练造成影响。为增加训练的数据量，提高分类模型的泛化能力，许多研究会对图像数据进行平移、旋转、缩放等仿射变换，或是通过增加噪声、颜色增强等方式增加数据量，这种方法增加数量受限且图像缺乏多样性。因此，本研究基于现有眼底图像数据，运用生成对抗网络（generative adversarial networks，GAN）进行DR 图像生成，随着网络迭代次数的增加，可以生成大量包含丰富眼底信息的DR 图像，为深度学习DR 分类模型奠定重要基础。

目前，GAN 已用于多种图像数据的生成，但医学图像数据具有特殊性和复杂性，应用较少。刘田丰等［10］基于GAN 进行手势图像生成，使用模型生成的手势图片代替真实图片进行手势识别训练，可达到与后者相似的结果。曹锦纲等［11］提出了一种基于GAN 的交通模糊图像生成模型，实现端到端直接生成清晰图像，便于交通识别。Zhang等［12］利用GAN 实现了人脸图像的生成，并提出了一种生成高质量人脸图像的算法。Wang 等［13］根据艺术和动画创作过程，运用GAN 实现了艺术图像的生成和风格转换，可将简单的简笔画转换为实物图像。林志鹏等［14］将GAN 用于宫颈细胞图像的数据增强，并将其与仿射变换扩充的数据集作比较，实验表明GAN 扩充数据集分类测试集正确率为97%，而仿射变换扩充数据集分类测试正确率为93%。

1 方法

1.1 生成对抗网络

GAN 提供了一种不需要大量标注训练数据就能学习深度表征的方式。它通过反向传播算法分别更新两个网络以执行竞争性学习而达到训练目的［15］。GAN 具有多种变体，例如：与卷积神经网络（convolution neural networks,CNN）结合-DCGAN，与自动编码器解码器结合-BiGAN，与循环网络结合-CycleGA，与辅助分类器结合-ACGAN 等［16］。GAN 及其变体有多种应用，包括图像生成、语义图像编辑、图像分割、目标检测、风格迁移、图像超分辨率技术和分类等［17］。

GAN 是受博弈论启发，将生成问题看作生成器和鉴别器这两个网络的对抗和博弈。其中，生成器从给定噪声中产生合成数据，鉴别器则分辨生成器的输出和真实数据。生成器试图产生更接近真实的数据，而鉴别器试图更精准地分辨真实数据与生成数据。由此，两个网络在对抗中进步，在进步后继续对抗，生成器生成的数据也就越来越逼近真实数据，最终生成想要得到的结果。

1.2 深度卷积生成对抗网络

深度卷积生成对抗网络（deep convolution generative adversarial networks，DCGAN）是将CNN 卷积技术应用于GAN 模式的网络里，生成器在生成数据时，使用反卷积的重构技术来重构原始图片，鉴别器使用卷积技术来识别图像特征并做出判别。同时，为提高样本质量和收敛速度，DCGAN中的卷积神经网络进行了一些结构改变：（1）生成器网络取消了所有的池化层，使用转置卷积进行上采样；（2）去掉了全连接层，使网络变为全卷积网络；（3）生成器网络使用ReLU 作为激活函数，最后一层使用Tanh 作为激活函数；（4）鉴别器网络使用LeakyReLU 作为激活函数［18］。经上述改变，DCGAN可以更好地学习到输入图像的层次化表示，尤其在生成器部分会有更好的模拟效果。

1.3 DR 图像生成

本研究使用南开大学提供的糖尿病视网膜病变数据集OIA-DDR，该数据集包含13 673 张眼底图像，并有4 种DR 相关的病变点标注，是目前国内最大的公开眼底图像数据集［19］。该数据集首先按DR 病变等级将图像划分为5 类：无DR、轻度DR、中度DR、重度DR 及增殖性DR，另有1 151 张因质量较差无法判别等级的图像。各类别图像数目如表1 所示。

表1 OIA-DDR 数据集分类图像数目Tab.1 Number of classified images in OIA-DDR dataset

从表1 中可以看出，数据集分类数目极不平衡，无DR 图像总数为6 266 张，而重度DR 总数为236 张，数目相差数十倍，若直接用于分类训练，会极大地降低分类器的性能。并且，可分级的5 类DR 图像中存在曝光过强或过弱、眼底位置不正、血管模糊、图像存在镜头污迹等问题，对这部分图像进行筛除后，图像数目会降低。用传统的仿射变换方法进行数据增强，生成图像数目有限且缺乏多样性，对提高分类器分类作用意义不大。因此，本研究采用生成对抗方法进行DR 图像生成，在保留眼底图像信息的基础上，提高图像的数量和多样性。

2 结果

对OIA-DDR 数据集中的DR 图像进行筛选后，运用限制对比度自适应直方图均衡化（contrast limited adaptive histogram equalization,CLAHE）算法［20］进行DR 图像增强，提高图像质量，加强图像判读和识别效果。采用Adam 优化器进行训练，设置学习率为0.007，动量为0.8，可得到不同Epoch 下DCGAN 生成的DR 图像，如图1 所示。

图1 不同Epoch 下DCGAN 生成的DR 图像Fig.1 DR images generated by DCGAN under different Epoch

图2 展示了两幅DCGAN 生成图像，为便于网络训练节省存储空间，生成图像均采用小分辨率100×100，所以清晰度有所下降。

图2 DCGAN 生成DR 图像Fig.2 DR images generated by DCGAN

DCGAN 生成DR 图像的过程：生成器对输入DR 图像进行学习并生成DR 图像→鉴别器学习区分生成DR 图像与真实DR 图像→生成器根据鉴别器判别结果提升模拟效果，博弈过程持续循环，直至生成器和鉴别器无法提升自己达到平衡状态。从图1 中我们可以看出，随着网络迭代次数的增加，生成器模拟效果越来越好。图2 给出了最终DCGAN 生成DR 图像中质量一般图像和质量较好图像的示例，图2（a）包含眼底轮廓、血管、视盘等主体结构，但由于血管分布及清晰度存在问题，不利于后期的分类任务，图2（b）眼底结构分布完整，图像清晰，可与原图共同用作DR 分类研究。

分别用仿射变换方法和DCGAN 图像生成方法对DR 两分类训练做数据扩充，得到的分类准确率曲线如图3 所示。

图3 数据增强方法分类准确率对比Fig.3 Comparison of classification accuracy of data enhancement methods

图3（a）中利用仿射变换方法扩充数据集得到的分类训练准确率为0.865，验证集准确率为0.835；图3（b）中用DCGAN 生成DR 图像扩充数据集得到的分类训练准确率为0.948，验证集准确率为0.865，并且对比两图可知，图3（b）中训练收敛速度更快，曲线震荡更小，说明训练效果更好。由此可知，本研究中所用方法可以有效提升DR 分类效果，更具优势。

3 讨论

本研究基于现有的糖尿病视网膜病变数据集，运用生成对抗网络取代传统的数据增强手段进行DR 图像的生成，为解决DR 分类训练数据不平衡问题提供了新方法。DCGAN 生成图像数据增强方法利用原始图像生成了大量较高质量的DR 图像并应用于分类任务，相较于其他方法具有更高的准确率和更快的收敛速度。后续，本研究会将DCGAN生成图像数据增强方法用于DR 多分类及病灶点检测，相信本方法会有更出色的表现。