差分隐私GAN梯度裁剪阈值的自适应选取方法

郭鹏，钟尚平，陈开志，程航

（1. 福州大学数学与计算机科学学院，福建 福州 350116；2. 网络系统信息安全福建省高校重点实验室，福建 福州 350116）

1 引言

近年来，随着计算机硬件和软件技术的快速发展，大量关于个人语义丰富的数据（如图像、文本、音频）正在被收集。尽管分析和利用这些数据带来了巨大的商业价值（如有针对性的广告和个性化推荐），但是，政府、组织部门都已经认识到在这种实践中保护个人隐私的重要性[1]。

数据的隐私保护主要解决两方面问题[2]：数据集不能泄露个人的隐私，以及使数据的可利用性和隐私性达到平衡。Mohassel等[3]提出数据隐私保护的双服务器协议，数据管理员结合安全双方计算（2PC，two-party compution）与同态加密技术利用数据集训练多种模型，但计算消耗较大，复杂度较高。Sweeney等[4]提出k-anonymity的目的是保证公开数据中包含的个人信息至少k-1条不能通过其他个人信息确定出来，但是目前有多种根据背景知识针对匿名保护的攻击，并且有较高成功率；l-diversity[5]、t-closeness[6]等方法是针对背景知识攻击以及对 k-anonymity的改进方法。尽管以上方法一定程度保护数据隐私，但是计算复杂，不容易部署实施，属性缺失造成数据可利用性降低，或者因为背景知识容易被攻击等问题对上述方法提出挑战。

Dwork[7]提出的差分隐私具有优雅的理论证明，自定义的“隐私预算”来调整数据的实用性和隐私性，差分隐私与机器学习的结合是隐私保护的热点。Shokri等[1]提出分布训练，使用互斥数据集，对每一个分布的模型参数添加噪声处理后，上传到中心服务器处，其他分布者再从中心处下载平均化处理后的参数，更新自己的模型参数，但 Abadi[8]和 Papernot[9]等认为这种方法会产生很高的隐私损失；Papernot等[9]应用独立的教师模型集成器和半监督知识迁移训练的学生模型对Mnist和Svhn数据集实现最好的分类准确率，但是实施这种方法的前提是确保对手不能接触到教师集成器和聚合结果，并且允许学生模型对教师集成器的查询次数尽可能少，因为查询会增加隐私损失；Abadi等[8]提出使用差分隐私随机梯度下降，对深度学习的优化过程实施隐私保护，在保证较低差分隐私预算同时不要求分布式训练，但是这种方法只是发布固定任务的模型，第三方无法根据实际任务训练自己的模型。

因此，为了保护数据集的个人隐私，同时平衡数据的实用性和隐私性而满足第三方的需求，已有研究者将差分隐私和生成模型结合，实现差分隐私保护的生成模型，第三方可以依靠生成模型无限制生成满足源数据统计特性的“虚假”数据。Gergely等[10]提出了新颖的隐私保护生成模型，将k个生成神经网络混合一起学习训练数据的分布，构建生成器模型。先使用差分隐私核k-means将数据分成k类，使用单个生成神经网络（如限制玻尔兹曼机或者变分自编码器）学习每一类训练数据分布，学习过程中利用了 Abadi等[8]的差分隐私优化过程方法实验差分隐私保护，但是 VAE是通过直接计算生成图像和原始图像的均方误差学习，使生成的图像模糊；Beaulieu-Jones等[11]提出差分隐私辅助分类生成对抗网络（DPACGAN, differential privacy auxiliary classifier generative adversarial network）生成医疗临床数据。这是第一篇实现对生成对抗网络差分隐私保护的文章。DPACGAN和 Gergely等[10]方法相比具有很多优点。首先，GAN确保可扩展性，更适用于现实生活中复杂结构的数据；其次，这种方案是比较容易实施的，即不需要在互斥数据集上分布式训练模型后再聚合；最后，DPACGAN借鉴了Abadi[8]的隐私保护结构，即通过设定梯度裁剪阈值，限制每个样例的敏感度，然后对裁剪处理后的梯度添加合适的噪声，再来更新对应的网络参数。DPACGAN具有完整的理论证明，可以根据标签生成需要的图像。但是，DPACGAN直接固定梯度裁剪阈值 C，这会影响优化器性能，原因为：1) 不同层的梯度相差很大；2) 梯度值是持续改变的。Zhang等[12]提出梯度裁剪自适应选取方法，先将权重等参数进行归类操作，在训练前和训练过程中监测梯度值的变化，再对每一类设置梯度阈值。

本文借鉴Zhang等[12]思想，以DPACGAN框架为基础，假设除了可以接触到隐私数据Dpri来训练模型，还可以接触到小部分的公开数据集 Dpub。在每一步训练中，笔者随机从Dpub抽取一批样例，设置训练模型的梯度裁剪阈值为这批数据的平均梯度范数，迭代上述操作直到网络聚合。在Mnist和Cifar10数据集上对本文方法进行了实验验证，结果表明，合理隐私预算下，和DPACGAN相比，使用生成图像训练得到的卷积神经网络（CNN）分类器准确率提高1%～4%，评估分数（Inception Scores）提升0.6～1.2。

本文的主要贡献如下。

1) 发现原始 DPACGAN固定梯度阈值的弊端，提出结合C自适应选取的方法。直观地说，对每一个输入，梯度值的L2范数应该近似等于裁剪阈值，这保证了输入对梯度的贡献最大并且相关误差最小。

2) 验证了改进后的 DPACGAN在不同复杂度数据集上的实用性，在合理的隐私预算下，CNN分类器分类准确率提高，生成的图像更清晰和多样性更好。

2 相关技术概述

2.1 差分隐私理论基础

本文方法使用的隐私模型是差分隐私[7,13,14]，差分隐私被认为是最强的隐私保护之一。

2.1.1 差分隐私定义

定义1 给定2个至多相差一条记录的数据集 d 和d'(即)，对于一个设定的随机算法A，其取值范围为Range(A)，若算法A在数据集 d和d′上的任意输出结果满

其中，ε是隐私保护参数，表示隐私保护的程度，ε越小意味着对于真实输出的扰动越大，隐私保护程度也越高。δ表示严格的差分隐私下隐私泄露的概率。

2.1.2 差分隐私实现方法

1) 函数的敏感度

给定函数f，通过对f输出添加随机噪声实现差分隐私，噪声的大小取决于 f输出的敏感度。如果f输出是向量值，它的敏感度大小定义为足式(1)，则称算法A满足(ε, δ)-差分隐私。

表示单个数据对f输出的最大影响，量化评估最坏情况下隐藏单个数据存在要添加的不确定性。

2) 高斯机制

如果f的敏感度使用L2范式定义，高斯机制常被用来随机化f的输出。高斯机制（式(3)）是给f的真实输出添加高斯噪声[14]。

其中，高斯噪声是均值为0、协方差为2(Δf)σI的高斯分布，I是单位矩阵。

3) 属性

在差分隐私对抗网络中利用差分隐私的以下特性。

① 后处理性。对差分隐私机制下输出的任何计算不会增加隐私损失。

② 序列化组合原理。差分隐私机制的序列化组成依然满足差分隐私保护。

2.1.3 差分隐私优化算法

本文的隐私保护方法和差分隐私深度学习[8]的技术很相似，通过在优化程序中添加噪声实现。算法1说明了差分隐私深度学习中通过最小化经验损失函数 L(θ)训练关于参数θ模型的基本方法。在优化程序的每一步，计算随机样例的梯度g(x)，裁剪每个梯度L2范数，计算平均值，添加噪声，如步骤 5)～步骤 7)，再使用平均梯度更新对应参数。这里对梯度的裁剪是为了限制单个数据对整体的影响，也是方便敏感度的计算。添加噪声是实现对梯度输出的扰动，实现保护。

算法1 差分隐私优化算法

输入 训练样例 X={x1,x2,…,xn}，损失函数，噪声σ，学习率α，组大小m，梯度裁剪阈值C，训练轮数T

输出 θ，并且使用隐私统计方法计算全局隐私损失

1) 初始化θ

2) for t∈Tdo

3) 随机选取m个样例

12) return θ

2.2 梯度裁剪阈值的自适应选取

差分隐私随机梯度下降将梯度裁剪阈值C作为输入，没有给出解释如何计算该值。另外，C的选择对优化器的性能影响较大。如果C太小，会导致梯度的过度截断，造成聚合缓慢。相反，如果C太大，较多不必要的噪声将被添加到梯度更新，会导致生成图像质量不好。由于不同层权重，偏置、梯度相差较大，并且训练中梯度是持续改变的，很难找到接近最优的固定设置C。直观地说，对每个输入的样例这样保证了输入x对平均梯度的贡献具有最小相关误差的最大保护[10]。

因此，与其对整体训练集的C做固定输入，不如自适应地选取每批的 C。本文假设训练模型时，除了可以接触到隐私数据Dpri还可以接触到小部分的公开数据Dpub，在每一次训练时，随机从 Dpub选取一批样例，设置隐私数据的裁剪阈值为这一批训练样例梯度范式的平均值。这种自适应的方法确保具有较小误差的较快聚合。

2.3 生成对抗网络

如图1所示，生成对抗网络[15]同时训练2个模型：生成模型G是学习将潜在分布pz映射到训练数据的真实分布 pdata，同时判别器训练过程是计算输入样例来自真实训练数据的概率，生成器的训练过程是最大化判别器犯错误的概率，即判别器误以为样例为真实训练样例而不是生成器生成的“虚假”样例，目标函数为

Xreal表示从真实训练数据取样，Xfake表示从“虚假”数据取样。

GAN被用在各种无监督和半监督的学习任务。其中，一个是将训练好的判别器作为特征提取器，用在各种设置中；另一个工作是针对潜在变量Xfake，要么使用正则化使Xfake语义有意义，要么直接在潜在空间提取信息。尽管GAN理论简明，但是原始GAN在训练中不稳定并且效率不高。

如图2所示，ACGAN[16]是GAN的变形。ACGAN除了输入对应噪声z，还有标签c～ pc用来生成每个样例。G使用两者生成图像判别器判别输入图像的真假源概率分布和类别标签的分布。目标函数有式(5)和式(6)两部分。

图1 生成对抗网络结构

图2 辅助分类生成对抗网络

其中，Ls表示输入数据的真实来源，Lc表示输入数据正确的标签。D被训练最大化Ls+Lc，同时G最大化Lc+Ls。ACGAN和标准GAN相比，产生极好的效果并且训练更稳定。早期实验表明，增加训练集类别数量会降低模型输出的质量。ACGAN的模型结构允许将训练集根据类别划分多个子集，使用每个子集训练生成器和分类器。

2.4 差分隐私生成对抗网络

DPACGAN是[11]在优化程序中添加随机噪声实现对训练数据的隐私保护。本文尝试仅对判别器D添加随机扰动，合理性如下：首先，在对抗网络中，只有D可直接接触训练真实数据，这样足够控制训练D的隐私损失；其次，和生成器G比较，D仅需要较简单的结构和小部分参数，这样比较容易估计隐私损失。但是，通过对D实施隐私保护，生成器的参数依然是差分隐私保护。这是因为差分隐私的后处理性，也就是说，对差分隐私输出的任何计算不会增加隐私损失。这里的计算是指对生成器参数的计算，输出指判别器输出的差分隐私保护参数，因此训练后的生成器用来生成数据是安全的。

2.5 隐私分析

差分隐私生成对抗网络的关键组成部分是计算训练期间的逆累积隐私损失，即隐私统计A，包含2个部分：时刻统计[8]和子集采样[8]。

时刻统计：Abadi等提出了时刻统计——一个隐私统计的方法，该方法比组合原理[17]对隐私损失的评估更严谨。随机变量 Z表示隐私损失（式(7)）。

其中，d, d'表示临近数据集，M是随机机制算法，o∈R表示输出。隐私损失随机变量的时刻生成函数日志为得到Mα。

为了满足差分隐私，需要遍历所有可能的

使用马尔可夫不等式，可以证明任何ε＞0，对于，M满足

子集采样：在每次D的迭代训练中，从真实数据集采样一批数据。由隐私应用定理可知，每次采样程序关于整个数据集实现表示每批的采样概率，m表示批大小，n表示训练集大小，

如果噪声σ和梯度裁剪阈值C选择合适，使用时刻统计[7]可以证明算法1是t表示主循环中总的迭代轮数。

3 梯度裁剪阈值自适应选取和 DPACGAN的结合

DPACGAN因其更适用于生活中复杂数据结构，更简单的实施方案，更能保证数据利用和数据隐私之间达到平衡的优点而引起数据管理者的青睐。在差分隐私层面提供隐私保护控制的GAN可以生成和原始真实数据同分布的“虚假”数据，在允许第三方利用训练数据实现不同机器学习任务的同时，保护数据的隐私性，满足数据分析师的需求，引导长远的研究。

然而，笔者发现在隐私保护的方法中，直接固定裁剪阈值 C会造成生成数据的可利用性降低。因为GAN训练中梯度是不断变化的，每层相差较大。而如果C太小，会导致梯度的过度裁剪，造成聚合缓慢。相反，如果C太大，较多不必要的噪声将被添加到梯度更新，会导致生成图像质量不好，很难找到满足全局需求的最优的C作为输入。因此，本文将DPACGAN与2.2节中方法结合，保证在每一轮迭代中自适应地选取C。

3.1 自适应选取梯度阈值DPACGAN

算法2列出了采用自适应选取梯度裁剪阈值的DPACGAN的结构。本文首先从Dpub选取一批数据，计算输入样例的梯度，然后使用该批的梯度平均值作为隐私训练的梯度裁剪阈值（步骤 4)～步骤5)），再从真实数据取样，计算梯度（步骤 6)～步骤 7)），对梯度裁剪和添加噪声，更新判别器参数（步骤 8)～步骤 12)）。迭代这样的操作，直到网络聚合或者隐私预算耗尽（步骤15)～步骤16)）。

算法2 自适应选取阈值DPACGAN算法

输入：数据集X={x1,x2,…,xn}；Dpub公共数据集，Dpri隐私数据集，m隐私数据集批大小，mpub公开数据集的批大小；D判别器，G生成器；(α,β1,β2)是 Adam 的参数；C 裁剪阈值；σ噪声大小；(ε0,δ0)-总隐私预算。

输出：G，差分隐私生成器

1) (w,)θ←使用Dpub训练ACGAN

2) While θ没有聚合 do

3) while D do

4) //从 Dpub取样类别标签

5)计算梯度，求平均值得梯度裁剪阈值C

6) 从 Dpri取样类别标签

7)//计算梯度

8) for i=1,…,m do

9)//裁剪

10)//添加扰动噪声，更新隐私统计

11) //求批次平均梯度，更新判别器参数

12) End (while)

13) //采样噪声，类别标签，更新生成器参数θ

14) //计算隐私算法A关于ε0的δ

15) If结束训练

16) End while

17) return G

3.2 算法性能分析

在算法2每次判别器的训练中，本文增加了对Dpub的随机取样并且计算梯度值，每次选取m个数据，进行计算，时间复杂度为O(m)，然后，从Dpri选取n个数据计算梯度，则时间复杂度O(n)，故一次迭代总复杂度为O(m+n)。之后的每次迭代相同，假设为N次，则判别器层总的复杂度为NO(m+n)。

4 实验

4.1 实验设置

本节评估改进后DPACGAN的性能。所有实验均是在 keras+tensorflow+gpu平台上完成，python版本为 3.5.2。此外使用了 2块 NVIDIA GTX 1080Ti显卡实现硬件加速。

本文实验使用2种标准数据集。

1) Mnist，由70 000张10类手写数字图像组成，包括60 000张训练数据集和标签，10 000张测试数据集和标签。每张图像大小28×28。

2) Cifar10，由60 000张10类图像组成，每类6 000张。包括50 000张训练数据集和标签，10 000张测试数据集和标签。每张图像32×32。

本文分别将Mnist和Cifar10数据集的训练集按4：96比例分为公共可利用数据集Dpub和隐私数据集Dpri。针对Mnist数据集的改进后DPACGAN超参数设置如图3所示，针对Cifar10数据集的改进后DPACGAN超参数设置如图4所示。在判别器的优化中，本文使用NoisyAdam()优化器，实现隐私保护。

4.2 实验结果及分析

本节对生成的图像质量进行评估。笔者主要设计2个实验，回答关于改进后DPACGAN的3个关键问题。第一，在隐私约束条件下，改进后DPACGAN是否可以生成视觉效果较好的图像？第二，生成的图像是否保持足够的能力实现数据分析任务？第三，生成的图像是否具有足够好的质量和多样性？

4.2.1 改进后DPACGAN生成的图像

本节主要是展示一些使用改进后方法生成的图像数据。图5和图6分别使用Mnist和Cifar10数据集训练的生成模型生成的图像数据，可以看出，改进后DPACGAN可以生成视觉上清晰的图像。

4.2.2 Mnist数据集和Cifar10数据集的分类任务

图3 Mnist数据集生成模型超参数设置

图4 Cifar10数据集生成模型超参数设置

图5 Mnist生成模型生成图像（ε=4，δ=10-5）

图6 Cifar10生成模型生成图像（ε=8，δ=10-5）

笔者使用 Mnist训练集在下训练 4个不同隐私预算的生成模型，再使用每一个模型生成数据，对每一类数字随机挑选3 000张组成生成图像训练集，则共得到 4组训练集。每一组训练集训练得到一个CNN分类器，再使用每一个训练好的分类器对Mnist测试集测试计算准确率。然后，重复这样的操作50次，计算平均准确率。作为对比，使用DPACGAN设置在下训练生成模型，同样操作计算平均准确率；还使用真实Mnist训练集训练分类器，应用测试集计算分类准确率；使用无隐私保护ACGAN生成的数据训练分类器，应用测试集计算准确率。实验结果如图 7所示，横坐标表示隐私预算大小，纵坐标表示CNN的分类准确率，每一部分前两列分别表示在固定隐私预算下，改进前DPACGAN生成数据分类器准确率和改进后DPACGAN生成数据分类器准确率。虽然ACGAN数据和原始数据没有使用固定隐私预算，但是作为对比，分别放在每部分的后两列，这样很容易得到对比效果。

图7 Mnist数据CNN分类准确率

笔者使用Cifar10数据集执行和Mnist数据集相同的操作。实验结果如图 8所示，每一部分前两列分别表示在固定隐私预算下，改进前DPACGAN生成数据训练的分类器准确率和改进后 DPACGAN生成数据训练的分类器准确率。虽然 ACGAN数据和原始数据没有使用固定隐私预算，但是作为对比，分别放在每部分的后两列，这样很容易得到对比效果。和Mnist数据集比较，Cifar10数据集为彩色图像，并且比较复杂，通过自适应选取切割阈值发现，生成数据的准确率提升更加明显，这是因为改进后方法在固定隐私预算下，自适应选取梯度裁剪阈值，保证了输入样例对梯度的贡献具有最小相关误差的最大保护。图7和图8表明分类准确率会随着隐私预算增大而提升，这正是因为ε越小隐私保护程度越高，训练中增加噪声越多，对优化器参数更新造成干扰。为了调节可用性和隐私性，应该适当增大隐私预算。并且，笔者发现采用自适应选取裁剪阈值的方法后，同隐私预算下 CNN分类器分类效果有很大提升，分类准确率接近无隐私保护情况下ACGAN生成的图像训练得到分类器的准确率。

图8 Cifar10数据CNN分类准确率

4.2.3 Mnist数据集和Cifar10数据集的统计特性Salimans等[16]提出使用Inception Scores来评价GAN生成数据的质量。生成器G的Inception Scores定义为

这里，x是 G生成的样例；Pr(y|x)是提前训练的预测x标签y的分类器所属的条件分布，如果x是和真实样例相似的，则期望Pr(y|x)的熵是小的；是y的边缘分布，如果G能够生成多样性样例，则期望Pr(y)的熵是大的。因此，通过测量2个分布KL的差异，s(G)可以评估生成数据的质量和多样性。

表1总结了Mnist和Cifar10数据集分别训练的 DPACGAN，改进后 DPACGAN的生成数据Inception Scores，并且作为对比，本文给出原始数据，ACGAN生成数据[16]的Inception Scores。不难发现，改进后DPACGAN生成的图像比改进前的分数提高，更接近原始数据和ACGAN生成数据的分数。

表1 真实数据和合成数据的Inception Scores

4.2.4 分析总结

由CNN的分类准确率和Inception Scores的评分2个标准，可以发现改进后的DPACGAN性能提升，不仅更适用于数据分析任务，而且生成的图像质量和多样性更好。这是因为改进后自适应选取的梯度裁剪阈值更接近每个样例输入时引起的梯度变化，不会导致梯度的过小截断，也不会导致梯度的过度放大。在差分隐私优化过程中，可知梯度裁剪阈值大小即为敏感度的上界，而添加噪声[14]，如下式。

可知噪声大小和敏感度相关。当自适应选取梯度阈值时，梯度不会因为过小而导致训练缓慢，隐私损失计算较大，训练迭代轮数减少，生成图像可利用性降低；也不会因为过大而导致敏感度过大，噪声添加过多，以及训练参数的更新偏离最优值，生成图像可利用性降低。

5 结束语

本文结合DPACGAN和梯度裁剪阈值自适应选取的优点，不再将梯度裁剪阈值作为输入。因为生成对抗网络不同层的梯度相差很大，训练时，梯度值持续改变，通过自适应选取阈值既可以防止阈值过小导致网络聚合缓慢，又可以避免阈值过大导致敏感度增高，生成图像质量可利用性低。本文通过实验评估，改进后的DPACGAN比改进前DPACGAN生成的图像视觉上更清晰，用于数据分析任务时性能更优，图像质量和多样性更好。

关于本文工作还有很多需要长远研究的内容。例如，本文实验都是聚焦于生成图像数据，然而对其他语义丰富数据类型（如语言模型任务）是值得深入研究的。

参考文献：

[1]SHOKRI R, SHMATIKOV V. Privacy-preserving deep learning[C]//The 53rd IEEE Annual Allerton Conference on Communication, Control, and Computing. 2015： 909-910.

[2]ZHU T, LI G, ZHOU W, et al. Differentially private data publishing and analysis： a survey[J]. IEEE Transactions on Knowledge & Data Engineering, 2017, 29(8)： 1619-1638.

[3]MOHASSEL P, ZHANG Y. SecureML： a system for scalable privacy-preserving machine learning[C]//The 38th IEEE Symposium on Security and Privacy. 2017： 19-38.

[4]SWEENEY L. K-Anonymity： a model for protecting privacy[J].International Journal of UncertainTy Fuzziness and Knowledge Based Systems, 2002, 10(5)： 557-570.

[5]MACHANAVAJJHALA A, GEHRKE J, KIFER D, et al. l-diversity：privacy beyond k-anonymity[C]//The 22nd IEEE International Conference on Data Engineering. Atlanta Georgia. 2006： 24-24.

[6]LI N, LI T, VENKATASUBRAMANIAN S, et al. T-closeness：privacy beyond k-anonymity and l-diversity[C]//The 23rd IEEE International Conference on Data Engineering. 2007： 106-115.

[7]DWORK C. Differential privacy[M]//Encyclopedia of Cryptography and Security. Springer, 2011： 338-340.

[8]ABADI M, CHU A, GOODFELLOW I, et al. Deep learning with differential privacy[C]//The ACM SIGSAC Conference on Computer and Communications Security. 2016： 308-318.

[9]PAPERNOT N, ABADI M, ERLINGSSON U, et al. Semi- supervised knowledge transfer for deep learning from private training data[C]//The 5th International Conference on Learning Representations. 2017

[10]ACS G, MELIS L, CASTELLUCCIA C, et al. Differentially private mixture of generative neural networks[C]//The 17th IEEE International Conference on Data Mining. 2017：715-720.

[11]BEAULIEU-JONES B K, WU Z S, WILLIAMS C, et al. Privacy-preserving generative deep neural networks support clinical data sharing[R]. 2017.

[12]ZHANG X, JI S, WANG T. Differentially private releasing via Deep Generative Model[EB/OL]. arXiv preprint arXiv： 1801.01594v1. 2018.

[13]DWORK C. Differential privacy： a survey of results[C]// International Conference on Theory and Applications of Models of Computation. Springer, Berlin, Heidelberg. 2008： 1-19.

[14]DWORK C, ROTH A. The algorithmic foundations of differential privacy[J]. Foundations and Trends in Theoretical Computer Science, 2014, 9(3/4)： 211-407.

[15]GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems. 2014： 2672-2680.

[16]ODENA A, OLAH C, SHLENS J. Conditional image synthesis with auxiliary classifier GANs[C]//International Conference on Machine Learning. 2017： 2642-2651.

[17]KAIROUZ P, OH S, VISWANATH P, et al. The composition theorem for differential privacy[J]. IEEE Transactions on Information Theory, 2013, 63(6)： 4037-4049.

[18]SALIMANS T, GOODFELLOW I, ZAREMBA W, et al. Improved techniques for training GANs[C]//Advances in Neural Information Processing Systems. 2016： 2234-2242.