生成式对抗网络:从生成数据到创造智能

王坤峰 左旺孟 谭营 秦涛 李力 王飞跃

技术创新是社会经济发展的核心驱动力.继以物联网、云计算、大数据和移动互联网为代表的信息技术之后,以深度学习为代表的人工智能技术蓬勃发展,被公认是社会经济发展的新动能和新引擎,有望在农业生产、工业制造、经济金融、社会管理等众多领域产生颠覆性变革.生成式对抗网络(Generative adversarial networks,GAN)作为一种新的生成式模型,已成为深度学习与人工智能技术的新热点,在图像与视觉计算、语音语言处理、信息安全等领域中展现出巨大的应用和发展前景.

1 GAN的原理与现状

生成式对抗网络GAN是由Goodfellow等[1]在2014年提出的一种生成式模型.其核心思想来源于博弈论中的二人零和博弈.基本的GAN模型在结构上由一个生成器(Generator)和一个判别器(Discriminator)组成,如图1所示.从某个概率分布pz(例如高斯分布)中采样随机变量z,作为生成器G的输入,经过G的非线性映射,输出信号G(z).取决于G的结构和计算复杂性,从z到G(z)一般经过高度复杂的非线性变换,使得随机变量G(z)具备拟合高度复杂分布的能力.不失一般性,将G(z)称为生成数据(或伪数据),相应地将来自物理世界的数据x称为真实数据.判别器D以G(z)或x为输入,通过计算其属于真实数据的概率,判断输入数据是来自于真实数据还是生成数据.由于G和D一般采用高度非线性并且可微的深度神经网络结构,因而均可以采用端对端学习策略进行训练.具体而言,在训练G和D时,采用对抗学习策略,使二者的训练目标相反.D的目标是最大化对数似然函数以判断G(z)和x的来源,将G(z)判断为生成数据,将x判断为真实数据.与之相对的是,G的目标是最小化对数似然函数,使G(z)的分布pg逼近真实数据x的分布pdata.不断迭代此对抗训练过程,交替更新判别器D和生成器G的参数,使D和G的性能不断提高;当达到平衡状态时,则认为G(z)学习到了真实数据x的分布空间,此时G(z)和x在分布上不具有差异性,判别器D无法对数据来源做出正确的判断.

Goodfellow等[1]从理论上证明了当GAN模型收敛时,生成数据具有和真实数据相同的分布.但是在实践中,GAN的收敛性和生成数据的多样性通常难以保证[2].主要存在两个问题:生成器梯度消失和模式坍塌(Mode collapse).梯度消失是指由于生成器G和判别器D的训练不平衡,判别器D的性能很好,对生成数据G(z)和真实数据x能够做出完美的分类,那么D对应的误差损失将很小,进而反向传播到G的梯度值很小,使得生成器G不能得到有效的训练.模式坍塌是指对于任意随机变量z,生成器G仅能拟合真实数据分布pdata的部分模式,虽然G(z)与真实数据x在判别器D难以区分,但是生成器G无法生成丰富多样的数据.

为了解决GAN模型存在的问题,国内外学者提出了许多衍生模型[3].例如,Arjovsky等[4]提出了Wasserstein GAN,用Earth-mover距离代替Jensen-Shannon散度,来度量生成数据分布与真实数据分布之间的差异,在很大程度上缓解了梯度消失和模式坍塌问题.图2显示了arXiv上GAN 论文数量 (以 Generative adversarial networks、Generative adversarial nets和Adversarial learning为关键词检索得到)的变化趋势,反映了GAN的研究热度变化.可以看出,Goodfellow等提出GAN后的两年内,相关论文的数量并不多,但是从2016年下半年开始,论文数量快速增长.

图1 GAN的基本结构和计算流程Fig.1 Basic structure and computation procedure of GAN

图2 arXiv上GAN论文数量的变化趋势Fig.2 Trend of the number of GAN papers published on arXiv

另外,有许多衍生模型是从应用的角度提出的.例如,图像到图像转换具有广泛的应用,Zhu等[5]提出了CycleGAN,它包括两个生成器和两个判别器,在对抗损失的基础上增加了循环一致性损失,用于训练非配对的图像到图像转换模型.目前,GAN已经被广泛应用于计算机视觉、语音语言处理、信息安全等领域.图3显示了arXiv上GAN论文所属的学科领域.可以看出,论文最多的学科领域是计算机视觉(cs.CV),说明GAN目前主要用于图像处理与计算机视觉;其次是机器学习(cs.LG和stat.ML)、计算与语言(cs.CL)、人工智能(cs.AI)、语音(cs.SD)、语音处理(eess.AS)、机器人(cs.RO)、密码与安全(cs.CR)、多媒体(cs.MM)等.

2 GAN:从生成数据到创造智能

GAN的初始目的是基于大量的无标记数据无监督地学习生成器G,具备生成各种形态(图像、语音、语言等)数据的能力.随着研究的深入与发展,以生成图像为例,GAN能够生成百万级分辨率的高清图像[6].实际上,GAN生成数据并不是无标记真实数据的单纯复现,而是具备一定的数据内插和外插作用,可以作为一种数据增广方式,结合其他数据更好地训练各种学习模型.进而,通过在生成器的输入同时包括随机变量z和隐码c并最大化生成图像与隐码c的互信息,InfoGAN能够揭示复杂数据中隐含的分布规律,实现数据的解释化表达[7].因而,GAN不仅可以用于探索复杂数据的潜在规律,还能够生成高质量的生成样本以作为真实数据的有效补充,为学习智能模型提供了新的视角和数据基础.

图3 arXiv上GAN论文所属的TOP 10学科领域Fig.3 Top 10 subject categories of the GAN papers published on arXiv

对于条件GAN模型,生成网络的输入往往被定义为样本的类别甚至其他形式(模态)的数据.到目前为止,已经研究了根据文本描述生成图像[8],进行交互式图像编辑[9],从低分辨率图像生成高分辨率图像[10],预测视频的未来帧[11],将仿真图像转换为真实风格的图像[12],实现通用的图像到图像转换[5],对真实图像的光照和天气条件进行变换[13],从二维图像生成物体的三维模型等[14].数据形式(模态)的转换可以进一步带来不同模态之间数据的可复用、模型和知识的迁移,创造更高水平的智能.例如,SimGAN能够将仿真图像转换为更具真实感的图像,同时保持仿真图像的标注信息不变,利用转换后的图像数据来训练视线估计和手势估计模型,使模型精度得到大幅提升[12].

更进一步,由于GAN引入了对抗学习机制,在训练生成器产生更高质量数据的过程中,本身就会创造新的智能.例如,将语义分割卷积神经网络作为GAN的生成器,用判别器来判断分割图是来自分割网络还是来自真实标注,可以引入更高阶的一致性约束,提高语义分割的精度[15];在本专刊中,郑文博等撰写的“基于贝叶斯生成对抗网络的背景消减算法”利用GAN的对抗学习机制来训练背景消减神经网络,将一批输入图像直接转换成一批前景/背景分割结果,在公共测试集上取得了良好的性能;Mal-GAN能够主动生成具有对抗性的病毒代码样本,攻击黑盒病毒检测模型,有利于提高反病毒软件的性能[16].总之,GAN在对抗样本、数据增广、迁移学习和创造智能等方面都展现出巨大的潜力,已成为当前的深度学习与人工智能研究中关注的热点.

3 GAN与平行智能

GAN作为一种有效的生成数据和创造智能的模型,与平行智能密切相关[17].平行智能强调虚实互动,其载体是基于ACP(Arti ficial systems,computational experiments,and parallel execution)的平行系统[18].利用人工系统来建模和表示实际系统,通过计算实验来分析和评估各种计算模型,借助平行执行来引导实际系统向着理想的目标状态逼近.平行智能包括平行视觉、平行学习等分支.

平行视觉[19−20]是ACP理论在视觉计算领域的推广.平行视觉利用人工场景来模拟和表示复杂挑战的实际场景,使采集和标注大规模多样性的图像数据集成为可能,通过计算实验进行视觉算法的设计与评估,最后借助平行执行来在线优化视觉系统,实现对复杂环境的感知与理解.利用GAN的半监督/无监督学习能力,能够生成大规模、多样性的图像数据[12−13],有利于对视觉模型进行充分的训练与评估,提高视觉模型在复杂场景下的运行可靠性.平行学习[21]是一个新型的机器学习理论框架.首先从原始数据中选取特定的“小数据”,输入到软件定义的人工系统中,并由人工系统产生大量新的数据;然后这些人工数据和特定的原始小数据一起构成解决复杂问题所需要学习的“大数据”集合,通过计算实验和平行执行来设计优化机器学习模型,得到应用于某些具体场景或任务的“精准知识”.GAN能够生成大量新的数据,作为训练数据的一部分,提高机器学习模型的性能.简言之,可以把GAN看作真与假的平行,把平行智能看作虚与实的平行.GAN必将促进平行智能理论的发展！

4 专刊论文概览

为促进我国生成式对抗网络(GAN)相关理论、方法、技术与应用研究的开展,及时反映我国学者在相关领域的最新研究进展,我们特组织本专刊,针对GAN的基础理论与方法、结构优化和训练稳定性、对抗机制以及在各领域的应用等重要问题,面向国内研究者征文.本专刊共收到38篇稿件.经过同行评议,我们录用了其中的13篇稿件,研究内容涉及GAN的新结构、因果关系抽取、多视图学习与重构、低秩图像生成等基础研究;GAN在图像识别、人脸表情识别、背景消减等计算机视觉领域的应用基础研究;以及在语言模型数据增强、自能源混合建模与参数辨识、原油总氢物性预测等其他领域的应用基础研究.

首先,林懿伦等撰写的综述文章“人工智能研究的新前线:生成式对抗网络”概括了GAN的基本思想,对近年来相关的理论与应用研究进行了梳理,总结了常见的GAN网络结构与训练方法、博弈形式和集成方法,并对一些应用场景进行了介绍.在此基础上,对GAN发展的内在逻辑进行了归纳总结.

针对GAN的生成模型学习效率低、判别模型易出现梯度消失等问题,王功明等撰写的“一种能量函数意义下的生成式对抗网络”提出一种能量函数意义下基于重构误差的生成式对抗网络(Energy reconstruction error GAN,E-REGAN).将自适应深度信念网络作为生成模型,来加快学习速度;将自适应深度自编码器作为判别模型,用重构误差作为能量函数来表征判别模型的性能,能量越小表示GAN学习过程越趋近于纳什均衡的平衡点.在MNIST和CIFAR-10数据集上的实验结果表明,与同类模型相比,E-REGAN在学习速度和数据生成能力两方面都有较大提高.

GAN的学习目标是完整拟合真实样本的分布,然而在实践中,真实样本分布的复杂程度难以预计,容易发生模式坍塌.为了提高无监督条件下的GAN生成能力,减少模式坍塌,张龙等撰写的“协作式生成对抗网络”强调不同模式之间既有差异又有联系,提出一种新的协作式生成网络结构.通过构建多个生成模型,在它们之间引入协作机制,使得生成模型在训练过程中能够相互学习,提高模型对真实数据的拟合能力.实验表明,该模型在二维图像生成方面有显著的效果,协作机制可以加快模型收敛速度,提高训练效率,还能消除损失函数噪声,在三维模型生成方面也产生了一定的效果.通过调整模型参数,能够有效抑制模式坍塌.

因果关系是一种重要的关系类型,在事件预测、情景生成、问答、文本蕴涵等许多任务中具有重要的应用价值.现有的因果关系抽取方法大多需要繁琐的特征选择,并且严重依赖知识库.为此,冯冲等撰写的“融合对抗学习的因果关系抽取”利用GAN的对抗学习特性,将带注意力机制的双向门控循环单元神经网络与对抗学习相融合,在因果关系增强模型中引入因果关系解释语句.通过重新定义生成模型和判别模型,基本的因果关系抽取网络能够与判别网络形成对抗,进而从因果关系解释信息中获得高区分度的特征.实验结果验证了该方法的有效性和优越性.

综合多个甚至所有的角度往往有助于对事物的全面和深入理解,然而在实际应用中,完整视图数据会导致巨大的获取成本.为了从已有视图构建事物的完整视图,孙亮等撰写的“基于生成对抗网络的多视图学习与重构算法”提出一种基于GAN的多视图学习与重构算法,利用已知单一视图,通过生成模型构建其他视图.提出新型表征学习算法,将同一实例的任意视图都能映射到相同的表征向量,并保证其包含实例的完整重构信息.为构建给定事物的多种视图,提出基于GAN的重构算法,在生成模型中加入表征信息,保证了生成视图数据与源视图相匹配.实验表明该算法取得了很好的视图重构性能.

低秩纹理模型是图像处理领域中的一个重要纹理模型,借助于纹理的低秩性可以对受到各种变换干扰的图像进行校正.针对低秩图像校正问题,赵树阳等撰写的“基于生成对抗网络的低秩图像生成方法”提出了一种由原始图像直接生成低秩图像的生成式对抗网络(Low-rank generative adversarial network,LR-GAN).该方法将传统的无监督学习的低秩纹理映射算法(Transform invariant low-rank textures,TILT)作为引导加入到网络中来辅助判别器,使网络整体达到无监督学习的效果,并且使低秩对抗对在生成器和判别器上都能够学习到低秩表示.为了保证生成的图像既有较高的质量又有相对较低的秩,同时考虑到低秩约束条件下优化问题的不易解决,在经过一定阶段的TILT引导后,设计并加入了低秩梯度滤波层来逼近网络的低秩最优解.实验表明,LR-GAN取得了很好的低秩图像生成效果.

在漫画绘制的过程中,按草稿绘制出线条干净的线稿是一个很重要的环节.现有的草图简化方法具有一定的线条简化能力,但是由于草图绘制方式的多样性以及画面复杂凌乱程度的不同,这些方法的适用范围和效果有限.为此,卢倩雯等撰写的“基于生成对抗网络的漫画草稿图简化”提出一种基于GAN的草图简化方法,将条件随机场和最小二乘生成对抗网络相结合,搭建草图简化的深度卷积神经网络模型,通过生成器和判别器之间的零和博弈与条件约束,得到更加接近于真实线稿的简化图.

深度卷积生成对抗网络在传统GAN的基础上引入卷积神经网络作为模型骨架结构,条件生成对抗网络在GAN的基础上扩展为条件模型.唐贤伦等撰写的“基于条件深度卷积生成对抗网络的图像识别方法”结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立了条件深度卷积生成对抗网络模型.利用卷积神经网络强大的特征提取和表达能力,加以条件辅助生成样本,将此结构优化改进后,应用于MNIST、CIFAR-10等图像识别任务中,有效提高了识别准确率.

让机器能够识别人的表情,是人机交互的关键.在自然交流中,人的情绪表达往往伴随着丰富的头部姿态和肢体动作,使得提取有效的表情特征非常困难.现有的表情识别方法大多基于通用的人脸特征表示和识别算法,很少考虑表情识别和身份识别的差异,使得算法不够鲁棒.为此,姚乃明等撰写的“基于生成式对抗网络的鲁棒人脸表情识别”提出一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein GAN的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;还包括一个表情识别网络,在表情识别和身份识别任务之间建立对抗关系,提取用户无关的表情特征并推断表情类型.该方法在公共数据集上取得了较高的表情识别准确率.

背景消减是计算机视觉领域的一个重要研究方向.实际环境中存在的光照变化、阴影、背景运动等因素对背景消减提出了严重挑战.为此,郑文博等撰写的“基于贝叶斯生成对抗网络的背景消减算法”提出一种基于GAN的背景消减算法.首先利用中值滤波算法进行背景数据的获取,然后基于贝叶斯GAN建立背景消减模型,采用深度卷积神经网络构建贝叶斯GAN的生成器和判别器,利用GAN的对抗学习机制来进行模型训练.训练后的生成器能够将每个像素分类为前景或背景,有效解决了光照变化、非静止背景、鬼影(Ghost)等问题.

基于最大似然估计(Maximum likelihood estimation,MLE)的语言模型数据增强方法存在暴露偏差问题,无法生成具有长时语义信息的采样数据.为此,张一珂等撰写的“基于对抗训练策略的语言模型数据增强技术”提出一种基于对抗训练策略的语言模型数据增强方法,通过一个卷积神经网络判别模型判断生成数据的真伪,引导递归神经网络生成模型学习真实数据的分布.语言模型的数据增强问题实质上是离散序列的生成问题.为了将判别模型的误差通过反向传播算法回传到生成模型,该方法将离散序列生成问题表示为强化学习问题,利用判别模型的输出作为奖励对生成模型进行优化,采用蒙特卡洛搜索算法对生成序列的中间状态进行评价.实验表明,在有限文本数据条件下,随着训练数据量的增加,该方法可以降低识别字错误率,优于基于MLE的数据增强方法.

自能源是能源互联网的子单元,旨在实现能量间的双向传输及灵活转换.由于自能源在不同工况下的运行特性存在很大差异,现有方法不能对其进行精确的参数辨识.为此,孙秋野等撰写的“基于GAN技术的自能源混合建模与参数辨识方法”提出了一种基于GAN的数据和机理混合驱动方法,对自能源模型进行参数辨识.将GAN模型中训练数据与专家经验结合,进行模糊分类,解决了自能源在不同工况下的模型切换问题.通过应用含策略梯度反馈的GAN技术对模型进行训练,解决了自能源中输出序列离散的问题.仿真实验结果表明,提出的模型具有较高的辨识精度和更好的推广性,能够有效地拟合系统在不同工况下的状态变化.

针对原油物性的回归预测问题,郑念祖等撰写的“基于Regression GAN的原油总氢物性预测方法”提出一种回归生成对抗网络(Regression GAN,RGAN)结构,该结构在传统GAN的生成模型和判别模型的基础上增加了一个回归模型.通过判别模型与生成模型之间的对抗学习,使得判别模型提取了原油物性核磁共振氢谱谱图的一系列潜在特征.回归模型和判别模型共享首层潜在特征,即样本空间的浅层表达,有利于提高回归模型的预测精度及稳定性.通过在生成模型增加互信息约束,并采用回归模型的均方误差损失函数来估计互信息下界,使得生成模型产生更加接近于真实的样本.实验结果表明,RGAN有效提高了原油总氢物性的预测精度及稳定性.

本专刊的顺利完成,离不开作者、审稿专家和《自动化学报》编辑们的大力支持与协助.我们在此表示诚挚的感谢,并希望本专刊对我国生成式对抗网络与人工智能领域的研究起到积极的促进作用.

1 Goodfellow I J,Pouget-Abadie J,Mirza M,Xu B,Warde-Farley D,Ozair S,et al.Generative adversarial nets.In:Proceedings of the 27th International Conference on Neural Information Processing Systems.Montreal,Canada:Curran Associates,Inc.,2014.2672−2680

2 Creswell A,White T,Dumoulin V,Arulkumaran K,Sengupta B,Bharath A A.Generative adversarial networks:an overview.IEEE Signal Processing Magazine,2018,35(1):53−65

3 Wang Kun-Feng,Gou Chao,Duan Yan-Jie,Lin Yi-Lun,Zheng Xin-Hu,Wang Fei-Yue.Generative adversarial networks:the state of the art and beyond.Acta Automatica Sinica,2017,43(3):321−332(王坤峰,苟超,段艳杰,林懿伦,郑心湖,王飞跃.生成式对抗网络GAN的研究进展与展望.自动化学报,2017,43(3):321−332)

4 Arjovsky M,Chintala S,Bottou L.Wasserstein GAN.arXiv preprint arXiv:1701.07875,2017.

5 Zhu J Y,Park T,Isola P,Efros A A.Unpaired imageto-image translation using cycle-consistent adversarial networks.In:Proceedings of the 2017 IEEE International Conference on Computer Vision(ICCV).Venice,Italy:IEEE,2017.2242−2251

6 Karras T,Aila T,Laine S,Lehtinen J.Progressive growing of GANs for improved quality,stability,and variation.arXiv preprint arXiv:1710.10196,2017.

7 Chen X,Duan Y,Houthooft R,Schulman J,Sutskever I,Abbeel P.InfoGAN:interpretable representation learning by information maximizing generative adversarial nets.In:Proceedings of the 30th Conference on Neural Information Processing Systems.Barcelona,Spain:Curran Associates,Inc.,2016.

8 Zhang H,Xu T,Li H S,Zhang S T,Huang X L,Wang X G,et al.StackGAN:text to photo-realistic image synthesis with stacked generative adversarial networks.arXiv preprint arXiv:1612.03242,2016.

9 Zhu J Y,Krähenbühl P,Shechtman E,Efros A A.Generative visual manipulation on the natural image manifold.arXiv preprint arXiv:1609.03552,2016.

10 Ledig C,Theis L,Huszar F,Caballero J,Cunningham A,Acosta A,et al.Photo-realistic single image superresolution using a generative adversarial network.arXiv preprint arXiv:1609.04802,2016.

11 Santana E,Hotz G.Learning a driving simulator.arXiv preprint arXiv:1608.01230,2016.

12 Shrivastava A,P flster T,Tuzel O,Susskind J,Wang W D,Webb R.Learning from simulated and unsupervised images through adversarial training.In:Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Honolulu,HI,USA:IEEE,2017.2242−2251

13 Liu M Y,Breuel T,Kautz J.Unsupervised image-to-image translation networks.In:Advances in Neural Information Processing Systems 30.Barcelona,Spain:Curran Associates,Inc.,2017.

14 Wu J J,Zhang C K,Xue T F,Freeman B,Tenenbaum J.Learning a probabilistic latent space of object shapes via 3D generative-adversarial modeling.In:Advances in Neural Information Processing Systems 29.Barcelona,Spain:Curran Associates,Inc.,2016.

15 Luc P,Couprie C,Chintala S,Verbeek J.Semantic segmentation using adversarial networks.arXiv preprint arXiv:1611.08408,2016.

16 Hu W W,Tan Y.Generating adversarial malware examples for black-box attacks based on GAN.arXiv preprint arXiv:1702.05983,2017.

17 Wang F Y,Wang X,Li L X,Li L.Steps toward parallel intelligence.IEEE/CAA Journal of Automatica Sinica,2016,3(4):345−348

18 Wang Fei-Yue.Parallel system methods for management and control of complex systems.Control and Decision,2004,19(5):485−489,514(王飞跃.平行系统方法与复杂系统的管理和控制.控制与决策,2004,19(5):485−489,514)

19 Wang Kun-Feng,Gou Chao,Wang Fei-Yue.Parallel vision:an ACP-based approach to intelligent vision computing.Acta Automatica Sinica,2016,42(10):1490−1500(王坤峰,苟超,王飞跃.平行视觉:基于ACP的智能视觉计算方法.自动化学报,2016,42(10):1490−1500)

20 Wang K F,Gou C,Zheng N N,Rehg J M,Wang F Y.Parallel vision for perception and understanding of complex scenes:methods,framework,and perspectives.Arti ficial Intelligence Review,2017,48(3):299−329

21 Li Li,Lin Yi-Lun,Cao Dong-Pu,Zheng Nan-Ning,Wang Fei-Yue.Parallel learning—a new framework for machine learning.Acta Automatica Sinica,2017,43(1):1−8(李力,林懿伦,曹东璞,郑南宁,王飞跃.平行学习—机器学习的一个新型理论框架.自动化学报,2017,43(1):1−8)