基于改进生成对抗网络算法的图像风格迁移

李燕　施华　陈译

【摘要】    本文针对传统的生成对抗网络的图像风格迁移中跨区域风格迁移问题，引入深度特征插值与循环一致性对抗网络的图像风格迁移方法相结合，解决图像特定目标之间的风格迁移。实验经过横向与纵向数据对比，对油画、怀旧和漫画等风格的图片有较好的迁移效果。

【关键词】    深度学习    生成式对抗网络    图像风格迁移

引言：

图像的风格迁移是图像处理领域的一个重要研究方向。在深度学习兴起之前，传统的风格迁移方法是分析某种特定风格的图像，并给这种风格建立数学上的统计模型，然后针对要迁移的图像做改变，使之更好的契合建立的数学统计模型;该方法无法分离图像与风格。随着卷积神经网络方法的研究与深入，基于深度学习的图像风格迁移显示了比传统方法更强大的迁移效果。Gatys于2015年首次將VGG19网络应用于风络迁移[1]，该方法在卷积神经网络的内容和风格是分离的前提下，通过构造Gram矩阵提取出任意图像的风格特征表示，开创了深度学习方法在图像风格迁移领域的应用。CycleGAN是传统GAN的特殊变体[2]，该方法可以创建新的数据样本;与传统GAN方法相比，它通过转换输入样本来实现，而不是从头开始创建，这些数据可由提供此算法数据集的人员进行选择。CycleGAN解决了传统卷积神经网络不能在不同图像风格类间转化的问题，其优势在图像风格迁移研究中备受关注。国内学者近年来也展开了对图像风格迁移的研究工作[3-6]，这些工作是在经典的GAN方式的基础上，结合卷积网络等方法，解决跨区域的风格迁移问题。论文针对CycleGAN对于风格迁移任务的定义不够明确，不能合理度量风格的问题，将深度特征插值方法融入CycleGAN迁移方法中，进行图像特定目标之间的风格迁移探讨。

一、基础算法介绍

（一）GAN算法的基本思想

生成式对抗网络（GAN）是由 Goodfellow 等[7] 于 2014 年提出来的优化生成模型，其思想来源于对抗竞争弈论中的零和博弈。基本的GAN网络由两部分构成：生成器G（Generator）负责真实数据;判别器D（Discriminator）负责生成数据。CycleGAN方法[2]在传统的GAN方法的基础上做了改进，可以让两个域的图片互相转化。传统的GAN是单向生成，而 CycleGAN 是互相生成，网络是个环形，所以命名为 Cycle。它实用的地方就是输入的两张图片可以是任意的两张图片，即unpaired。其结构如图1所示。

（二） 深度特征插值方法的引入

在深度卷积神经网络[8]的特征空间对图像特征进行提取和修改，设计的深度特征迁移模型包含三个部分： 1.编码器：利用卷积神经网络提取输入图像的特征;2.解码器：利用反卷积从特征向量中还原图像;3.特征迁移模块：通过组合图像的不相近特征在不同域转换特征向量。

传统的GAN是单向的，训练它需要两个loss：生成器的重建Loss和判别器的判别Loss。而CycleGAN是两个镜像对称的GAN，构成了一个环形网络，这两个GAN共享两个生成器，并各自带一个判别器，即共有两个判别器和两个生成器。如图2所示，目标域图像y∈Y，为学习一个映射中φ：X→Y，使得源图像x通过中映射后具有目标域的风格特点。该模型通过从域X获取输入图像，该输入图像被传递到第一个生成器Gx→Y，其任务是将来自域X的给定图像转换到目标域Y中的图像。然后这个新生成的图像被传递到另一个生成器GY→X，其任务是在原始域X转换回图像x，从而实现目标的特征迁移。

（三）结合深度特征迁移的生成器

对于X、Y域的数据，CycleGAN有Gx： X→Y和GY： Y→X两个独立生成器，它们各自学习相反方向的映射。按照深度特征迁移方法将其融合到CycleGAN中;与传统的非深度迁移学习方法相比，深度迁移学习能够自动提取更具表现力的特征，满足了实际应用中端到端的需求。在生成器网络深度不变的情况下，编码器由生成器的下采样卷积层与残差模块前端构建，解码器由残差模块后端与上采样卷积层构建，特征迁移模块由中间端残差模块构建，从而组建如图3所示的特征迁移网络。

二、实验与结果分析

测试主要分成四组数据来体现。第一组首先展示的是迭代3次的风格图像迁移;第二组展示的是迭代10次之后的实现情况;第三组实现的是论文所示方法同一内容图像在不同风格下的迁移表现，分析系统在迁移不同图像风格中的具体差异以及不同的风格在同一内容图像上的风格损失对比;第四组则是论文所示方法风格图像的横向比较，在同一风格图像的基础上迁移不同的内容，不同内容在同一风格下的迁移损失情况比较。

（一）测试数据的实验结果

1.少量迭代迁移测试

实验选取了一组在这组测试中我们选取两组不同的图片来展示系统经过三次迭代之后的迁移效果。从图4迭代效果看，内容图片的损失比例较小，但风格的迁移效果又难以理解，少量的迭代提取的效果并不能在艺术审美上真正的体现所谓的图片风格。简单的迭代展现的只能是色调上的局部特征迁移，而微观的图片纹理并不能够很好展现。除此之外内容上的展现也因为这些局部特征显得并不明晰，效果不是很好。

2.多次迭代风格迁移测试

简单的迭代只能提取出局部特征，细微的能体现图像风格的纹理不能在内容上很好的体现，实验中增加迭代次数。从主观可视化评价，图片的纹理得到了很好的展现，迁移得到的最终图片较之原图有了很好的艺术风格的改变。在色调上遵循了风格图片的样式，而内容上又有着较大的保留，主体部分的内容损失情况良好，没有体现出大块的内容丢失。这得益于迭代增多之后系统能够更充分的优化总变化损失和细节。

3.相同内容的不同风格迁移测试

对比迭代次数不同所展现的效果，进行横向测试。本组测试是系统对相同内容的图片在不同风格中的迁移表现。测试中采用相同原图，分别在油画风格、怀旧风格和漫画风格上进行了测试。总体的迁移效果来看，很好的改变了原图的艺术风格，使原图呈现了迥然不同的效果。

4.不同内容的相同风格迁移测试

对比迭代次数不同所展现的效果，进行纵向测试。在两组不同风格的展现中，整体的风格色调得以较好的体现。

（二）测试结果分析

实验进行了大量数据的测试。论文提出的算法，能够较好地完成图片风格的转换。实验中，我们与经典的CycleGAN方法在wikiart和Flickr下载的艺术图像数据集进行了对比。对比从SSIM结构相似性和PSNR峰值信噪比两个方面进行，结果如下表所示。从表中可以看出，论文提出的方法优于经典的CycleGAN算法

三、结束语

由于代表图片风格的图片纹理与人类艺术风格认知有一些差距，本文所提方法与现有的经典算法都并不能有着特别完美的风格迁移。现有的风格迁移更多局限于整体图片的色调迁移和细节上的纹理迁移，色调加上细节纹理组成了大致上的风格相似程度，真正的艺术风格上难以深究。随着深度学习算法的完善与圖像模式表达的多元化，在风格识别和提取准确率上将会更加完善，主体图片内容将会更加精致与丰富。

作者单位：李燕    施华    陈译    厦门理工学院 光电与通信工程学院

参  考  文  献

[1] Gatys L A，Ecker A S，Bethge M. Image style transfer using convolutional neural networks[C]. Proceeding of the IEEE Conference on Computer Vision and Pattern Recongnition. 2016： 2414- 2423.

[2] Zhu J Y， Park T， Isola P， et al. Unparied Image-to-Image Transaction Using Cycle-Consistent Adversarial Networks[C]. Proceeding of the IEEE Conference on Computer Vision and Pattern Recongnition. 2017， 2414- 2423.

[3] 刘哲良，朱玮，袁梓洋. 结合全卷积网络与 CycleGAN 的图像实例风格迁移[J]. 中国图象图形学报. 2019，24（08）：1283-1291.

[4] 陈淮源，张广驰，陈高，周清峰. 基于深度学习的图像风格迁移研究进展[J]. 计算机工程与应用. 2021.57（11）：37-45.

[5] 缪永伟，李高怡，鲍陈，张旭东，彭思龙. 基于卷积神经网络的图像局部风格迁移[J]. 计算机科学. 2019.46（9）： 259-264.

[6] 张惊雷，厚雅伟. 基于改进循环生成式对抗网络的图像风格迁移[J]. 电子与信息学报. 2020.42（5）：1216-1222.

[7] I.Goodfellow， J.Pougetabadie， et al. Generative adversarial nets[C]. NIPS， 2014.

[8] Radford A， Metz L， Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[C]. CVPR， 2015.