基于改进的内容损失函数的图像风格迁移

孙 健， 檀结庆

(合肥工业大学数学学院，合肥 230601)

1 引 言

图像风格迁移问题的本质是将一幅图像的风格信息逐步转移到另一幅图像上，同时维护原有图像的框架内容，图像风格迁移在修图小程序中发挥了重要的作用和价值，这些小程序轻松将照片变成艺术风格作品. 图像风格迁移将艺术作品中的纹理转移到真实照片上，传统的纹理转移方法是给定一幅纹理图像，对其中的像素重新采样并将这些像素拷贝到待合成图像上，参考文献[1-2]提出参数优化模型，该模型基于特征映射之间的相关性矩阵(Gram矩阵)构建风格损失函数，通过优化算法实现了高质量的风格迁移和纹理转移.为了提升效率，参考文献[3-5]训练前馈神经网络实现快速纹理合成，这些方法的缺陷缺乏通用且有效的框架结构，即每一种风格都需要单独训练神经网络，为了克服这个缺陷，参考文献[6-8]提出将预先设定好的若干种风格样式在一个网络中进行训练，但这些方法仅仅能够让模型生成固定数量的预定义风格的艺术图像.为了克服上述问题，参考文献[9]使用一个图像重建的框架，首先，将图像输入编码器得到中间特征，其次，对该特征进行数学的线性变换，最后， 将变换后的特征重建到图像空间上，该方法能够在保证效率的前提下实现任意形式的风格转移，其局限是变换后的特征与艺术作品本身的风格特征之间的某些统计量的相似度要求过低，参考文献[10]利用特征变换实现快速的任意风格迁移，该方法使得变换后的特征和风格图像呈现相同的Gram矩阵，风格迁移算法高效并且具有泛化性，但是合成结果的质量依旧较差.

本文在优化模型的基础上做出改进，使得合成结果具有更好的内容结构和局部细节保留，该方法的模型对于任意种类的风格都是有效的.

2 风格迁移模型

2.1 模型框架

本文方法的主要思想呈现出一种数学优化的过程：将一幅待合成的图像进行优化迭代以逐渐接近原始风格图像的纹理色彩，但若不加以约束则可能出现合成纹理混乱的情况，因此，该优化的过程需要加以约束，将待合成图像，内容图像和风格图像作为优化模型的输入依次得到其内容特征和风格表示的数学定义，构建基于内容特征差异的内容损失函数和和基于风格表示差异的风格损失函数，同时加入内容图像和输入图像的结构损失函数，总的风格迁移损失函数是三者的线性组合，利用优化算法对目标损失函数进行优化迭代，最小化目标损失函数，取得合成结果，模型如图1所示.

图1 风格迁移模型

2.2 基于优化的风格迁移损失函数

把待合成的目标图像输入神经网络，将内容图像作为该优化迭代问题的初始值是一个较好的选择，假设有Cl个卷积核在网络的第l层准备就绪，每个核与输入数据作用后产生的特征映射的尺寸被度量为Hl×Wl，则第l层全部特征响应尺寸度量为Ml∈Cl×Hl×Wl，设Fl表示图像在网络第l层的特征映射的激活函数，则在第l层的语义损失函数表示为

第l层的艺术损失函数可表示为

其中w表示每层的对应的权重，α和β分别对应内容损失和风格损失的比例，它们控制着整个风格迁移效果的整体走向，前者的值越大，结果更加真实，后者值越大则结果更加抽象，综合实验结果，内容与风格权重比为1∶100的效果最佳，文中展示结果均基于此权重.

2.3 结构损失函数

结构相似性(Structural Similarity)是对于图像相似程度的度量.它将结构信息定义为三个属性的融合，将图像的失真建模为三个不同因素的组合，每一个因素在衡量图像相似程度上发挥着不同角度的作用.其中图像亮度比较的部分可以用下面式子衡量：

同理，图像对比度比较部分表示如下：

图像结构比较部分表示如下：

其中

这里μx,μy,σx,σy,σxy分别对应为图像的均值、方差和它们的协方差，c1,c2,c3为常数.因为图像结构比较部分可以作为两幅图像之间结构相似程度的度量，正好可以利用这一点作为内容提升的核心动力之一，所以该项可以用于构建本文的结构损失函数，而亮度和对比度对于风格迁移并无直接作用，因为色彩是在风格损失函数中进行转换的，所以这两者不予进行利用.

2.4 改进的风格迁移内容损失函数

在内容损失函数的构造上加入了输入图像与内容图像之间的结构损失函数，在优化的过程中保持输出结果在结构上与内容图像更加一致.并且设定迭代的初始化输入为白化后的图像，而不是随机的高斯噪声，这样做的目的是为了减少优化迭代的次数从而实现效率上的提升，改进的风格迁移的内容损失函数用(1)来表示：

(1)

其中，前面一项仍然为之前的内容损失函数，后面一项为

这里s(x,c)的取值范围从0到1.

3 实验与结果分析

3.1 实验设置

将参考文献[11]中的一些数据作为待合成图像的结构框架来源，将参考文献[12]的绘画数据集作为艺术信息的迁移源泉.在训练过程中，利用卷积神经网络中能够反映图像语义特征的层级中的数据计算内容损失函数，利用网络中的中间多层计算风格损失函数，通过优化算法来优化损失函数，所有图像大小均为512*512.实验设备是配备WINDOWS10系统的一体机，CPU 为Intel I7 8700K 3.20GHz，RAM为16G.

3.2 结果分析

3.2.1 实验结果展示

本文的算法迁移效果如图2所示，第一行是内容图像，第二行是风格图像，最后一行是迁移效果图，很明显，本文算法产生的结果能够将风格细化并且内容清晰完整.与此同时将本文算法的算法[2,3,10]进行对比，风格迁移效果如图3所示.

图2 图像风格迁移效果

图3第三行是参考文献[2]的实验结果，存在一些意料之外的纹理，并且这些意料之外的纹理微小密集，它们大量地依附于图像上.第四行是参考文献[3]的实验结果，其中部分结果细节信息较为模糊.第五行是参考文献[10]的实验结果，虽然整体效果比较抽象，但并没有好的视觉体验.最后一行为本文算法的迁移结果，可以看出，风格化图像的色彩相较于其他算法更加出众，纹理结构细密但是完全可以看出出处，内容语义信息保留程度达到了很高的程度.因此，从视觉效果上本文的方法更胜一筹.

图3 不同方法产生的结果

为了判断结构损失函数对图像风格迁移是否产生视觉价值，额外进行如下对比实验，如图4所示，第二行左侧图像表示将结构损失函数从内容损失函数中剔除并且其他任何条件保持不变后风格迁移的结果，第二行右侧图像表示将结构损失函数加入内容损失函数后，风格迁移得到的结果，可以发现，后者比前者保留了更多图像的细节，如更加细致的窗框和更加尖锐的塔顶和房屋结构.

3.2.2 客观数据分析

本文从峰值信噪比、内容损失、风格损失对参考文献[2,3,10]的风格迁移结果和本文方法的结果进行比较.峰值信噪比从客观上衡量着图像风格迁移质量的好坏；内容损失表示图像风格迁移内容保存是否完好，内容结构是否鲜明，它由生成结果与原始内容图像在卷积网络中特定层的特征映射的均方误差决定；风格损失由生成结果与原始风格图像在卷积网络中的特征映射的Gram矩阵决定，它表示艺术图像的风格是否被很好保存到了生成的结果上，客观数据对比见表1.

表1 客观数据分析

由表1可知，本文方法在峰值信噪比、内容损失、风格损失三方面都有较好的表现，说明本文算法生成的风格化图像从质量的角度出发具有出色的表现，风格化图像迁移了更多的纹理信息.

注 代码见https:∥note.youdao.com/s/WEfVeg2s

3 结 论

本文将参数优化算法做出改进，通过将输入图像与内容图像的结构损失加入到风格迁移模型中，在优化的过程中进一步约束内容框架，使得生成的结果更好地保留了内容图像的形状和轮廓.本文方法克服了生成结果质量较差的问题.客观数据表明，本文算法能更好地实现风格迁移任务.

致谢作者非常感谢相关文献对本文的启发以及审稿专家提出的宝贵意见.