神经风格迁移和Gram重构在傣族服饰图案创新设计中的应用研究

潘承毅 李正鹏 覃勇铖

关键词：图像处理；神经风格迁移；傣族服饰图案；VGG网络；Gram矩阵

0 引言

傣族是云南省特色民族之一[1]，傣族的服饰因其独特的艺术魅力，受到学术界的普遍关注。在发扬傣族文化，促进云南边区多民族融合和经济的发展中，傣族服饰文化也承担了积极的角色[2]。隨着时代的发展，民族服饰开始走向职业化，越来越多的民族服饰由原来的手工刺绣逐渐走向工业化或半工业化生产[3]。在新时代下，云南傣族的民族服饰也需要不断地发展和完善。

当今民族服饰的研究中，主要集中在社会科学方面的研究。其研究方法是从民族的历史文化、民族习性以及服饰图案的历史含义上入手，首先是梳理该民族的历史文化脉络，然后对民族图案元素进行分类归纳[4]，在此基础上融合研究者的个人理念后进行创新设计。此种方法投入大、产出小，而且难以长期持续进行。

本文基于深度学习，借助神经风格迁移技术，通过计算机将傣族传统服饰图案和具有一定特色的图案进行风格迁移，生成既有傣族服饰特色又含有风格图案纹理的新型图案，为民族服饰的创新设计提供了快速的辅助设计方案。

1 图像风格迁移相关研究

图像风格迁移，其目的是将风格图的风格迁移到内容图片上来，是一种带有艺术性质的图像融合技术。随着卷积神经网络（Convolutional Neural Net⁃works， CNN）[5]在图像特征提取中取得巨大成功，CNN被广泛应用于图像识别、图像分析、人工智能等领域。利用CNN的图像特征提取特性，Gatys等人[13]首次提出基于VGG（Visual Geometry Group）网络[14]的图像风格迁移，随后涌现了大量基于CNN的图像风格迁移算法。图像风格迁移在油画的自动合成[6-7]、卡通人物图像的生成[8]、照片季节或天气的变换[9]以及文字风格改变[10]等方面都有大量的研究和应用。

本文针对神经风格迁移在傣族服饰图案的创新设计中的应用，与当前的各种图像风格迁移算法追求的尽可能完整地进行风格迁移不同。在傣族的服饰创新设计中，对服饰图案进行风格迁移目的是快速生成多种风格、多种特色且含有傣族烙印的民族服饰图案，为傣族新时代服饰图案创新设计提供参考方案。因此，本文不必追求完整、细腻地将风格图片的纹理特征迁移到传统傣族服饰图案上，而是利用风格迁移方法抽取风格图像中的图案风格精髓迁移到传统的傣族服饰图案上，实现快速生成漂亮、清晰、有一定创新性和艺术性的民族服饰图案。

2 基于傣族服饰图案的风格迁移方法

2.1 图像风格迁移原理

图像风格迁移原理是指将一张风格图片IS 的图像风格与另一张内容图片IC的内容相结合并生成新的图像。新生成的图片轮廓、结构以内容图片IC 为主，局部地区含有少量IS图的内容和结构，而其线条、颜色则以风格IS图为主，局部地区含有少量的IC图的线条和色彩。Gatys等人[6]基于VGG网络提出了一种简单而有效的融合方法，将已经训练好的VGG网络模型分别对内容图像和风格图像进行特征提取，然后利用这些特征图构建内容损失函数和风格损失函数。将这两种损失函数加权组合，然后通过LBFGS等优化算法不断地调整，生成新的图像，最终使新生成的图像同时具有内容图像IC的内容和风格图像IS的风格。

2.2 改进Gram 矩阵构造

在傣族服饰图案风格迁移创新过程中，不需要融合的图案纹理完全忠实于风格图片，而是需要生成的融合图案要美观大方，同时内容上又要保留傣族原有的民族服饰图案特色。因此，在进行风格特征矩阵Gram的构造中，本文适当地抛弃一部分特征图，在构造风格特征Gram矩阵时，由原来采用全部特征图变为交叉抽取相邻的特征图。其规则是把卷积层生成的特征图按照先后顺序编写序号，然后抽取奇数序号的特征图做一组，偶数序号的特征图做一组，分别构建奇数序Gram矩阵和偶数序的Gram矩阵。

假设VGG网络卷积后某个卷积层的特征图数量为n，n=2k（k=1，2，3，...）。则本文中的Gram矩阵的奇数序的Gram矩阵定义为：

理论上交叉特征图生成Gram矩阵会丢失一些图像纹理特征，为了弥补可能重要的纹理丢失，本文构造风格损失函数时，在不同层卷积之间交替选取奇数序Gram矩阵Godd和偶数序Gram矩阵Geven，从而弥补因减少特征图而带来的可能重要纹理特征的损失。在VGG网络运算中，相邻的特征图，有时相近、有时差异较大，但是总体上还是出现了不少的相似，随着网络层次的升高，相邻特征图的相似概率越大。本文采用交叉抽取特征图构造Gram风格矩阵的方法，降低了运算量，在一定程度上抛弃了原风格图不和谐特征的同时，也避免了不必要的重复。

基于VGG19的预训练模型，对不同卷积层生成的图片分析，可以明显发现，相邻特征图之间，存在大量的相似图片，尤其是在第四层和第五层的特征图比较明显。通过SSIM （Structured Similarity IndexingMethod）指标，对各层的前10 个相邻特征图之间的SSIM计算值如表1所示。

2.3 网络迁移模型改进

在Gatys等人[6]的传统风格迁移方法中，生成的图案最初完全随机噪声产生，然后通过计算机将噪声图案不断地与风格图片、内容图片比对，利用LBFGS等算法不断优化调整生成图片的像素点，最终达到风格和内容相互融合的结果。但该方法在实际训练过程中，经常出现训练不稳定的情况，或者是在生成图片还没有达到预期效果时，优化器的梯度消失了，之后无论进行多少次的迭代，都没有进一步改进图片的生成效果。因此，本文为了让训练更有效，减少不必要的迭代，也为了让融合生成的图案较好地保留原有图案，将原来的完全白噪声生成的图片改为白噪声与内容图片叠加的图案。

本文最终的风格迁移模型如图1所示。

3 风格迁移在傣族服饰图案的应用

3.1 服饰图案的选取

设计新的傣族服饰图案，一方面要有傣族的歷史传统韵味，另一方面需要有新的时代风格，或有新颖的纹理。要达到这样的目的，神经风格迁移将其他优秀图案的纹理迁移到已有的服饰图案上，这是一个很好的选择。因此，要设计有历史底蕴的傣族服饰图案，基于傣族的传统服饰图案进行风格迁移，在一定程度上保留了原有的图案样式，同时又有新图案的纹理风格。

3.2 傣族服饰图案风格迁移

将本文的风迁移算法，对傣族服饰图案进行迁移，可以快速生成风格迁移图案。通过风格迁移方法，借助不同的风格图案，即可生成新的风格图案。在风格迁移融合的过程中，如果希望风格图案表现强点，可以通过调节风格损失函数的比例大小来实现。如果希望风格的图案多样化，可以选择自然风景，也可以选择刺绣图案、开通图案等，通过不同的风格图片的选择，就可以生成不同风格的图案，但图案的底蕴依然包含有傣族的服饰特征，如图2所示。

4 实验结果分析

本文的风格迁移方法，本质上是将内容图片逐渐风格图案演化的过程，因此在融合生成的图片中，迭代的次数越多，其风格越接近输入的风格图，直到梯度消失。输入图案的风格迁移过程中，保证了原有图案能有序地向风格图迁移，实现算法的健壮性和稳定性。当然，随着迭代次数的增多，输出的图案有些地方可能出现模糊的情况，而其总体来说比Gayts的迁移方法和AdaIN 的迁移方法清晰。图3 所示的是Gatys方法、AdaIN方法和本文方法比较的结果。

5 结束语

本文将傣族服饰图案基于VGG网络进行神经风格迁移生成了新的服饰图案，能快速地生成具有傣族韵味的服饰图案，能在一定程度上为服饰设计师提供辅助设计。本文没有采用原始的神经风格迁移方法直接从白噪声开始训练，而是采用原始图加上一定比例的白噪声作为最初的生成图，有效地降低了训练次数，同时合成图片的效果也比较理想。本文模型方法完成了傣族服饰图案的设计，从计算机软件辅助设计到人工智能算法辅助设计的转变，在一定程度上实现了传统纺织图案设计方法快速生成多种服饰图案的难题，同时也解决了人力成本高的问题，为当下傣族传统服饰图案高效开发提供了新的解决思路，在傣族传统服饰文化数字化传承与创新变革方面发挥了积极的作用。