基于色彩优化的云锦局部风格迁移

邱雪琳, 孙 迎, 刘 正,b,c, 侯 珏,b,c

(浙江理工大学 a.服装学院; b.丝绸文化传承与产品设计数字化技术文化和旅游部重点实验室;c.浙江省服装工程技术研究中心,杭州 310018)

作为中国三大名锦之一,云锦以配色丰富、图案精美、织造精细闻名,代表了中国传统丝绸织造工艺的最高水平。为了呈现逐花异色的效果,云锦图案色彩通常多达数十种,传统的织造工匠通常采用色晕口诀、片金绞边、大白相间等技巧对纹样进行配色,完成图案设计。云锦图案的传统设计方法耗时长、效率低,且受到工艺传承人技能水平的影响,极大地限制了云锦图案的创新设计和产品活化传承。随着图像技术和人工智能的发展,图像风格迁移逐渐应用到瓷器[1]、漆艺[2]、绘画[3]等工艺美术品领域。作为以图案设计为特色的云锦,同样非常适合采用图像风格迁移的方法完成设计。

风格迁移是指保持图像内容不变的情况下,用另一幅图的纹理、颜色等风格对其进行重新渲染的过程。当前主流的图像风格迁移方法是基于卷积神经网络的算法[4],利用预训练网络从内容图和风格图中提取图像的内容和风格,通过图像重建获得合成效果图;Johnson等[5]在Gatys等[4]研究的基础上,提出了基于前馈风格化模型的快速风格迁移方法,提高了迁移效率;基于GAN的风格迁移[6]方法则需要对生成器和鉴别器进行训练,从而使内容图去拟合风格图的效果。上述方法只能对图像的整体进行迁移,为了实现局部风格迁移,Handa等[7]将阈值分割获得的掩模与迁移合成图相结合,实现了特定部分的样式转换;Zhao等[8]通过提取内容图和风格图的软语义掩码,在保留内容图结构的同时实现了对应的样式转移;缪永伟等[9]针对局部迁移中的区域衔接问题,提出一种基于曼哈顿距离的图像融合算法,实现了区域间的平滑过渡。

在云锦图案研究领域,国内外学者们主要围绕配色[10-11]、寓意和设计应用[12-13]等展开,未见针对云锦图案风格迁移的相关文献报道。云锦图案色彩丰富,利用原始风格迁移算法生成的效果图容易出现色彩混杂、目标纹样轮廓和内容不清晰等问题,设计效果不够理想。为了传承和创新云锦设计与应用,本文基于云锦图案的特点,在原始迁移模型的基础上,提出了基于色彩优化的云锦局部风格迁移方法。首先获取目标纹样掩码图用于区分纹样与背景,清晰纹样轮廓;其次以合成图像素在色彩三通道的方差和作为色彩损失加入到总损失中,通过优化色彩损失减小纹样内的色彩差异,提高纹样语义清晰度;结合色彩损失与掩码图,最终获得轮廓清晰、语义易识别的云锦风格迁移效果图。

1 基于色彩优化的云锦局部风格迁移

1.1 图像风格迁移原理

基于卷积神经网络的VGG19模型由16个隐藏层(分为5个阶段),3个全连接层组成,具有强大的图像特征和语义表征能力。原始风格迁移算法利用VGG19模型提取图像底层纹理信息和高层语义信息分别作为风格和内容,使用优化函数最小化损失,再通过迭代更新合成图得到风格化效果图,具体流程如图1所示。

图1 图像风格迁移流程示意Fig.1 Process of image style transfer

1.2 损失函数

由于高层卷积网络重点保留图像的轮廓、语义内容等信息,因此选取内容图C和合成图G在卷积神经网络第四层的特征矩阵,两个特征矩阵的平方误差为内容损失,如式(1)所示。

(1)

(2)

分别计算风格图S和合成图G的格拉姆矩阵,它们的平方误差记为风格损失。由于深浅层网络提取的特征不同,为全面概括图像风格特征,统计所有下采样层的风格损失,记为总风格损失,如式(3)所示。

(3)

为了保证合成图像的可控性,分别设置了内容和风格损失权值α、β以调整风格迁移效果,因此总损失如式(4)所示。

Ltotal=αLcontent+βLstyle

(4)

1.3 迁移模型色彩优化

为了改善云锦线稿类迁移效果图色彩杂乱、前后景混合、纹样轮廓不清晰的问题,本文在原始风格迁移模型的基础上增加了色彩损失和掩码图,提出了基于色彩优化的云锦局部风格迁移模型。优化模型结构如图2所示。

图2 云锦局部风格迁移色彩优化模型Fig.2 Local style transfer model of Nanjing brocade based on color optimization

首先,借助快速选择工具,获取内容图的掩码图作为输入,如图3所示。复制内容图为底图,将云锦风格图、线稿内容图、底图分别输入预训练好的VGG19网络,通过卷积提取特征矩阵。

图3 内容图的掩码图Fig.3 Mask of content image

其次,利用内容图和底图的特征矩阵计算内容损失;利用云锦风格图和底图的格拉姆矩阵计算风格损失;利用底图色彩像素计算色彩损失,将合成的底图分为R、G、B三个色彩通道,在每个通道遍历底图的所有像素点,记为Roipn。每层合成底图在三通道的像素方差和为色彩损失。由于色彩属于底层纹理信息,因此色彩损失与风格损失使用同样层数的合成底图(共5层),计算如式(5)所示。

(5)

总损失为内容损失、风格损失和色彩损失的加权和,如式(6)所示。

Ltotal=αLcontent+βLstyle+γLcolor

(6)

式中:α、β、γ分别为对应损失的权重,可根据风格需要进行调整。

选用Adam优化器优化总损失,反馈更新底图的像素,确保迭代生成的底图在保留原内容的情况下,更接近云锦图像的风格,并且使合成图的色彩差异最小化。最后结合掩码图,输出轮廓、纹样语义都相对清晰的云锦风格化效果图。

2 云锦图像风格迁移色彩优化实验

2.1 实验设置

风格迁移优化实验使用Pytorch框架,在处理器为Intel(R)Core(TM)i7-11700 2.5 GHz,内存32 GB RAM,显卡为NVIDIA GeForce RTX 3080Ti的台式机上进行。以云锦样本为风格图,线稿类纹样为内容图。由于迁移模型不限制图像尺寸,实验将风格图和内容图的尺寸设置了224×224像素、300×300像素、400×400像素、512×512像素四种规格进行对比,获得如图4所示的迁移效果。当尺寸设置为224×224像素时,可直接获得明显的迁移效果,并且耗时最短。综合效果图质量和处理时间,本文将风格图、内容图和掩码图的尺寸统一设置为224×224像素,尺寸设置可根据原图大小和清晰度需求进行调整。

图4 不同尺寸迁移效果Fig.4 Transfer renderings of different sizes

选择Adam作为模型优化器,学习率设置为5×10-3。实验结果显示,内容损失、风格损失、色彩损失绝对值相差较大。为了平衡各项损失,利用系数α、β、γ将三项进行平衡,其值分别为1×10-3、5×105、1×102所得的损失值处于相近尺度范围内,且迁移效果较好。

为了确定迭代次数,实验任选了三张云锦风格图、线稿图作为对象,设置优化模型初始迭代次数为2 000,每迭代100次输出一次内容、风格、色彩损失值。绘制成的损失走势如图5所示。

图5 损失图Fig.5 Diagram of loss

由图5可知,内容损失几乎没有变化,风格损失随着迭代次数的增加逐渐减小至平稳。由于风格损失减小,底图的风格与风格图的风格越来越接近,色彩也更加复杂,因此色彩损失呈现小幅增长再减小至平稳的趋势。综合损失趋势和训练时间,实验选取迭代1 600次的合成图为迁移输出图。

2.2 实验结果

将本文提出的色彩优化局部迁移算法与原始迁移算法[4]、局部迁移算法[7]进行比较,获得迁移效果图,如图6所示。由图6(c)可以看出,直接采用原始迁移模型生成的合成图色彩混杂,难以分辨图案主体纹样的形状和内容。这是由于卷积神经网络在提取风格图和内容图的特征时,学习了图片的色彩特征,包括色彩的明度、饱和度及分布等,导致色彩像素之间形成了对应迁移。而线稿类内容图只含轮廓色彩信息,无法形成对应迁移,从而导致合成效果图色彩混杂,目标纹样语义不清。而加入掩码图的局部迁移模型通过将纹样与背景分离,提高了轮廓的清晰度,如图6(d)所示。

本文的优化模型在掩码图的基础上添加了色彩损失,由图6(e)可以看出,莲花的花瓣部分颜色集中在粉色,花蕊部分主要为绿色;铃铛的轮廓为深红色,空白部分为浅色;龟身的混色减少,主要呈现绿色;优化模型在提高轮廓清晰度的同时,减小了纹样内的色彩差异,提高了纹样的语义辨识度。

图6 迁移效果图对比Fig.6 Comparison of different transfer renderings

2.3 实验结果主客观评价

2.3.1 主观评价

为了评价本文色彩优化算法的风格迁移效果,本文采用问卷调查[14]方式进行主观评价。招募20名实验者基于图6的三种迁移算法效果图,针对纹样语义内容的清晰度作评价,分值设置为1～5分,纹样内容越容易识别则分值越高。分别计算20名实验者对三种算法生成效果图评分的均值和方差,结果如图7所示。

图7 问卷调查结果Fig.7 Result of questionnaire survey

主观评价结果显示,在迁移效果图纹样的清晰度方面,原始迁移、局部迁移和色彩优化局部迁移模型的评分均值分别为2.18、3.63、3.88。因此,本文提出的基于色彩优化的局部迁移模型,在实现局部风格迁移的前提下,通过色彩优化提高了主体纹样语义内容清晰度。

2.3.2 客观评价

客观上,分别从效果图质量和算法耗时长短两方面进行评价。对于迁移效果图的客观评价通常采用结构相似性[15](SSIM),结构相似性通过像素计算将图像定义为亮度(l)、对比度(c)、结构(s)三个不同因素的组合。用均值作为亮度的估计,标准差作为对比度的估计,协方差作为结构相似程度的度量。每次计算从图片上取N×N的窗口,不断滑动窗口进行计算,取所有窗口的均值作为整幅图像的SSIM。SSIM数值范围为0～1,数值越接近1表明两幅图像相似度越高,计算如式(7)所示。

(7)

式中:μa、μb分别表示a、b样本的均值;σa、σb分别表示a、b样本的方差;σab为a和b的协方差;c1、c2为两个常数,避免除零。

为了综合评价迁移效果,本文分别计算效果图与风格图、内容图的SSIM值(Gs、Gc),取Gs和Gc的均值作为综合相似度评价指标[16]。统一设置合成效果图、风格图、内容图的大小为224×224像素,利用SSIM算法计算迁移效果图的结构相似性。表1为局部迁移算法和色彩优化局部迁移算法获得的5张效果图的结构相似性结果。

表1 结构相似性结果Tab.1 Data of SSIM

对比只加入掩码的局部迁移与本文基于色彩优化的局部迁移,可以发现,在风格相似度方面,两种迁移模型差距不大,但在内容相似度方面,优化算法普遍较高。局部迁移算法关于综合相似度均值为0.35,而基于色彩优化的局部迁移算法的均值为0.38,相比局部迁移算法提高了9.14%。

此外,在RTX 3080Ti上分别使用局部迁移算法和色彩优化局部迁移算法对实验图片进行1 600次迭代,所需的处理时间如表2所示。

表2 风格迁移算法运行时间比较Tab.2 Comparison of running time of thestyle transfer algorithm s

局部迁移算法运行所需时间均值为13.78 s,相同配置下色彩优化局部迁移算法在增加色彩处理的情况下,时间均值为15.42 s。数据结果表明,优化后的迁移算法能够快速地获得与内容图结构更为相似的风格化图像,有利于线稿类图案实现云锦风格的迁移。

3 结 语

针对云锦图案风格迁移中出现的效果图前后景色彩混杂、轮廓模糊、目标纹样语义不清晰问题,本文提出了基于色彩优化的云锦风格迁移模型。利用图像处理软件获得内容图的掩码图作为输入,在风格和内容损失的基础上增加了色彩损失以减小纹样的色彩差异,合成了轮廓清晰、语义内容更易识别的效果图。

本文利用结构相似性对局部迁移算法和色彩优化局部迁移模型获得的云锦风格效果图进行了对比,结果显示,优化算法获得的效果图,其综合相似度总均值为0.382,相比局部迁移算法提高了9.14%。数据结果表明,本文的优化算法在提高轮廓清晰度的基础上,减小了纹样的色彩差异,提高了语义辨识度,更适用于云锦风格迁移。

《丝绸》官网下载

中国知网下载