生成对抗网络在服装图片遮挡修复上的应用

刘敏，朱春

（西安工程大学服装与艺术设计学院，陕西 西安 710000)

0 引言

中国拥有着比较久远的纺织历史，很久以前人们会利用草、树皮等去蔽体；接着慢慢用动物的羽毛经过简陋的编织形成简单的衣物去抵御寒冷；渐渐的随着发展，人们逐渐学会用工具去纺织[1]。除此之外每个朝代的纺织品都有自己比较独特的纺织文化，随着尘封已久的纺织品出土，也渐渐解开了不同朝代的神秘面纱，研究出土的服饰文物有利于考据服饰结构，剪裁工艺，或者去推断墓主身份和生活年代，因此出土纺织品文物修复对我国古代服饰的研究和文化传播有着重要的意义。但由于纺织品的化学稳定性差，出土的纺织品大都有残缺、破损、褪色等病害，这使得人们对服饰纹样、色彩等的考究变得艰难。

随着科技的进步，图像处理逐渐进入大家的视野，图像修复的意义不仅仅在于目前研究方法的逐步改进，更在于其在实际生活中的应用；如壁画方面：陈永等人对残缺的敦煌壁画进行了修复[2]，焦莉娟等人利用改进的块匹配算法对五台山壁画进行了修复[3]，胡雅妮等人利用双判别生成对抗网络对壁画图像进行了虚拟修复[4]等；公路方面：崔二洋等人利用图像修复技术实现对单张路面图像中裂缝的高效语义修复[5]；除此之外还有对象的移除[6]：删除图像中不需要的对象，并对删除后的空缺部位进行补全；修复图像[7]：修复图像因保存的时间过久或保存方法不当造成的如划痕、泛黄等；图片的修饰[8]：对照片进行美化修饰处理，例如去除皱纹、痣、疤痕等面部特征；文字移除：删除图像中不需要的文字、图像，例如水印、照片日期等目标并对移除后的部位进行修复。

目前来说服装修复方面主要是基于人力手工修复，修复方法主要有依靠X射线荧光光谱分析仪去检测污染物的元素成分，利用三维视频显微镜观察纺织物的组织结构，人工进行回潮、护金、清洁、整形、托衬等修复操作；或者基于传统画结合对服装款式的了解去对服装进行临摹，这些基于人力的手工修复，修复效果与个人修复能力有着很大的关系，且修复耗费时间久，因此，在服装修复中引入数字图像虚拟修复技术具有重要的研究价值。

1 研究现状

1.1 古代服饰研究现状

古代服饰是见证了中华历史源远流长的实物，亦是重要的载体承载着中华民族伟大的精神[9]。自古以来，有许多学者从各个角度展开对古代服饰的研究，通过对目前的学术论文成果进行整理归纳，得出主要研究集中在以下几个方面：首先是对古代服饰的款式、纹样、色彩、面料等进行研究。其次有学者研究古代服饰元素在现代服装上的应用，将古代艺术与现代时尚相结合，使古代的元素巧妙地应用在现代的服装设计上。

但在研究过程中服装信息残缺、丢失、仍然是一大难题，这对服装的研究造成了较大的影响。因此对于我国现存的大量古代服饰来说，利用计算机技术学习其相关服饰特征，通过科学的手法对其进行修复，这对服饰的研究有着非比寻常的意义。此外用修复好的古代图片可以为传统手工修复提供参考，避免因修复不当而对文物产生不可逆转的伤害。

1.2 图像修复技术研究现状

图像修复技术最早来源于艺术家们，当时艺术家们对受损的艺术绘画或照片进行修复，使其质量尽可能地接近原始图像。在计算机领域中，就是恢复破损图像缺失区域中的像素，使观察者无法察觉到图像曾经有过缺损或者已被修复。

图像修复方法主要可以分为传统修复方法和基于深度学习的图像修复方法。传统图像修复方法通常是根据破损图像的内容、结构和纹理之间存在的相似性去预测图像中缺失的区域像素；根据修复思想的不同，它可以被分为基于偏微分方程和基于样本的图像修复方法。

（1）基于偏微分方程的图像修复方法是利用偏微分方程，将图像已知区域的像素平滑传播扩散到缺失区域中以修复破损图像，它不能修复破损区域大或者纹理比较复杂的图像。

（2）基于样本的图像修复方法是通过计算残缺图像的缺失区域与哪个已知区域的相似度最高，将该已知区域复制粘贴到缺失区域以修复破损区域。基于样本的图像修复方法可以叫高质量地修复缺失区域较大且纹理结构较简单的图像，但计算破损区域与已知区域之间的相似度需要大量时间。

总而言之，传统图像修复方法虽然在修复纹理简单的图像时可以生成与原图较为相似的图像样本，但是由于缺乏对图像更高一层语义的理解，对结构较复杂的图像修复结果较差。

基于深度学习的图像修复方法根据生成图像数量的不同，可以将其分为单元图像修复方法和多元图像修复方法。

（1）单元修复方法是单入单出，指输入单张残缺图像生成单张的修复图像。单元修复方法依据模型结构类型的不同，可以将这些修复方法细分为Encoder-Decoder类、U-Net类、GAN类和Transformer类。

（2）现存的多元图像修复方法，它的输出结果不受限制具有多样性，这种修复方法很难去保证每个图像的质量，修复后可能会导致图像结构扭曲，纹理模糊等问题。

综上所述，基于对图像修复技术的现状研究，本实验选择了基于深度学习的单元修复方法。

2 研究理论与技术

2.1 总体技术路线图

我们的研究大体可以分为如下几个阶段，第一阶段是对史料中记载的古代服饰的款式、形制、色彩、纹样进行整理；第二阶段是对古代服饰进行数字化采集；第三阶段是对采集到的图片利用数据增强方法去扩充原有的数据集，从而建立服装数据库；第四阶段是针对已建立的数据库去选取合适的生成对抗网络对服装修复模型进行训练，利用训练好的模型去修复遮挡的服装图片，具体流程如图1所示。

图1 技术路线图Fig.1 Technology roadmap

2.2 研究理论DCGAN

Goodfellow等人因受到了博弈论的启发，提出了生成对抗网络（Generative Adversarial Networks，GAN），该网络主要由生成器G（Generator）和判别器D（Discriminator）两部分构成，输出结果的概率越接近0.5，得到的图像也就越接近真实的图像。

DCGAN模型是以GAN模型为基础提出的，该网络也是由生成器和判别器组成的，它的生成器具有转置卷积结构，从而尽可能地生成越接近真实图像的样本；判别器具有卷积结构，从而对生成的样本和真实样本进行更准确的判别[10]。两者互相对抗互相博弈，各自优化自己的性能，使得生成的图像越接近原始的图像。其生成器与判别器的目标函数如式（1）所示：

本文选择的DCGAN的生成器结构和判别器的结构大致如图2所示：生成器有5个转置卷积层，其中从噪声向量到生成第一个特征图也用了一个转置卷积层，4个BN层，4个ReLU层，1个Tanh输出集合层；判别器有5个卷积层，最后一个特征图到噪声向量也用了一个卷积层，3个BN层，4个LReLU层，1个Sigmoid输出激活层。

图2 DCGAN Fig.2 DCGAN

2.3 数据收集与处理

（1）图片收集：此次实验的图片主要通过书籍拍照上传，网络爬虫等方法收集，书籍主要有《中国丝绸服饰全集》《中国少数民族戏曲剧种发展史》《服饰中华：中华服饰七千年第一卷》《服饰中华：中华服饰七千年第二卷》《服饰中华：中华服饰七千年第三卷》《服饰中华：中华服饰七千年第四卷》《中国历代服饰文物图典》《清代女子服装》《中国传统服饰清代服装》《中国敦煌历代服饰图案》《清宫服饰图典》《中华民族服饰结构图考》《中国历代服饰文物图典：隋唐五代》《中国历代服饰文物图典：清代》《图解中国传统服饰》《明鉴：明代服装形制研究》等，筛选后得到823张高质量的图片。

（2）训练集：首先对收集到的图片进行去除杂乱背景等的操作，然后对图片利用数据增强方法进行扩充，该实验用到的数据增强方法有：放大、缩小、图片的旋转（45°、90°、180°、270°）、翻转（水平翻转、垂直翻转）、明亮度改变（变亮、变暗）、像素平移、添加噪声（椒盐噪声、高斯噪声），经数据增强后得到扩充后的图片共计9 831张；由于生成对抗网络对图片的尺寸有一定的要求。因此该实验对得到的图片进行尺寸的处理，统一其大小为256*256。

（3）测试集：选取部分图像用python实现掩码操作，用掩码块去遮挡服装的部分结构去模拟残缺的服装，该实验掩码块设置为3，经操作得到图片共计446张。

2.4 遮挡图片修复实验

该实验平台硬件环境的CPU 为Intel (R)Core(TM)i7-10700 CPU @2.90GHz，显存为16G，GPU 为NVIDIA GeForce RTX 2080Ti。软件环境使用Win 10操作系统，Pycharm版本为2021，Python版本为3.7。

该实验采用DCGAN网络进行模型的训练，图片通道数nc=3，噪声维度nz=100，生成器的特征图通道数单位ngf=64，判别器的特征图通道数单位ndf=64，利用训练好的模型对遮挡的图像进行复原，其复原结果如图3和图4所示，通过结果可以看出整体复原效果较好，但纹样细节较原图相比还有些许偏差。

图3 复原结果1Fig.3 Recovery result 1

图4 复原结果2Fig.4 Recovery result 2

3 结论

本文将深度学习的DCGAN网络应用于非遗文化遗产保护领域中的服装修复问题，依据修复结果可以看出，DCGAN网络可以较好的复原出服装的色彩，对服装的纹样也可大致复原出，但仍有部分细节没有复原，出现此结果的原因大致有以下几点：（1）样本数量不多；（2）该实验所用样本是基于手机拍摄的，清晰度有一定的限制；（3）样本中关于纹样特写的图片较少，对纹样细节训练不够到位。

纺织品图像的结构颜色与纹理颜色不同，并且纺织品文物图像的纹理规律比较强，这会导致修复过程中纹理部分对结构部分造成较大的影响，使复原效果不够理想，针对以上问题后期优化时拟采取的解决方案为：（1）扩充样本数量，重新进行模型的训练。（2）采取扫描的方式获得书籍里的样本数据（3）对纹样进行单独拍摄纳入样本集进行训练。（4）拟采用k-means聚类方法先对数据做预处理，分离纹理与结构。