基于迁移学习与支持向量机的服装舒适度评估

2021-01-05夏海浜黄鸿云丁佐华

纺织学报 2020年6期

夏海浜，黄鸿云，丁佐华

(浙江理工大学信息学院，浙江杭州 310018)

随着人们消费水平的提升，服装定制化服务在全球逐渐流行。服装定制不仅要求契合消费者的审美，更注重着装后的舒适性。为定制高质量服装，服装定制过程需要对服装的舒适度进行评估。近年来，物理仿真、机器学习、模糊数学等理论被应用于服装舒适度评估的相关工作[1-3]。如何高效地评估一件服装的舒适度是数字化服装领域的研究热点和难点。

传统的服装舒适度评估方法[4-6]需要用户对服装进行试穿，无法直观快捷地给消费者呈现服装试穿时的舒适性。随后，虚拟试衣技术被发展起来，该技术通过物理仿真可视化服装的试穿过程传达服装的舒适程度[7-8]，同时基于虚拟试衣技术的相关研究也用于服装的辅助设计[7-9]。近十年来虚拟试衣技术发展迅速，如Clo 3D，Lectra 3D Prototype，OptiTex和V-Stitcher 3D等虚拟试衣软件用于提供服装虚拟试穿和服装舒适度评估[10]。这些三维虚拟试衣系统遵循相同的原理，即试衣个体和服装的相互作用表现出服装虚拟试穿的动态特征和静态特征。虚拟试穿软件通常包括3个主要模块[10]：1)三维参数化人体模型模块；2)织物性能模块；3)虚拟样板缝纫模块。这3个模块共同构成一个可模拟真实服装试穿过程的系统。在虚拟试穿过程中，消费者和设计师通过人体与织物间的压力和服装风格可以观察到布料的动态表现、静态表现以及服装合身程度。

基于虚拟试衣技术的舒适度评估方法或服装制作需要经过二维裁剪、样板缝合、服装穿戴、物理仿真4个步骤[2,11-12]。样板缝合需要一定的操作经验，而不熟练的操作会导致额外耗时和误差，同时物理仿真过程也需要一定时间，因此，基于虚拟试衣技术的舒适度评估方法需要消耗大量的时间，并且样板缝合与虚拟服装穿着过程中存在操作误差，这会导致难以客观且精确地评估服装舒适度。

目前的服装舒适度评估方法仍存在难以操作、耗时和舒适度评估不精确的问题。为降低舒适度评估的难度、时间，提高舒适度评估准确率，本文提出基于迁移学习与支持向量机的服装舒适度评估算法，通过构建带有试穿体型特征的完备试穿样板图与服装舒适度之间的映射关系模型，从服装样板图直接分析服装穿着到相应模特的服装舒适度。

1 实验部分

1.1 数据库构建

传统服装定制方法是依据服装设计者的经验对服装进行修改[13]，由于服装设计者难以清晰评估个体的舒适度感受与服装之间的联系，导致服装样板需要被反复修改，直至服装适合个体。为避免个体经验导致的误差，本文构建试穿服装数据库，包含试穿个体的尺寸和完备化处理后的试穿样板图。

1.1.1 试穿形体数据

评估服装样板的舒适度需要同时考虑试穿个体的尺寸与试穿样板的结构，本文设计不同形体的人体模型用于服装样板缝合服装后的穿戴，这些人体模型具有不同的体型和身高。图1示出试衣模特形体样图，尺寸数据为m=(m0，m1，m2，m3，m4)，m0表示下半身长，m1表示腰围，m2表示臀围，m3表示膝盖围，m4表示小腿长。有9个不同体型的女性模型，身体尺寸见表1，试穿服装数据库中每个试穿样板图都与表中一个模型数据相对应。

图1 模特形体样图Fig.1 Example of mannequin

表1 模特尺寸数据Tab.1 Model size of our mannequins mm

1.1.2 试穿样板图的完备化

为避免材质差异的影响，仅采用牛仔布料作为服装材质。不考虑材质对服装舒适度的影响，人体穿着服装的舒适度主要由服装结构决定，因此，服装样板的差异是影响服装舒适度的重要因素。本文数据库中每个样板都是设计者按照基本的款式结构设计而成，首先构建同一服装款式的72个不同型号的样板，每个样板根据样板在图中的位置和缩放比例生成3个试穿样板图，样板背景为实际大小相同的格子，则数据库中一共有216个试穿样板图，表示为g，每个g都有其对应的试衣个体尺寸m。

迁移学习作为深度学习的分支被广泛应用到知识迁移、风格迁移等领域解决数据不完备的问题，其目的是提供一个鲁棒的框架以便更快、更有效地利用已有的数据解决训练数据不同的目标[14]。预训练的VGG-19网络是由ImageNet数据库训练所得，其卷积层和池化层的权重包含对图像结构信息和纹理信息的理解。为精确提取试穿样板图的特征，本节迁移部分预训练的VGG-19[15]网络用于完备试穿样板图数据库，即完备化处理。式(1)表示对试穿样板图的完备化处理。

v(grgb)=w[CNN(grgb)]+b

(1)

式中：v表示迁移处理；CNN表示池化操作；grgb表示初始的服装样板图；w为权重矩阵；b为偏置；v(grgb) 为完备化处理后的样板图。

迁移网络层数过深会导致试穿样板图丢失部分特征，而迁移网络层过浅会使得试穿样板图消除的干扰信息不够。为选择合适的迁移学习网络层，本节迁移不同组VGG-19网络进行对比实验，选出迁移VGG-19网络的合理组数。

图2示出试穿样板图库的完备化操作过程。首先以ImageNet数据集[16]得预训练的VGG-19网络，模型的结构一共有19层网络层，14层卷积层，5层池化层，以池化层分成5组网络层。如图2右上角所示，红色层表示输入层网络，绿色表示卷积层网络，浅蓝色层表示池化层网络，前2层深蓝色层表示全连接层网络，最后一层深蓝色层表示softmax分类层。以本文的数据库为对象，试用不同组数的网络完备化处理服装样板库，再以本文方法(LBP+SVM)验证迁移该部分网络完备化数据后的舒适度评估正确率。实验后得到不同网络组数的结果，网络组数为1～5的准确率分别为0.76、0.65、0.71、0.60、0.66，从实验结果可得网络组数为1时，方法的准确率最高，即迁移VGG-19网络的1组网络处理服装试穿样板图最合适。

图2中：首先以ImageNet数据集训练的VGG-19网络作为迁移的对象；然后由实验结果得到1组网络的迁移效果最佳，则迁移出VGG-19网络的1组网络；最后将样板库中的图片作为输入，经过迁移的部分VGG-19网络处理后的图片构成完备样板库。

图2 试穿样板图库的完备化Fig.2 Overview of processing clothing patterns using pre-trained VGG

图3示出VGG-19处理前后的试穿样板图对比。其中图3(a)为未经过处理的部分试穿样板图，图中左上角和顶部中间的试穿样板图是摆放位置不同的同一缩放比例试穿样板图，其他的试穿样板图缩放比例不同。图3(b)为经过处理后的部分试穿样板图，即完备化处理的试穿样板图。完备化处理的试穿样板图组成本文数据库，该试穿样板库能够有效提高样板图的分类效果，同时完备样板库的每张样板图都有对应的试穿形体数据。对比图3(a)、(b)可得，图3(b)中样板的结构信息更加显著，迁移的VGG网络能够提取出图片关键点结构信息。

图3 迁移VGG-19网络处理前后的试穿样板图对比Fig.3 Comparison between initial clothing patterns and clothing patterns processed by pre-trained VGG-19. (a) Graph of garment pattern; (b) Graph of garment pattern processed by VGG-19

1.2 获取数据标签

经上述处理得到试穿服装数据库后，再获取其相应的服装舒适度标签。用商业软件CLO 3D[17]的仿真系统获取试穿服装舒适度的评估指标，并通过设定舒适度阈值来标记服装样板的舒适度。首先将已设计好的服装样板进行专业缝制，然后将缝制好的服装穿着到模特身上，最后用CLO 3D进行物理仿真获取试穿服装舒适度的评估指标ACW(can′t wear area)和AT(tight area)，分别表示服装不能穿面积占比和服装紧绷面积占比。图4示出CLO 3D的试衣场景，场景中的热力图表示服装穿着的松紧度，红色区域表示不能穿的服装区域。

图4 CLO 3-D的试衣场景Fig.4 Fitting scene of CLO 3D

根据数据库中样板图对应的样板和对应的试穿形体进行试穿，通过CLO 3D试穿所有服装样板后，从试衣场景中得到服装穿着舒适度的评估指标ACW和AT，表2示出数据库中72个不同型号的服装样板的评估指标。

表2 服装试穿的评估指标Tab.2 Evaluation indexes of clothing try-on

服装舒适度评估指标ACW和AT是连续性的取值空间，这不利于形成试穿样板图和人体尺寸到舒适度的映射。本文设定ecw和et来确定服装试穿的不同舒适度的范围，并构建服装舒适度阈值模型式(2)，i表示舒适度等级，分为3个评级：0(舒适)、1(不舒适)、2(不能穿)。

(2)

确定ecw和et取值后，由式(2)试穿样板图的舒适度f={f1,f2,…,fn}，设定给定服装样板舒适度标签。提出式(3)用于计算ecw和et的值，其中ACWmax0,1表示评级为0或1的最大ACW值、ACWmin2评级为2的最小ACW值、ATmax0评级为0的最大AT值、ATmin1评价为1的最小AT值。

(3)

本文设计舒适度评定实验以确定舒适度阈值模型的变量ecw和et。首先，试穿18件服装，试穿对象通过行走、奔跑、下蹲3个动作[2]来评估服装试穿的舒适度；然后，根据试穿对象的尺寸调整模特并在CLO 3D的试穿场景中获得服装舒适度评估参数ACW和AT。最后，统计服装舒适度评估结果来确定变量ecw和et。

图5示出试验评估结果的散点图，黑色、红色、蓝色分别表示舒适、不舒适、不能穿。(0.2，24.5)的舒适度为不舒适，这会影响到模型评估参数的确定，考虑到数据可能存在偏差，(0.2，24.5)作为脏数据剔除。通过式(3)来计算服装舒适度阈值模型的评估参数ecw和et为0.15%和15.95%，其中ACWmax0,1、ACWmin2、ATmax0、ATmin1分别为0.1%、0.2%、12.9%、19%。则ecw和et为0.15%、15.95%。

图5 试穿舒适度分布图Fig.5 Try-on comfort distribution map

由以上真实数据分析可得，图5中ecw和et取值分别为0.15%和15.95%，所以得到所有服装样板试穿的舒适度，构成试穿样板图数据库。该数据库由216个试穿样板图构成，每个试穿服装的样板图都有对应的试穿形体数据和对应的试穿舒适度标签。

1.3 提取融合特征

试穿服装的舒适度由服装与人体之间的空间关系决定，不考虑服装材质的情况下，试穿样板与服装相对应，因此由试穿样板和人体尺寸的融合特征表示这种空间关系。本文提出一种结合试穿样板图特征和人体尺寸特征的融合特征用于表示的服装试穿信息。

1.3.1 局部二值模式

局部二值模式[18](LBP)用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等显著的优点。文本LBP算法的具体操作步骤为:1)设置检测窗口为16像素×16像素的区域(cell)；2)比较cell的中心像素值与周围像素值的大小，周围像素值大于中心像素值标记为1，否则为0。可得到关于cell的8位二进制数LBP值；3)计算cell的直方图，并对该直方图进行归一化处理；4)连接每个cell的统计直方图得到特征向量，即整幅试穿样板图的LBP纹理特征向量。

图6 试穿样板图的特征可视化Fig.6 Feature visualization of clothing pattern diagram

1.3.2 融合特征

将融合特征作为输入，舒适度标签作为输出，训练支持向量机[19](SVM)得到服装舒适度评估模型，该模型服装舒适度评估的十折交叉准确率为0.834。

2 实验对比与分析

2.1 不同模型的实验对比

本文基于迁移学习提出试穿样板图的完备化处理，构建试穿服装数据库，并提出融合特征来表示服装与人体之间的空间关系。本节进行不同模型的对比实验，证明本文方法的有效性。

以完备化处理前后的数据为对象，分别选取特征为方向梯度直方图(HOG)、LBP+HOG、LBP，并分别选取模型SVM、朴素贝叶斯(NB)进行实验，表3示出相应的准确率。首先，对比SVM模型和NB模型的准确率，即表3的第3列和第4列，可得SVM模型的最高准确率0.834，远高于NB模型的最高准确率0.779，证明选取SVM模型的有效性。然后，对比完备化前后数据的准确率可得，经过完备化处理后的HOG特征和LBP特征的SVM模型准确率分别为0.811、0.834，而未经过完备化的准确率分别为0.749、0.778，仅在评估方法为LBP+HOG时完备化处理后的准确率较低，证明迁移学习的有效性。最后综合可得，最高准确率为本文方法的0.834，证明SVM模型对服装舒适度的评估更精确，且经过完备化处理后的试穿样板图更有利于后期服装样板的舒适度评估。

表3 有无迁移学习的实验对比Tab.3 Comparison between transfer learning and no transfer learning

2.2 服装舒适度评估方法对比

在构建的数据集基础上，将本文方法与CLO 3D[17]、Liu等[2]进行比较，分别比较服装舒适度评估的系统时间和准确率，系统时间是给定服装或试穿样板到获得服装舒适度的时间，模型准确率是十折交叉验证准确率。按照Liu等[2]论文方法采集72套服装试穿的压力数据，分别实现SVM、NB舒适度评估模型，得到十折交叉准确率和系统时间。关于系统时间，实验操作人员为3名能够熟练操作各个方法的设计者，实验过程中随机选择服装和试衣模特尺寸为输入，记录从服装输入到评估成果的时间，结果如表4所示。

表4 服装舒适度评估方法对比Tab.4 Comparison between our clothing comfort evaluation method and the other ones

表4的实验数据显示，服装样板图特征为HOG、LBP+HOG、LBP的SVM准确率分别为0.811、0.768、0.834，都要高于Liu等[2]论文方法的0.757。由于减少样板缝合、仿真模拟、获取服装试穿的关键点压力等步骤，本文方法与CLO 3D方法、Liu等方法相比分别节省4 s、73 s。综上可知，本文方法的准确率为0.834，高于其他方法的准确率，并且系统时间为12 s，能够高效评估服装舒适度。

传统的服装舒适度评估方法需要获得服装试穿后的数据，所以Liu等[2]的方法必须测量服装在虚拟试穿后的服装压力，这包含虚拟着装、仿真模拟、打点记录压力值等步骤，而本文直接输入服装的样板和试穿对象的尺寸特征即可评估服装舒适度。其中虚拟着装和打点记录压力值是由设计师手工操作完成，因此这2个步骤很容易操作失误使得测量的服装压力值有偏差，最终导致服装的舒适度评估结果不准确。并且这些步骤对操作人员有一定的专业知识要求，不具有一般性。本文方法直接提取服装样板与人体尺寸的融合特征作为模型输入，省去测量服装舒适度评估参数的步骤，减少系统时间和避免操作失误，并且利用迁移学习对图形具有一定理解的特点来完善试穿样板图库，进一步提高服装舒适度评估的准确率，因此，本文方法能够比CLO 3D、Liu等[2]方法更加高效地评估服装舒适度。