基于人体分割的智能女装廓形尺寸数据库构建
2018-01-29傅白璐刘晓刚
傅白璐, 李 峻, 刘晓刚
(1. 东华大学 服装与艺术设计学院, 上海 200051; 2. 东华大学 上海国际时尚创意学院, 上海 200051)
在服装设计的三要素,即色彩、款式和材料中,款式设计是最为直观且重要的,它构成了服装的基本造型。服装款式设计包含了对服装内、外轮廓的总体造型设计。外轮廓是指服装整体外部造型的剪影,它决定了服装的整体效果,能充分反映服装演变的流行趋势及特征[1]。服装廓形设计需要考虑与人体结构的吻合度,其直接影响到服装风格的体现。
服装设计的量化研究大都集中在服装色彩的量化研究,对服装廓形的相关研究相对较少。陶晨等[2]提出了一种量化和识别服装廓形的方法,以提取用来判断廓形的尺寸数据。不足之处是该方法针对人体四肢有裸露肌肤、四肢与身体之间有空隙或服装外轮廓线有突变等情况的服装廓形无法准确测量,可能导致廓形判断较高的误差。除此以外,不少图像识别领域的学者提供了一系列的服装识别与检测方法[3-5],然而这些方法往往局限于对服装轮廓的提取,并没有进一步对服装廓形进行扩展。
本文利用计算机快速准确地对大批量图像中的信息进行处理,并且结合数学模型,分割出静态图像中的目标人体,提取并测量人体以及服装相关尺寸精准数据,从而构建智能女装廓形尺寸数据库。该数据库提供了女装廓形相关尺寸测量方法和流程,为女装的廓形判断提供试验数据,便于服装设计师了解廓形趋势,获取设计灵感。
1 基于模型的静态图像人体分割
利用计算机识别并分割静态图片目标人体存在一定难度,其难度源于复杂的背景图像、目标与背景颜色的对比程度、目标人体的光照角度、目标人体的不同姿势等。静态图像人体分割的算法包括最大后验概率模型、隐式马尔科夫模型等等。按算法框架分类可分成自下而上[6]、自上而下[7]和二者结合[8]3种。图1示出静态图像人体分割步骤实例。以图1(a)为例,先确定人脸位置,再构建模型来寻找人脸以下的躯干和四肢,进而对目标人体实现自动检测,最后利用图像分割[9]技术对人体进行分割。其中,人脸检测主要用于确定人脸的位置和大小。本文的试验目标图像多为单人正面直立人体,其中模特具有不同肤色,可直接识别并提取人脸信息。本文选取基于Harr-like特征值的Adaboost算法[10-11]对目标人体进行人脸检测,确定人脸位置,作为人体分割的切入点,如图1(b)所示。确定人脸位置后,需要构建人体检测模型将静态图片中的着装人体与背景分离。为了提升在复杂背景下检测目标人体的鲁棒性,本文采用基于颜色、边界多特征融合的最大后验概率模型[12]对目标人体进行批量识别,该模型是贝叶斯模型的一种特定形式。此外,通过整理发现,很多静态图像中着装人体会有裸露的肌肤,且裸露肌肤的面积对服装的整体廓形会产生较为直观的影响。为了能准确地将完整人体从背景中分割出来,同时也为了测量服装廓形的相关尺寸,还需对皮肤进行检测,使计算机学习区分肤色和服装,从而更好地提取服装廓形。本文利用K-Means聚类计算结合色彩直方图模型对皮肤进行检测[13],如图1(c)所示。最终对已经检测到的人体提取前景和背景种子点[14],利用图割技术对检测到的着装人体从背景中分割出来,如图1(d)所示。具体流程如图2所示。
图1 静态图像人体分割主要步骤实例Fig.1 Main steps of human body segmentation in static figure. (a) Original image; (b) Face detection; (c) Skin detection; (d) Segmentation result
图2 静态图像人体分割流程图Fig.2 Flowchart of main steps of human body segmentation in static figures
2 智能女装廓形尺寸数据库的构建
2.1 原始图像数据库的构建
根据试验要求搜集女装品牌原始图片,本文的原始图片主要来自各大女装品牌的秀场图片。同时对选取的图片进行初步筛选和处理,确保其精度和尺寸的统一。由于秀场图片的特殊性,即目标人体均处于图片中心位置,且考虑秀场图片均由专业人员拍摄,故本文不考虑照片畸变等问题。所有原始图片按照品牌、年份、季度等基本信息进行分类归档,构建出原始图像数据库。原始图像数据库是所有后续试验的基础,数据均以统一命名标准的二维彩色图像形式构成。
2.2 着装人体图像数据库的构建
人体检测和分割首先需要对图像样本进行训练,针对人体参数的训练包括先验知识参数以及各个似然函数之间的平衡参数,故本文将100幅图像用作参数训练。在计算机自动将目标人体分割后,增加抽样校对环节,以确保后续试验中数据的准确性。最终将所有去除背景的目标模特图像数据统一存放在着装人体图像数据库中,便于后续研究调用。
2.3 女装廓形基础尺寸数据库的构建
在着装人体图像数据库完成后可构建女装廓形尺寸数据库,女装廓形数据库是针对着装人体图像数据库进一步转化为数据或符号信息后建立的,主要以文档形式存在。其主要构建流程包括:1)确定基础女性人体比例,用于寻找各个主要测量部位的位置;2)将人体部位对应到提取出的服装上,定位服装廓形上相应的测量点并进行测量;3)测量结果抽样校对;4)测量数据分类入库。这部分内容通过MatLab平台实现。
2.3.1女性人体比例确定
服装廓形需要以人体的基本形体为基础,因此,服装廓形必然会受到人体几个基本支撑关键点的影响,主要部位包括肩、腰、臀和摆[15]。为了对服装廓形进行研究,需要先确定着装人体的体型尺寸数据,而人体体型包括了垂直和水平2个测量维度。垂直方向上需要确定的是影响廓形的人体主要部位的具体位置,为此需要找到各部位占人体身高中的比例;在水平方向上需要确定的是影响廓形的人体主要部位的相对宽度。影响廓形的人体主要部位的具体位置包括:身高、肩线、胸线、腰线、臀线和膝线[16]。
若以头长为基准进行比例分割,标准女性人体的身高应该是7.5个头长[17],但用头长无法定位到人体主要部位的准确位置,且此次试验针对欧美女性模特,其身高比例不同于标准人体,不能用一般标准对其进行比例分割,目前也没有针对欧美女性模特身体比例的普遍标准。本文将提取典型欧美女性模特的身体比例及尺寸,并将其作为对照标准。试验选取10位仅着内衣的欧美女性模特(模特来自Victoria′s Secret秀场模特),分别测量其身高h、肩腰之间、胸腰之间、腰臀之间、臀膝之间的距离以及肩线位置、胸线位置、腰线位置、臀线位置、膝线位置的水平宽度。在垂直方向上,测量各个水平测量点之间的距离,并取其截尾平均值,最终得到1组数据:肩腰距离hsw0、胸腰距离hbw0、腰臀距离hwh0、臀膝距离hhk0。在水平方向上,最终所有测量值取其截尾平均值,得到1组平均值:肩宽Ws0、胸宽Wb0、腰宽Ww0、臀宽Wh0、膝盖宽Wk0。
为了能精准定位不同身高模特的水平测量点位置,还需将测量后的数值以身高为标准计算百分比并取其平均值,也就是各主要部位相对于身高的所占比例,以此便可确定各个部位在不同模特身上的相对位置。比如,肩腰距离hsw为
式中:hsw为试验模特的肩腰距离;h为试验模特的身高;hsw0为标准欧美模特的平均肩腰距离;h0为标准欧美模特的平均身高。
2.3.2女装轮廓定位及测量
从背景中分割出来的模特图像均为着装人体,而本文的主要研究对象为服装廓形,因此,还需进一步基于着装人体提取服装轮廓,最终实现对服装廓形精准尺寸数值的提取。具体操作分为3个步骤。
1)模特身高测量。因为试验图像中的目标图像大小并不完全一致,所以需要进行身高h测量,作为后期运算的基准。
2)测量部位确定。根据计算得到的欧美女模特人体比例和实际模特身高,找到目标图像对应部位的水平位置,如图3所示。
图3 模特图像人体对应部位的服装廓形测量Fig.3 Corresponding measure points between human body and clothing silhouette. (a) Main measurement points in female body; (b) Corresponding measurement points in women′s clothing silhouette
3)相关数据测量。将分割后的模特图像进行二值化处理,并纵向划分为180等分进行逐行扫描,利用Hough变换法确定测量水平直线端点坐标,检测其长度尺寸(以像素为单位)。当扫描至测量部位时,记录该测量部位的水平宽度:肩宽Ws、腰宽Ww、臀宽Wh、膝盖宽Wk。同时,在记录数值之前需判断是否存在肤色区域:若不存在,则直接给出测量部位的服装宽度;若存在,则越过肤色区域继续往内搜索服装外轮廓,最终测量非肤色区域,即服装区域的对应部位宽度。
2.3.3特定情况下的服装廓形采集
由于服装设计的多样性以及服装展示的动态性,在对试验图像进行采集整理时发现,虽然许多服装廓形可通过上述试验方法获得,但是仍有部分款式较难被准确提取。此外,服装主要通过模特在秀场上动态展示,因此,对服装廓形的判断是基于服装穿着状态下的。虽然人体本身的立体廓形可以更直观、更准确地展示出服装设计师想要达到的廓形效果,但由于秀场图中模特处于走动状态,其肢体位置的变动会影响对服装廓形的判断。本文的试验目标是降低这些因素对服装廓形尺寸数据的影响。为此,需要指导计算机针对一些特殊情况进行更为智能的处理。
1)模特秀场图造型变换。图4示出服装廓形测量过程常见情况举例。如图所示,模特在走秀过程中姿势多变,若只测量外侧廓形将导致较大的廓形尺寸误差,因此,需要在测量前先制定智能化准则,提取上半身廓形尺寸,判断内容包括:①该水平测量部位内部是否存在空隙?②若存在,判断袖部造型宽松程度是否对服装整体廓形产生影响?③若存在,其空隙位置是单侧还是两侧?
若未满足条件①,则直接测量相应水平线上宽度,并入库;若满足条件①、②,不管空隙是单侧还是两侧,都需要在相应水平线宽度上对数据进行优化,即在测量到的外轮廓宽度上去除内部空隙的宽度,并入库,如图4(a)所示;若满足条件①,但不满足条件②时,则需再考虑条件③的满足情况,若空隙为2处,则不考虑袖部造型,直接测量空隙内部宽度数值并入库,如图4(b)所示;若空隙仅为1处,则情况较为复杂,需要在外轮廓测量的基础上减去空隙宽度以及2倍的手臂宽度,即不考虑袖部造型,如图4(c)所示。该规则同样适用于下半身不同造型条件下的廓形尺寸提取,如图4(d)所示。
2)多件式分离服装造型。如图4(e)所示,服装分为上装和下装,相互分离,且多数发生在腰部;但由于算法中已设定只测量服装部分,因此,对裸露的肌肤无法进行测量。为体现服装在立体着装造型下给人的整体廓形,无法识别到的腰部水平宽度数据用标准体型的对应数据进行计算。
3)抹胸造型。如图4(f)所示,本文设定当肩部水平处无法识别到服装宽度,即检测到肤色时,计算机自动记录胸部水平宽度数据,进入相应的数据分析流程。
4)短款造型。在廓形判断中,下装长度是非常重要的影响因素,而在判断下装长度时,是否过膝又是一个重要指标,因此,本文通过对膝盖水平处的检测识别来大概判断下装长度。如图4(g)所示:本文设定当膝盖水平处无法识别到服装宽度时,则计算机自动调用大腿中点水平宽度数据判断廓形;若大腿中点水平宽度也无法识别到,则自动调用臀部水平宽度数据,并进入相应的数据分析流程。
5)存在突变点的廓形判断。由于服装袖子、下摆等部件的影响,连续相邻的测量位置会发生数值上的突变,本文将该突变位置定义为服装廓形的“突变点(drastic change point,dc点)”,即采集的部位宽度之间无法用直线简单地将2点相连,而是几何体的拼接。图5示出服装廓形各个部位之间发生突变情况。图5(a)在胸部和腰部之间存在突变点;图5(b)在腰部和臀部之间存在突变点;图5(c)在臀部和膝盖之间存在非连续点。本文研究通过对实际服装的分析发现,存在突变点的情况并不少见,而且是否存在突变点对服装廓形的准确判断存在影响。
图5 服装廓形各个部位之间发生突变情况举例Fig.5 Drastic change point occurs in different parts of clothing silhouette. (a) Example 1; (b) Example 2; (c) Example 3; (d) Example 4
为更为准确地识别廓形,必须先判别服装廓形的连续性。本文除记录固定位置的服装廓形尺寸数据外,还需判断各个水平线之间的区域是否存在突变点,即界定相邻扫描水平线宽度数据的突变,并定义当突变值大于一定数值(本文参考维密模特平均手臂宽度)时,认为该分割造型对服装整体廓形可能产生影响;否则还是认为整体廓形连续,如图5(d)所示,虽然在袖口处有突变点,但是突变并不明显,还是认为其整体连续。当突变点发生在肩腰之间,计算机则需额外记录最宽处轮廓的水平数值Wdc-sw;当突变点发生在腰臀之间,计算机则需额外记录突变处内侧轮廓的水平数值Wdc-wh;当突变点发生在臀膝之间,计算机则需额外记录突变处内侧轮廓的水平数值Wdc-hk;计算机检测到2个或2个以上非连续部位的情况相对较为罕见,在本文中不予考虑,处理时给出提醒以供人工调整。
表1 女装廓形尺寸数据举例Tab.1 Examples of women′s clothing silhouette dimensions
注:2个关键点判断及前5项测量数据共有6种情况组合;后3项数据视实际情况而定。
2.3.4测量结果抽检校对
此环节主要校对模特在展示服装时的特殊造型所导致的误差,例如:分割后的模特手上持有道具而造成的不对称情况(如图6(a)所示);无法检测到皮肤(如图6(b)所示);模特姿势不是完全正面(如图6(c)所示);模特头部造型比较夸张(如图6(d)所示)等。针对这些少数特殊情况需要手动设置测量点,指导计算机进行数据测量与入库。
图6 需要人工校对矫正的特殊情况举例Fig.6 Special cases necessary for manual adjustment. (a) Example 1; (b) Example 2; (c) Example 3; (d) Example 4
3 智能女装廓形尺寸数据库案例分析
3.1 智能女装廓形尺寸数据库数据结构
构建智能女装廓形尺寸数据库依赖于原始图像数据库和着装人体图像数据库,如图7所示。本文给出一种智能女装廓形尺寸数据库的实现方法。
图7 各个数据库数据结构Fig.7 Structures of three databases
针对每个来自于着装人体图像数据库的数据,本文方法可以优先判断2个关键点:是否为抹胸造型(是:记录100;否:记录0)、下摆是否过膝(是:记录0;过大腿中点:记录100;齐臀:记录200);同时记录8个测量点:身高h、肩宽Ws或者胸宽Wb、腰宽Ww、臀宽Wh、膝宽Wk或者大腿中点宽Wt、肩腰处突变值Wdc-sw、腰臀处突变值Wdc-wh、臀膝处突变值Wdc-hk。其中,前5个测量点共有6种组合情况(见表1),后3个测量点则需根据判定规则进行判断,若有突变点,则记录相应数值,没有则缺省。
3.2 智能女装廓形尺寸数据库案例
本文以5张女装秀场静态图片为例,先将目标人体从背景中分割出来建立着装人体图像数据库,然后再进行廓形尺寸测量,图8示出基于模型的人体分割案例。本文对已有的测量方法进行了优化改良,克服了人体肌肤、图像背景、廓形不连续等因素对服装廓形测量的影响。图8中的5张图片最终转化为5组计算机数值入库,如表2所示。表中数值为计算机测量后获得的相应位置的水平宽度(以像素为单位)。其中,举例用的5件服装中没有出现在腰臀处和臀膝处有突变点的情况,故Wdc-wh、Wdc-hk2列为空。
图8 基于模型的人体分割举例Fig.8 Human body segmentation based on MAP model. (a) Example 1; (b) Example 2; (c) Example 3; (d) Example 4; (e) Example 5
表2 案例图片入库信息Tab.2 Clothing silhouette dimensions for sample models
4 结束语
利用人体分割技术提取秀场女装图像中的目标人体,在此基础上确定人体影响服装廓形的关键部位,可准确地在服装廓形上找到对应的测量点进行数据提取,并针对可能出现的特殊情况予以处理,确保测量数据的有效性。提取完成的女装廓形尺寸数据库其意义在于2方面:一方面将服装廓形进行量化表述,服装廓形一旦量化后可进行一系列的数值计算,如服装廓形判断、服装廓形趋势等,因此,服装廓形基础尺寸数据库的构建是所有服装廓形研究的基础;另一方面,提出了将服装廓形量化表述的具体方法和流程,适用于大部分女装廓形的尺寸提取,可推广到国内外各个女装品牌的廓形研究中,不断扩大的数据库还可结合大数据计算,深入对女装廓形基础尺寸数据进行挖掘,发现数据中所承载的有效信息。
在信息时代的今天,基础数据的研究至关重要。本文旨在提出了一种基础的数据库构建方法和流程,在此基础上后续有众多研究方向,例如:可在本文构建的廓形尺寸数据库基础上对女装廓形进行智能识别,并对廓形趋势进行预测;可在女装廓形尺寸数据库构建方法的基础上对男装廓形进行研究;可扩大数据量对数据库进行数据挖掘,深入研究女装廓形等。
[1] 李春晓,蔡凌霄. 时尚设计·服装[M]. 南宁:广西美术出版社,2006: 8-15.
LI Chunxiao, CAI Lingxiao. Fashion Design·Apparel[M]. Nanning: Guangxi Fine Arts Publishing House, 2006: 8-15.
[2] 陶晨, 段亚峰, 印梅芬. 服装廓形的识别与量化[J]. 纺织学报, 2015, 36(5):79-82.
TAO Chen, DUANG Yafeng, YIN Meifen. Identification and quantification of apparel silhou-ette[J]. Journal of Textile Research, 2015, 36(5): 79-82.
[3] HU Z, YAN H, LIN X. Clothing segmentation using foreground and background estimation based on the constrained delaunay triangulation[J]. Pattern Recognition, 2008, 41(5): 1581-1592.
[4] 魏芬, 刘建平, 徐松松,等. 基于多特征值的服装检测与识别算法[J]. 实验室研究与探索, 2016, 35(5): 118-122.
WEI Fen, LIU Jianping, XU Songsong, et al. Research on clothing detection and recognition algorithm based on characteristic values[J]. Research and Exploration in Laboratory, 2016, 35(5): 118-122.
[5] 安立新. 服装款式图提取及其模式识别的研究[D]. 上海:东华大学, 2015: 21-40.
AN Lixin. Study on extraction and pattern recognition of fashion flat sketches[D].Shanghai: Donghua University,2015: 21-40.
[6] MORI G, REN X, EFROS A A, et al. Recovering human body configurations: combining segmentation and recognition[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]:IEEE, 2004:326-333.
[7] FELZENSZWALB P F, HUTTENLOCHER D P. Pictorial structures for object recognition[J]. International Journal of Computer Vision, 2005, 61: 55-79.
[8] HU Z, WANG G,LIN X, et al. Recovery of upper body poses in static images based on joints detection[J]. Pattern Recognition Letters, 2009, 30(5): 503-512.
[9] BOYKOV Y Y. Interactive graph cuts for optimal boundary & region segmentation of objects in n-d images[C]//JOLLY M P. 8th IEEE International Conference on Computer Vision. Los Alamitos: IEEE Computer Soc, 2001:105-112.
[10] VIOLA P. Rapid object detection using a boosted cascade of simple features[C]//JONES M. 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Soc, 2001: 511- 518.
[11] VIOLA P, JONES M. Robust real-time face detec-tion[J]. International Journal of Computer Vision, 2004, 57(2):137-154.
[12] LEE M W. Proposal maps driven MCMC for estimating human body pose in static images[C]//COHEN I. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Soc, 2004: 334-341.
[13] LEE M W. Human upper body pose estimation in static images[C]//COHEN I. 8th European Conference on Computer Vision. Berlin: Springer-Verlag, 2004:126-138.
[14] 李石峰. 静态图像人体分割算法的研究[D]. 大连:大连理工大学, 2012: 39-60.
LI Shifeng. Research on human body segmentation in static images[D]. Dalian: Dalian University of Technology, 2012:39-60.
[15] 刘晓刚,崔玉梅.基础服装设计[M]. 上海:东华大学出版社, 2008: 134-140.
LIU Xiaogang, CUI Yumei. Basic Apparel Design[M].Shanghai: Donghua University Press, 2008: 134-140.
[16] 张文斌.服装结构设计[M]. 北京:中国纺织出版社,2006: 30-33.
ZHANG Wenbin. Pattern Making for Fashion Design[M].Beijing: China Textile & Apparel Press, 2006: 30-33.
[17] 李振才.人体造型解剖[M]. 济南:山东美术出版社,2001:5-10
LI Zhencai. Human Anatomy[M].Ji′nan: Shangdong Fine Arts Publishing House, 2001: 5-10