基于照片序列的织物悬垂形态重建及测量

胡 堃,毋 戈,钟跃崎,b

(东华大学 a. 纺织学院;b. 纺织面料技术教育部重点实验室,上海 201620)

基于照片序列的织物悬垂形态重建及测量

胡 堃a,毋 戈a,钟跃崎a,b

(东华大学 a. 纺织学院;b. 纺织面料技术教育部重点实验室,上海 201620)

现有织物悬垂性能的测试多局限于二维尺度,不能直观地反映织物的三维外观形态.提出了一种简单有效的织物悬垂测试方法,能够基于普通智能手机后置摄像头采集的照片序列重建织物悬垂的三维彩色模型,并且通过点云和图像处理技术提取出织物的悬垂性能指标.试验结果表明,基于照片序列的建模方法能够有效应用于不同花纹、颜色织物的三维悬垂形态重建,其测量结果与传统方法之间具有高度相关性,能够满足多数织物悬垂性能表征的需要.

织物悬垂;特征点提取;照片序列;三维重建;悬垂测量

织物悬垂性是指织物因自身重量而下垂的性能,它是影响织物视觉风格和舒适性诸多因素中最重要的因素之一,关系到织物实际使用时能否形成优美的曲面造型和良好的贴身性,这将直接对面料的档次、价位以及服装设计师的选料与否造成很大影响.对织物悬垂性能的评价,包括织物悬垂程度和悬垂形态两方面.悬垂程度主要是指织物在自然下垂稳定之后其曲面下垂程度的大小,而悬垂形态主要是指织物悬垂曲面的三维外观形态[1].

20世纪30年代,文献[2]首次提出了使用悬臂梁法测量织物的弯曲性能,并以弯曲性能间接表征织物的悬垂性能.进入50年代,研究者第一次采用光电投影的原理设计并制作了FRL(fabric research laboratory)悬垂性测试仪[3].在此基础上,随着计算机技术的进步,学者们逐渐开始采用图像处理技术对织物悬垂性进行测量,并开发出一系列织物悬垂测量仪[4-6].但是,这些仪器大都采用投影测量原理,仅能给出悬垂系数、波纹数、波峰夹角等少量二维图像指标,并不能全面地反映织物的三维悬垂形态.

织物三维悬垂形态重建和测量的研究目前还处于探索阶段.文献[7]根据图像畸变原理,采用单个CCD相机对织物悬垂表面进行三维重建,但该方法对织物位置和悬垂形态都有较高的要求,实用性不强.文献[8-9]基于结构光原理开发的三维悬垂仪,虽能反映织物的三维信息,但是其操作复杂、步骤繁琐,且没有给出织物的三维模型.文献[10]尝试采用Kinect深度相机对织物的悬垂形态进行三维重建,虽能获取较好的悬垂模型,但由于其采用的Kinectfusion算法对计算机显卡性能要求较高,不利于实际应用.

本文提出了一种基于照片序列对织物三维悬垂形态进行重建和测量的方法,不需要复杂的设备,仅采用一般智能手机摄像头便可完成数据的采集,重建过程简单稳定,重建结果的精度较高,能够真实完整地反映出织物的三维悬垂形态.本文所用方法的流程如图1所示.

图1 本文所用方法的流程图Fig.1 Flow chart of the new method

首先对自制悬垂仪上的织物进行拍照以得到其照片序列,其次基于照片序列重建织物三维悬垂模型,最后基于三维悬垂模型提取悬垂参数.其中,三维重建需要先提取各张照片上的特征点并进行特征点匹配,再通过匹配点之间的几何关系计算并优化点云坐标,继而对获取的点云进行表面重建及纹理贴图,以得到最终的三维悬垂模型.悬垂参数提取则按照模型坐标系转换、投影轮廓提取和悬垂参数计算的步骤进行.

1 试 验

1.1 试验设备

为便于数据采集,本文设计制作了织物悬垂仪,如图2(a)所示. 其尺寸严格按照XDP-1型织物悬垂仪制作,顶盘和托盘直径均为12 cm.为实现顺利建模,顶盘表面采用花色纹理图案.为实现中心点自动检测和尺寸测量,在顶盘上方安装一个6 cm×4 cm的棋盘.棋盘方格边长为1 cm,棋盘中心与顶盘中心重合.测试时,织物居中放置于托盘和顶盘之间,如图2(b)所示.

(a) (b)图2 自制织物悬垂仪Fig.2 Self-made drapeometer

1.2 试样准备

为探索方法的有效性,本文选取了悬垂性能各异的10种花色织物和5种纯色织物进行试验,并依据GB/T 23329—2009《纺织品织物悬垂性试验方法》的规定,将这些织物裁剪成直径为24 cm的圆形试样.试验前,所有试样都按照GB/T 6529—2008《纺织品调湿和试验用标准大气》进行预调湿处理.

1.3 照片序列采集

本文采用智能手机的后置相机(HUAWEI P6,分辨率800万像素)对试样进行拍照.织物试样摆放在织物悬垂仪上,相机分别沿上、下两个环形轨迹移动并对试样进行拍照,如图3所示.上环轨迹在织物正上方,下环轨迹与织物悬垂底边平齐,拍摄时要求织物图像完整且尽量占满照片,相机移动角度尽量均匀且不超过30°.一般情况下,上环轨迹拍15～20张,下环轨迹拍20～30张.鉴于照片数量与织物照片的纹理复杂程度相关，因此据经验观察，花型较为复杂的织物，其完成建模所需拍摄的照片数量有减少的趋势.

图3 照片采集示意图及照片序列Fig.3 Image acquisition and image sequences

1.4 悬垂模型三维重建

1.4.1 特征点提取和匹配

基于照片的三维重建,其特征点提取主要是利用尺度不变特征转换(SIFT)算法[11].由于本文还涉及对模型进行坐标转换和顶盘中心自动定位,故在SIFT算法的基础上引进了Harris算法[12]联合提取特征点,如图4所示,其中,星形点为SIFT特征点,而圆形点为Harris特征点.在提取所有照片上的特征点后,利用搜索最邻近点算法[13]进行特征点匹配,从而为下一步点云坐标计算建立几何关系.

图4 SIFT和Harris算法联合的特征点检测Fig.4 Feature points detection of SIFT combined with Harris algorithms

1.4.2 计算点云坐标

本文采用SFM(structure from motion)算法[14]计算点云坐标.SFM算法是当前基于照片三维重建中效果最好的算法之一,不仅易于实现,而且具有计算效率高、鲁棒性强、对计算机性能要求低等特点.根据针孔摄像机模型,如图5所示,照片上的二维点p=[u0,v0]T与其对应的三维点Pw=[X,Y,Z]T间的关系为

p=K[R|t]Pw

(1)

图5 针孔摄像机模型Fig.5 Pinhole camera model

其中: [R|t] 为相机的外参矩阵,表示相机在世界坐标系中的位置;K为相机的内参矩阵,为摄像头固定参数.当使用同一台相机在不同位置拍摄同一固定物体时,物体上相同的一点Pw在两张照片中对应点p1和p2的关系为

(2)

其中: 基础矩阵F=K-TEK-1=K-T[t]×RK-1有7个自由度,可以通过代入8 个点求解线性方程求得.由于相机内参矩阵K可以由摄像头硬件信息估计,因此，R和t分别可以通过对本质矩阵E进行奇异值分解[15]得到.采用上述算法求出所有照片两两之间的外参矩阵，并将其归一到同一世界坐标系下,即可计算出特征点点云坐标.由于上述方法的内参矩阵是估计得到的,因此最终结果并不精确.为了提高精度,还需要采用BA(bundle adjustment)算法[16]来进一步优化,其表达式为

(3)

1.4.3 表面重建及纹理贴图

经过上述计算可以得到织物的稀疏三维点云,为了便于观察和测量,本文利用开源软件Meshlab[17]对织物进行表面重建和纹理贴图,重建过程及最终效果如图6所示.

图6 三维重建过程及效果Fig.6 Process and result of 3D reconstruction

1.5 坐标系转换

得到悬垂模型后,为方便数据处理和参数提取,需将标定坐标系XCYCZC下三维悬垂数据转换到建立的悬垂坐标系XDYDZD下,如图7(a)所示.由于XCO1YC平面和标定棋盘平行,故可以利用标定棋盘的平面法向量计算标定坐标系到悬垂坐标系的转换关系,计算步骤如下:

(1) 根据图像中棋盘格角点坐标索引出其在点云模型中对应的三维角点坐标,因为棋盘角点对称分布,故顶盘中心即为这些三维角点的中心点O1,如图7(b)所示;

(3) 将O1点平移到坐标原点得到变换矩阵T1;

(4) 将O1P1绕YD轴顺时针转θy,与YDO0ZD平面重合,得到变换矩阵T2;

(5) 将O1P1绕XD轴顺时针转θx,与ZD轴重合,得到变换矩阵T3;

(6) 从标定坐标系到悬垂坐标系的转换矩阵T=T1×T2×T3.

图7 坐标系转换Fig.7 Conversion of the coordinates

1.6 悬垂模型投影轮廓提取

为了与已有的悬垂系数计算方法相比对,将模型转换到悬垂坐标系后,通过点云投影提取出模型在XDO0ZD平面上的投影轮廓以计算织物悬垂参数,具体步骤如下:

(1) 将模型顶点投影在XDO0ZD平面上;

(2) 将上述平面点云按坐标索引规整化为二值图像,如图8(a)所示;

(3) 对图8(a)进行去噪、膨胀和轮廓提取,结果如图8(b)所示.

1.7 悬垂参数的提取

在1.5节中已经获取了三维模型上棋盘格角点坐标,可以计算棋盘格在点云模型中的面积SVC.由于棋盘格的真实面积SRC是确定的,因此投影轮廓的真实面积SRS可由图8(b)中的轮廓面积SVS算得:

(4)

由于顶盘中心点坐标和棋盘格中心角点坐标重合,因此,可以计算得到轮廓线各点到中心点的距离R.将结果按轮廓线顺时针方向依次绘制后可得到如图9所示的波形图,横坐标n为轮廓线采样点的个数,对其采用文献[18]中的波形分析方法即可提取出波峰、波谷、波形个数等所需悬垂参数.

图8 悬垂模型投影轮廓提取Fig.8 Extraction of the model’s projecting contour

图9 悬垂投影轮廓信息的获取

2 结果与讨论

2.1 重建效果

采用本文方法对所有试样进行三维重建后都取得了较好的效果.限于篇幅这里只选取6个试样进行展示,如图10所示,各组图片中的左图为试样悬垂照片,右图为其重建模型截图.其中,为增加纯色织物的表面特征,在不影响悬垂性的情况下,本文采用记号笔在其表面绘制了间距为3 cm的网格,如图10(e)和10(f)所示.

图10 织物试样悬垂三维重建效果Fig.10 Effect of the 3D reconstructions of the fabrics

2.2 重建精度

为了评估本文重建方法的精度,这里采用Kinect相机(误差<1 mm)[19]进行了扫描对比试验,具体过程如下:

(1) 采用本文方法对一种织物试样进行悬垂模型重建;

(2) 采用Kinect相机对相同织物试样进行悬垂模型扫描重建;

(3) 利用最近点迭代算法(ICP)[20]将两个模型进行匹配;

(4) 以扫描模型为参照,计算本文重建模型上每一个点和扫描模型上最近点之间的欧氏距离,结果如图11所示.

由图11可以看出,本文重建模型和扫描模型之间的最大误差约为3.36 mm,平均误差为0.800 mm,标准偏差为0.384 mm,重建模型95%以上数据的误差小于1.50 mm.

图11 重建模型和扫描模型间的误差(单位: mm)Fig.11 Errors between the reconstructed drape and the scanned drape (unit: mm)

2.3 悬垂模型测量结果

根据试验提取出的投影轮廓线参数,可以计算出织物模型的悬垂参数[10],结果如表1所示.

表1 基于三维重建模型的织物悬垂测量结果
Table 1 Results of the drape parameters of fabrics based on the 3D reconstructed models

编号悬垂系数/%波峰数/个最大波峰幅值/mm最小波峰幅值/mm波峰幅值CV值/%最大波峰夹角/(°)最小波峰夹角/(°)波峰夹角CV值/%158.53653.0048.411.475.0226.9233.9272.07459.4353.501.673.0035.6927.5370.23459.8250.842.7100.4516.4341.8460.38558.0243.834.397.1550.2121.2551.46758.305.9120.880.1212.6958.3655.58555.8748.022.4106.4334.7536.8765.20556.8244.023.257.1844.5025.8874.33660.9852.572.4133.0236.1254.1964.82653.9249.571.878.7346.3218.31066.38755.1247.522.578.1221.3438.31159.87557.4945.023.691.7243.0624.31258.94560.1846.603.8101.4042.5327.11381.11657.5250.182.087.0830.2336.21482.28558.4755.311.0106.8734.9238.31552.85649.6220.4511.791.3220.4339.4

2.4 相关性分析

为了验证上述方法所测悬垂系数的准确性,本文用XDP-1型织物悬垂仪对相同的15个试样进行了测试,并将其结果与表1中的悬垂系数进行相关分析,结果如表2和图12所示.

表2 相关性分析结果
Table 2 Result of the correlation analysis

相关性仪器悬垂系数重建模型悬垂系数仪器悬垂系数相关系数10.988*显著性(双侧)0N1515重建模型悬垂系数相关系数0.988*1显著性(双侧)0N1515

注：* 表示在 0.01 水平(双侧)上显著相关.

图12 相关性散点图Fig.12 Scatter plot of the correlation

由表2可见,仪器悬垂系数与重建模型悬垂系数之间的相关系数为0.988,显著性(双侧)值为0,说明两者高度相关.从图12中也可以直观看出,两者间存在着高度的线性相关性,其回归方程为y=1.025x-5.081.

3 结 语

本文提出了一套基于照片序列对织物三维悬垂形态进行重建和测量的完整方法,其操作简单、方便.通过试验和分析得到以下主要结论:

(1) 利用智能手机拍摄的照片序列在一般计算机上即可以稳定地对织物悬垂形态进行三维重建;

(2) 通过联合SIFT和Harris算法进行角点检测,可以准确地找到悬垂顶盘圆心坐标及其法向量,并完成悬垂模型的坐标转换;

(3) 本文提出的方法不仅能够得到与传统悬垂参测试方法高度一致的测量结果,而且能完整准确地获取织物的三维悬垂形态,为进一步表征织物悬垂提供了新思路.

[1] 纪峰,李汝勤,郭永平,等. 织物悬垂性研究的追踪与展望[J]. 纺织学报,2003,24(1): 72-74.

[2] PEIRCE F T. 26—The “handle” of cloth as a measurable quantity[J]. Journal of the Textile Institute Transactions,1930,21(9): 377-416.

[3] CHU C C,CUMMINGS C L,TEIXEIRA N A. Mechanics of elastic performance of textile materials Part V: A study of the factors affecting the drape of fabrics—The development of a drape meter[J]. Textile Research Journal,1950,20(8): 539-548.

[4] 吴胜君. YG811 型织物悬垂仪数字处理系统的研制[J]. 毛纺科技,2001 (3): 54-55.

[5] 徐军. 织物伞式悬垂客观评价的研究：静态悬垂,动态悬垂与服装美感[D]. 上海：中国纺织大学纺织学院,1996.

[6] 黄新林,李汝勤. 织物悬垂性图像测试方法[J]. 纺织学报,2006,27(11): 14-19.

[7] 李强,过玉清. 基于 Labview 织物悬垂性测试及三维重建系统[J]. 仪器仪表与分析监测,2007 (1): 15-17.

[8] 王寿兵,周华,沈毅,等. 基于光栅成像的织物悬垂三维形态重建算法[J]. 工程图学学报,2008,29(2): 136-141.

[9] 陈明,周华,杨兰君,等. 织物三维悬垂形态测试指标与三维重建[J]. 纺织学报，2008,29(9):51-55.

[10] 沈伟,任静,周华,等. 基于 Kinect 传感器的织物悬垂性测试[J]. 浙江理工大学学报,2014,31(3): 306-309.

[11] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004,60(2): 91-110.

[12] 侯建辉,林意. 自适应的 Harris 棋盘格角点检测算法[J]. 计算机工程与设计,2009,30 (20): 4741-4743.

[13] ARYA S,MOUNT D M,NETANYAHU N S,et al. An optimal algorithm for approximate nearest neighbor searchingfixed dimensions[J]. Journal of the ACM,1998,45(6): 891-923.

[14] AGARWAL S,FURUKAWA Y,SNAVELY N,et al. Building Rome in a day[J]. Communications of the ACM,2011,54(10): 105-112.

[15] 李金岭. SVD 算法简介与模拟数据检验[J]. 中国科学院上海天文台年刊,1998(19): 16-21.

[16] WU C,AGARWAL S,CURLESS B,et al. Multicore bundle adjustment[C]//Computer Vision and Pattern Recognition (CVPR),2011 IEEE Conference on. 2011: 3057-3064.

[17] CIGNONI P,CORSINI M,RANZUGLIA G. Meshlab: An open-source 3D mesh processing system[J]. Ercim News,2008,73: 45-46.

[18] 毋戈. 束纤维拉伸中的声与断裂力学的原位表征[D]. 上海:东华大学纺织学院,2013.

[19] IZADI S,KIM D,HILLIGES O,et al. KinectFusion: Real-time 3D reconstruction and interaction using a moving depth camera[C]//Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology. 2011: 559-568.

[20] BESL P J,MCKAY N D. Method for registration of 3-D shapes[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,1992,14(2): 239-256.

Reconstruction and Measurement of Fabric Drape Based on Image Sequences

HUKuna,WUGea,ZHONGYue-qia,b

(a. College of Textiles;b. Laboratory of Textile Science &Technology,Ministry of Education,Donghua University,Shanghai 201620,China)

Most of the existing fabric draping tests are confined to the two-dimensional(2D) properties,which can not reflect the three-dimensional(3D) appearance of fabrics directly. A simple and useful method is proposed to obtain 3D colored drape models using image sequences collected by the camera of a smart phone. Moreover,the parameters of the drape configuration can be extracted according to the points cloud of the fabric and image processing techniques. Experiment results demonstrate that the 3D fabrics drape with various patterns and colors can be reconstructed through the proposed method effectively. The measured results have a high correlation with the traditional method,which indicates that,this method can be applied for the characterization of the drape of most fabrics.

fabric drape;feature points extraction;image sequence;3D reconstruction;drape measuring

1671-0444 (2016)05-0674-07

2015-06-15

上海市自然科学基金资助项目(14ZR1401100)

胡 堃(1992—)，女，湖北天门人，硕士研究生，研究方向为纺织服装面料三维重建及应用. E-mail: hukun610@163.com 钟跃崎(联系人)，男，教授，E-mail：zhyq@dhu.edu.cn

TS 101.8

A