三维人体扫描系统的研究及其应用

刘烈金,梁 晋,尤 威,梁 瑜

(1.西安交通大学 机械工程学院,机械制造系统工程国家重点实验室,陕西 西安 710049;2.广东顺德西安交通大学研究院,广东 佛山 528300)



三维人体扫描系统的研究及其应用

刘烈金1,2,梁 晋1,2,尤 威1,2,梁 瑜1,2

(1.西安交通大学 机械工程学院,机械制造系统工程国家重点实验室,陕西 西安 710049;2.广东顺德西安交通大学研究院,广东 佛山 528300)

为了快速捕获人体的三维信息,获得高质量的三维彩色点云数据,研制了XTBodyScan型三维人体扫描系统.详细阐述了系统的工作原理,并分析设计了系统的相关软、硬件方案.设计了一种主动散斑投射器,解决了扫描时间长的问题,扫描仅需0.25 ms,大大降低了扫描时人体晃动引起的误差.使用滚球法实现三维人体点云融合,精度可达0.5 mm,与真实人体三维信息吻合,不存在模型失真问题.最后介绍了该系统的应用实例,产品中人体模型真实,颜色分明,进一步验证了系统的高效实用性.

人体扫描; 散斑; 点云融合; 滚球法

半导体光电器件的飞速发展促进了计算机视觉技术越来越广泛的应用.而三维光学测量不仅仅是对工业零部件的测量,已经对人体测量提出了迫切的要求.三维人体扫描技术作为其新兴的代表,在体型测量、服装、医学、影视游戏、虚拟现实、激光内雕、3D打印等行业得到领先应用.按目前国内外的研究现状,三维人体扫描仪按光源来分有激光、红外、普通白光,按扫描方式也分主动式和被动式.先进的三维人体扫描系统有德国的Anthroscan Bodyscan彩色三维人体扫描仪,美国的3dMD三维立体成像系统[1-3].本文介绍的是自主研发的XTBodyScan三维人体扫描系统,摒弃了矩形光栅投影扫描方式[4],采用对人体无害的普通白光,散斑投射的主动扫描方式,1 s内完成扫描,最大限度降低了人体晃动产生的误差,精度可达0.5 mm.系统一次扫描获得30万个左右点云数据,接着自动化完成点云数据的三角化而重建人体模型,彩色相机采集的照片完成纹理贴图,得到三维彩色人体模型.

1 系统工作原理与方案设计

1.1 系统工作原理

在第一次扫描之前,需要使用高精度标定板对XTBodyScan型三维人体扫描系统进行标定,以获得相机的内外参数(内参包括各相机的焦距、主点坐标和各种畸变参数,外参数指各个相机坐标系之间的旋转矩阵R和平移矩阵T).此过程原理是使各个相机坐标系通过算法旋转和平移到统一世界坐标系中,在点云数据生成后,就不再需要数据配准过程,直接就在同一坐标系下生成三维模型.标定成功后进行扫描,具体工作原理是:扫描时各视角散斑投射器向人体全身投射散斑,所有黑白相机此时采集相应的带有散斑的人体图片,然后彩色相机采集真实人体图片.相机采集的深度图像经过坐标转换计算为点云,利用数字图像相关法[5]和双目立体视觉技术[6]分别完成图像匹配和点云三维重建,再使用彩色照片进行点云纹理贴图,得到三维彩色人体模型.

1.2 系统方案设计

系统总体设计如图1所示,总共由9组测量头组成,位置分布为:正前方一组测量头,其余8个测量头分别安装在4根立柱上,立柱摆放在4 m×3 m长方形的4个角的位置,每根立柱上、下各有一组测量头.

图1 三维人体扫描系统设计Fig.1 Design of 3D body scan

立柱测量头设计有A型和B型,如图2所示.立柱下测量头采用A型,上测量头采用B型.

A型和前测量头则由2个黑白相机、1个彩色相机和1个散斑投射器组成.B型测量头由2个黑白相机、1个彩色相机和2个散斑投射器组成.综上,系统共有13个散斑投射器、27个相机对人体全身进行采集,数据采集完整.系统还包括1个控制箱、1台高性能计算机和1台宽屏LED电视显示屏.

图2 测量头设计Fig.2 Design of measurement head

2 系统关键技术

2.1 主动散斑投射器设计

设计了一种散斑投射器,如图3所示(图中,f0是前菲涅尔镜焦距,f1是后菲涅尔镜焦距,f2是镜头到霸面距离).

从LED光源发射的光线通过一个聚光透镜汇聚成具有一定角度的发散光束,然后通过一个前菲涅尔螺纹透镜,将发散的光束变成平行光,平行光通过散斑片后再通过后再菲涅尔镜片,将平行光重新汇聚,经过镜头,在镜头中的焦距的焦点位置汇聚,最后投射到人体身上.这种投射原理,能够使投射的散斑图案在大幅面下保持均匀亮度和较高的清晰度,极大方便了后续的特征点搜索,使匹配率大大提高.该投射器中使用了菲涅尔镜片,其功能类似凸透镜,能进行发散光和平行光之间的转换.但因为凸透镜的透光性不如菲涅尔镜,且体积较大,规格难于控制,所以最终选择菲涅尔镜片.

图3 散斑投射器工作原理图Fig.3 Working principle of speckle projector

而散斑片制作需要一个模板,这个模板通过计算机生成散斑矢量图,然后使用激光刻蚀方法制成带有散斑图案的透光模板.具体分为:①设置光源.在图像范围内随机放置N个虚拟光源,光源强度和位置随机.②生成灰度图像.图像上每个像素点的灰度值是所有光源共同影响的结果,具体表达式为

(1)

式中:g(x,y)为像素灰度值;ki为每个光源的亮度,为0～255的随机数;(x,y)是像素坐标;(sxi,syi)是每个光源的位置,也为随机数;σ是光强因子,一般在1～10之间.为了得到像素级的随机斑,光源的个数N一般是图像宽度的2～3倍.③进行图像二值化.对图像中大于128的像素点全置为255,其余置为0,得到黑白双色图像.④矢量化.对二值化的图像逐行扫描,将所有连通的白色区域连接为矩形单元,最终整幅矢量图由H(图像高度)层微小矩形堆积而成.图4是投射效果图,可以看出该图案总体亮度均匀且清晰.

图4 散斑投射效果Fig.4 Result of speckle projector

2.2 点云融合技术

三维人体扫描系统的一大特点就是数据量庞大,因此三维点云融合必须满足大数据量点云快速、准确和高效的融合需求.点云融合是去除重叠区域得到单层的、完整的点云模型的过程.点云融合技术一直是点云预处理技术中的难点,对于这方面的研究,经典的有delaunay 三角网格化方法[7-8],TURK等[9]提出了基于深度图像缝合多边形网格的方法,本系统使用的是滚球法,由BERNARDINI等[10]提出.此方法将网格化的过程和去除冗余点结合在一起,大大提高了效率.滚球法原理如图5所示.该方法的算法组织如下:首先定义滚动球的合适半径,并选定一个三角形或边界边作为基准,其次滚动球沿边界边滚动,如果有3个点(其中包括滚动球所在边上的两个端点)落入滚动球内,那么把这3个点连接成一个新三角形.接着检查这3个点的法向量是否一致,如果3个点之间的法向量的夹角均小于180°,那么认为它们是一致的,可以构成三角形,否则这3个点不可以构成三角行,应该去掉.最后一步是更新边界边链表,让滚动球沿着新边继续前面的步骤,直至所有的点被处理完成为止.

图5 滚球法原理Fig.5 Principle of ball-pivoting

3 扫描试验及应用实例

3.1 扫描试验

扫描人体前,需要进行相机标定以获得相机的内外参数.系统采用27个工业CCD相机,对粘贴编码点的标定板采集进行相机标定.标定是基于摄影测量多目相机标定[11],因为标定前使用XJDP摄影测量系统已经得到标志点的准确三维坐标.标定成功后,新建一个工程,然后扫描.对人体扫描后,初始的三维彩色点云数据如图6.由于非接触式扫描的特点,从图中可以看出,除了部分光线没有照射到的地方出现了洞外,其余数据总体完整,颜色真实,得到了较高质量的三维彩色人体模型.接下来导出数据,本系统设计兼容性高,支持asc,stl,obj等格式.

3.2 应用实例

经过点云数据处理[12]之后,其中的应用之一是人体水晶雕刻,即用一个水晶玻璃材质的模型,通过激光雕刻机在水晶玻璃内打点来完成雕刻.人体水晶产品源于不同人的点云数据,满足个性化需求,可以作为工艺品来收藏,广受大众的喜爱.此外,水晶玻璃内除了雕刻人体模型,还可以辅助雕刻文字、图片背景等,可以灵活地满足大众的个性化需求.如图7a是半身人体水晶雕刻品,图7b是全身人体水晶雕刻.这里用的是50 mm×50 mm×80 mm尺寸的水晶,由于雕刻原理是在水晶玻璃里激光打点,颜色为白色,因此在其下面加上灯座,能更好地展示效果.

图6 三维彩色点云模型Fig.6 Colour model of 3D point cloud

图7 人体水晶雕刻Fig.7 Crystal engrave the body

另一个应用实例是使用三维人体扫描数据处理后用于3D打印(图8),用彩色打印机打印模型,材料使用的是石膏.其他应用如建立人体尺寸数据库,进行服装虚拟试衣.三维人体点云重建,可以完成虚拟现实中的人物场景重现,这在影视游戏、医学虚拟手术方面可以展开应用.

4 结论

XTBodyScan型三维人体扫描系统设计了主动式散斑测量方法,对硬件和算法进行了研究,扫描可以得到让人总体满意的三维彩色模型.但仍然存在一些问题,例如光线测量不到的部位会造成数据缺失,形成孔洞,在算法方面还需进一步改进.三维人体扫描技术是一门新兴的技术,在服装业、影视游戏、医疗、3D打印、激光内雕等领域还有很大的潜在应用价值.

图8 3D打印人体Fig.8 3D print the body

[1] FREDRIK N,RUTH F,BURKHANDT S,et al.The 3dMD photogrammetric photo system in cranio-maxillofacial surgery:validation of interexaminer variations and perceptions[J].Journal of Cranio-Maxillo-Facial Surgery,2015,43(9):1798-1803.

[2] CHENZ C,MOHAMMAD N A,JESUS A L,et al.Precision of three-dimensional stereophotogrammetry(3dMD) in anthropometry of the auricle and its application in microtia reconstruction[J].Journal of Plastic Reconstructive & Aesthetic Surgery,2015,68(5):622-631.

[3] 沈舜尧,辛鹏飞,代杰文,等.3dMD摄影测量系统在半侧颜面短小诊断中的初步应用[J].口腔颌面外科杂志,2012,22(4):261-264.

SHEN S Y,XIN P F,DAI J W,et al.Application of 3dMD photogrammetric system for classification of hemifacial microsomia:a pilot study[J].Joumal of Oral and Maxill of acial Surgery,2012,22(4):261-264.

[4] 杨亮.光栅式三维人体扫描系统的设计与实现[D].大连:大连理工大学,2006.

YANG L.The design and implementation of 3D body scan system[D].Dalian:Dalian University of Technology,2006.

[5] SUTTOM M A.Digital image correlation for shape and deformation measurements[M].New York:Springer,2008:65-600.

[6] 隋婧,金伟其.双目立体视觉技术的实现及其进展[J].电子技术应用,2014,30(10):4-12.

SUI J,JIN W Q.The implementation and progress of stereo binocular vision technology[J].Application of Electronic Technique,2014,30(10):4-12.

[7] WATSOND F.Computing the n-dimensional delaunay tessellation with application to Voronoi polytopes[J].The Computer Journal,1981,24(2):167-172.

[8] GOPI M,KRISHAN S,SILVA C.Surface reconstruction based on lower dimensional localized delaunary triangulation[M].Oxford:Blackwell Publishers Ltd,2000:467-478.

[9] TURK G,LEVOY M.Zippered polygon meshes from range images[C]//Proceedings ACM SIGGRAPH 94,New York:ACM,1994:311-318.

[10] BERNARDINI F,MITTLEMAN J,RUSHMEIER H,et al.The ball-pivoting algorithm for surface reconstruction[J].Visualization & Computer Graphics IEEE Transactions on,1999,5(4):349-359.

[11] 胡浩,梁晋,唐正宗,等.大视场多相机视频测量系统的全局标定[J].光学精密工程,2012,20(2):369-378.

HU H,LIANG J,TANG Z Z,et al.Global calibration for muti-camera videogrammetric system with large-scale field-of-view[J].Optics and Precision Engineering,2012,20(2):369-378.

[12] 龚建江,王国光,燕樟林,等.三维激光扫描点云数据处理技术及其应用[J].水力发电,2014,40(8):82-85.

GONG J J,WANG G G,YAN Z L,et al.Processing technologies of point cloud data obtained by 3D laser scanner and its application in engineering[J].Water Power,2014,40(8):82-85.

Research and application for 3D body scanning system

LIU Liejin1,2,LIANG Jin1,2,YOU Wei1,2,LIANG Yu1,2

(1.State Key Laboratory for Manufacturing Systems Engineering, School of Mechanical Engineering, Xi’an JiaotongUniversity，Xi’an 710049,Shangxi,China; 2. Guangdong Shunde Xi’an Jiaotong University Academy，Foshan 528300,Gungdong,China)

In order to rapidly acquire 3D body information and high-quality colored 3D body point cloud, the 3D body scanning system is first designed.Then,the principle,together with relevant software and hardware solutions, is postulated in details. Next, the speckling projection technology is applied with the scanning time of 0.25 ms,whereas the error is significantly reduced with body shaking. By employing the ball-pivoting algorithm for 3D point-cloud fusion, the precision reaches 0.5 mm without distortion. Finally,the practical examples are used for clear colored body model to further verify the system efficiency and practicality.

body scan； speckle； point-cloud fusion； ball-pivoting method

刘烈金(1991-),男,硕士.E-mail:729935238@qq.com

TN 29

A

1672-5581(2017)01-0027-04