采用彩色光度立体法的动态物体全局三维数字化

李 健， 马 文， 马泳潮

(陕西科技大学 电气与信息工程学院， 陕西 西安 710021)



采用彩色光度立体法的动态物体全局三维数字化

李 健， 马 文， 马泳潮

(陕西科技大学 电气与信息工程学院， 陕西 西安 710021)

基于计算机视觉的三维重建技术一直以来是计算机领域的研究热点.在彩色光度立体法的基础上，提出了一种针对动态物体的全局三维重建方法.由于针对的是动态物体，所以采用四组已标定好位置的设备，在瞬间几乎同时对四个视角的点云数据进行采集.然后通过设备之间的位置关系以及相邻点云之间的轮廓约束，对点云数据进行拼接,最终得到完整的点云数据.实验结果表明，该方法不仅操作简单，而且重建效果较好.

彩色光度立体法； 全局重建； 点云拼接

0 引言

随着计算机的快速发展，人工智能、电影特效、三维游戏、数字城市、虚拟现实、在线购物、文物重建等越来越多的领域需要获取场景或物体的三维数据.除了采用如3ds Max之类的几何建模软件正向建模外，通过计算机视觉反向重建三维模型成为一种非常实用和廉价的方式，也因此成为计算机领域研究的热点问题[1].

基于计算机视觉的三维重建方法主要包括立体视觉技术[2]、光度立体技术[3,4]、结构光技术[5]、Shape From X(SFX)等，这些方法都有着自己的优缺点及实用范围.光度立体法是一种通过物体表面光照变化来求解形状的方法，它具有无需匹配，高频信息丰富等优点.本文即采用一种改进的彩色光度立体法对动态物体进行三维重建.

(a)转台法 (b)全局法 (c)直接拼接法

然而，通过上述方法往往只能获得一个视角的三维数据，这是远远不够的，在许多情况下需要一个完整的三维数据.因此全局重建成为三维重建整个过程中的一个重要环节.而现有的全局重建方法主要分为三类(如图1所示)：转台法、全局法以及直接拼接法.

其中，转台法[6](如图1(a)所示)是将物体放在转台上，相机保持不动，通过转台角度变化的关系以及建立可视壳重建全局的点云，这种方法的优点是设备简单、拼接方法简单，然而缺点是在全局重建过程中，转台上物体不能发生移动或者形变.

全局法(如图1(b)所示)是指运用比较多的设备(如相机、灯光等)解决视角局限的问题，戴琼海团队的multi-camera and multi-light采集平台[7]，以及Daniel Vlasic等人设计的Light Stage平台都采用的是这种全视角的重建方法，这种方法的优点是可以用于动态物体的重建，缺点是整套设备数量多，比较昂贵.

直接拼接法是指把得到的每片点云数据，通过自身表面形状的特点直接拼接成一个完整的点云.如图1(c)所示的是Artec Eva手持扫描仪，如果缓慢移动，它可以把实时扫描的点云数据进行自动拼接，或者断裂的已知点云进行手动拼接.此类方法的优点就是环境要求简单，适用范围广，缺点是拼接算法较难，许多情况下需要人工干预，但由于具有广泛的实用性使其成为现有学者研究最多的方法.

本文就是在彩色光度立体法的基础上，通过全局法对动态的单色物体进行重建和点云拼接最终得到一个完整的全局三维模型.

1 理论基础

1.1 彩色光度立体法

光度立体法的实现就是在多个光源的分别作用下对物体拍摄一组照片，然后通过这组照片去求解物体表面的法向量，进而求出深度.

在朗伯体表面反射模型下,物体表面一点的亮度只与其表面反射系数和表面法方向有关,而且这个关系是线性的.设图像一点的亮度为I0,其表面的单位法向量为N0,光源方向为S0,反射率为η.则根据朗伯体表面反射模型有:

I0=ηN0·S0

(1)

图2 彩色光度立体法

传统的光度立体法使用的是白色光源，分时的对不同方向的灯光单独打开拍摄图像，运用采集到至少三幅图像，通过式(1)就可以求解出唯一法向.但是要求在灯光轮换打开时物体必须保持静止或者运动的特别慢，所以不太适用于运动的物体.彩色光度立体法[8]可以解决这个问题，它是采用三种基色的彩色光源同时去照射被测物体，如图2所示，叠加后的颜色都可由这三基色线性分解开.

通过分解开的三基色亮度就可以得到如下方程组：

(2)

将式(2)变成矩阵形式如下：

Irgb=M·N

(3)

式中的向量I(rgb)代表的是目标物体上每一点在RGB三通道的亮度，矩阵M中□r、□g、□b代表着同一种材质对R、G、B三种光的反射系数.

因此，如果已计算出场景的M矩阵，通过式(3)可以求解出每一点对应的法向量.本文采用采样球实例驱动[9]的方法求解M矩阵，最后将求解出的法向量通过几何约束求解出对应的深度值[10]，并最终获得这幅图像所对应视角的三维点云数据，如图3所示.

(a)原模型 (b)采集照片 (c)重建结果

1.2 点云拼接

三维点云拼接技术，又称配准、重定位、融合技术[11].其实质是通过旋转、平移变化将不同坐标系下的点云数据统一到一个坐标系下.点云拼接是三维场景中最重要、最困难的问题，运用序列点云拼接不仅存在拼接误差累计的问题，而且耗时长、实时性差.目前，没有一种能够完美解决此问题的方法.因此如何实现快速、准确地运用序列点云拼接进行三维重建的研究具有重要的意义.

目前，国内外的方法大多以粗拼接(初次配准)和精确拼接(精确配准)相结合为主，先通过粗拼接尽可能缩减点云间的错位，因为粗配准的精度将直接影响后续精确拼接的速度和收敛性，常用的方法包括标志点法[12]、定球标法[13]、辅助靶标法以及一些基于曲面特征进行拼接的方法.但由于粗拼接很难满足精度要求，并且拼接后的点云在重叠区域存在分层和交叉现象，不利于后期建模.因此，需要在粗拼接的基础上进行精确拼接.在精确拼接中运用最为广泛的当属ICP算法[14]及众多改进算法，通过迭代的方法求解最优的平移向量t和旋转矩阵R.

本文采用四组已标定好位置的设备去重建不同方向的三维点云，然后通过设备之间的位置关系以及相邻点云之间的轮廓约束进行拼接(具体实现方法详见章节2.2所述).只要设备间的位置关系标定准确，以及每片点云重建的精度高，通过本文一次拼接的拼接的方法就可以达到较高的拼接精度.但如果要求更高的精度，可以在本文结果的基础上再运用ICP算法进行更高精度的拼接.

2 实验研究

2.1 实验设计

由于本文研究的是动态物体，其随时都可能发生移动或形变，所以转台法是无法适用的.既然是重建动态物体，不可避免的需要在不同方向增加设备以同时重建相对应面的三维形状，所以本文采用类似于全局法的方法.由于设备间的位置关系是提前标定好的，所以拼接的难度相对于直接拼接法要简单的多.

本文在上节重建方法的技术上采用图4的方案采集图片.每一只相机和三个基色光源组成一组设备，总共有四组设备，分别位于一个圆形周角的0 °、90 °、180 °和270 °处，每组设备到中心被测物体的距离是相等的.此外，四只相机放置在同一水平面上，并且每只相机都是正对准中心点了，借助其他设备用来校准.四组设备由计算机控制，分时地按照一定的顺序交替工作，每组设备各自按照上节的方法采集和求解点云数据，所以只需四帧局部图片就可以得到一帧全局的三维点云数据.由于设备切换速度特别快，所以可近似的认为物体在这四帧采集中是没有发生变化的.例如对于本文所采用的60D单反相机，它在1 280×720的高清摄像分辨率下可以每秒拍摄60帧，那么此方法下每秒最多可重建60/4=15帧的全局点云数据.对于工业高速相机，效果会更好，重建的帧数也更多.

图4 全局重建环境

2.2 点云拼接

考虑到本文在进行图片采集时已对四组设备之间的关系做了一定的约束，相邻两相机之间是相互垂直的，所以可以把复杂的三维面匹配转化为简单的二维线匹配，具体方法如图5所示.

图5 点云拼接原理

在图5中，图5(a)为四组相机在彩色光源下分时采集图片的示意图，每幅图片都是被测模型在四个方向的正投影，用前、后、左、右四个视图表示.图5(a)中的每张图片都可根据上节的方法计算出对应拍摄视角的点云数据，图5(b)为图5(a)中的右视图重建出的点云数据，图5(c)为图5(a)中的前视图重建出的点云数据，从前视图方向观察这两个点云数据(如图5(d)所示)，将图5(d)中两张图像对比容易发现，它们的右边缘曲线(红色曲线)应该重合，同理，从右视图方向观察这两组点云，它们的左边缘曲线应该可以重合.通过这两组数据之间的相互约束就可以实现数据拼接，其他方向的点云也是通过同样的方法进行拼接，最终拼接出一个完整的点云数据.此外，每幅图片在求解点云时,都是把图像平面与XOY平面重合，本文中在前视图建立OXYZ三维坐标系，使前视图与XOY平面重合，前视图求解出的深度值作为相对应像素点的Z坐标，使前视图求解的点云坐标保持不变，其他的点云数据都向该点云数据拼接.那么左视图求解的点云数据在拼接之前绕X轴顺时针旋转-90 °，右视图旋转90 °，后视图旋转180 °.

旋转后的点云之间只存在平移关系，即只需求解平移矩阵t(tx,ty,tz).以图5(d)中两片点云为例，设左侧红色曲线上点的坐标为P(xp,yp),点数为n1,右侧红色曲线上点的坐标为Q(xq,yq),点数为n2,令n=min(n1,n2),建立优化函数：

(yp-(yq+tx))2)

(4)

通过迭代求得tx,ty.，把这两个偏移量带入右视图的所有点云数据中，可使两点云数据在XOY面重合.同理，可求得在ZOX面重合，这样就实现两组点云数据的有效拼接.

2.3 实验结果与分析

通过上述的方法重建的结果如图6所示.在图6中，第一行是通过不同方向的四组设备重建出的2.5维的点云模型.第二行的左侧为原模型，右侧为通过本文方法拼接后形成的整体三维点云模型.

图6 点云拼接结果

图7为其他模型的实验结果，第一行为原模型，第二行为全局点云结果.总体上看，效果还是比较理想的，基本上可以将不同视觉得到的点云较好地拼接在统一的坐标系下，形成对被测目标的全视角的测量点云，但同时也注意到，对于遮挡部分以及平行于摄像头方向的面的重建效果不够理想，其中会出现两个点云在此处的形状存在较大差距，导致拼接结果存在多层现象，如人物的下巴、耳朵、肩膀等处.要从根本上解决拼接问题，需要对单片点云的重建方法进行优化，提高每组点云的精度.

图7 全局重建结果

3 结论

本文提出了一种基于彩色光度立体法的动态全局三维重建方法.该方法可以快速的实现对单色动态物体的全局形状恢复，适用于布料等容易动态发生形变的非刚性物体.下一步，可以在此基础上提高单片点云的重建精度以提高整体拼接的精度.此外，将只适用于单色物体的范围扩展到带有彩色花纹的物体上，以扩大适用范围.

[1] 佟 帅，徐晓刚，易成涛，等.基于视觉的三维重建技术综述[J].计算机应用研究，2011，28(7)：2 411-2 417．

[2] 张成艳． 基于双目视觉的织物三维数字化技术研究[D]．西安：陕西科技大学，2014．

[3] 程 岳． 基于光度立体的高质量表面重建研究[D]．杭州：浙江大学，2013．

[4] 徐庆相． 基于光度立体视觉的表面精细特征三维重建技术研究[D]．武汉：华中科技大学，2011．

[5] Pratibha Gupta．Gray code composite pattern structured light illumination[D]．Lexington：University of Kentucky，2007.

[6]Carlos Hernandez,George Vogiatzis，Roberto Cipolla．Multiview photometric stereo[J].IEEE Trans Pattern Anal Mach Intell,2008,30(3):548-554.

[7] Wu C L，Liu Y B．Fusing multiview and photometric stereo for 3D reconstruction under uncalibrated illumination[J]．IEEE Transactions on Visualization and Computer Graphics，2011，17(8)：1 082-1 095．

[8] Hernandez C，Vogiatzis G，Brostow G J,et al．Non-rigid photometric stereo with colored lights[C]//International Conference on Computer Vision．Rio de Janeiro：IEEE，2007：1-8．

[9] Hertamann A，Seitz S M．Shape and materials by example：A photometric stereo approach[C]//Conference on Computer Vision and Pattern Recognition．Madison：IEEE，2003：533-540．

[10] 张屹凌．基于光度立体算法的图像建模系统的设计及实现[D]．杭州：浙江大学，2006．

[11] 宋林霞．三维点云配准方法的研究[D]．济南：济南大学，2013．

[12] 沈海平，达飞鹏，雷家勇．基于最小二乘法的点云数据拼接研究[J].中国图象图形学报，2005，10(9)：1 112-1 116．

[13] 魏 江，何明一，熊邦书，等．多视点三维数据合并中的定标球球心算法[J].计算机辅助设计与图形学学报，2006，18(3)：416-420．

[14] 解则晓，徐 尚．三维点云数据拼接中ICP及其改进算法综述[J].中国海洋大学学报(自然科学版)，2010，40(1)：99-103．

3D full-viewed digitization of dynamic objectsusing color photometric stereo

LI Jian， MA Wen， MA Yong-chao

(College of Electrical and Information Engineering, Shaanxi University of Science & Technology, Xi′an 710021, China)

3D reconstruction based on computer vision technology is a hot research topic in the field of computer.A global three-dimensional reconstruction method for dynamic objects is presented based on color photometric stereo method.Because in the face of a dynamic object,this paper uses four groups of equipments with calibrated positions to get reconstruction of four perspectives at the same time.And then stitch the two piece of point cloud through the location of the equipments and the outline between the adjacent point cloud constraints.The experimental results show that the method is not only the operation is simple, and the reconstruction effect is good.

color photometric stereo; the full-view construction; point cloud registration

2015-03-26

陕西省教育厅专项科研计划项目(11JK1065); 国家级创新创业训练计划项目(201410708030)

李 健(1975-)，男，陕西渭南人，教授，博士，研究方向：计算机视觉、数字图像处理

1000-5811(2015)03-0158-05

TP273

A