基于可信度的深度图融合三维重建方法

易守林

（四川大学计算机学院，成都　610065）

基于可信度的深度图融合三维重建方法

易守林

（四川大学计算机学院，成都610065）

0　引言

三维重建是计算机视觉和图像处理领域中一个重要研究方向，在文物保护、数字娱乐、地形建模等方面具有广泛的应用前景。相比于使用激光扫描，基于图像的三维重建方法使用普通相机和计算机作为设备，具有操作更加方便、成本更低、适用范围更广等优点。基于深度图融合的三维重建是基于图像的三维重建中一个重要的分支[1]，每幅图像可以分别计算深度图，然后再融合成最后的三维模型，精度较高，有利于并行计算，非常适用于大场景三维重建。

基于深度图融合的三维重建中很重要的一步是融合深度图，通常需要利用深度图的可信度来进行融合[2-5]，可信度用来评判一个图像点计算出来的深度值的可靠程度和精度。但通常的方法都是简单地利用图像块的匹配代价来计算可信度[2，3，5]，并没有考虑摄像机和三维模型本身的特点等因素，可信度计算不够完整，影响最后融合的三维模型的精度。文献[4]从几何特性、摄像机因素、图像一致性三个方面计算深度的可信度，考虑的因素较为全面，但是并没有考虑图像之间深度图的影响。本文的方法将改进现有可信度计算方法，充分考虑各种因素的影响，提高重建结果的精度和完整性。

1　可信度计算

计算图像的深度图时，深度值的精度和可靠性通常会受到图像分辨率、摄像机与重建目标之间的距离、重建目标的纹理、摄像机之间的相互作用等因素影响，需要将多种因素都考虑到，计算出来的可信度才会准确。根据各种因素的影响，可信度权重可以由三方面构成:重建目标的几何因素、摄像机与重建目标及摄像机之间的影响、图像匹配度。对于每个图像点x，它对应的深度值的可信度计算为：

深度图计算通常是利用人眼双目成像的原理，三角计算深度值，而该点与两摄像机中心所成夹角θ越大，计算恢复出的深度值越准确。三维点的法向量与三维点到摄像机中心的向量之间的夹角β越小，计算的深度值可信度越高。故可信度的夹角权重计算如下式（2），其中αmax=80°。

三维点在图像中的尺度大小也会影响深度值的可信度，尺度由摄像机焦距及三维点到摄像机中心距离决定，尺度越大计算出来的可信度越高，反之越低。如果摄像机中心点为C，焦距为f，点x对应的三维点X，则可信度的尺度权重计算如式（3）：

图像之间的匹配值大小也是决定可信度的一个重要因素，越匹配可信度越高，不同于其他方法是用NCC（Normalized Cross Correlation，归一化互相关）进行匹配，这里使用DAISY特征计算匹配值，非常适合宽基线匹配。如果三维点对应的两幅图像中点的DAISY特征分别为D1（x）和D2（x），则可信度的匹配权重计算如式（4）：

2　深度图融合

深度图之间的点存在几种情况，如图1 所示。以图像1为目标图像，图像2为邻居图像，目标图像点x的深度值为d,邻居图像对应3维点投影回目标图像的深度值为z。情况A是d＜＜z，即已经融合的点遮挡住了邻居图像点看到的3维点，出现了冲突，根据文献[6]中可行度权重和深度值融合方式，则可行度更新为公式（5）:

图1　深度图之间的点的关系图

在深度图融合及去除噪点和可信性度低的点后，深度图会出现一些孔洞的地方，考（虑到现实场景中，物体在局部表面通常是光滑的，则可以认为缺失点的深度值与邻居点的深度值一样。以缺失点为中心，选取一个10×10像素大小的块，如果块中存在深度值的点大于一半，则选取其中的中值点作为该点的深度值，否则该点任然空缺该点。对于融合后的深度值使用一个5×5像素大小的块进行中值滤波，使深度值更平滑。最后利用公式（9），即已知深度值、摄像机内部参数、旋转矩阵以及摄像机中心，将二维点反投影回三维空间，便可以得到三维点云模型。

3　实验结果与分析

实验使用的对比方法是PMVS[7]，根据文献[7]，PMVS实验中的参数设置为：level=0，csize=1，threshold=0.7，wsize=7，minImageNum=3。实验使用的数据集是Fountain-P11[8]，并将图像下采样1/4。实验结果如图2 所示，a图是输入的原图，b图是PMVS的结果，c是提出方法的结果，从图中可以看出，本文所提出来的方法在重建出来的效果较好，孔洞比较少，完整性更高。

图2　实验结果对比

4　结语

计算可信度是利用深度图融合进行三维重建的重要一步，可信度计算得准确与否直接关系到最后重建结果的精度和完整性。本文所提出的方法充分考虑重建目标几何特性、摄像机和目标之间的关系、图像匹配一致性等因素，构建了一个可以准确计算可信度的方法，实验结果表明该方法能重建出较好的效果。

[1]Seitz S M,Curless B,Diebel J,et al.A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms[C].2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE,2006,1:519-528.

[2]Merrell P,Akbarzadeh A,Wang L,et al.Real-Time Visibility-Based Fusion of Depth Maps[C].In IEEE International Conference on Computer Vision（ICCV）,2007：pages 1–8,2007.

[3]Fuhrmann S,Goesele M.Fusion of depth maps with multiple scales[C].ACM Transactions on Graphics（TOG）.ACM,2011,30（6）:148.

[4]Kolev K,Tanskanen P,Speciale P,et al.Turning Mobile Phones into 3D Scanners[C].2014 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE,2014:3946-3953.

[5]刘怡光,易守林,吴鹏飞,崔鹏.一种新的大场景三维重建算法[J].四川大学学报（工程科学版）,2015,47（6）:91-96.

[6]Curless B,Levoy M.A Volumetric Method for Building Complex Models from Range Images[C].Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques.ACM,1996:303-312.

[7]Furukawa Y,Ponce J.Accurate,Dense,and Robust Multiview Stereopsis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32（8）:1362-1376.

[8]Strecha C,von Hansen W,Gool L V,et al.On benchmarking Camera Calibration and Multi-View Stereo for High Resolution Imagery [C].2008 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE,2008:1-8.

Confidence;Depth Map;Fusion;3D Reconstruction

Confidence-Based Depth Maps Fusion for 3D Reconstruction

YI Shou-lin
（College of Computer Science,Sichuan University,Chengdu 610065）

四川省科技创新苗子工程资助项目（No.2015046、No.2015095）

易守林（1989），男，四川德阳人，硕士研究生，研究方向为三维重建

2015-12-15

2016-01-12

可信度计算是深度图融合三维重建中非常重要的一步，直接关系到重建结果的完整性和精度。提出一种充分考虑图像尺度、三维点的几何特性、三维点与摄像机之间的关系以及图像匹配程度等因素的可信度计算方法，可信度计算更精确。实验结果表明，该方法能提高深度图融合三维重建结果的完整性和精度。

可信度；深度图；融合；三维重建

Confidence computing is a very important step in depth map fusion based three-dimensional reconstruction which is directly related to the completeness and accuracy of the reconstruction results.Proposes a method that is fully considered image scale,geometry orientation,the angle between the point and cameras,image match cost and other factors,the confidence calculated is more accurate.Experimental results show that the method can improve the depth map fusion based three-dimensional reconstruction results in the completeness and accuracy.