一种基于置信度的深度图融合方法

董鹏飞

（四川大学计算机学院，成都 610065）

一种基于置信度的深度图融合方法

董鹏飞

（四川大学计算机学院，成都 610065）

在三维重建过程中，由于受到噪声影响，计算出的深度图精度无法保证。针对此问题，提出一种基于置信度的抗噪融合方法。首先对每幅深度图来进行修正，并利用一致性原理来剔除错误点并填补某些空洞。然后通过保留在自身邻域内具有最高置信度的三维点，以删除冗余。最后将深度图反投影到三维空间，采用迭代最小二乘法优化三维点并剔除离群点。通过在测试数据集上与其他算法比较，验证此方法的有效性。

多目立体视觉；三维重建；深度图融合

0 引言

多视角三维重建的目的是从多幅二维图像当中恢复目标场景的3D模型，是计算机视觉领域中重要的研究课题之一，并且在最近几年也受到了越来越多的关注。根据Seitz等人的研究[1]，现有的多视角三维重建算法可以分为四类：基于特征点扩展的方法[2]，该方法首先提取和匹配一系列特征点重建出较稀疏的点云，然后将稀疏点云向周围扩展得到稠密的点云；基于体素的方法[3]，该方法在一个三维立体中计算出代价函数，并且从这些立体中提取出目标物体表面；基于表面演化的方法[4]，该方法通过最小化能量方程来迭代估计出目标物体表面；基于深度图融合的方法[5-6]，该方法首先计算出每幅图像的深度图，然后通过融合这些深度图来获取最终的三维模型。在所有的算法中，基于深度图融合算法具有较高的精确度和灵活性，更适用于绝大多数场景的重建[1，5]。

一般来说，基于深度图融合的三维重建方法可以分为两个步骤：①计算每幅图像所对应的深度图。②将这些深度图融合成为一个三维模型。目前，已有许多研究者在深度图计算方面做出了杰出的工作。Goesele等人利用了基于窗口的投票方法，但是这种方法只能得到匹配度较高的像素对[7]。Bradley等人通过尺度可变的窗口来增加匹配的像素对，从而使深度计算更加准确[8]。Shuhan Shen等人提出了一种有效的基于块的匹配算法，得到每幅图像的深度图[5]。

本文提出了一种基于置信度的深度图融合方法，能够比较准确地融合那些被噪声干扰的深度图像。在此算法中，本文将图像序列和它们所对应的深度图像与摄像机参数作为输入，将具有法向量的稠密三维点云作为输出。此算法总共可以分为三个步骤：①修正深度图。②删除冗余。③深度图融合。

1 算法描述

在算法开始阶段，本文首先采用Seitz提供的Bundler[9]对原图像作标定，目的是获取对应的摄像机的内外参数。然后，利用这些参数信息，采用PM框架计算出所有图像对应的深度图[10]。

1.1 深度图修正

由于基于PM框架的深度图计算是以一副图像为参考图像进行深度估计，这也就是说每幅深度图的计算是无法并行，这就会导致一个问题，就是同一场景在不同深度图中不匹配。因此，本算法需要对已计算的深度图进行再次修正。给定图像R中的某个像素位置pr，能够得到三个与之有关系的三维点PI（pi），PR（pr），PI（pr→i），并且获得这三个点相对于图像R的深度DR（PR（pr）），DR（PI（pi）），DR（PI（pr→i））。根据实际情况来看，如果有两幅图像可以观察到同一个点，这也就是说，当DR（PI（pi））和DR（PR（pr））的相对差充分小的情况下，并且DI（PI（pr→i））和DI（PR（pr））的相对差也充分小，那么本文便可判定在pr处图像R和图像I是相互连续的。本文利用[11]和[12]中提供的方法定义图像R在pr处的一致性比率RR（pr），如公式（1）。

由于低一致性比率也表示估计的深度值有较大可能是不准确的，因此，在算法开始之前先丢掉一致性比率较小的深度值。然后，利用公式（2）得到d*来更新原来的深度值。

其中，权重的定义如[11]中所示。

1.2 删除冗余

在将所有深度图融合为一个单一的3D模型之前，需要对所有深度图进行冗余信息剔除。为此，本文提出了一种新算法来实现这个目的。

该方法首先利用深度图将原始图像中每个像素点反投影到三维空间中，然后对每个三维点赋予一个置信度。本文综合考虑了三个影响因素来定义置信度：①匹配误差。判断三维点估计地是否准确最直观的办法就是计算深度时的匹配误差，估计地越精确，误差就会越小。②场景离摄像机中心的距离。因为对于较近的场景，拍摄的图像可以保留较完整的细节信息，重建的三维点也就越准确。③摄像机基轴和场景视角的夹角、场景表面法向量与场景视角的夹角。当夹角越接近于零，估计的深度值就会越准确。

对于每个三维点，综合考虑以上三个因素，最终获得对应的的置信度。之后，本文在互为冗余的点集中，选择出具有最大置信度的点作为最终点。另外，为了减少选择的误差，若在前一轮中已经选出了某点作为最终点，那么在接下来的选择中便不再删除此点。具体过程如图1所示。

考虑新型拓扑结构的统一潮流控制器五端功率注入模型//吴熙,殷天然,祁万春,蔡晖,蒋平,陈琛//(19):155

1.3 深度图融合

在以上的处理过程中，本文只是从局部考虑，每次只对一幅深度图进行处理，这样的过程将会导致不可能删除所有的冗余点和离群点。那么本文将从全局出发对三维模型进行二次优化，提高重建结果的精度。

本文首先利用深度图，将所有图像的所有像素点反投影到三维空间中去，获得一个初始点云。为了加快删除冗余信息的速度提高算法的效率，本文首先对初始点云进行重新采样，减少初始点云中点的个数。之后，本文利用类似[12]的方法从全局考虑对点云进行整体优化。优化过程如下：对点云中任意一点P，假设法向量为nP，P的邻域内所有三维点所组成的集合为NP。利用公式（3）对其进行迭代优化，在迭代开始阶段，假设初始值P0=P，如果算法在不超过最大迭代次数k时就可以收敛到NP范围内，就用迭代优化之后的三维点代替原来的三维点，否则便将此点作为离群点，进行删除。

图1 删除冗余信息的过程

其中，权重的定义由[12]给出。

2 实验结果与分析

图2 [6]中方法和本文方法进行比较的结果。

本文实验使用了C.Strecha提供的标准数据集Fountain和Herziesu[14]。为了证明本文算法与其他算法相比，具有更好的性能和更高的准确性，本文首先将与[6]中方法在上述数据集上进行定性地比较，比较结果如图2所示，图（a）中的点云是[6]中方法获得的，图（b）中的点云是本文方法获得的。在每幅子图中，左边对应的是场景对应的完整三维点云，为了更好地区分两种算法的结果，本文将完整点云在某些局部区域进行放大，对应于图像的右边。由图可以看到，本文方法获得的三维点云具有更高的准确性和完整度。

另外，本文认为定性的比较结果无法充分地说明此算法的性能。因此，本文又对这两种方法进行定量地比较，首先，利用开源工具对点云进行处理，得到估计的点云与实际之间的误差。最后可画出两种算法的误差比值可视图像，如图3所示。在图中我们可以看到，两者的比值始终大于1，甚至可以超过3。也就是说这，本文方法重建的结果更加精确可信。

通过以上定性和定量的比较，我们可以看到由本文提出的基于置信度的深度图融合算法可以较好地融合被噪声干扰的深度图。

图3 方法[6]与本文方法的比较结果

参考文献：

[1]Seitz S M，Curless B，Diebel J，et al.A Comparison and Evaluation of Multiview Stereo Reconstruction Algorithms[C].Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE Press，2006，1:519-528.

[2]Furukawa Y，Ponce J.Accurate，Dense，Robust Multiview Stereopsis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（8）:1362-1376.

[3]George V，Carlos H E，Torr P H S，et al.Multiview Stereo Via Volumetric Graph-Cuts and Occlusion Robust Photo-Consistency[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（12）：2241-2246.

[4]Cremers D，Kolev K.Multiview Stereo and Silhouette Consistency Via Convex Functionals Over Convex Domains[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（6）:1161-1174.

[5]Shen Shuhan.Accurate Multiple View 3D Reconstruction Using Patch-Based Stereo for Large-Scale Scenes[J].IEEE Transactions on Image Processing，2013，22（5）:1901-1914.

[6]刘怡光，易守林，吴鹏飞等.一种新的大场景三维重建算法[J].四川大学学报（工程科学版），2015，47（6）:91-96.

[7]Goesele M，Curless B，Seitz S M.Multi-View Stereo Revisited[J].Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE Press，2006，2（2）:2402-2409.

[8]Bradley D，Boubekeur T，Heidrich W.Accurate Multi-View Reconstruction Using Robust Binocular Stereo and Surface Meshing[C]. Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition.Anchorage:IEEE，2008:1-8.

[9]Snavely N，Seitz S M，Szeliski R.Photo Tourism:Exploring Photo Collections in 3D[J].ACM Transactions on Graphics（TOG），2006，25（3）

[10]Bleyer M，Rhemann C，Rother C.PatchMatch Stereo-Stereo Matching with Slanted Support Windows[C].Proceedings of the British Machine Vision Conference.Dundee:BMVA Press，2011，11:1-11.

[11]Wei J，Resch B，Lensch H P A.Multi-view Depth Map Estimation with Cross-View Consistency[C].Proceedings of the British Machine Vision Conference.Nottingham:BMVA Press，September 2014.

[12]Bailer C，Finckh M，Lensch H.Scale Robust Multi View Stereo[C].Proceedings of the 12th European Conference on Computer Vision.Volume Part III.Springer-Verlag，2012:398-411.

[13]Strecha C，von Hansen W，Van Gool L，et al.On Benchmarking Camera Calibration and Multi-View Stereo for High Resolution Imagery[C].Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition.Anchorage:IEEE，2008:1-8.

Fusion of Depth Maps with Confidence of Points

DONG Peng-fei

（College of Computer Science,Sichuan University,Chengdu 610065）

In the process of 3D reconstruction,due to the influence of noise,the calculation precision of depth cannot be guaranteed.Introduces an antinoise fusion method that takes advantage of the confidence of 3D points.This method first performs a refinement process on every depth map to enforce consistency over its neighbors,which can remove most errors and fill many holes simultaneously.After refinement,it deletes redundancies of every point by retaining the point that its confidence is maximal in its neighbors.Finally,it obtains a point cloud by merging all depth maps and uses an iterative least square algorithm to further eliminate the noise points.The quality performance of the proposed method is evaluated on several data sets and the comparison with other algorithm.

Multiple View Stereo;3D Reconstruction;Fusion of Depth Maps

1007-1423（2016）35-0066-04

10.3969/j.issn.1007-1423.2016.35.014

董鹏飞（1992-），男，河南洛阳人，硕士，研究方向为计算机视觉、三维重建

2016-11-18

2016-12-05