一种面向倾斜影像三维建模的影像筛选方法

张明磊，张云生，邹峥嵘

(中南大学 地球科学与信息物理学院，湖南 长沙 410083)

航空倾斜摄影系统可以从多个角度获取影像，为建筑等物体提供了更为详尽的立面信息，丰富了城市三维建模的数据源[1]。目前基于多角度影像自动化三维重建的软件有 PhotoScan、Pixel4D以及Acute3d。PhotoScan主要擅长重建中小型物体，Pixel4D和Acute3d可以针对城市级别的场景建模，其中Acute3d目前已经得到市场的广泛认可，成为国内外主流的城市自动化建模软件。Acute3d建模过程可以分为4个步骤：①根据影像的同名点恢复相机的位置及半密集点云，②采用半密集点云构建Delaunay空间四面体[2]，③根据半密集点云的可视信息，采用图割算法提取物体表面模型[3]，④采用变分原理优化物体表面模型，获得精确的三维模型[4]。该方法目前已成为室外场景建模的高精度方法，比泊松表面重建算法具有更强的抗粗差能力，而且对初始点云的质量要求也低[5-6]。

上述提到的建模方法虽然对室外场景的建模效果具有明显的优势，但要求计算机的计算能力较高，大范围的建模工作也需要耗费大量的时间。多角度倾斜摄影在提供丰富建模信息的同时也增加影像数据量。以五镜头倾斜摄影系统为例，影像数据量是传统摄影测量的五倍，这对数据处理的效率提出了更高要求。针对此问题，文献[7]研究了海量无序影像建模的影像筛选方法，在密集点云匹配过程前将海量的影像数据划分为较小的子模块，其划分是出于执行密集匹配的目的。航空倾斜摄影测量的影像在具有航线规划设计的条件下获取，因此本文根据倾斜影像的特点提出用于三维建模过程的影像筛选方法。在建模精度相当的情况下对参与建模的影像进行自动筛选，减少参与建模的影像，降低对计算机硬件的需求并提升建模的效率。

1 方 法

1.1 筛选原理

Acute3D实现的建模方法不依赖与场景密集点云，但其优化阶段较为耗时，因此本文的影像筛选基于空三过程得到稀疏点云构建的初始模型[8]。影像筛选的依据是选取一定数量的影像使得初始模型中有效三角面片的有效面积最大化。具体采用式(1)计算：

validAreaij=s(P[i])/dis(P[i],C[j]).

(1)

式中：validAreaij为第i个三角面片在第j张影像上的有效面积；P[i] 为初始模型的第i个三角面片；C[j]为第j张影像的相机中心，s(P[i])为P[i]的面积，dis(P[i],C[j])为P[i]中心到第j张影像相机中心的距离。

由于倾斜影像数据在获取过程中是按照规范得到的，即使相邻摄影中心的基线距离也不会离太近[9]，并且当n>2 时最大摄影基线的长度通常达到至少两倍的相邻摄影中心距离的长度。影像选取时采用最大化有效面积，对于同样的有效三角面片，若相机距离有效三角面片较远，其对应的有效面积会相对较小，这一特性使得所选取的用于前方交会出物方点的影像对具有更大的基高比[9-10]，也就是说对于倾斜摄影测量的影像数据，在保证了以上定义的有效三角面片的有效面积最大化时保证了较大的基高比，从而保证在使用有限影像数量的前提下保证精度。

1.2 筛选过程

图1 影像选取流程

2 实验结果与分析

本文方法采用C++语言和Visual Studio 2015实现，实验所采用的计算机主要配置：CPU：intel i7， GPU：GTX Titan X，RAM：32GB。

2.1 数据描述

实验采用303张利用SWDC-5拍摄的武汉地区倾斜影像，影像地面分辨率为0.1 m，对场景中400 m×400 m的范围进行建模，覆盖此区域的影像一共102张。经过影像自动空三后，利用空三获取的三维点云重建初始三维模型，作为本文影像筛选的模型输入数据。实验中两个不同的影像筛选策略进行验证：影像筛选过程中参与建模的影像数量达到45张时，模型有效三角面片基本已经完全覆盖了初始模型(可根据有效三角面片占初始模型三角面片面积比例确定)，因此设定终止条件为45张最有效的影像；影像筛选过程中参与建模的影像数量达到25张时，模型有效三角面片基本已经完全覆盖了初始模型，设定终止条件为25张最有效的影像。影像筛选完后，固定影像的内外方位元素，利用Acute3d对原始的102张影像，以及筛选后的45和25张影像分别进行建模。为避免相机姿态参数对模型精度产生影像，整个实验过程中三组数据使用相同的内外参数，并且建模过程中固定这些参数。

2.2 影像筛选实验结果与分析

为更直观的表示影像选取的过程，将随着选择的影像数量增加初始模型中有效三角面片变化情况进行了显示，从图2 中可以看出，前5张影像基本能够使法向量大致朝上的三角面片至少出现在4张影像上，当选择25张影像时，基本能够保证构成初始模型的大多数三角面片至少出现在4张影像上。

图2 基于初始模型影像筛选有效三角面片变化过程

2.3 模型重建实验结果与分析

重建结果如图3 所示，从视觉上看，使用本文提出的影像筛选方法获取的影像集进行三维建模与全部影像三维重建效果相当。为进一步验证，以102张影像建立的模型为基准模型，比较利用本文方法选择的两组影像重建模型与基准模型之间的豪斯多夫距离[15]，以分析模型间的差异。图4为将两组采用筛选后影像重建的模型与基准模型之间的豪斯多夫距离渲染结果，从图4中可以看出，模型差异较大的地方均出现在植被和动态变化的车辆区域。道路上的车辆由于在影像获取时是动态的，三组建模结果理论上都不能够恢复出其真实位置。而植被区域的影像在获取时也可能会受到风的影响，另外植被区域的纹理也影响重建效果。模型间顶点的豪斯多夫距离统计图如图5所示，可以看出模型之间大多数差异都在0.15 m之内，实际建模时参数设置采用的分辨率为0.2 m，也就是说即使用于建模的影像大幅减少对于模型绝大部分区域损失的精度仍在一个GSD(地面分辨率)之内。三组实验的模型优化部分耗时统计信息如表1 中所示，可以看出在损失有限精度的情况下，影像筛选能大幅缩短建模时间。

表1 不同数量影像建模模型优化耗时信息统计

由图5和表1可知在建模精度相当的条件下，当参与建模的影像数量由102张筛选至25张时参与模型优化的影像数量缩减为原始影像数据的24.5%，模型优化时间减少至采用原始数据进行建模耗时的36.1%。图6所示为三组实验中所采用的影像成像时相机的位置姿态。从图中可以看出，基于本文提出的方法在保证初始模型的有效三角面片最大化时，相机位姿基本覆盖了测区的各个方位，而且充分利用了五个方向的影像。

图3 三组不同数量影像重建结果

图4 不同数量影像建模结果与102张影像建模结果间的豪斯多夫距离分布示意图

图5 不同数量影像建模结果与102张影像建模结果间的豪斯多夫距离统计图

图6 不同数量影像建模时采用的影像的相机位置姿态分布

3 结 论

本文针对目前较为成功的Acute3d软件三维模型耗时问题，提出了一种可以对参与模型优化的影像进行预先筛选的方法。实验表明，本文提出的方法减少模型优化的影像数量及建模所需时间，并且提高建模效率的同时模型精度并未受到较大影响。

[1] 程效军, 朱鲤, 刘俊领. 基于数字摄影测量技术的三维建模[J]. 同济大学学报(自然科学版), 2005, 33(1):37-41.

[2] SHEWCHUK J R. Tetrahedral mesh generation by Delaunay refinement[C]//Proceedings of the fourteenth annual symposium on Computational geometry. ACM, 1998: 86-95.

[3] BOYKOV Y, KOLMOGOROV V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(9): 1124-1137.

[4] FAUGERAS O, KERIVEN R. Variational principles, surface evolution, PDEs, level set methods, and the stereo problem[J]. IEEE Transactions on Image Processing, 1998, 7(3):336-44.

[5] KAZHDAN M, HOPPE H. Screened poisson surface reconstruction[J]. ACM Transactions on Graphics (TOG), 2013, 32(3): 29.

[6] HIEP V H, KERIVEN R, LABATUT P, et al. Towards high-resolution large-scale multi-view stereo[C]//Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. IEEE, 2009: 1430-1437.

[7] FURUKAWA Y, CURLESS B, SEITZ S M, et al. Towards internet-scale multi-view stereo[C]//Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010: 1434-1441.

[8] LABATUT P, PONS J P, KERIVEN R. Efficient multi-view reconstruction of large-scale scenes using interest points, delaunay triangulation and graph cuts[C]//2007 IEEE 11th international conference on computer vision. IEEE, 2007: 1-8.

[9] 王成龙, 刘昌华, 李峰. 基于 SWDC 的国家基础航空摄影测量可行性研究[J]. 测绘工程, 2009, 18(1): 14-18.

[10] 王之卓. 摄影测量原理[M].武汉大学出版社,2007.

[11] BELOGAY E, CABRELLI C, MOLTER U, et al. Calculating the Hausdorff distance between curves[J]. Information Processing Letters, 1997, 64(1): 17-22.