基于多视角立体影像匹配三维建模技术的研究

李德元 曹 鹏 孙朝犇 赵栋梁

（自然资源部第三地形测量队，黑龙江 哈尔滨 150081）

0.引言

随着计算机科学技术的飞速发展，测绘地理信息数据的获取和可视化手段日趋先进，GIS 技术也从二维平面向三维空间发展，经过三维化的GIS 应用程序，将会对原始二维平面地理信息数据中难以表达的地理空间信息通过三维应用GIS 程序精准描述出来，从未来地理信息行业的发展来看，三维化GIS 将是现代测绘地理信息的发展趋势，为国家和公众提供准确三维地理信息服务，从而实现三维GIS 的实用价值。

1.研究目的

主要通过三维开源软件对测量或非测量相机所拍照物体立体的图像法进行处理，经过软件最优匹配算法的配置，将二维平面影像序列处理为三维结构模型过程，主要使用的开源软件为VisualSFM，软件主要使用的运动恢复结构（SFM）成像技术，它指的是将二维图像序列估计三维结构的过程，该序列可以与局部运动信号耦合，在计算机视觉和视觉感知领域都有一定的研究。在生物学的视野中，SFM 是指人类（或其他生物）可以从移动物体或环境中预计2D（视网膜）运动场中恢复3D 结构的现象，从而实现人的真实三维立体空间感觉，然后通过三维模型的技术处理，将三维模型处理更加接近物理本身，从而真实反映物体和环境的情况，为在自然灾害、文物保护、不动产登记等自然资源方面有重要的利用价值。

2.研究内容

2.1 立体影像的获取

利用测量相机或非测量相机对需要进行3D 建模的对象进行一系列多角度的拍摄，在拍摄过程中，不能在一个方向一直拍摄，需要围绕建模对象进行有重叠的拍摄，使相机拍摄中心能拼接形成全景，如果不能形成全景，三维建模的信息会有缺失。正常情况下，要以3D 待建模对象为中心，围绕着它每10 至20 度左右拍摄一张，保证重叠度，如果有条件做到有不同高度信息能使建模效果更佳。VisualSFM 软件没有照片数量限制，照片数量越多，三维建模的细节越丰富，但建模的过程相应花费的时间更长。

2.2 特征匹配

在VisualSFM 软件中可以指定要匹配的配对列表和使用自己的功能匹配，同时调整参数以提高匹配速度。因拍摄照片可能存在旋转、亮度、颜色、缩放等变化，此过程利用改进的SIFT 算法提取、描述特征，并用RANSAC 算法过滤掉误匹配。此过程如果内存够用也可利用GPU 加速等功能。整个匹配过程的工作状态实时显示在软件侧边窗口上。在这里提供一种基于VLFeat 的实现的SIFT 匹配方法，VLFeat 开源库实现当前流行的计算机视觉算法专业图像的理解和局部特征提取和匹配，是一个跨平台的开源计算机视觉库，支持Windows，苹果系统和Linux 等。算法主要包括Fisher 向量、SIFT、聚类算法等多种计算机视觉算法，具有高效和稳定的兼容性，并且带有MATLAB 的接口，比较容易使用。

SIFT 算法即尺度不变特征变换（Scale-invariant feature transform）算法，在数字图像处理领域特征提取匹配中使用最多的算法，它在多尺度空间检测关键特征点，确定这些关键特征点的位置和尺度，保证了关键特征点的尺度不变性。本文使用改进的SIFT 的图像匹配技术是采用提取原始图像中的关键特征，并将这些图像特征集合起来，组成图像特征数据库。在构建图像特征库的时候，由于原始图像信息有较多不必要的信息，而且维度越高在构建图像特征数据库和匹配提取的时候效率会大幅度降低，一般情况下不会使用原始图像的特征信息。所以，要对提取到的原始图像的特征进行重新编码，主要有对图像进行增强、滤波、方向改正等，然后将匹配出来的图像特征形成集合，构建图像特征数据库，然后在后续的图像匹配过程中，对相似特征的进行相似度排序，从而加快匹配的效率。

2.3 利用SFM 进行稀疏点云重建

根据特征匹配结果，利用SFM 方法可以计算得到摄像机的位置等空间三维位置信息，重建出3D 模型的稀疏点云，若有计算出摄像机的位置或朝向有错误情况，结合软件工具栏上手型按钮工具即可删除计算错误的信息，使结果的准确性得到提高。

2.4 密集重建

运用多视立体重建技术得到3D 点云数据，点云质量受到处理图像精度的执行效率、重建精度和完整性影响，目前最好的处理方法是散列图像聚簇（CMVS）方法和基于面片的多视图立体视觉算法（PMVS），通过CMVS 对照片进行聚类处理，以减少在稠密重建数据后的数据量，然后利用PMVS 从三维模型的稀疏点云开始，在局部的光度一致性和全局的可见性约束下，经过匹配、扩散、过滤生成与实物颜色相同的稠密点云，然后得到将点云数据连成面，才可在一般三维建模软件中使用，得到的数据可在开源软件MeshLab 查看显示效果。

3.三维模型技术处理

主要使用开源软件MeshLab 和3DSOM pro 软件进行三维模型的数据处理。首先，开源软件MeshLab三维技术处理过程：第一步，打开软件后加载VisualSFM 软件的生成文件（.out 文件和照片列表文件list.txt 文件）。将摄像机及对应的照片导入进来，对后续的纹理细节处理至关重要，然后打开显示层目录，检测摄像机位置载入是否正确，需调整摄像机的缩放因子，缩放因子可以从0.0001 开始调小，直到摄像机位置清晰可见为止，本次设置参数为0.00002。第二步，在文件目录下选择加载稠密点云即VisualSFM 生成的.ply 文件。第三步，清除杂点通过选择和删除工具，将不需要的杂点区域进行删除，反复多次直到杂点完全清除。第四步，利用Poisson 表面重建算法由稠密点云生成多边形网格化成为表面，弹出参数设置窗口，深度参数控制着网格的细节，参数越大细节越丰富但占计算机内存越大，运行速度越慢，此次深度参数设值10，生成一个封闭的包裹物，然后删除多余的表面。第五步，纹理处理要求网格化的模型必须是流形的，因此需删除非流形边，简单讲就是三维模型的边缘修复。第六步，根据摄像投影关系创建映射，将活动栅格的颜色投影到当前网格填充纹理，可设置任意分辨率的纹理图，本次设置分辨率值为1024。最后保存输出自主设定分辨率低的obj 三维数据文件。MeshLab 软件处理计算结果（如图1所示）：

图1 MeshLab软件三维处理对象结果图

3DSOM Pro 是一款通过多角度高质量的照片来生成3D 模型的软件，它可以用一个真实物体多个角度的照片来进行三维建模，并且制作的模型可以在网络上以进行交互方式呈现，是真实对象进行自动3D 建模的一种专业解决方案。3DSOM 将真实世界的对象进行精确3D 数字化后，再使用3DSOM viewer 进行缩放查看生成的三维模型对象，3DSOM 软件采用的是黑盒计算自动匹配,然后进行简单三维纹理处理，处理结果（如图2 所示）：

图2 3DSOM Pro软件三维处理对象结果图

两款三维建模软件从多角度影像匹配各有优势，开源软件MeshLab 主要需要较多参数，需要具有长期处理三维模型的经验，在参数设置得与实际情况越贴切效果会更好，而3DSOM Pro 直接自动建模匹配，参数设置较少，设置主要是在影像源的各种处理对最终匹配结果有一定的影响。同时，从处理三维数据的速度来看，3DSOM Pro 具有一定的优势，而前期多角度图片的处理在VisualSFM 软件完成，后续三维纹理细节处理可以使用MeshLab 软件，处理需要经验值，处理效率稍微低一点。3DSOM Pro 对于用户一键式体验效果比较好，是商业化较好的三维建模软件。经过大量数据对比通过分析结果（如图3 所示）：

图3 MeshLab 和3DSOM Pro 软件对比分析折线图

随着三维建模技术快速发展，多视立体影像三维技术在测绘地理信息行业结合日益紧密，在自然灾害应急测绘中可以辅助决策和定量分析，在最新的不动产平台中直观显示四至和规划利用，在遥感测量中可以直接建模测量，可以说多视立体影像三维技术在测绘地理信息行业中应用到方方面面，更深层次应用发展研究需要多学科融合研究。

4.三维建模技术的应用

4.1 在自然灾害应急测绘中的应用

我国常年受到自然灾害的影响，自动快速三维实景建模技术在应急测绘中的应用是现代化测绘的一个新方向，在山体滑坡应急测绘和黑龙江省逊克县矿难应急测绘中，都得到了较好地应用，并且有着明显的优势。三维模型更能准确全面地反映受灾地区的地形和实际情况，通过快速生成处理，为应急救援指挥中，对受灾情况能够进行定量分析，分析受灾区域内地形地物的变化，并能总结一定的经验数据模型，建立自然灾害防灾减灾平台，为平台提供基础应急测绘数据，从而为将来自然灾害应急测绘中提供快速响应和实用的技术方法，解决在应急管理中全方位把控灾区情况和量化难度较大的问题。同时，将自然灾害时空三维模型进行三维可视化，在发生自然灾害的过程中动态呈现不同时间灾害的发生范围和影响因素，并实时进行风险评估，将评估结果通过三维模型展示出来，为应急指挥提供测绘地理信息分析的解决方案。

4.2 在古建筑文物保护中应用

目前，我国是历史悠久和古建筑文物较多国家，采用三维建模技术获取空间位置信息数据，将古建筑文物数字化三维建模存储，可以解决古建筑文物难以保存、设计图纸空白、修葺困难等因素，对古建筑文物做到数据方面保护，通过三维建模技术,不直接接触古建筑，高效率高精度地完成古建筑文物档案、点云、数据模型等资料的获取和整理工作，所得到数据可挖掘性强，多用性好，从而为古建筑文物保护和规划决策提供可视化的参考，加强了对古建筑的数字化文物保护力度，为实现文物保护提供了一条可行的技术方案，同时为后续文物文化历史的分析中奠定了一定的基础。

4.3 在不动产登记中的应用

自2016 年来，国家不动产统一登记的实施，不动产要素对空间位置关系越来越复杂，将三维建模技术应用到不动产登记平台中，与不动产要素的结合，能真实、准确地呈现三维空间环境，并可以在三维模型中查询属性，区域性分析、缓存区分析等地理信息空间关系处理，不但使不动产四至位置关系更加清晰，也使产权更加明确，避免不必要的不动产纠纷，保护了不动产权利人的合法利益。并且克服了地籍测量中，外业调查确认指界费时费力，提高不动产统一登记数据的质量和工作效率，同时对自然资源调查登记、国土空间规划综合利用等提供有力的技术支撑。

4.4 在无人驾驶领域中的应用

无人驾驶技术是多学科融合技术，而且是目前比较热门的话题，三维建模技术在无人驾驶领域中起到了重要作用。在三维的驾驶环境中无人驾驶主要需要高精度的交通导航地图和实景环境中障碍物的三维位置模型及移动物体的模型。在障碍物的快速建模上，通过传感器感知图像进行快速三维建模获取模型边缘位置信息，在处理建模过程中就参与实际计算和传输，随着传感器设备日益更新，数据传感器具有快速、高效、准确等特点，为适应动态情况的处理在本地尽可能存储较多实景数据，并且数据分类明确便于快速获取分析，通过局部到整体的技术处理，使基础数据更加易于移植和拓展，能够满足不同三维场景环境的需要，同时三维表述的效果得尽量详细和流畅，利用先进的计算方法将交通要素和障碍物要素进行分析，从而智能规划无人驾驶路线，通过全自动控制、深度学习、智能扫描等众多人工识别技术集于一体的强大识别系统获取三维立体数据，支撑无人驾驶高效运行。

5.结束语

总之，三维建模技术将日益成熟，多视角立体影像匹配三维建模技术是一种开源开放三维技术，快速有效，并且已应用到了一定的领域，并对三维数据做一定的结构设计，通过不断挖掘三维模型成果数据深度应用的潜力，将三维服务理念变为公众服务，从而改变人们的生活方式。三维模型目前需求越来越旺盛，快速有效优化三维模型处理方法与实际问题相结合提供解决方案是较好的应用，为现实中分析复杂环境和辅助决策提供有利参考，从而快速有效处理各项问题。在将来谁能够通过大量的市场调研精准掌握市场需求，建立更好的三维GIS 服务体系，提供更好的公众服务平台，实现个性化、开放化、创新性的三维地理信息服务，就能实现巨大社会价值。