多源数据融合的城市三维实景建模

谢云鹏，吕可晶

(1. 中国科学院地理科学与资源研究所 资源与环境信息系统国家重点实验室，北京 100101；2. 中国科学院大学 资源与环境学院，北京 100049)

随着各类测量手段的进步，空间数据获取技术和地理信息系统(GIS)产业得到了迅猛发展[1,2]。在此背景下，地理信息的三维可视化表达因其相较于二维方式具有更直观、更真实和更高精度的空间位置优势，地理空间知识的三维可视化表达成为研究热点。在地理国情监测、城市模拟、区域可持续发展等多个领域，三维地理信息系统正发挥着重要的作用[3]。因此，城市三维实景建模对于研究城市的发展具有重要的作用。

目前，三维建模的技术主要分为3种：人工建模，倾斜摄影建模和激光雷达建模。人工建模是利用三维建模的软件，如3DMAX，Maya等结合已有的影像或者大比例尺规划图等进行建模。该建模方法模型效果较好，但是制作周期较长，与真实世界反差大，并且人工成本高，适用于小范围、特定目标的三维建模。在城市三维建模领域，一般不采用该方法。谭仁春等[4]针对人工建模的不足，开发了人机交互的辅助工具，提高了人工建模的效率，但是该方法耗费了大量的时间成本和人力成本，仍然不足以满足大规模城市三维建模的需求。

倾斜摄影测量技术是测绘遥感领域近年来发展起来的一项新技术,利用该技术可以快速获取地物不同角度的影像，得到更为详尽的物体侧面信息[5]，获取的数据也更能够直观、真实地反映实际地物特征[6]；并且无人机倾斜摄影具有效率高、成本低、灵活便捷等特点。目前该技术已在多个领域进行了实验和研究。王娟娟等[7]利用旋翼无人机对北京市高新区进行了倾斜摄影，并生成了该区域的三维模型，对倾斜摄影技术进行了建模可行性、精度和效率等的分析和评价，但是该研究的研究区地形为平地，面积约为1 000 m2，对城市的复杂地形、大面积等未作更详细的研究；谭仁春等[8]对无人机倾斜摄影的建模方法进行了改进，将倾斜摄影与MAX技术结合，改善三维模型的精度，但是该技术对三维模型的优化还是依赖人工二次处理；刘文壮等[9]探讨了不同重叠度下无人机倾斜摄影模型的质量，得出了城市建模中，重叠度设计的原则；Kelly等[10]通过无人机影像对建筑物进行了三维重建，验证了该方法在大区域建模中的可行性；Lingua等[11]利用无人机倾斜摄影技术对意大利西北部某个城市中的古建筑物进行了三维建模，验证了该技术的可行性，对该技术中的重叠度、飞行高度等进行了细节探讨；Li等[12]针对大规模的城市三维建模，利用倾斜摄影技术对北京4 000 km2的区域进行三维建模，验证了该解决方案的可行性。但是他们都没有对模型精度进行探究，也没有探讨三维模型纹理细节的优化。

激光雷达具有分辨率高、抗干扰能力强、低空探测性能好等特点[13]。并且随着激光雷达点云数据处理技术的进步，目前已有大量的研究利用激光雷达技术进行三维重建。王丹阳等[14]阐述了地基激光雷达的工作原理，并利用此技术进行建筑物三维建模，得到了高精度的三维模型，但是该方法对于城市大区域三维建模效率较低；骆钰波等[15]利用地基激光雷达技术对森林树木进行了高精细的三维建模；Heo等[16]利用地面激光雷达，提出一种3D建筑面的半自动重建方法，但是该方法效率相对较低。

目前的研究仅对三维模型的地理位置精度进行了分析与验证，但是对三维模型纹理精度改进还有所欠缺。对三维模型纹理模糊、地物空洞等问题采用的大多是人工修模的低效策略。而对大区域的激光雷达三维建模，目前的研究大多采用的是机载激光雷达的方法，该方法与无人机倾斜摄影技术一样，无法解决城市地物遮挡等问题；同时还需要对城市地物进行纹理采集，成本高、效率低。因此地面激光雷达技术目前大多应用于单体建筑的建模，现有的研究没有将地面激光雷达技术应用于综合城市三维建模中。

综上所述，对3种建模方法的优缺点以及适用范围进行了总结(表1)。人工建模效果较好，但效率低、成本高，只适用于小范围或单体建模；无人机倾斜摄影建模方法效率高、成本低，适用于大范围建模，但抗光照、风速干扰能力差，无法解决因地物遮挡造成的局部纹理扭曲、地物拉花、地物空洞等问题；因此，笔者提出无人机倾斜摄影与地面激光雷达融合建模的方法，将两种数据统一到一套坐标系中进行三维重建，获得高效率、低成本、精细化的城市三维模型。经实验，该方法可以应用于城市复杂环境中，取得了较好的效果。

表1 三维建模方法对比

1 技术路线

三维建模的基本原理是利用获取的数据生成点云数据，从而构建TIN三角网，最后对TIN三角网进行贴膜处理。倾斜摄影技术与地面激光雷达技术进行融合建模的本质是利用无人机影像生成的稀疏点云与激光雷达点云融合，最后生成更高精度的三维模型。其具体技术流程如图1所示。

图1 融合建模技术路线Fig. 1 Fusion modeling technology route

对于无人机倾斜摄影获取的影像首先需要进行预处理，从而进一步进行空中三角测量，得到空中三角测量质量报告。分析质量报告中关键点、连接点个数，初步判断其精度。再判断重投影误差(RMS of reprojection error)是否满足精度要求，若满足要求，则利用倾斜摄影影像同时生成稀疏点云和初步的三维模型。其中稀疏点云是为了与地面激光雷达点云数据进行配准，初步的三维模型则是为了分析其精度，从而确定地面激光雷达的测区。若不满足要求，则进行无人机外业重测。

地面激光雷达点云数据处理主要包括2个部分：点云滤波处理以及点云数据配准。实验中，地面激光雷达获取的数据极限范围是60 m，为了确保数据精度，只保留20 m以内的数据，这样既能够有效去除数据中的噪音点以及无效点，还能够将数据量减少，提高后续的数据处理速度。因此首先利用徕卡Cyclone Register360将点云数据导出，并进行裁剪。

由于地面激光雷达获取的点云密度较高，需要对其进行下采样，从而减少点云数据量，提高后续点云处理效率。体素滤波器将输入的点云数据分割成一个个微小的三维体素网格，以体素网格重心近似代表其他点，体素滤波器既能够减少点云数据量，又不会破坏点云数据本身的几何结构。下一步则利用统计滤波器(statistical outlier removal)将点云数据集中的噪音点去除。统计滤波器原理是计算每个点到与它相邻的K个点的平均距离。假设得到的结果是一个高斯分布，其形状由平均距离的均值和标准差决定，平均距离在标准范围之外的点，可以被定义为离群点并从数据中去除。

数据配准是将处于不同的空间坐标系的点集转换到统一的坐标系中，即计算出2个空间坐标系的旋转变换关系[17]。这里采用手动粗配准与自动精配准结合的方法进行点云配准。精配准采用的是ICP点云匹配算法，而ICP算法的配准效果与点集的初始位置有很大的关系，因此不能直接用于点云精配准，需要利用其他手段进行粗配准之后才能得到较好的效果。

ICP的基本原理是：先获取2个点集的特征点，根据特征点进行数据匹配，并设这些匹配点为假想的对应点，然后根据这种对应关系求解运动参数，最后利用这些参数进行数据转换[18-19]。ICP算法简单来讲就是通过对应点使目标函数S2最小化，其计算公式如下，

(1)

式中：N为迭代次数，Qi为参考点云中的点，Pi是目标点云中对应的点，R和t就是需要计算出的旋转平移矩阵。

最后，将无人机倾斜摄影影像与配准之后的激光雷达点云数据同时导入Context Capture三维建模软件中，利用该软件生成城市实景三维模型。

2 设计方案

2.1 无人机数据采集

传统的无人机倾斜摄影测量流程：1)确定测区，利用无人机飞控平台进行自动化航线规划；2)按照规划好的航线进行飞行，完成外业测量任务。利用传统的方式进行无人机数据采集时，因其航线固定、航高固定，无法灵活地控制飞行的高度和拍摄角度，对于目标地物无法进行精细测量，导致生成的三维模型在细节方面扭曲变形，达不到理想的效果。在城市中，由于建筑物的高度较高，建筑物之间的间距相对较小，航线固定的测量方法在城市数据获取中存在很大的不足，会出现无人机航拍的视域盲区。因此，对无人机数据采集方法进行改进(图2)：

1)按照传统获取方式，设定航高110 m，设置航向重叠度为75%，旁向重叠度为65%，进行固定航线采集；

2)调整无人机飞行高度以及摄像头拍摄角度，对兴趣区域进行手动拍摄。

图2 航线自动拍摄与手动调整拍摄结合Fig. 2 Combination of Automatic route shooting with manual adjustment shooting

2.2 地面激光雷达数据采集

地面激光雷达数据的获取设备采用徕卡BLK360激光扫描仪。在进行实地激光数据获取时，首先是确定测区，然后根据测区的范围进行测站的布设。由于徕卡BLK360的扫描范围是0.6～60 m，而扫描点的距离越远，点云精度和测距精度则越低，因此为了获取高精度的数据，一个测站的实际扫描距离控制在20～30 m之间。为了方便点云的智能拼接，相邻测站之间需要有一定的重合度，保证相邻测站之间能够建立连接，如图3所示。

图3 地面激光雷达测站Fig. 3 Ground lidar station

3 数据处理与精度评估

3.1 无人机影像处理与分析

由于航拍照片受到天气、光照等多方面的影响，航拍影像存在亮度不一致、照片不清晰等问题，从而导致后续影像匹配错误。因此，对航拍影像进行预处理，利用Photoshop对航拍影像的亮度、饱和度、对比度等多方面进行调整(图4)。

图4 无人机影像预处理Fig. 4 Drone image preprocessing

对影像进行预处理之后，需要对影像数据进行空中三角测量，从而确定影像拍摄时的位置和方向，即确定像片的内外方位元素。由于在进行拍摄时，相机的传感器尺寸、镜头焦距等是固定的，因此内部定向是固定的。空中三角测量(图5)的主要任务是利用航拍影像提取特征点以及匹配特征点，然后将特征点进行连接，从而计算外方位元素，将测区的所有影像纳入统一的物方坐标系。

图5 空中三角测量结果Fig. 5 Air triangulation results

根据空中三角测量质量报告分析空三解算的精度。如图6所示，导入的影像总共有1 253张，其中有2张不能用于重建，原因是这2张照片与其他的照片重叠度不够高或者没有提取出连接点。图7给出了这2张照片中可能存在的连接点，图中虚线之前的图片是未参与空中三角测量的影像，之后的影像中的点是其他影像中可能存在的对应连接点。质量报告概述中指出平均每张影像提取出了13 706个关键点，总共268 548个连接点，平均每张照片831个连接点，重投影误差为0.75个像素。一般来讲，重投影误差小于1则没有问题；否则需要重复多次进行空中三角测量，直到误差小于1为止。

图6 空中三角测量质量报告Fig. 6 Air triangulation quality report

图7 空三失败的影像Fig. 7 Image of aerial triangulation failure

完成空三解算之后，生成三维模型和倾斜摄影稀疏点云。如图8所示，模型整体效果与精度都比较不错，但是某些细节区域，由于地物遮挡、影像质量不高等原因，地物会出现扭曲、空洞等问题，如图9所示。因此需要对该兴趣区进行地面激光雷达数据进行补充，以弥补该区域的缺陷。

图8 无人机影像建模整体效果图Fig. 8 Drone image modeling overall rendering

图9 三维模型中的缺陷Fig. 9 Defects in 3D models

3.2 地面激光雷达数据处理与分析

针对无人机影像生成的三维模型的缺陷，对该区域进行地面激光雷达扫描。如图10所示，在该区域总共设站23个，测站之间的连接数为67个，点群误差为0.007 m，全局误差0.001 m，误差值在可接受范围之内。地面激光雷达点云数据的坐标系为相对坐标系，需要将地面激光点云数据坐标系转换到WGS84坐标系下，从而与无人机点云数据进行融合建模。

图10 激光雷达点云数据自动拼接Fig. 10 Lidar point cloud data automatic stitching

首先利用手动配准方法将地面扫描点云与无人机生成的点云进行配准。点云手动配准的结果见图11，得到了一个旋转变换矩阵，同时也得到了变换的精度RMS为0.298，这个配准精度明显不能够满足要求，需要进一步进行精配准。

图11 手动配准结果Fig. 11 Manual registration results

利用ICP算法进行精配准，由于2个点云的大小不一致，在使用ICP算法时，设置的重叠度也应该相应地进行修改(图12)，设置重叠度为10%，得到的RMS为0.05。图13展示了最终的配准效果。

图12 ICP配准结果Fig. 12 ICP Registration results

图13 配准效果Fig. 13 Registration effect

3.3 融合建模

利用Context Capture三维建模软件进行融合建模，将已经经过配准的激光点云数据与无人机影像数据导入Context Capture中，并在Context Capture中进行空中三角测量，最后得到一个融合模型。为了更好地查看融合建模与单独建模的差异，同时生成融合模型和倾斜摄影三维模型。图14(a)中，倾斜摄影模型的建筑物墙体有明显的扭曲变形，图14(b)为融合模型中对应墙体的模型效果，可以看出，融合建模方法能够改善三维模型地物扭曲的问题。如图15(a)所示，倾斜摄影模型中存在地物空洞的问题，图15(b)展示了融合建模方法也可以解决三维模型地物空洞的问题。由图16(a)可以看出，倾斜摄影模型的地物细节较为粗糙，图16(b)表明融合建模的三维模型在细节上极大地提高了三维模型的纹理精度。

图14 地物扭曲变形纠正Fig. 14 Ground distortion correction

图15 地物空洞弥补Fig. 15 Ground hollow make-up

图16 地物细节优化Fig. 16 Feature optimization

3.4 三维模型精度评估

目前，三维模型精度的评估还没有统一的技术规范与标准。众多研究者利用外业控制点对构建的三维模型进行精度评估，周吕等[20]以武汉大学卓尔体育馆作为研究区域，利用外业控制点对无人机倾斜摄影所构建的三维模型进行了精度的评估，但是这类精度评估方法只对三维模型的地理位置精度进行了评估。张号等[21]在《倾斜摄影实景三维模型质量评价》一文中利用相关实验并结合倾斜摄影三维模型的特点和成果质量表现形式，归纳了三维模型质量评价的内容和方法。如表2所示，质量评价元素主要包括6个部分：空间参考系、位置精度、模型质量、逻辑一致性、场景效果、附件质量。

表2 质量检查元素与权重

根据以上的检查元素，检验结果如下：1)空间参考系：融合模型的坐标系为WGS84坐标系，空间参考系符合要求。2)位置精度：根据上文空中三角测量质量分析，模型的平面精度为0.038 m，高程精度根据经验模型，为平面精度的3倍左右，即0.114 m左右。3)模型质量：初步模型中建筑物结构出现一定程度的变形和扭曲，甚至是出现空洞，融合建模的三维模型较好解决了该问题；在结构和纹理上改善了模型质量。4)逻辑一致性：未发现问题。5)场景效果：模型整体效果较好，与实际地物较为吻合。6)资料质量：符合要求。

4 结 语

分析比较了无人机倾斜摄影三维建模与地面激光雷达三维建模的优缺点，结合无人机倾斜摄影的高效性和地面激光扫描的精确性，提出了以无人机倾斜摄影为主，地面激光雷达为辅的城市三维实景融合建模方法。在实验过程中，总结了一套数据获取与数据处理的流程，包括外业无人机影像获取策略、多种滤波算法结合的滤波方法以及数据配准方法优化等，解决了无人机影像三维建模中的部分缺陷，提高了三维模型的精度，完善了三维模型的部分纹理细节。但是，对于获取时间差异很大的数据，无人机影像和激光扫描数据存在色调、色差等问题，还需要进一步的深度探究，同时更高效的点云滤波处理方法和点云配准方法也有待进一步的研究。