无人机倾斜摄影三维实景建模及其优化技术研究

卜全民 赵小乔 李 涛

随着“实景三维中国”“智慧化城市建设”等建设项目的深入开展，三维实景建模技术和应用得以快速发展。无人机倾斜摄影三维建模技术具有方便灵活、成本低、精度高等优势，已成为构建大场景三维实景模型的主要技术手段①孙杰、谢文寒等：《无人机倾斜摄影技术研究与应用》，《测绘科学》2019年第6 期。。在无人机倾斜摄影测量三维建模技术中，控制点布设和航线规划方案对三维模型成果精度、作业效率和成本具有重要影响。此外模型成果中也会经常出现悬空物、遮挡等现象，影响模型质量。张慧莹等②张慧莹、董春来、王继刚等：《基于Context Capture 的无人机倾斜摄影三维建模实践与分析》，《测绘通报》2019年增刊。提出了隔行带、隔基线布设方法，范攀峰等③范攀峰、李露露：《基于Smart3D 的低空无人机倾斜摄影实景三维建模研究》，《测绘通报》2017年第2 期。研究了合理布设控制点和数量的方案，但都未形成无人机倾斜摄影控制点布设规范或指导意见。在航线规划方面，吴波涛等④吴波涛、张煜、李凌霄等：《基于多旋翼单镜头无人机的三维建模技术》，《长江科学院院报》2016年第11 期。对无人机倾斜摄影全覆盖航线进行了研究，杨乐⑤杨乐：《面向海岛航拍的无人机航迹规划算法研究》，《中国海洋大学》2014年硕士论文。提出了基于改进牛耕式的覆盖航迹算法，但这些航线规划方案都没有充分利用无人机的优势及特点。针对悬空物的处理，陈杭⑥陈杭：《一种基于多重纹理映射的倾斜摄影模型单体化技术》，《测绘与空间地理信息》 2018年第41 期。、谭仁春等⑦谭仁春、李鹏鹏、文琳等：《无人机倾斜摄影的城市三维建模方法优化》，《测绘通报》2016年第11 期。主要基于Open Scene Graph 三维引擎技术进行了研究，但该方法要求作业人员对三维模型数据结构较为了解，并具备OpenGL 开发经验。针对遮挡物的处理，李明等①李明、张卫龙、范丁元等：《城市三维重建中的自动纹理优化方法》，《测绘学报》2017年第46 期。、卜松涛等②卜松涛、岳凡琦、依兰等：《基于倾斜影像的三维建筑物纹理提取方法研究》，《测绘与空间地理信息》2014年第10 期。提出最优纹理选择的方法，王宇新等③王宇新、贾棋、刘天阳等：《遮挡物体移除与图像纹理修补方法》，《计算机辅助设计与图形学学报》2008年第1期。提出运用抠像技术移除树木遮挡方法，但这些方法都是把遮挡物作为整体来提取，忽略了遮挡物本身纹理形状和色调差异。本文提出根据三维模型精度要求、测区地形和地物密度等因素进行无人机平台选型、控制点布设和航线路径规划方案选择的原则及方法，并对倾斜摄影测量系统、影像数据处理、三维实景建模技术进行了研究；针对模型中的悬空物、遮挡物问题，分别提出基于TIN 的降维处理方法和基于纹理色调、几何特征的遮挡物分类提取修复的模型优化方法，这些技术方法的应用，取得了很好的三维实景模型效果。

一、无人机倾斜摄影测量技术

无人机倾斜摄影测量技术是目前快速获取三维空间数据和实景模型的主要方法。通过无人机飞行平台搭载的多台不同角度相机（通常为5 镜头），从垂直、倾斜5 个角度同时进行采集影像数据（外业），快速、高效、精确地获取地物海量的影像数据，通过数据处理作业（内业）生产出三维实景模型。无人机具有机动性好、效率高、成本低等优势，随着无人机稳控和测绘技术的快速发展，无人机倾斜摄影技术已成为重要的航测遥感平台④王朝辉、吴昊、孟将：《无人机倾斜摄影像控布点方案研究及精度分析》，《 测绘通报》2021年第5 期。⑤陈理想：《无人机倾斜摄影实景三维建模及质量评价》，《测绘与空间地理信息》2019年第1 期。，也是当前三维实景建模技术领域研究和应用的热点之一⑥原明超、仇俊：《无人机倾斜摄影测量在三维模型测图中的应用》，《 测绘通报》2020年第7 期。。

（一）无人机平台选型

无人机平台可分为固定翼、旋翼、垂直起降固定翼等类型⑦连蓉、丁忆等：《倾斜摄影与近景摄影相结合的山地城市实景三维精细化重建与单体化研究》，《 测绘通报》2017年第11 期。，见图1：

图1 倾斜摄影常用无人机类型

倾斜摄影无人机各有其技术优势和不足，见表1：

表1 无人机分类及其优缺点

垂直起降固定翼无人机● 结合旋翼和固定翼无人机的各自优势，可旋翼起降、固定翼巡航● 飞行距离长，巡航面积大，飞行速度快率和清晰度受到限制● 只能按照固定航线飞行，不能悬停获取连续影像● 操作难度较大，风险性较高

无人机平台选型时，需要考虑的主要因素：1.具有足够的安全性和可靠性；2.任务载荷能力满足需求；3.飞行控制精度满足相关规范要求；4.测区的地理环境和气象条件；5.续航时间、飞行速度、控制距离、操作的便捷性等需求。

（二）倾斜摄影测量系统

摄影测量系统是无人机倾斜摄影测量系统的核心任务载荷，主要包括倾斜摄影相机及其控制系统、位置与姿态采集系统（POS）等。多角度倾斜相机通常采用5台相机配置，1台相机垂直向下，其他4台相机按照一定角度倾斜配置，见图2。这种相机组合配置能同时获取地物同一曝光点的正射和4个不同方向的多方位影像，作业效率高，可以快速采集影像，但通常相机较重，需搭载在续航时间长、载荷能力强的无人机平台上。在测区较小或无人机任务载荷能力不足等情况下也可选择1-4 镜头相机配置的方案。

图2 5 镜头倾斜摄影相机

无人机倾斜摄影测量通常搭载位置与姿态采集系统（POS），一般由全球卫星导航系统（GNSS，如GPS）和惯性测量单元（IMU）集成，是直接对相机进行定姿定位的一种高精度测量系统。在数据处理时，通过区域网平差，可以获得每张影像的精确内外方位元素，使影像的位置和姿态得以恢复。

航线规划时可按照“井”字飞行路径设计，并沿航线往返飞行，以获取地物的正射和侧面信息数据。航向、旁向影像重叠度要满足规范要求①缪玉周：《 消费级无人机倾斜摄影测量技术在构建城市真三维模型中的应用研究》，《东华理工大学》2018年硕士论文.，航向重叠度通常不低于80%、旁向重叠度不低于70%时，一般可获得效果好、精度高的三维实景模型②王壮壮：《 倾斜摄影三维模型构建及其优化研究》，《江西理工大学》2021年硕士论文。。

二、控制点布设和航线规划

（一）控制点布设方案

控制点的主要作用是为整个测区影像数据提供准确的定位依据，可以选择测区内存在的具有明显特征的固定点，也可以制作标志物作为控制点。测区内控制点的分布和数量是影响最终三维实景模型质量的重要因素，本文根据模型精度要求、测区地形和地物密度并参照《低空数字航空摄影规范》要求，设计了三种控制点布设方案，如图3所示。

图3 控制点布设方案

研究表明，一般情况下控制点方案b 可以满足1:1000 精度要求，控制点方案c 可以满足1:500精度要求，如果地物结构复杂、密度较高、模型精度要求高可以选择方案c 进行布设控制点。

（二）航线规划

航线规划涉及的主要因素有相机参数、飞行相对高度、航向旁向重叠度、飞行路径等，其中飞行路径方案的选择在大区域测量时对作业效率和成本影响较大。

当前无人机飞行路径规划研究重点多集中于点对点路径规划①陈曦、谭鑫、高欢等：《无人机不同航线倾斜摄影建模方法比较及改进》，《 地理空间信息》2021年第10 期。，无人机连续飞行拍摄时需要一定的转弯半径，在无人机路径规划时需要考虑转弯半径的条件约束。传统的路径设计多为“之”字形方案，该方案受转弯半径约束，无效覆盖面积较大，本文提出“井”字形路径方案，可有效解决上述问题，研究表明可大幅度提高作业效率，降低成本。

无人机倾斜摄影测量外业流程如图4所示。

图4 无人机倾斜摄影测量外业流程

三、倾斜摄影数据处理和三维实景建模

倾斜摄影数据处理和三维实景建模是倾斜摄影测量三维建模的内业部分，其质量直接影响最终三维实景模型的效果和精度①刘增良：《基于倾斜摄影的大规模城市实景三维建模技术研究与实践》，《测绘与空间地理信息》2019年第2 期。。倾斜摄影数据通过以街景工厂、Context Capture Center、Smart 3D 等为代表的三维建模软件，可实现测区整体实景建模、自动化程度高②缪盾、吴竞：《基于Agisoft Photoscan 的图像三维重建及精度研究》，《测绘工程》2017年第8 期。。

（一）倾斜摄影数据处理

倾斜摄影数据处理主要包括影像预处理、空三测量、影像密集匹配等。

1.数据预处理。因光照条件、相机误差、飞行控制等因素会造成影像畸变、扭曲、对比度差异过大等问题，为了提高影像后期处理的精度，应对影像质量进行检查，进行畸变校正、匀光匀色等影像处理，并按照统一规则对影像与POS 数据进行统一命名编号，影像和POS 数据坐标系不一致时，要进行坐标转换，做好数据预处理工作才能有效保障后续过程的顺利进行。

2.空三测量。本文采用光束网法进行空三测量，该方法将图像点的坐标作为原始值，采用共线方程线性化，建立整个区域的统一性方程式和误差方程式，对所有待求点地面坐标和六个外方位元素进行整体解求。刺点作业时可参照现场照片和地物特征确认控制点位置，避免刺点错误，完成后采用光束法进行区域网整体平差解算。该方法具有精度高、理论严谨的特点，在非摄影测量观测值引入和误差估计方面具有出色表现。

3.影像密集匹配。密集匹配是为了计算测区每个物方点三维坐标，从而重建整个测区影像而进行的同名点匹配，对影像解读具有重要作用。影像密集匹配算法也是目前倾斜摄影测量技术领域的研究热点之一，主要有ELAS(Efficient Large-scale Stereo)局部算法、SGM(Semi-global matching)半全局算法、CSCA(Cross-scale cost aggregation)跨尺度代价聚集算法。ELAS 属于局部算法，在倾斜表面和纹理较稀疏部位能达到良好的效果，但在视差不连续部位效果不好；SGM 算法利用了局部算法和全局算法的各自优势，很好地平衡了匹配效果和效率；CSCA 是一种全局算法，利用多尺度信息进行密集匹配，显著提高了匹配精度。通过密集匹配得到所有影像中的同名点，并从中提取更多的特征点，从而得到整个测区的大量点云数据。

（二）三维实景建模

在Context Capture 三维建模软件中，利用经过上述步骤处理好的影像数据构建不规则三角网TIN，然后进行纹理映射生成三维实景模型。

1.构建TIN。根据测区的点云数据将区域构建为相连的三角面网络，三角面的形状和大小取决于点的密度和位置，可通过三维建模软件自动完成。

2.纹理映射。纹理映射即将纹理空间中的纹理像素映射到屏幕空间中的像素的过程。通过三维建模软件从影像中计算出纹理，并自动映射到对应的白模上，最终形成三维实景模型。

3.三维实景模型输出。模型输出采用分层显示技术，可对建模区域选用Regular planner grid 进行划分，选择3D mesh 产品形式和OSGB 格式。

倾斜摄影数据处理和三维建模技术流程如图5所示。

图5 倾斜摄影数据处理和三维建模技术流程图

四、三维实景模型优化

通过无人机倾斜摄影测量技术获取的高分辨率影像数据，可实现真实度高、可测量的精细三维实景模型。但由于受到地物本身特征、光照、影像匹配算法等多种因素影响，三维实景模型可能会出现悬空物等缺陷①赵跃：《倾斜摄影测量三维模型优化方法研究》，《测绘与空间地理信息》2021年第5 期。。由于拍摄角度、地物距离太近等原因，建筑物模型纹理中会出现遮挡现象，需要对三维模型进行优化处理，以得到更精细化的三维实景模型②李安福、曾政祥、吴晓明：《浅析国内倾斜摄影技术的发展》，《测绘与空间地理信息》2014年第9 期。。

（一）悬空物处理

三维模型中出现的悬空物多为横截面较小的物体，如路灯、建筑物顶部的广告牌等。由于影像分辨率、算法识别等因素，模型重建时很难识别这些地物的全部细节，造成地物横截面较小的部分无法显示，从而形成模型悬空物现象。

本文针对三维模型中悬空物的处理，提出三维模型数据降维处理的方法，通过二、三维数据协同分析解决悬空物处理问题。倾斜摄影三维实景模型是通过不规则三角网TIN 和纹理映射构建的，TIN模型中记录了三角网顶点三维坐标、法向量、拓扑关系等③周晓敏、孟晓林、张雪萍等：《倾斜摄影测量的城市真三维模型构建方法》，《测绘科学》2016年第9 期。，三维三角网投影转换到二维平面时，记录保存着所有三角网间的连接关系、高程信息等，通过离散点最小凸边形提取④闻俏、蔡红玥、逯跃锋：《基于最小凸包的多尺度线状矢量数据匹配方法研究》，《科学技术创新》2021年第12 期。、离散点聚类⑤罗有志：《K-means 聚类算法研究及应用》，《长沙理工大学》2016年硕士论文。等算法，可以自动定位并消除悬空地物，该方法较好地解决了传统三维数据格式复杂、处理要求高等问题。

（二）遮挡物处理

三维实景模型中出现遮挡物现象主要是由于拍摄角度、地物间距过近等因素造成的。遮挡物纹理需要进行移除和遮挡区域修复处理，否则就会影响模型效果，降低模型精度。传统方法多为将遮挡物作为整体进行提取处理，但该方法忽略了地物的几何纹理和色调差异等基本特征，降低了模型精度。本文根据形状、色调差异对遮挡物进行分类处理，如树冠和树干形状和色调差异很大可进行分别提取和修复。

在地物模型侧面纹理中，树冠遮挡一般几何特征为面状、纹理色调为绿色，具有特殊的色调空间和地物侧面纹理信息差异显著等特点，利用这些特征就可以通过设置色调空间作为约束条件对树冠遮挡进行初提取，再利用形状信息进行精提取。而树干遮挡多呈线状特征、纹理色调为近灰褐色等特点，根据这些特征可以通过色调空间设置对树干遮挡进行初提取，再利用边缘检测和跟踪算法进行精提取。

遮挡初提取时先将图像RGB（红、绿、蓝色）色度空间转换为HSV（色调、饱和度、亮度）色度空间，利用色调、饱和度和亮度的显著差异提高遮挡物与建筑物之间的纹理辨识度。将初提取结果进行网格化，通过计算网格的平行线密度和设置平行线密度阈值的方法进行精提取。最后对移除遮挡区域利用Criminisi 算法进行修复，就可得到更为精细的纹理图像，从而解决遮挡问题。

五、结语

本文研究了无人机倾斜摄影三维实景建模技术，提出了无人机平台选型、控制点布设方案和航向规划中飞行路径设计选择方法，按照上述选型和设计方案进行倾斜摄影作业，可大幅度提高作业效率和采集影像精度。提出倾斜摄影三维实景模型优化技术，针对模型中悬空物问题，利用基于不规则三角网TIN 的三维模型数据降维处理的方法，通过二、三维数据协同分析处理悬空物，较好地解决了传统三维数据格式复杂、处理要求高等问题；针对模型中遮挡物问题，利用模型中遮挡物纹理的几何特征和纹理色调差异，提取遮挡物纹理，对移除遮挡区域通过Criminisi 算法进行修复，最后得到更为精细的纹理图像，解决遮挡问题。这些技术方法的应用，使生产的三维实景模型更为真实、精细，拓宽了无人机倾斜摄影三维实景建模技术的研究和应用思路，对当前数字化、智慧化城市建设具有一定促进作用。