一种近景倾斜摄影的三维建模盲区自动修复技术

汪雅, 曾志

(1.浙江省测绘科学技术研究院，杭州 311110； 2.惠州学院计算机科学与工程学院，惠州 516007)

0 引言

倾斜摄影技术是测绘遥感领域近些年发展迅速的一项多视影像高效匹配技术，在大范围、复杂地形地物建模领域具有广阔的应用前景，能够降低三维建模的成本，提高模型的生产效率。然而，作为一项发展较为成熟的近景摄影测量技术，vRTK是该领域新兴的一款开拓性产品，相比于传统的手持相机拍摄影像，其在拍摄期间，可利用 RTK 获取每张曝光影像相对应的高精度位置、姿态信息，现场作业后无需再布设像控点。其拍摄的近地面和建筑物侧面要素数据完整、细节清晰，是倾斜摄影获取的影像数据的补测，能够很好地修复倾斜摄影在近地面和建筑物侧面的数据失真现象。

上述拍摄到的影像可用于测量地物的长度、面积、角度、高度、坡度等数据，极大地方便了城市的三维建模。由于航摄俯视及下视45°拍摄方式的限制，影像获取易受到航摄盲区以及匹配错误的影响，构建的三维模型场景仅适合于俯视或45°视角下进行浏览[1]，若在地面或近地面仰视角度观看，会发现由于“摄影盲区”引起的墙面不平整、屋檐和墙体连接部分结构粘连、白墙破洞、模型扭曲、纹理缺失等现象。以往主要通过空洞区模型导出[2]、边界自动提取[3]、三角网重构的方法[4]，以及基于特征线修复[5]等方法解决“摄影盲区”引起的模型失真问题，但上述方法由于目前采集技术的限制，影像数据从空中俯视拍摄，近地地物缺乏高精度的数据支持和匹配，导致地面低处、摄影盲区部分建模效果欠佳，存在三维模型结构和纹理失真等问题，整体三维模型表达不成熟[6-7]。考虑到CNN网络它的每个人工神经元仅响应一部分覆盖范围内周围的单元，使得CNN 网络在大型图像处理中具有出色表现[8]。然而，在倾斜三维模型生产过程中，由于倾斜航摄存在航摄相机的拍摄盲区影像采集不全，易引起匹配点不足以及匹配错误等问题，可通过倾斜影像立面提取点云的方法实现匹配[9]。

通常采用第三方软件进行三维重构修正倾斜三维模型的不足，主要有2种方法： ①结构修正法，修复白墙破洞、水面高低不平和模型结构贯通，再导回自动建模软件重新映射纹理； ②重建法，把需要修复的建筑物按底部高程踏平、地形掏空、在原地重构三维模型[10]。

比较测试和分析表明，以上的结构修正法在修饰水面和白墙空洞等方面效果较好[11-12]，但修饰三维模型的效果有限，重建法基本等同于传统建模，工作量大，需要大量的人工作业成本，纹理如果不另外增加采集，后期映射结果仍较为模糊。

本文针对航摄死角引起的三维模型结构粘连和失真问题，采用三维场景运算软件，结合近景照片采用边界自动提取、特征线检测与匹配等修复技术，构建高精度的三维影像模型，解决了倾斜摄影模型难以近地浏览的问题，从而提高倾斜摄影数字三维成果的可视化效果，获得高质量、高精度的三维实景模型。

1 倾斜摄影三维建模技术

1.1 倾斜摄影测量

倾斜摄影技术具有空中视角减少遮挡，以及城市实景三维表征的优势。此外，考虑到软件架构的优越性，数据以块为单位生产和存储，使得三维平台系统容易实现可视域数据的精准调度，便于海量数据的快速加载和网络发布。

1.2 三维建模流程

当前，三维数字城市建设大多使用Context Capture三维场景运算软件，参照该软件的倾斜三维建模流程，设计了如下三维建模步骤：

1)影像采集和预处理。①影像采集，利用无人机搭载倾斜航摄系统飞到设计高度进行倾斜影像的连续采集，获取规定区域内超高分辨率的倾斜影像，倾斜影像要满足批量自动建模的要求； ②影像预处理，影像质量与三维场景的最终效果相关，影像预处理主要是色彩的调整，调色原则以写实、靠近自然真彩色为基准，在尽量少损失实地色彩信息的基础上，平衡整体图像亮度、对比度、清晰度，统一图像色调； ③POS数据预处理，航飞解算后的POS数据按照固定格式整理，参与自动建模软件计算。

2)三维模型生产。①空三加密，依据光线直射原理，摄站透视中心、像空间、物空间的点形成共线关系。在摄站透视中心位置已知的情况下，2张或以上像片的光束互相交会。应用前方交会原理，可求得对应的地面点的空间坐标。空三加密基于上述摄影测量原理，利用影像采集过程中同步获取的POS数据和有限个已知控制点的影像方和地物方坐标，确定区域内所有影像的外方位元素，解求出未知点的绝对坐标； ②影像密集匹配，通过场景多视影像的获取和空三处理，实现特征点提取和影像密集匹配，获得同一空间参考系下用来表示目标空间分布和目标表面特性的海量点云，基于点云构建不规则三角网，还原出场景真实的三维形状； ③纹理映射，对三维场景的每个三角面片，从可映射的多视影像纹理图像中，选择最优的纹理图像进行映射； ④成果输出，Context Capture软件可输出点云数据、三维模型数据、正射影像(digital orthophoto map,DOM)、真正射影像(true DOM,TDOM)和数字表面模型(digital surface model,DSM)，其中，三维模型数据格式包括OSGB，S3C，OBJ等通用格式。

2 倾斜摄影三维模型的自动修复方法

一般地，当原模型的近地部分结构为不清晰、粘连或失真时，可采用大量的近景照片按照倾斜摄影自动建模的方法，完成新的三维场景的自动构建。因此，不需要保证影像尺度的一致。此外，构建三角网也不需要融合,仅需将空中拍摄的五镜头相机影像和近地影像通过同名点构建链接后，一起参与确定地物点的计算进行三角网构建，再叠加纹理最终形成三维目标场景。

因此，实景三维模型空地数据联合制作的修复方法为： 以无人机倾斜摄影系统获取的数据作为实景三维建模的基础数据，利用 vRTK 影像测量仪采集建筑物底部及侧面地面近景影像，通过影像定向后获取后续联合建模所需的成果包，其中基于近景摄影测量前方交会原理，经过“刺点”后提取的特征点坐标用于倾斜影像空三解算的像控点，实现空地数据的坐标系统统一，然后联合倾斜实景模型和地面 vRTK 数据进行建筑物模型自动精细化建模。

以浙江省德清地信大会会址为例，为了获取高精度三维实景地形实体模型，采用多旋翼电动无人机搭载ARC524航摄仪，按航高100 m，航向85%、旁向80%重叠度要求，采集五镜头影像数据。按设计的飞行参数获取地物五镜头倾斜航摄影像，提交Context Capture软件处理，自动匹配地物空间位置点，获取的三维模型如图1所示。

图1 倾斜航摄模型俯视图Fig.1 Vertical view of oblique photography model

分析模型成果可知，在航摄及以上的高度和航摄倾斜角度观察三维场景，可视效果非常好。如果视点下降到地面，会发现受遮挡部分的模型结构存在粘连、纹理失真，如图2所示。

图2 地信会址入口处倾斜摄影模型Fig.2 Oblique photography model of the venueof geographic information hall

通过大量的实验数据分析、方案设计和项目实践，发现利用多角度近景照片可以自动修复模型失真，主要技术思路： 参考倾斜航摄三维建模原理，结构失真部分多角度高重叠度补充近景影像，在对初始模型的修复过程中，导入近景影像，获取其外方位元素和相机参数，通过人工辅助判读，建立新增影像和初始模型的连接点，系统依据高精度影像匹配算法，自动匹配所有近景影像的同名点，提取新的结构点，从而高效完成模型自动精细化构建。

2.1 近景影像的数据采集与配准

2.1.1 近景影像采集

利用低空拍摄的近景影像对模型的失真部分进行自动精细化修正，主要原理是基于多源影像的联合平差，多源影像包含高空采集的多镜头倾斜影像和低空拍摄的近景影像，近景影像能够对近地的建筑物细节进行有效补充。

近地影像采集参考倾斜航摄原理，按照无缝扫描原则规划移动扫描路线，同时设计近景影像采集的路线、角度、高度、相机水平和垂直方向摄影的重叠度，近地影像和初始模型的连接点选取需满足二者都清晰易于判读的线交位置，近景影像的采集轨迹如图3所示。

图3中，红色圆圈是像控点，黄色部分是照片曝光点。每处空中像点是5张不同倾斜角度照片； 地面像点是3张分别取左45°、正视和右45°的照片，水平和竖直采集重叠度大于60%，空三运算的时候按照上下折线取连接点的方法，建立空三关系，实现高空摄影盲区部分照片的补充并完成模型修复。

在近景摄影采集影像数据时，对于表面规则、平滑的物体，通常采用正直摄影方式，如遇到较大建筑物，可将大目标分解为若干个简单目标进行拍摄； 对于体积较小或局部复杂表面，如建筑物拐角、门前台阶处，一般采用等距离交向摄影的方式。

2.1.2 低空近景图像与三维点云配准

主要配准流程如图4所示。具体步骤如下： ①根据倾斜摄影采集到近景目标的多张摄影图像，生成对应的金字塔影像，并基于金字塔影像进行多级SIFT特征提取与匹配，应用双向匹配一致性约束进行反向匹配，根据匹配结果建立近景目标的影像模型； ②从三维点云数据和近景图像中任意选取4对以上的控制点，基于所选控制点对近景影像模型进行光束法平差，实现对多张近景摄影图像的粗定向； ③对粗定向完成后的近景图像中第一张照片，分区域提取密集特征点，并以倾斜摄影三维点云深度图像为约束，获取每个特征点在相邻的第二张近景图像上的大概位置，然后再进行灰度匹配和深度图像的最小二乘匹配，确定同名点，循环此过程，完成相邻2张近景摄影图像的同名点自动匹配； ④基于密集匹配结果得到较完整的点云数据，生成实景三维模型。同时，基于影像点云对该三维模型与进行ICP循环迭代以实现高精度配准。

图4 近景图像和三维点云模型配准流程Fig.4 Registration process of close range imageand 3D point cloud model

2.2 实景三维模型自动修复技术

点云数据通常会存在空洞，有些空洞反映了建筑物自身的缺陷，无需修改； 但是大多数情况下，需要对采集对象进行完整的描述，否则会给几何建模工作带来困难，因此，通过三角网算法判断建立的三维模型包括如下步骤： ①通过三角网格模型遍历查找倾斜摄影数据中的边界边； ②获取每一条边界边的连接顶点，建立点集合； ③遍历所述连接顶点，提取的闭合边界集合； ④判断所述闭合环路是否为空洞，若所述闭合环路为空洞，则需对所述空洞进行空洞修复。具体效果如图5所示。

图5 三角网查找空洞效果Fig.5 Triangulation network to find void effect

2.2.1 特征线的检测与匹配

为了尽可能利用模型空洞周围的特征信息并沿着特征线复原孔洞周围区域的细节特征。首先，探测三维模型空洞附近的特征线，然后为检测得到的特征线寻找其最优匹配对。本文采用文献[5]提出的最优特征线的匹配衡量标准MS按公式(1)进行匹配，即

(1)

式中：L={li}为孔洞周围特征线集合；si为以边界顶点vi,0为起点存在m个采样点(vi,0，…，vi,m)的边界的特征线；aj,t为sj的第t个采样点vj,t由li延伸的曲线上的投影；σ为特征线Si在第t个采样点与曲线上投影的标准方差。对于特征线li，能使MS(li,lj)最大的lj为它的最优匹配。如果lj的最优匹配也是li，那么称(li,lj)是一组匹配对。对于该特征线匹配对(li,lj)，可以采用球线性插值u(t)将其连接起来，即

(2)

式中：u0=(vi,0-o)；u1=(vj,0-o)(o是3个点vi,0，vi,1，vj,0所确定圆的中心)；φ为向量u0和uj之间的夹角。特征线匹配与恢复如图6所示。

图6 特征线匹配与恢复Fig.6 Feature line matching and restoration

2.2.2 自动修正流程

当倾斜三维模型所有像控点导入完成后，在影像上选点、标记，准确标示出刺点位置，集成了倾斜摄影、地面近景影像、空三成果之后，利用点云三维模型和空三成果的内在联系，在倾斜摄影实景建模软件系统中新建项目工程，导入整理完成的POS数据表格，由于受计算机硬件限制，无法一次性处理大面积测区的所有影像，需对测区进行分区块操作，以8 000～10 000张影像为一个子区块，以子区块为基本单元，对倾斜影像数据进行空三加密、模型构建、补漏和贴图、重构检查等过程，最后进行整理提交，具体流程如图7所示。

图7 三维模型修正流程Fig.7 3D model updating process

2.2.3 倾斜三维模型图像映射处理

在五镜头相机采集到大量倾斜摄影照片中，同一个建筑物往往会在多幅影像中可见，可视角度、受遮挡情况都是不同的，应选取清晰度最高，受遮挡最小的原始影像作为纹理映射数据，选择准则为： ①同一采集平面在2幅或2幅以上备选照片中均完全可视时则选择成像角度最好的照片； ②同一采集平面仅有一幅照片可视时则以该影像进行纹理采集； ③同一采集平面在所有备选照片中都有遮挡时，则优先选择区域纹理遮挡最小的影像； ④同一采集平面没有备选照片时可通过相似平面，面纹理或者地面近景摄影的方式补漏。

本文选择视角法，假设建筑物的表面法向量为N，计算倾斜摄影视点方向M与法向量之间的夹角a，并比较每幅图像所求出的夹角，选择夹角最小的图像。将夹角最小的纹理图像赋给建筑物侧表面，实现自动贴图。

通过利用优化选择后的倾斜影像和加密点，进行三维模型的特征纹理提取、定向和建模。基于与近景影像配准后的三维点云数据，本研究引入Gabor滤波进行影像纹理的噪声滤除，因为每个Gabor滤波器只能允许与其频率对应的纹理通过，能够抑制不同纹理的能量[9]，进而从输出结果中提取和分离纹理特征，用于后期的图像分类、分割、合成等任务。

采取上述方法自动快捷的提取纹理特征，进行映射处理，可以节省大量人工和时间。另外，系统能够通过同名点属性将多张近景影像和点云数据进行自动匹配和对比，选择变形小、倾斜纠正少的影像提取纹理特征并映射； 在空三校正处理后的影像上绘制地物目标的特征线，通过矢量拉伸、平移、旋转等方法制作三维实体模型并根据采集到的低空近景影像进行物体表面色彩纹理贴图，最后形成真实场景三维模型。与未修复前(图2)相比，修复后建筑物的侧面边界更明显，如图8所示。

图8 修复后的倾斜摄影模型Fig.8 A restored oblique photography model

3 应用实例

三维模型以匹配点点云构建不规则三角网为表达方式，更准确的匹配点构筑的三维模型更具真实性。考虑到无人机的安全飞行要求、影像的像点位移和后期数据处理量，飞行速度不宜过快、航飞高度不宜过低，航向旁向重叠度不宜无限制增加，补充近景影像参与计算和模型修正实现了快速自动化无痕修复三维模型。

本研究旨在为倾斜摄影近地模型的精细化重构提供一种有效的方法，在德清地信大会会址试验成功的基础上，通过嘉善倾斜三维工程应用项目进行了验证，如图9所示，实现了中国银行等建筑物的精确修复效果，另外还实现了古街道路两旁被树冠遮挡区域的精细化自动修复。

试验以德清、乌镇三维重构项目进行比较，发现采用本文自动精细模型重构方法与传统人工方法相比，传统人工方法建造一个复杂建筑物建模时间需2.5 d，贴图制作及贴图共2 d，但是采用自动建模方式，近景数据采集0.5 d，刺点0.25 d，重新建模型1.5～2 d，效率提高了一倍。所需的人力成本是后者的1/3～1/5，最主要是实现了精细部分结构和原生模型的无痕镶嵌，使三维场景经得起任何角度的浏览展示。

4 结论与展望

倾斜摄影作为前沿技术，它更加接近于人们对场景的感知，在三维建模技术领域有广泛的前景，许多应用都利用了机载倾斜摄影的优势，同时也为数据管理和处理提供了挑战，诸如整合三维地质数据，生成三维LOD模型、三维纹理分割、基于语义的城市三维模型等。从本文的研究角度出发，目前相关研究集中于得到更精确、完整的倾斜摄影三维模型，在一些复杂场景图像修复中，由于三维点云数据量较大，不易管理，在大量数据存储、管理以及模型修复、重构的效率方面还有待于进一步的研究和改善，从而可以推动倾斜摄影三维自动修复技术的实际应用，进一步丰富数字图像修复技术。