匹配地面街景的倾斜摄影全空间信息恢复研究

宋文平，杨志强，计国锋，童雅妮，高 歌

(1．长安大学测绘与空间信息研究所，陕西 西安710064;2．陕西国土测绘工程院，陕西 西安710064)

一、引 言

倾斜摄影技术是在摄影测量技术之上发展起来的。与摄影测量不同的是倾斜摄影是通过在同一飞行平台上搭载多台传感器(目前常用的五镜头相机)，同时从垂直、倾斜等不同角度采集影像，获取地面物体更为完整准确的信息。垂直地面角度拍摄获取的影像称为正片(一组影像)，镜头朝向与地面成一定夹角拍摄获取的影像称为斜片(4组影像)。倾斜摄影技术虽然具有高真实性、全要素的优势，但是单独利用倾斜摄影测量技术还存在很多不足之处，特别是在近地面细节上，倾斜摄影测量技术往往会出现大面积的数据失真和细节模糊。

本文从倾斜摄影测量的不足之处着手，将倾斜摄影和地面街景进行有机的耦合，由于地面街景技术具有在近地面的数据的完整性和不失真性，并且其具有大量的数据资源，因此将地面街景技术与倾斜摄影技术进行融合将极大地弥补倾斜摄影测量的局限性。再将倾斜影像模型中细节的丢失和模糊进行恢复，得到识别度和精度更高的的倾斜影像模型，然后将恢复后的地面细节模型与恢复之前的模型进行比较分析，从而验证将倾斜摄影与地面街景技术进行融合能够极大地提高数据信息的准确性、减少细节的丢失和失真，其相互之间具有很强的耦合性，必将为将来的测绘工作开辟新的手段和思路。

二、技术原理

1．倾斜摄影技术原理

倾斜影像是通过具有一定倾角的倾斜航摄相机获取的，其可以获取多个视点和视角的多重分辨率的影像，从而获取更为详尽的侧面信息，具有较高的分辨率和较大的视场角。但是倾斜摄影测量受地面的遮挡比较严重，从而造成近地面的数据失真，因此处理倾斜摄影影像要进行影像的畸变纠正、区域网联合平差、多视影像匹配等关键内容。其中，多视影像区域网联合平差和多视影像匹配最为关键。

(1)多视影像区域网联合平差

多视影像包括垂直摄影数据和倾斜摄影数据，由于倾斜影像上每一个点的外方位元素都是不一样的。因此，传统的空中三角测量系统不能较好地对倾斜摄影数据进行处理，必须结合POS系统提供的多视影像外方位元素，并充分考虑多视影像的几何形变和遮挡关系，采取由粗到细的金字塔并行匹配策略进行每级影像同名点的自动提取、匹配、自由网光束法平差，然后根据连接点、控制点和定位辅助数据建立区域网平差的误差方程，通过联合解算，确保结果的精度。

(2)多视影像匹配

多视影像具有覆盖范围大、分辨率高的特点，其关键是如何在冗余信息中快速准确地获取多视影像上的同名点坐标。本文在进行多视影像匹配时采用逆仿射变换模型，其能够很好地采集多视影像的同名点坐标。逆仿射变换模型是利用下视影像的粗略外方位元素、下视相机与各侧相机之间的相对姿态计算同一摄站各张倾斜影像的粗略外方位元素。利用倾斜影像的姿态参数来计算倾斜影像的旋转矩阵，并利用此旋转矩阵逆向推算出航测相机光轴的方向角，进而得出逆仿射矩阵，利用此逆仿射矩阵的尺度和旋转不变性，对原始的倾斜影像进行逆仿射变换，即进行倾斜影像的纠正。对纠正后的影像进行sift匹配，匹配策略采用最近邻匹配，对于sift匹配中出现的误匹配，利用主方向差值一致性进行剔除，并将剔除后的正确匹配点对反算到原始影像上。

2．地面街景技术原理

地面街景技术是虚拟现实领域的重要内容，其是借助于计算机技术和图像图形处理技术，对现实环境建立适合于计算机表示和处理的模型，并进行实时渲染，从而具有更强的逼真度和沉浸感。首先基于稠密深度进行立体平行拼图，得到一幅多视点全景图像和一幅与其相对应的稠密深度图像，根据两类图像数据就可以渲染出新视角的视图，从而完成重构。然后利用分段连续密闭立面模型简化拟合街景的实际几何建构，并以分段连续立面为投影面得到无缝平滑的多视点全景图像拼接结果，以便作为纹理使用。其多视点成像示意图如图1所示。

图1 地面街景成像原理

三、耦合全空间信息提取

1．倾斜摄影技术分析

倾斜摄影技术作为一项新的对地观测技术，在国外发达国家已经得到了较为广泛的应用。相对传统的建模方式其具有一定的优势，但是也相应地存在不足之处。

(1)倾斜摄影测量的优势分析

1)周期短、效率高。一个面积约50 km2的城市，运用倾斜摄影建模技术，在理想情况下，从获取影像之后，处理数据直至生成真三维模型仅需一周左右。同等工作量，若采用人工建模，则需投入100人干足3个月。

2)高真实性。倾斜摄影模型与传统的手工模型相比，其模型具有更强的真实性，如图2所示，从图中对比可以看出，倾斜摄影模型能够更加接近人的视觉特点，给人更高的真实性。

3)全要素性。倾斜摄影建模与传统手工建模相比，能够对近地面进行全覆盖，对房顶、地面公共设施等的详细构造能够更加详细全面地进行反映。如图3所示，在倾斜摄影模型中，可以清晰地鉴别出屋顶上的详细构造、地面停车上的详细情况等细节，而在手工模型上只能够大体的鉴别房屋、绿化带等的相对位置关系，对于细小的详细细节不能够客观准确地表示出来，即倾斜摄影模型能够对近地面的要素进行全方位的表示。

图2 高真实性比对图

图3 全要素对比示意图

4)可量测性。倾斜摄影模型具有高精度的可量测性。如图4所示，传统的手工模型为非真实模型，其可能与实地不一致，但是倾斜摄影模型具有高精度的可量测性，其量测结果与实地一致。

图4 可量测性比对图

(2)倾斜摄影存在的问题分析

1)近地面数据丢失。倾斜摄影由于建筑物等地面实体的遮挡，造成了近地面数据的丢失，特别是近地面的路灯、围栏、行道树等近地面数据。如图5所示，可以看出倾斜摄影测量在近地面存在大量的数据丢失。

图5 倾斜摄影近地面数据丢失

2)近地面细节不清晰。由于倾斜摄影角度等不同，其在地面数据上的鉴别效果也不一样。这就造成了近地面数据的细节不清晰，特别是行道上的招牌字、行道树、居民窗户等近地面细节。如图6所示。

图6 倾斜摄影近地面细节不清晰

3)近地面模型有空洞、表面模糊粗糙。

倾斜摄影测量的近地面模型有空洞，并且其表面模糊粗糙。由于这种原因，造成了其在近地面模型无法量测或量测的精度较低。如图7所示。

图7 倾斜摄影近地面的空洞和不可量测性图

倾斜摄影虽然存在近地面数据丢失、近地面细节不清晰、地面模型空洞和不可量测性等不足之处，但是其具有较好的全局性和完整准确的高层数据信息;相反，地面街景技术作为一种发展较为成熟的技术，其地面街景图像是最为真实的，任何建模效果都达不到图像的效果。其近地面数据完整、细节清晰，但是其在全局上呈现不足，高层信息存在缺失。因此，将倾斜摄影与地面街景技术进行较为完美的耦合，必然会解决倾斜摄影在近地面的不足之处，极大地发挥倾斜摄影在生产生活中的作用。

2．耦合全空间信息提取

为了最大限度地弥补倾斜摄影在近地面的不足，充分发挥地面街景技术在近地面的优势，将倾斜摄影与地面街景技术进行有机的契合，建立空地全方位信息一体化可量测模型来进行全方位空间信息的提取，从而进行倾斜摄影数字产品的快速生产，将传统的摄影测量放在一个更大的泛在空间。为了修复倾斜摄影测量在近地面的数据失真现象，将地面街景技术在近地面的图像匹配到其倾斜摄影相片相对应的位置之上，但是在匹配过程中会出现较大的影像位置和姿态的融合误差。因此，其融合最大的难点在于街景相机位置和姿态要足够精确。

(1)倾斜相机的架设方法

基于地面街景和倾斜相机的原理，可以用同一个倾斜摄影相机进行倾斜摄影和地面街景的影像获取。将倾斜相机安装在空中的无人机等平台上，向下按规程拍摄就是倾斜摄影;将此倾斜相机倒过来安装在地面的车上，向上拍摄来获取地面街景的影像序列。这样利用相同的计算机视觉方法，就会获得相对精度较高的相机初始位置和姿态数据信息。其倾斜相机的架设方法示意图如图8所示。

图8 倾斜相机的架设

(2)改进普通的地面街景

普通的地面街景技术利用360°全景相机来获取全景图像，并利用GPS和惯导的综合定位系统来确定相机的位置和姿态，其位置确定基本上依赖于GPS。但是利用GPS来确定相机的位置、利用惯导系统来确定相机的姿态都会带来较大的位置和姿态误差。为了提高相机的位姿精度，本文不把GPS和惯导综合系统获取的位置和姿态作为其相机的最终位姿，而是将GPS和惯导综合系统获取的位置和姿态作为初始值，采用一定的优化算法进行优化，将优化后的相机的位姿作为其最终的位姿。

首先对街景图像序列进行获取，然后利用并行sift算法、并行RANSAC算法结合来进行特征点的提取、同名点的匹配、初始相机位置姿态的求取，并利用获取的初始相机位置姿态来计算街景图像序列的初始结构，再基于并行捆集调整算法来对街景图像序列进行整体的捆集调整，最后基于并行多视图匹配算法求得相机的最优化位置姿态及整体的场景结构，这样由GPS和惯导综合系统获取的相机的初始位置和姿态将会得到最优化，不仅大大地提高了相机位置和姿态的精度，而且保证了整体运算的高速度，其加速比如图9所示，从图中可以看出，随着图片张数的不断增多，其加速比基本成正相关增长，从而反映了此改进的地面街景技术，能够极大地提高运算速度。将改进的地面街景与普通的地面街景的技术参数进行比较，见表1。可见改进的地面街景方案是基于图像来获取相机的位置，并且其相机的位置精度从分米级提高到了厘米级，由于改进的地面街景方案在模型上也具有可量测性的优点，因此其能够与倾斜摄影测量进行完美的耦合。

图9 加速比示意图

表1 改进地面街景与普通地面街景技术参数对比表

(3)细节信息提取

在数据生产中，首先进行倾斜影像数据采集和街景影像数据采集，利用倾斜影像数据进行数据建模，街景影像数据进行精确定向。由于仅利用倾斜影像进行建模存在较大的误差，本文在倾斜影像建模的基础上，以倾斜摄影基本原理为基础，利用地面街景技术进行精确定向，从而进行精细建模。精细建模的倾斜模型将具有更加详细的细节，倾斜影像无法准确地恢复近地面细节，其得到的近地面模型并不能包含近地面的全部标的物模型，而街景影像可以清晰地获取标的物的位置和形状等数据信息。

a．细节提取1:丢失的垃圾桶信息

如图10，在倾斜影像模型当中，其一垃圾桶标的物信息丢失，但是在街景影像中可以清楚地观察到此细节。

图10 近地面垃圾桶信息丢失比对图

为了找回丢失的垃圾桶信息，本文在街景影像模型数据库中，找到相应的模型，利用街景影像的精确定位作用，将此模型添加到倾斜影像数据模型中，其位置和姿态的精度都符合测绘级要求。如图11所示，添加到倾斜影像模型中丢失的垃圾桶信息。

图11 添加垃圾桶信息后的倾斜影像模型

b．细节提取2:街面字幕信息提取

通过倾斜影像进行建模其模型中近地面的字幕不清晰，不能够提供给人以指导信息，但是在街景影像中，此近地面细节，能够清晰地辨识，利用地面街景影像进行精确的定向，将街景影像数据模型库中相应的字幕模型添加到倾斜影像模型中，如图12为恢复模型数据前后的比对图，从对比图中可以看出，模型恢复后其能够清晰地对标的物进行辨识。

通过对两次细节信息的提取。可以看出将地面街景影像与倾斜影像进行耦合，在保证精度的前提下，能够很好地改善倾斜摄影在近地面数据的丢失，提高细节的辨识度。

图12 恢复前后模型对比图

四、结 论

本文基于倾斜摄影的基本原理，对倾斜摄影的优势和不足进行了详细的分析，考虑到倾斜摄影在近地面的不足之处和地面街景技术在近地面强大的优势，本文将倾斜摄影影像和地面街景技术进行耦合，得出如下结论:

1)地面街景采用基于球形相机模型的大规模场景三维重建算法，可以准确地恢复街景影像数据的位置和姿态信息，与倾斜影像数据能进行完美的结合。

2)倾斜影像无法准确地恢复近地面细节，而街景影像提供了近地面的清晰影像，将倾斜影像与地面街景影像进行耦合，能够通过地面街景的视角对倾斜模型在近地面的细节进行较为完善的恢复和浏览。

3)倾斜影像无法得到近地面全部标的物的模型，即其在近地面存在大量的模型丢失，例如交通灯、路灯、垃圾桶等城市部件，通过地面街景模型可以清晰地获取这些标的物的位置和形状等数据信息。

4)将倾斜摄影与地面街景影像进行耦合，能够极大地改善倾斜摄影在近地面的细节不清晰的弊端，恢复后的模型可以给人更加详细的指导信息。

综上所述，倾斜摄影在国内还处在发展初期，通过不断的技术提升，倾斜摄影将会给测绘工作者带来极大的便利，必将是对传统测绘的变革。

［1］ 袁修孝．航空摄影测量影像定向的若干探讨［J］．地球科学进展，2007，22(8):828-834．

［2］ 杨爱玲，孙汝岳，徐开明．基于固定翼无人机航摄影像获取及应用探讨［J］．测绘与空间地理信息，2010，33(5):160-162．

［3］ 王玉鹏．无人机低空遥感影像的应用研究［D］．郑州:河南理工大学，2011．

［4］ 李德仁．无缝立体正射影像数据库的概念、原理及其实现［J］．武汉大学学报:自然科学版，2007，32(11):950-954．

［5］ 胡翔云．航空遥感影像现状地物与房屋的自动提取［D］．武汉:武汉大学，2001．

［6］ KUNTZ N，OH P．Development of Autonomous Cargo Transport for an Unmanned Aerial Vehicle Using Visual Servoing［C］∥Proceedings of the ASME Dynamic Systems and Control Division．［S．l．］:ASME，2008．

［7］ 张强．低空无人直升机航空摄影系统的设计与实现［D］．郑州:信息工程大学，2007．

［8］ 陈乐书．土地利用现状调查中数字正射影像图和GIS技术的应用［J］．测绘通报，2007(6):65-67．

［9］ 杜全叶，陆锦忠．无人飞艇低空摄影测量系统及其DOM制作关键技术［J］．测绘通报，2010(6):23-27．

［10］ BEARD R W，MCLAINT W．Multiple UAV Cooperative Search under Collision Avoidance and Limited Range Communication Constraints［C］∥IEEE Conference on Decision and Control．［S．l．］:IEEE，2003．

［11］SCHWARZ K P，CHAPMAN M A，CANNON M E，et al．An Integrated INS/GPSApproach to the Georeferencing of Remotely Sensed Data［J］．Photogrammatric Engineering and Remote Sensing，1993．59(11):1667-1674．