倾斜摄影影像与实景三维模型精确融合技术研究与实现

汪畅

(1.中冶集团武汉勘察研究院有限公司,湖北武汉 430080;2.中冶智诚(武汉)工程技术有限公司,湖北武汉 430080)

0 引言

倾斜摄影技术是通过在同一飞行平台上搭载多台航摄仪或传感器,从垂直、倾斜等多个角度同时向地面拍摄获取影像,并利用Street Factory、ContextCapture等建模软件,快速建立高精度的实景三维模型。相较于传统三维建模方法,倾斜摄影技术大大提高了三维重建的效率,降低了人工和时间成本,实景三维模型也更加真实地还原了地物的真实面貌。

图1 实景三维建模方法流程Fig.1 Real 3D modeling method flow

虽然倾斜摄影技术有诸多优势,但也存在一些不足之处,如在航空摄影过程中存在拍摄死角,在影像匹配过程中缺乏特征点或者匹配点位不足等,这些原因均会造成建模软件自动生成的实景三维模型存在空洞或悬浮模型。再则,由于数学方法拟合、匹配点位不足、影像分辨率过低,原本平整的表面用实景三维模型显示表达为弯曲的表面,影响实景三维模型的几何精度和可视化效果[1]。沈大勇研究利用悬浮模型边界自动探测、外包范围半自动获取、悬浮模型自动删除等相关技术和方法,实现了实景三维模型中的悬浮模型删除[2]。沈大勇还探讨了以边界自动提取与三角网自动构建相结合的方式,对三维模型的空洞进行自动修补及纹理映射[3]。马红根据不用区域的应用需求,提出基于多源多尺度遥感数据的大范围实景三维模型构建方法[4]。廖明伟将倾斜摄影测量大场景三维和车载移动测量实景三维数据融合,实现两种数据的优势互补[5]。李鹏鹏开展了实景三维模型三维、规划、基础地理空间数据等的多源数据融合技术研究与具体应用[6]。李云、耿中元采用不同的算法,解决了倾斜摄影地形和大场景地形的融合问题[7-8]。本文研究并实现倾斜摄影影像与实景三维模型精确融合展示技术。与其他方法相比,该技术仅利用倾斜摄影工作过程中的原始数据,不进行人工干预处理,实现更好的实景三维可视化效果和更清晰的纹理展示。

1 实景三维建模方法

实景三维建模方法流程如图1所示。(1)收集基础资料并分析和预处理,确保用于实景三维建模的数据完整、格式正确;(2)将倾斜摄影影像进行空中三角测量,获得所有影像的高精度外方位元素;(3)基于畸变校正后的倾斜摄影影像和高精度的外方位元素,通过多视影像密集匹配,获得高密度三维点云,构建3D TIN模型;(4)根据3D TIN每个三角形面片的法线方程与二维图像之间的夹角选择出相对应的最佳纹理信息,并实现纹理的自动关联,自动计算输出实景三维模型成果[9]。

倾斜摄影测量技术获取的影像具有如下特点:(1)影像具备多个位置、不同角度,基本覆盖顶面和侧面纹理;(2)搭载在低空飞行平台的传感器拍摄的影像具有高分辨率和较大视场角的特点;(3)同一目标区影像可能存在多重分辨率;(4)经过空中三角测量计算、匹配的影像经过了畸变矫正,同时具备拍摄时刻相应相机的位置和姿态(即外方位元素)。这些特点都为高清倾斜摄影影像与实景三维模型精确融合显示提供了有利的条件。

图2 影像与实景三维模型叠加示例效果Fig.2 Example effect of superposition of image and real 3D model

需要注意的是,中间成果数据(相机的内方位元素、像幅尺寸、像素大小、畸变参数、倾斜摄影影像的外方位元素)将作为后续实现精确融合的必要数据。

2 技术原理

倾斜摄影拍摄过程中所获取的影像均为高分辨率影像,每一张影像都具有当时拍照时刻相机的位置和姿态,在摄影测量学科中,表示摄影中心和像片在地面坐标系中的位置和姿态的参数称为外方位元素,其中,把位置参数称为外方位直线元素,姿态参数称为外方位角元素[10]。

在计算机窗口中显示三维场景是通过透视投影实现的,具体到三维展示平台中,相机接口模拟了人眼的位置(Position)和角度(Angle),计算机窗口中显示什么样的三维场景取决于相机的位置和角度,即在哪里朝哪个方向拍摄就显示什么地方的场景。

在三维场景中特定位置和角度的实景三维模型可以用相应的影像叠加融合来显示,以达到高清的显示效果,弥补实景三维模型表面空洞、凹凸不平、存在空中悬浮物等显示效果的不足。示例效果如图2 所示。

3 技术设计与实现

3.1 建立倾斜摄影影像与实景三维模型的几何对应关系

根据摄影测量学中的共线方程,由三维空间点坐标计算出相应影像点的坐标。具体方程如下。

其中,(X,Y,Z)为三维空间坐标系下三维空间点的坐标,(x,y)为影像坐标系下对应像素点的坐标。

x0、y0、f为相机的内方位元素,XS、YS、ZS为外方位直线元素,a1、a2、a3、b1、b2、b3、c1、c2、c3为由外方位角元素计算得到的旋转矩阵元素,这些数值均可由上述中间成果提供,不用另行计算。

建立倾斜摄影影像与实景三维模型的几何对应关系后,如何把影像叠加到三维窗口中,还需要建立三维空间坐标系、计算机窗口坐标系、影像坐标系三者之间的对应关系。

3.2 计算影像叠加在三维窗口中的尺寸、位置和方位

图3 影像逆时针旋转α角度时情况Fig.3 When the image is rotated counterclockwise at an angle of α;

图4 影像顺时针旋转α角度时情况Fig.4 Image rotation with a clockwise angle

图5 CityMaker 平台角度的定义Fig.5 Definition of CityMaker platform angle

确定了一个三维空间点在影像中的位置,是无法确定影像显示在窗口中位置、尺寸和方位的。本文采取如下解决路线:(1)根据所有影像的外方位元素和三维展示平台中当前相机的位置和角度,进行GIS空间查询、计算和比对,选取最合适的一张影像。根据该影像的外方位元素,通过两种角度系统的对应关系(见后续3.3节),计算并重置三维展示平台中相机的位置和角度;(2)在计算机窗口坐标系下选择组成矩形的四个点,如此,矩形的长宽、四个点在计算机窗口坐标系下坐标就已经获取;(3)通过三维展示平台提供的屏幕坐标到三维空间坐标转换接口计算得到四个点在三维空间坐标系下的坐标;(4)通过影像与实景三维模型的几何对应关系,由在三维空间坐标系下四个点的坐标计算得到在影像坐标系下四个点的坐标;(5)根据在计算机窗口坐标系和影像坐标系下四个点的坐标对以及影像的实际尺寸,计算在计算机窗口坐标系下影像的尺寸、位置和方位。具体有以下几种情况。

图6 荆州倾斜摄影影像与实景三维模型融合效果Fig.6 Fusion effect of Jingzhou tilt photography image and real 3D model

影像相对于计算机窗口逆时针旋转α角度,有四种情况,如图3所示。

影像相对于计算机窗口顺时针旋转α角度,有四种情况,如图4所示。

图3 和图4 中,O-X-Y为计算机窗口坐标系,ABCD为影像在计算机窗口中的实际位置,PMNQ为选取的四个点在计算机窗口中的实际位置。

3.3 建立两种角度系统的对应关系

拍摄影像时相机的外方位角元素和三维展示平台中相机角度的定义不同,因此,需要建立两种角度系统的对应关系。以ContextCapture实景三维生成平台和CityMaker三维展示平台为例。

CityMaker平台采用Heading/Roll/Tilt角度系统描述模型的方位,Heading/Roll/Tilt角度的定义如图5所示。

Heading表示(左右)摇摆角,单位为度,正北方向为0,顺时针递增,取值范围为(-180,180)。Tilt表示(上下)俯仰角,单位为度,平视为0,低头为负,抬头为正,取值范围为(-90,90)。Roll表示倾斜角,单位为度,水平为0,取值范围为(-180,180)。

ContextCapture平台可以输出Omega/Phi/Kappa角度系统描述模型的方位,Omega/Phi/Kappa角度的定义见ContextCapture相机模型说明。Kappa取值范围为(-180,180),Omega取值范围为(0,180),Phi取值范围为(-180,180)。

根据两种角度的定义和试验证明,两种角度系统的关系如下:

Heading = Kappa

Roll = -Phi

Tilt = -Omega + 90

需要说明的是,在角度转换及对比时,需要进行上述变换。不同的平台有不同的角度定义方式,根据选择平台的不同,进行实景三维模型生产平台和三维展示平台之间角度系统转换。

3.4 在三维漫游操作过程中动态调度不同的影像展示

三维漫游有平移、缩放、旋转操作,在三维漫游操作过程中,如何做到在不同相机位置和角度下影像的调度与显示,使得三维漫游操作和影像融合效果协调共生。本文采用了以下策略:(1)启动融合模式时,根据3.2节的方法,选择最合适的一张影像显示,没有则不显示;(2)在影像显示的情况下,若进行平移、缩放操作,出现影像覆盖窗口的比例小于设定的阈值,则隐藏已显示的影像,重新选择最合适的一张影像进行显示;若进行旋转操作,则隐藏已显示的影像,重新选择最合适的一张影像进行显示;(3)关闭融合模式时,则隐藏已显示的影像。

4 实际应用

本文提出的融合显示技术应用到荆州市三维规划辅助决策系统上,效果如图6所示。图6(a)为实景三维模型水面空洞,图6(b)为对应的融合显示效果,很好地把水面纹理展现出来。图6(c)为实景三维模型建筑物局部细节,图6(d)为对应的融合显示效果,很明显地,影像的清晰度比实景三维模型的好,且建筑物的平面平整,与现实一致。在进行三维场景缩放、旋转操作的同时,实景三维模型和倾斜摄影影像同步显示到相对应的位置。放大后,能够看到更加精细的局部纹理。

5 结语

本文利用实景三维建模中间成果数据建立倾斜摄影影像和实景三维模型的几何对应关系,借助三维展示平台,建立三维空间坐标系、计算机窗口坐标系、影像坐标系三者的关系,将倾斜摄影影像精确地叠加在三维展示窗口中对应的实景三维模型位置上,弥补实景三维模型自身的不足,提高了成果数据的利用率,也提高了实景三维的可视化效果,有助于实景三维的应用。