基于无人机影像的建筑物实景三维建模方法

姚永祥,段平, 李佳,成李博,李晨,王云川

(1.云南师范大学 旅游与地理科学学院,云南 昆明 650500;2.云南省高校资源与环境遥感重点实验室,云南 昆明 650500;3.云南省地理空间信息工程技术研究中心,云南 昆明 650500)

0 引 言

随着互联网技术的快速发展,实景三维建模逐渐成为智慧城市发展的重要基础.传统的三维建模方法自动化程度低,建模成本耗费大量人力物力,且模型存在不同程度的变形、遮挡及纹理位置不重合等问题,制约着实景三维模型的发展[1].

专家学者基于倾斜摄影测量技术对实景三维模型展开了相关研究.无人机(UAV)搭载的传感器从单镜头[2]、2镜头[3]、3镜头到多镜头组合[4]进行不同程度的改进,促进了实景三维模型的构建.但镜头较少时易导致模型精度不高,完整度下降;当镜头较多时获取的影像较多又影响建模效率,增加影像处理的硬件成本.因此,一些学者又做了进一步探索,如结合近景摄影、采用MVS点云数据辅助及多源数据融合等方式来提高模型完整度[5-7],效果较好,但实现技术难度大.而顾及影像拓扑关系[8]、利用关系图[9]、Voronoi图[10]及数字高程模型辅助匹配等[11]多种方式下的三维建模虽然较好地提高了建模效率,但三维模型精度受到较多因素的限制.因此,倾斜摄影测量构建建筑物的实景三维模型仍存在不足.另一方面,全球定位与惯性导航系统(POS)能方便获取影像的空间位置和姿态信息,可用于辅助实景三维建模,改善建模效果,主要表现在两个方面:1)采集的UAV影像重叠度高,建模过程观测量多,模型精度较高;2)建模过程中加入了POS 数据辅助建模,可以提高建模效率并优化模型位置精度.

本文以云南师范大学呈贡校区为研究区,采用UAV搭载5镜头倾斜相机获取影像,利用POS数据生成建筑物的实景三维模型并通过DP-Modeler实现建筑物三维模型的精细化修正,克服模型漏洞、几何扭曲及纹理拉花等问题,从而构建出完整度好、模型变形小、精度高的实景三维模型,为后期智慧城市、城市规划等领域的建设提供基础数据.

1 实景三维建模方法

基于UAV倾斜摄影技术的实景三维建模主要包括数据预处理、空中三角测量、密集匹配、模型构建、模型修饰及模型精度检验等环节,其技术流程如图1所示.

图1 实景三维建模流程

1.1 数据采集及其预处理

以云南师范大学呈贡校区为研究对象,构建实景三维模型.该校区中心位于24°51′59″N,102°50′58″E,平均海拔约1 900 m,总面积约1.43 km2.校区建筑高低错落,分布密集,具有普遍代表性.于2017年6月在无风、晴朗等适合飞行的天气状况下采集规划航线数据.

为保证实验过程的顺利展开,UAV稳定性和相机分辨率等因素的选取至关重要.采用蜻蜓四旋翼无人机,搭载索尼五镜头数码相机作为数据采集设备,如图2所示.表1示出了五镜头相机的参数.

(a)无人机 (b)传感器

表1 相机参数表

实验前根据UAV倾斜摄影作业要求:航向重叠度≥60%,≤80%,最低不能低于50%;旁向重叠度≥15%,≤80%,最低不能低于8%.本次共飞行13个架次,52条航线,飞行航向东南-西北,共获得9457幅无人机影像.影像航向重叠度85%,旁向重叠度80%,影像分辨率在4 cm以内,其余项也均符合作业要求.

在飞行作业中,因飞机抖动、地形起伏及曝光等因素的影响,使得拍摄的UAV影像存在畸变、色差及光线差异等问题.因此,在三维建模前需对图像进行预处理,主要包括:1)影像畸变校正用于处理影像的畸变,影像匀色、增强处理提升图像对比度,突出影像特征,有利于图像匹配等.2)POS数据可作为UAV影像的初始外方位元素,是同名点识别的基础.通过对POS数据纠正可以获得较好的初始外方位元素.这些预处理操作可以为三维建模提供较好的数据来源.

1.2 模型构建方法

实景三维模型构建的核心步骤包括空中三角测量、稀疏点云生成、密集匹配、DSM构建及实景三维模型生成等环节.空中三角测量简称空三加密是UAV影像处理的关键[12],目的是通过影像匹配提取连接点及部分地面控制点,将影像的相对坐标转到已知地面坐标系中,来获得每张影像的外方位元素和加密点的地面坐标,生成稀疏点云.POS数据包括全球定位系统(GPS)与惯性导航系统(INS),它可以较好地作为初始外方位元素参与空中三角测量计算.利用POS数据辅助空中三角加密可以较好地明确影像间的相对关系,避免UAV影像的重复匹配,提高影像处理效率,有效保证空中三角测量的速度.

1)POS数据辅助下的空中三角测量来获取研究区的稀疏点云

方法将POS数据与影像进行融合处理,作为光束法区域网联合平差的初值参与迭代运算,获得研究区UAV影像的高精度外方位元素和地面点坐标,生成稀疏点云.POS数据辅助空中三角测量关键解算步骤如下所示:

步骤 1:将POS数据作为初始值,并建立物方坐标系与像点坐标系之间的共线方程.共线方程的定义是表达物点、像点和投影中心(对像片而言通常是镜头中心)三点位于一条直线的数学关系式,具体如式(1):

(1)

式中：(x,y)表示像点的坐标;(x0,y0)表示像主点坐标;(X,Y,Z)表示像点对应物方点的物方空间坐标;(XS,YS,ZS)表示摄影中心的物方空间坐标;(ai,bi,ci)表示旋转矩阵的方向余弦.

步骤 2:经过一系列求导变换后,将共线方程解算为如式(2)所示:

(2)

由物方空间控制点及对应的像点可以解算出li的系数.式(2)中有11个系数,因此需要至少6个控制点才满足解算要求.为方便平差迭代计算,选择了17控制点参与运算.通过多次迭代运算得到影像的外方位元素和待求点的三维坐标点.

2)无人机影像密集匹配

密集匹配的核心是将空中三角加密获得的稀疏空间表面即种子面片进行逐步扩散来建立密集点云.步骤是:利用散列图像聚簇和密集匹配算法[13-14]分别对影像聚簇分类及表面计算,其主要方式是利用相邻面片具有相似的法向和位置的特性,从种子面片开始逐步扩散,重建出其周围的空间面片,从而生成稠密点云.

3)实景三维模型构建

将密集匹配后获取的云南师范大学区域的稠密点云生成三角网(TIN)构建数字表面模型(DSM).最后对DSM模型进行纹理映射,生成实景三维模型.生成的实景三维模型全局视觉效果良好.然而较高建筑物、地物遮挡严重及水体等地区效果不佳有待进一步提升,具体如图3所示.

(a)全校实景三维模型

(b)教学楼实景三维模型 (c)图书馆实景三维模型 (d)教师培训楼实景三维模型

由图3可知,初始实景三维模型整体效果较好,文中方法可以较好地完成三维模型的生成.然而仍有部分复杂建筑物因其结构复杂、地物遮挡等问题导致生成的实景三维模型出现模型扭曲、漏洞及纹理拉花等现象,如图3(b)、(c)、(d)所示的红色区域,需要进一步完善模型.

2 实景三维建模精细化

对初始实景三维模型不完善的地方进行精细化修饰,可以克服因模型扭曲、漏洞及纹理拉花导致的部分模型不完整问题,最终得到美观的精细化三维模型[15].使用DP-Modeler 软件通过透视成像原理提取UAV影像中高大建筑物的轮廓,完成自动纹理映射,并通过内偏移、外部扩展及“桥接”等方式建立模型主体结构,剔除效果不好的区域,完成建模.其中可以利用倾斜影像多角度进行观测,使得建立的三维模型和影像无缝套合,三维模型的坐标信息精确.同时,通过创建多级金字塔的影像结构,支持超过一亿像素的UAV影像无缝调度,可以较好地修正模型变形、遮挡及纹理信息缺失等问题,实现了对UAV影像的实景三维模型的精细化处理.

采用DP-Modeler第三方模型修饰软件对模型进行精细化修正的主要流程如下:

步骤 1:生成解决方案.从构建的实景三维模型中导出空中三角测量结果,未畸变影像及OSGB、OBJ两种三维模型.将其全部数据导入到DP-Modeler软件中,建立模型修正解决方案,其中投影选择WGS_84_UTM_Zone_48N坐标系.

步骤 2:单体化模型制作.找到变形、扭曲变化较大的建筑区域.然后先勾勒建筑物的屋顶,接着通过内偏移及外扩等操作建立建筑墙体,以此建立起建筑的主体.最后将穿插结构进行删除,通过切割面进行操作,构建出建筑物的白膜.

步骤 3:自动纹理映射.将构建出的三维建筑模型白膜通过自动纹理技术来实现实景建筑物的纹理映射.主要通过人机交互的方式从UAV影像中选择纹理无遮挡的区域.将其作为模型纹理,从而完整模型映射.

步骤 4:模型替换.在建立出精细化的实景三维模型后,将原实景模型扭曲变形的建筑进行替换,选择建模区域将其删除,然后利用“桥接”技术将其漏洞修补起来.最后将构建的精细化三维模型移动至原来位置,以此对云南师范大学呈贡校区的实景三维模型进行修正,结果如图4所示.

(a)精细修正后的教学楼 (b)精细修正后的图书馆 (c)精细修正后的教师培训楼

如图4是试验区部分建筑物实景三维模型精细化修正后的结果.图4(a)、(b)、(c)是具有代表性的部分建筑物,红色圈圈是变化较大的区域.与图3原始模型对比发现,精细化修正后的教学楼、图书馆及培训楼纹理更加清晰,空洞、扭曲、几何变形都得到了较好的弥补,效果显著.

3 精度检验

模型精度验证是判断建模质量与完整性的重要环节.为了检验构建的实景三维模型的精度,从实景三维模型完整度及点位精度两方面进行验证.为了检验三维模型效果,分别从两个方面进行验证,控制点点位误差和模型纹理细节.控制点点位误差可以较好地检验实景三维模型的精度.采用点位误差对模型进行评估,其数学表达如式(3)、(4):

(3)

(4)

式中:μx、μy和μz表示待求控制点在x、y和z方向上的点位坐标误差;n表示控制点的个数.(xGPS,yGPS,zGPS)和(xmodel,ymodel,zmodel)分别表示控制点的实测坐标与模型中控制点的坐标；M表示整体点位误差.

模型纹理几何信息也是验证三维模型效果的重要方式.本文通过分析构建的实景三维模型的纹理信息来检验模型的完整性.主要从纹理细节、几何扭曲及模型漏洞等几个方面来分析实景三维模型的效果.

点位误差是衡量三维模型精度的常用指标,利用徕卡实时动态(RTK)采集的控制点来检验点位精度.根据地形图航空摄影测量外业规范,在控制点布设作业中,200 m范围内布置一个控制点效果较好.同时,考虑研究区的地形特征,尽可能均匀地布置.因此,在研究区布设了17个控制点来参与精度检验,主要计算了17个控制点的点位误差.

根据计算的控制点坐标与模型坐标的差值计算点位误差,如表2所示.

表2 点位误差分布m

μxμyμzM 0.0130.0140.0170.025

表2中实景三维模型的误差都在3 cm以内,x轴和y轴误差要小于z轴误差.控制点在x轴方向的点位误差是0.013 m,y轴方向的点位误差是0.014 m,z轴方向的点位误差是0.017 m,整体点位误差M是0.025 m.由此可知,建立的实景三维模型误差较小,效果良好.

修正后的实景三维模型,纹理信息更加凸显,扭曲变形及漏洞等问题得到优化,三维模型整体完整度较高.

4 结束语

本文基于UAV五镜头影像结合POS数据对建筑物实现了实景三维建模,研究方法可行,操作简单,且建模效果良好.实景建模首先采用Context Capture软件进行影像匹配、空中三角加密及其三维建模,建立建筑物的实景三维模型,并针对部分建筑存在的漏洞、几何变形及纹理拉花等问题,通过采用DP-Modeler软件对三维模型进一步精细化建模,从而优化实景三维模型效果保证模型的完整性.最后,通过布设的17个控制点的点位误差和模型几何纹理信息来定量评价了三维模型的质量与完整性,效果显著.