基于无人机实景三维模型的真数字正射影像生成方法

2019-08-30成李博段平李佳姚永祥李晨王云川

全球定位系统 2019年4期

成李博,段平,李佳,姚永祥,李晨,王云川

(1.云南师范大学旅游与地理科学学院,云南昆明 650500;2.云南省高校资源与环境遥感重点实验室,云南昆明 650500;3.云南省地理空间信息工程技术研究中心,云南昆明 650500)

0 引言

航空相机采用中心投影的方式获取地面航空影像. 因中心投影成像原理,导致航空影像中心点像素周围建筑物呈现倾斜样式,建筑物间因倾斜造成遮蔽. 真数字正射影像(TDOM)旨在消除因物体倾斜而导致的遮蔽现象,使得影像上物体以均匀的比例分布于真实位置. 传统数字正射影像(DOM)虽进行正射微分校正,但并不能使物体正确地分布在原本的位置. 同时,TDOM比DOM具有较高的可信度、精度高、信息量丰富、直观真实等特点,并且具有很高的背景控制信息的应用价值,成为地理信息库的重要基础数据,也是测绘、遥感行业的重要数据来源.

生成TDOM的基础数据源有两种:数字建筑模型(DBM)和数字表面模型(DSM). DBM是由高程信息表示的建筑物轮廓,并根据所表示的建筑物层次结构的不同,区分不同图层的三维矢量模型,一般采用3Dmax、Sketchup等专业软件绘制,实际上不是实景三维模型. 自Z-buffer算法被提出以来[1],学者们基于DBM进行遮蔽检测生成TDOM. 在该算法中,Z缓冲器为每个像素存储投影中心与DBM之间的距离(Z)和DBM表面多边形投影到虚拟图像上的识别码. 传统的Z-buffer算法导致建筑物遮蔽的误检测,许多研究者对该方法进行了优化. Jiann等[2]提出一种使用多视图图像生成TDOM的方法;ZHOG等[3]提出一种基于多边形算法检测遮挡区域的方法,边馥苓等[4]提出一种基于有效像素的样本纹理合成方法,随后国内外学者也做了相关研究. 以上方法生成TDOM的前提需要DBM. 难点不在于检测,而在于DBM的生成. 面对区域较小,建筑物稀少、结构简单或数据库中已存有DBM模型的情况下,可实现较为快速的生成;反之,该类型方法很难快速生成TDOM.

为此,大量学者研究了基于DSM进行建筑物的遮蔽检测生成TDOM[5-7]. Wan等[8]提出一种基于3D R-tree的CSG模型校正方法,以提高TDOM的质量;Habib等[9]提出基于角度的射线追踪方法,任东风等[10]提出一种基于高程约束的TDOM遮蔽检测的算法,肖卫峰等[11]提出一种基于DSM的光线追踪算法,潘慧波等[12]也利用DSM生成TDOM. 以上检测的假设是能够获取精确的DSM. 然而,在使用图像密集匹配获得精确的DSM是很困难的,导致建筑物边缘锯齿化[13],最终生成的TDOM效果损失.

以上是基于DBM和DSM进行建筑物的遮蔽检测研究,但这两类方法各自都具有不同的缺陷. 无人机倾斜摄影测量技术采用无人机搭载多镜头传感器,能轻松获取同一地点同一时刻同一物体的多面信息,便于实景三维模型的构建[14]. 本文以无人机搭载五镜头相机获取低空航空影像,利用倾斜摄影技术生成实景三维模型,在此基础上,采集建筑物顶部轮廓线并构建三维体模型,并利用三维体模型进行遮蔽检测和遮蔽补偿,生成TDOM.

1 无人机数据采集与实景三维模型

以云南师范大学呈贡校区为实验区域,将无人机搭载五镜头相机获取的影像作为数据源生产1∶1000比例尺TDOM. 试验区域地处中国云贵高原,平均海拔1 900 m,坐标位于24°51′59″N、102°50′58″E,总面积达1.43 km2,校园建筑物较多,空间分明,通过分析气候变化、光线强度、行人适宜量等要素,于2018年8月23日采集实验区域航空影像.

1.1 实验设备

实验采用哈瓦四轴八旋翼MEGA-V8Ⅱ无人机,搭载SONY ILCE-5100五镜头数码相机采集航空影像，如图1所示,表1所示为倾斜相机五镜头参数.

(a)多旋翼无人机

(b)镜头SONY ILCE-5100图1 无人机设备

项目类型参数信息相机型号SONY ILCE-5100 传感器类型CCD 像幅大小6000×4000 像元大小3.8 μm 主点(x,y)(2986.0,1927.4) 焦距20 mm 镜头类型1个垂直,4个倾斜镜头倾斜角度45°

在实验测区航飞数据时,设置飞行参数为:航向重叠度为85%,旁向重叠度为75%,相对航高150 m,飞行航向以东南-西北为基准,偏角为北偏西16.09°,镜头影像分辨率达2.9 cm;以9:00—14:00点为影像最佳采集点,续航飞行5个架次,飞行航线46条,共获取13 025幅低空数码航空影像.

1.2 无人机实景三维模型的构建

利用无人机航拍获取的五镜头影像数据生产实景三维模型,具体流程如图2所示,详细步骤如下:

1) 将预处理后的POS数据结合五个镜头影像数据做第一次无控制自由网空中三角测量,若连接点出现漏洞、稀少或不均匀、航线弯曲等现象,参考平差报告对区域连接点做检查,确保像点收敛值和相对定向误差不大于1个像素,对空洞区进行人工补点,对残差较大的连接点做剔除处理;

2) 做第二次无控制自由网平差,重复第一次平差后的检查工作,直到自由网平差结果满足平差要求;

3) 进行控制自由网平差,利用无控制自由平差的结果添加控制点,将空中三角测量结果转换到实际坐标位置,其中添加控制点时采用先周边后内部的刺点顺序. 具体操作如下:

先在区域周围四个角刺点,并做一次平差,检查平差结果是否达到平差要求,若平差误差较大,进行内部刺点,每当刺两个控制点后又做一次平差处理,重复此操作,直到相对定向误差、检查点和控制点误差符合规定限差要求,每张影像至少200个匹配连接点,并停止操作.

4) 在空中三角测量提取特征点的基础上做加密处理,利用密集点云生成表面模型,并赋予纹理,生成实景三维模型.

图2 数据预处理流程

2 基于建筑物屋顶轮廓的体模型遮蔽检测和遮蔽补偿

2.1 基本原理

生产TDOM的关键在于检测遮蔽,即寻找被遮蔽区域,消除双重投影问题[15]. 如图3所示，双重映射区域内投影的灰度值重复投影到正射影像上,假设a、b、c是原始像片上的像素,由中心投影原理可知,原始像片上a、b、c点采集的像素是建筑物顶部A、B、C坐标点处的特征,a′、b′、c′的灰度值对应建筑物屋顶A、B、C坐标点的特征信息,a″、b″、c″同样采集了原始像片a、b、c处的像素特征,即采集了建筑物屋顶A、B、C处的特征,这就导致正射影像上出现双重映射区域. 例如,点A(XA,YA,ZA)和点D(XD,YD,ZD)同时占用像点a(Xa,Ya)的像点信息,此时的投影像点顺序依次为a″、b″、c″和a′、b′、c′;有时两个点A、C同时占据了正射表面相同的一点F. 因此,需要合理地检测出被遮蔽区域,消除因航摄高度和相机倾斜带来的遮蔽现象,使得影像均匀地分布在实际地表位置上.

图3 双重投影

图4 无房檐与有房檐情况下的遮蔽区域

通常情况下,遮蔽范围会因房檐的存在与否,产生不同的效果. 房檐存在时的遮蔽检测区域大于无房檐的情况. 图4为还原相机拍摄时刻的场景信息图,假设ABCD-EFGH-efgh是带房檐的建筑物体,分析如下:

1) 不含房檐的遮蔽区域. 多边形ee'h'g'f'fe是建筑物ABCD-EFGH-efgh去除房檐情况下,只保留矩形EFGH-efgh的阴影区,记为Wshadow;多边形ee'h'g'f'fghe是Wshadow对地面物体形成的遮蔽区域,记为Wshading.

2) 包含房檐的遮蔽区域. 多边形ee'a'd'c'b'f'fe是建筑物ABCD-EFGH-efgh在中心投影下的影子,记为Bshadow,多边形ee'a'd'c'b'f'fghe是Bshadow对地面物体形成的遮蔽区域,记为Bshading.

3) 遮蔽区域的面积大小关系:Bshading>Wshading.在TDOM中影像位置被还原到真实地理位置上,生成结果难免会牺牲房檐正下方的物体(例如,靠近房门的少部分台阶,屋檐下摆放的花盆等),以确保屋顶信息的完整. 牺牲区域为正射投影下,建筑物环状房檐(ABCE-EFGH)在地面上的投影. 尽管带房檐时检测的遮蔽区域大于不带房檐时的遮蔽区域,但根据遮蔽补偿原理,遮蔽区域的纹理能在相邻航线上得到补偿,故不影响TDOM的生成.

从以上分析可知遮蔽检测重视屋顶信息.通常,为了保证UAV飞行的安全,UAV飞行高度需要在建筑物上空保持一定的安全距离. 这就导致,即使使用多镜头传感器倾斜摄影,房檐下拐角处依然会出现影像的空白区域,生成的DSM会将原本直角的房檐曲面化，如图5所示,降低房屋边缘精度. 本文结合实景三维模型,采集建筑物顶部边缘信息,与DSM同时进行遮蔽检测.

(a)房檐曲面化

(b)曲面化放大图图5 影像缺失导致的房檐曲面化

对检测到的遮蔽区域做纹理补偿. 采集被检测区域相邻航线上影像的纹理信息,对遮蔽区域做纹理补偿. 补偿原理如下:

(1)

式中:W代表某一遮蔽区域;n表示该遮蔽区域周围含有该遮蔽区域的所有影像;Ki为第i张包含遮蔽区域的影像.

当由于原始影像成像时气候环境差异过大导致的影像反光度、纹理信息差异较大的现象,在进行影像纠正时,可剔除差异过大的几张影像,前提是要保证剩下的影像能覆盖W区域;在不能保证整体覆盖W时,先采用差异较大的影像进行纠正,然后做匀光匀色处理,只是效果略有逊色. 所以,在数据采集过程中既要保证航线过高的重叠度[1],又要保证成像光线变化不大.

逐一对整个测区的W区域进行补偿,即得：

(2)

式中:Wj代表整个测区的第j个遮蔽区域;Wj,b指当第j个遮蔽区域缺少影像时,补飞b张影像用于遮蔽区域纠正填补;U表示所有遮蔽区域都被完全填充.

对研究区内所有检测得到的遮蔽区域做补偿纠正,并将纠正结果计算平差、整合,生成一副无缝、色彩亮度平衡的影像镶嵌图. 整合针对色彩差异进行匀光匀色处理,接边线的编辑和羽化处理.最后将处理过的镶嵌图分幅裁剪得到最终产品.

2.2 实施方法

基于上述基本原理,具体实施步骤为

步骤1:获取建筑物顶部轮廓线. 基于前期生产的实景三维模型,依据建筑物顶部轮廓采集顶部边缘信息,将采集到的顶部轮廓线作为DTM生成的控制信息.

步骤2:建筑物数字地面模型(DTM)生成.将步骤1中获取的带有地理空间坐标的建筑物顶部轮廓线嵌套在DSM上,生成三维建筑物的DTM.

步骤3:TDOM生成. 结合步骤2中生成对象的DTM数据、空中三角测量生成的DSM和航片工程文件,在确保遮蔽补偿计算时,相片重叠度达到采集航空像片所设置的航向与旁向最大数值的前提下生产TDOM.

步骤4:TDOM镶嵌处理.对步骤3中生产的TDOM进行不可视像元检查,通过矫正和自适应羽化处理,计算补偿不可视像元,生成一副完整的TDOM.

3 结果与分析

3.1 实景三维模型的空中三角测量分析

实景三维模型的好坏最终影响到建筑物屋顶轮廓线的质量,而空中三角测量质量的好坏关系到实景三维模型的结果,在实验区域利用五镜头航空影像数据做空中三角测量平差时采用7个控制点就达到了实验要求. 将控制点在x、y、z方向的最大误差分别记为:Δx、Δy、Δz、在平面最大均方根误差记为:RMSEH、在高程最大均方根误差记为:RMSEV,从以上5个误差指标评价空中三角测量结果,如表2所示.

表2 空中三角测量加密精度表

由表2可知,Δx、Δy、Δz分别为0.082 m、0.147 m、0.002 m;RMSEH为0.043 m,RMSEV为0.009 m.除Δy外,其余四个指标均小于10 cm;Δz和RMSEV达到毫米级. 5个误差指标均满足空中三角测量精度要求. 通过分析,利用POS辅助空中三角测量在添加少量控制点的情况下使得空中三角测量结果满足实验要求.

3.2 TDOM成果

基于五镜头航空影像建立的实景三维模型采集建筑物顶部轮廓信息生成三维建筑物DSM,随后通过遮蔽检测和遮蔽补偿,生成建筑物的TDOM. 由于实验区建筑物众多,挑选云南师范大学呈贡校区汇学3栋和同析3栋两栋建筑作对比分析. 如图6所示,其中图6(a)、(d)是在建筑物实景三维模型上采集顶部边缘线,当出现同一建筑物既有高屋顶和低屋顶时,建议分别采集各自的屋顶;都以五镜头影像为前提生成两种正射影像,对生成结果进行对比分析:图6(b)、(e)是生成的两张DOM图,图中清晰地显示每栋建筑具有各个方向的倾斜,并存在遮蔽现象(蓝色圆圈所标记);图6(c)、(f)是本文方法生成的TDOM图,其特征变化用红色圆圈标记.从图6中的DOM和TDOM的差异可以看出,本文提出的方法通过遮蔽检测生成的TDOM是对传统DOM的完善. 图7为整个实验区的TDOM图.

(a)汇学3栋实景三维模型 (b)汇学3栋DOM (c)汇学3栋TDOM

(d)同析3栋实景三维模型 (e)同析3栋 DOM (f)汇学3栋TDOM图6 汇学3栋与同析3栋实验结果

图7 云南师范大学呈贡校区TDOM

3.3 TDOM精度验证

为了检验TDOM的精度,在野外实测6个点作为精度验证点,同时在TDOM上对应的6个影像点作为对比点,用实测点与影像点做误差分析. 如表3所示,Δx、Δy分别代表了影像点与野外实测点在x、y两个方向上的误差值.通过对比分析,x方向的最大误差为0.011 m,y方向的最大误差为0.015 m,符合CHT 9008.3-2010《基础地理信息数字成果1∶500、1∶1000、1∶2000数字正射影像图》平地平面位置中误差0.6 m的精度要求. 点位误差如表4所示.本方法生成的TDOM在x方向上的点位误差为0.007 m,y方向上的点位误差为0.009 m,整体点位误差M为0.011 m.