无人机斜面贴近摄影测量的三维航线规划研究
2024-01-29敖其勇潘国兵龚洲袁小彬熊延陈昌文
敖其勇 ,潘国兵 ,龚洲 ,袁小彬 ,熊延 ,陈昌文
1. 四川省交通勘察设计研究院有限公司,成都 610017;
2. 重庆交通大学 智慧城市学院,重庆,400074;
3. 重庆市测绘科学技术研究院,重庆,401121;
4. 重庆川东南工程勘察设计院有限公司,重庆,400000;
5. 重庆南江工程勘察设计集团有限公司,重庆,401121
1 引 言
随着社会的进步,测绘产品也在飞速发展,从数字线画图、数字栅格地图等传统的地理信息产品发展到目标场景的精细三维模型,对目标场景的精细化重建已成为当前地理信息产品生产的主流趋势。建立目标场景精细三维模型的方法中,基于影像的摄影测量技术具有数据处理方便、成果直接带有纹理等优势(黎其添,2019;宰春旭,2021;韩继全等,2022)。但传统摄影测量航线受限于固定航高和有限的视角,在面对高陡边坡、建筑立面等高差变化大的目标场景,无人机拍摄的影像数据质量差,进而导致得到的模型纹理不清晰、几何完整性不好(廖永生和陈文森,2011;Nex 和Remondino,2014;Xiang 等,2019)。2019 年张祖勋院士提出了无人机贴近摄影测量这一概念,改变了无人机等高飞行方式,其无人机三维航线贴合目标表面,且视角随目标形状改变而变化(王云川等,2020;刘欣怡等,2023)。无人机的航线规划主要可以分为两大类,分别为在未知环境中的实时定位与建图(simultaneous localization and mapping,SLAM)技术和基于目标的初始概略模型信息的航线规划技术(刘欣悦,2022;陈凯,2023)。SLAM 技术是无人机在运动过程中依据外部传感器获得的数据进行自身定位的,同时建造增量式地图。但这一方法无法满足目标精细化三维重建的高精度、全覆盖的航线规划要求(闫德立,2020)。基于目标的初始概略模型信息的贴近摄影测量的航线规划主要有两种方法:一种是根据目标类型的不同将目标抽象成柱体、面等基本单元后,对不同单元分别进行航线规划(何佳男,2019);另一种是通过泊松圆盘分布在目标概略模型表面生成稠密视点,根据约束条件对视点进行筛选,最后根据最优视角反算出航迹点坐标与无人机姿态(Yan 等,2021;李清泉等,2022a,2022b)。
本文针对的面状目标是对现实物体的抽象描述,其特点是与水平面有较大夹角,高差大,如水库大坝面、高边坡、建筑立面等。针对斜面目标的贴近摄影测量航线规划主要是如何计算无人机姿态和航迹点坐标,使无人机正对目标拍摄、贴合目标表面飞行。斜面贴近摄影测量的三维航线规划中,目前采用较多的方法为将斜面目标旋转至水平面后进行航线规划,然后将航线旋转回斜面(陶鹏杰等,2020;杨爱明等,2020)。这样的做法烦琐、不直观、效率低。为了简化计算,提高航线的质量,本文采用主成分分析(principal component analysis,PCA)算法得到无人机在水平飞行方向、航线上升方向和摄影机主光轴方向的方向向量,并结合航迹点的间隔得到航迹点三维坐标和无人机姿态。
2 航线规划
贴近摄影测量航线文件包括每一个航迹点三维坐标及对应的无人机姿态。求取航迹点三维坐标,首先,要计算出满足拍摄距离与重叠度等约束条件的相邻航迹点间隔距离;其次,根据斜面目标点云数据,利用PCA 算法得到无人机贴合斜面的水平飞行方向、航线上升方向、斜面法向量方向,结合相邻航迹点间隔与飞行方向可以确定出无人机航迹点的三维坐标;再次,通过摄影机主光轴方向(斜面法向量的反方向)计算出无人机的姿态数据(无人机偏航角、相机俯仰角);最后,以弓字形的顺序将航迹点串联起来,生成航线文件。斜面贴近摄影测量三维航线规划的技术流程,如图1 所示。
图1 斜面贴近摄影测量三维航线规划技术流程Fig.1 3D route planning technical flowchart of slope nap-of-the-object photogrammetry
2.1 拍摄距离约束
当相机参数固定时,无人机与重建目标的距离d越小,一张像片中包含的细节越多、影像分辨率越高,但是拍摄的面积就会越小,需要更多的像片才能覆盖完目标,花费的时间也就越多。所以应当首先根据需求确定拍摄距离,影像分辨率与拍摄距离的关系,如式(1)所示。值得注意的是,实际情况中斜面目标是有一定起伏的,但起伏相对于拍摄距离来说较小。实际情况中无人机离斜面的距离会在距离d附近小范围波动,但不足以引起影像分辨率产生巨大变化,不会影响最后模型的质量:
式中,d为无人机与斜面之间的距离,m;GSD 为影像分辨率,表示单位像素对应的地面大小,cm/像素;f为无人机镜头的焦距,mm;pixel_size 为像元大小,μm。
2.2 重叠度约束
为确保目标三维模型的完整性,采集的相邻影像间需有足够的重叠部分(齐怀卿等,2004)。在航线方向上相邻照片的重叠部分与照片长度的比值称为航向重叠度,相邻航线之间的相邻照片的重叠部分与像片宽度的比值称为旁向重叠度(周骁腾等,2017;苗志成等,2021):
式中,px为航向上相邻影像重叠部分长度,m;py为旁向上相邻影像重叠部分宽度,m;lx为像片的长度,m;ly为像片的宽度,m;xP为航向重叠度;yP为旁向重叠度。如图2 所示。
图2 航向重叠与旁向重叠Fig.2 Forward overlap and side overlap
无人机拍摄照片的覆盖范围不仅受到拍摄距离d的限制,还与相机视场角(field of view,FOV)有关。视场角的大小决定了相机的视野范围,视场角可分为水平视场角(fovx)、垂直视场角(fovy),如图3 所示。根据其几何关系可以推导出地面的成像范围与视场角、拍摄距离的函数关系为
图3 相机视场角Fig.3 Camera field angle
式中,Dx为相机在水平飞行方向的覆盖范围,m;Dy为相机在航线上升方向上的成像范围,m。进而可得航迹点在水平飞行上的间隔xΔ、航线上升方向上的间隔yΔ,如图4 所示。其函数关系为
图4 航迹点间隔Fig.4 Waypoint spacing
将式(1)代入式(6)、式(7)中可以得到影像分辨率、重叠度、相邻航迹点之间间隔的最终关系式为
2.3 飞行方向与摄影方向的计算
为得到精细化三维重建的连续航迹点,还需求解无人机的飞行方向。为增加无人机的滞空时间,本文以沿斜面的水平方向为航向方向,斜面的坡度方向为无人机的航线上升方向。为得到更好的拍摄视角,提高模型精度,以斜面法向量的反方向作为摄影机的主光轴方向(韩青岩,2017),如图5 所示。
图5 无人机飞行航线Fig.5 UVA flight routes
利用PCA 算法对目标的点云数据做基变换,得到新的三个正交基即为待求解的三个方向(Spanò 等,2018)。其具体的计算步骤如下。
假设数据源D为3 行n列的三维数据:
(1)数据去中心化。将数据D中的每一个坐标分量都减去该分量的平均值,使每一个分量的和为0。即则去中心化后的X坐标分量为同理可得、。去中心化后的数据D记为
(2)计算去中心化后数据的协方差距阵:
(3)求解协方差距阵C的特征向量与特征值。
计算得到的特征向量即为数据新的基底,由于协方差矩阵是对称矩阵,因此,特征向量一定是正交基,其特征向量为无人机水平飞行方向、航线上升方向、摄影机主光轴这三个方向。协方差的特征值为数据在某一主成分上的方差,若数据的方差越大,则数据在该方向上越分散,包含的信息越多。如图6 所示,向量PC1是无人机的水平飞行方向,PC2是无人机斜面的航线上升方向,PC3是斜面的法线方向也是无人机的主光轴反方向。
图6 三维点云PCA 算法示意Fig.6 Schematic diagram of 3D point cloud PCA algorithm
2.4 无人机位姿计算
通过飞行方向与航迹点的间隔,进而可计算各个航迹点的三维坐标。首先,在斜面上确定一个起始点:Start_Point =(x0,y0,z0),以航迹点之间的间隔为步长,计算足印点;其次,根据拍摄距离d和方向向量PC3计算航迹点坐标,其关系如图7 所示。计算原理如下:
图7 无人机航迹点计算Fig.7 UVA waypoint calculation
式中,WayPoint(i,j) 为任意无人机航迹点;i、j为水平航线的第i行、上升航线第j列的航迹点。
无人机的姿态包括无人机的偏航角、相机的俯仰角。根据摄影机主光轴反方向PC3,由几何关系,可得无人机的偏航角与相机俯仰角:
式中,head 为无人机偏航角,(°),gilmbalPitch 为相机俯仰的角度,(°);PC3=(x y z)T为单位向量。
3 实验分析
3.1 实验概况
本文实验选择的典型区域为重庆市巴南区某高边坡,边坡所在位置106.549°E、29.391°N,其平均大地高为310 m,航飞前在边坡的抗滑桩上粘贴四个反光片,分别为JC1、JC2、JC3、JC4,作为标记点,实验通过对比模型中标记点的距离与实际距离的差异,用于模型的精度评价,如图8 所示。为保证模型的精度、减少变形,建模时中央子午线设置为107.1°,抵偿面高程设置为0 m。
图8 标记点分布Fig.8 Distribution of Label points
实验以大疆精灵4RTK 无人机为数据采集平台。该无人机为四旋翼无人机,具有成本低、效率高等优点,适用于小场景的精细化建模(尹玉廷,2018)。无人机部分重要参数,如表1 所示。
表1 无人机部分参数Tab.1 Part of UVA parameters
首先,利用倾斜摄影测量方法获得初始场景信息,通过上述计算方法,得到无人机贴近摄影测量航迹点的位置、无人机偏航角、相机俯仰角。其次,将航迹点坐标、无人机姿态数据整合生成航线文件,其中,无人机航线要通过所有航迹点,为了使滞空时间最大化,航迹点采用“弓”字形排序。将航线文件导入地面控制端,飞行作业实现边坡贴近影像的自动采集。实验中无人机拍摄距离20 m、航向重叠度80%、旁向重叠度70%,贴近摄影测量航线如图9 所示。最后,利用拍摄到的影像建立边坡的精细化三维模型,并对模型进行精度评估。实验技术流程如图10 所示。
图9 无人机贴近摄影测量航线Fig.9 UVA nap-of-the-object photogrammetry rout
图10 实验技术流程Fig.10 Experimental technology process
3.2 模型质量评价
模型质量评价的内容包括模型精度、纹理精细度。本文通过对比标记点的实际长度与三维模型上的测量长度,实现模型相对精度的评定。其中,贴近摄影测量模型上量取的线段长度减去全站仪测量的实际长度记为Δ1,倾斜摄影测量模型上量取的线段长度减去全站仪测量的实际长度记为Δ2,测量数据如表2 所示。
表2 长度误差统计表Tab.2 Statistics table of length error
由表2 可知,贴近摄影测量模型误差的最大值为7 mm、最小值为1 mm、中误差为5.5 mm。倾斜摄影测量模型误差最大值为189 mm、最小值为10 mm、中误差为125.1 mm。贴近摄影测量相比于倾斜摄影,其点位的相对精度得到了巨大的提升。在模型的精度与纹理精细度上,贴近摄影得到的边坡模型相较于倾斜摄影测量得到的模型完整性更好、未出现拉花、纹理更清晰,模型中边坡上的裂缝、锚杆都清晰可见,如图11 所示。
图11 三维模型结果对比Fig 11 Result comparison of 3D real scene mesh models
4 结 论
本文提出了一种面向斜面的贴近摄影测量航线规划方法,并经过实验验证了其方法切实可行。在对斜面目标贴近摄影测量的航线规划中,相较于旋转斜面的方式本方法简洁、效率更高,也为斜面目标的贴近摄影测量三维航线规划提供了新思路。结果表明,贴近摄影测量得到的模型纹理细腻、完整性好,内部点位相对精度达到5.5 mm。
在实际生产中任何复杂目标都可以分割为多个曲率较小、表面起伏不大的斜面。针对单一斜面可以通过本方法规划出三维航线,然后将每个斜面的航线组合起来,就可以实现复杂目标的贴近摄影测量三维航线规划,因此,本方法具有较强的适用性与较好的应用前景。