无人机序列影像快速三维重建方法研究

宋书学, 孙统领, 刘文锴, 胡青峰, 高英, 邹根中, 王鹏

(1.中国南水北调集团中线有限公司,河南 南阳 473000; 2.华北水利水电大学 测绘与地理信息学院,河南 郑州 450046;3.河南省水利勘测设计研究有限公司,河南 郑州 450016; 4.河南贾鲁河环境综合治理有限公司,河南 郑州 450002)

随着无人机与高清相机的广泛应用,基于无人机倾斜影像的三维场景重建技术已活跃于各个领域,执行着战场侦察、环境监测、地形测绘、水利水电工程监测等任务[1-2]。近年来,无人机行业已从最初的人工飞行发展到自动飞行,再到厘米级定位、仿地飞行等,在获取高分辨率影像方面极大地提高了传统测绘效率。同时,随着业务需求的不断扩展与深入,在复杂或困难区域,甚至在大型水利工程项目中,基于无人机序列影像开展高效率乃至实时的三维重建工作无疑具有重要意义[3-4]。然而,针对大区域的海量无人机序列影像,传统的基于影像的三维重建工作在方法和运算量上都难以满足较高的要求,且大多以离线方式展示三维重建结果,无法获取野外大区域场景的高效监测效果。因此,如何实现无人机序列影像的快速三维重建工作已成为当前主流研究热点之一。

无人机影像具有相幅小、倾角变化大、影像间重叠度大但不规则等问题, 导致传统摄影测量方法不能有效地处理无人机影像序列。同时,相比于计算机视觉三维重建技术的研究对象(建筑物、文物等),无人机序列影像的地面覆盖范围更广阔,且数据量更大,使得基于无人机序列影像的信息应用处理方面的问题异常突出。为此,众多学者开展了一系列基于传统航摄与计算机视觉理论的无人机影像三维重建算法改进研究,例如张艺琨等[5]、狄桂栓等[6]借助同一测区内辅助信息(DOM、DLG等),使用商业软件(Smart 3D)进行建模,一定程度上提高了建模效率;SUN S等[7]在快速构建古建筑三维模型中加速记录单体建筑的形状、颜色、纹理、结构等特征,提高了文物保护人员的工作与评估效率。尤其是运用多视图几何原理的三维重建技术有了快速的发展后,形成了越来越大规模的运动恢复结构(Structure From Motion,SFM)问题。其中增量式重建方法是SFM方法的代表。该方法主要从海量影像数据中选取交会条件最好的立体图开始解算,然后持续添加其他影像到当前已解算的模型中,并统一对模型平差优化,直至求解完测区内所有影像。在整个解算过程中,每次迭代均需进行参数优化,虽然可使得该算法比较稳健,但由于存在处理过程的多次平差,且影像对均需要进行两两影像匹配,计算量巨大,效率较低。许多学者利用多视几何技术改善匹配点自动提取精度,进而改进平差算法,构建地物三维模型[8-11],这种方法自动化程度较高,但由于缺少控制点信息,使得重建精度较低。因此,本文提出了一种基于改进SFM的无人机系列影像三维重建方法,在不辅助POS等其他定位信息的基础上,仅依靠重叠影像间的匹配结果划定影像分区;在单独分区内采用改进的增量式SFM方法进行三维重建;再将各个分区依据分区间的重叠信息动态调整并进行合并,完成整个测区的三维重建,最后进行纹理映射。

1 总体算法设计

本文提出的无人机序列影像快速三维重建方法主要包括场景分区和增量式重建两大模块,算法流程如图1所示。场景分区:主要采用改进SIFT(Scale Invariant Feature Transform)特征检测算子以及影像匹配,利用影像对之间的匹配结果计算关联度,无需借助无人机系统POS等其他辅助信息即可完成场景分区。增量式重建:首先,借助相机内参数确定分区内影像对视图中心;然后,利用增量式SFM方法进行分区内影像的快速重建,且在重建过程中借鉴场景分区的原则,统计分区间的公共地面点数量,动态调整分区;最后,利用分区间公共点计算相邻分区间的空间三维线性变换参数,进行小分区之间的合并,并赋予对应的纹理信息,最终实现整个场景重建。

图1 无人机序列影像快速三维重建示意图

1.1 基于影像匹配的场景分区

序列影像上的同名点可在多帧影像间形成影像区域网,因而,针对当前帧影像上的同名点分布,将符合一定数量同名点的相邻影像与当前帧图像一起构建局部区域网,则基于整个场景的海量无序影像集可自动分割为若干个具有重叠度的子集,每一子集作为单独分区模块。

分区时为避免因飞行架次、成像时间、位姿等信息降低算法的通用性,本文仅利用相邻影像间的匹配结果执行影像分区。具体算法描述如下:

1)特征提取。无人机影像数据的冗余度较大,对匹配点的提取效率提出了更高的要求[12-13],传统航测软件中的自动匹配点提取算法难以有效实现无人机序列影像高效自动匹配的需求。SIFT算子是一种对图像尺度、旋转保持不变形的局部特征描述算子,也是无人机影像匹配处理中经常采用的算子之一。但该算子是满足两影像间存在相似变换的假设条件,因此仅适用于处理相邻角度偏转值小于30°的影像。为了简化描述算子以及减少冗余点,本文采用Harris算子[14]与SIFT算子[15]相结合的形式:首先,构建基于图像二阶导数矩阵即Hessian矩阵代替原始Harris中的M矩阵(见式(1)),提取定位准确且分布合理的特征点;其次,借鉴SIFT算子关键点主方向分配原则,具体计算方法见式(2)和式(3)。改进后的特征检测算子可描述为Harris-SIFT算子,在复杂场景特征提取中既可充分发挥Harris算法简单高效的优点,又可借助SIFT算子应对尺度变化与噪声的敏感性,还可简化SIFT算子的特征空间结构(本文只提取关键点主方向),构造了特征描述子。具体表示如图2所示。

(1)

图2 Harris-SIFT描述向量采样点示意图

(2)

(3)

2)影像快速匹配。在对重叠影像(多为两张或者三张)进行特征检测后,便可进入同名点匹配环节。影像匹配结果直接关系到整个场景的分区效率与精度,因此,针对无序的无人机序列影像,在特征匹配算法的执行中需重点考虑两个主要因素:相似性度量函数和搜索策略。在此,本环节以相关系数代替SIFT算法中的欧氏距离作为相似性度量函数,在循环迭代中加入主方向约束条件,以便保留准确性高且对影像辐射畸变具有良好鲁棒性的连接点。

3)影像间分区。起初以单张影像作为一个独立分区,特征匹配后得出重叠影像间(多张)的关联度。若相邻两影像间同名点数超过一个阈值(经实践,该阈值设置为400个同名点数),可视为有关联。按照关联度进行排序分块,使具有强连接的影像对在排序结果中彼此接近,遍历所有排序结果,依次调整未分区影像集的顺序。

4)分区合并。每一分区划定以后,其区域内影像集便可执行稀疏重建。理论上讲,每个子区域内的重建坐标彼此独立,因此,为了实现整个场景的完整重建结果,必须针对每一子区进行统一参数求解与优化。可借鉴子区域划分原则,计算分区之间的影像重叠度,实现小区域至大分区的合并。此外,在重复区域合并过程中,可通过修改预设分区内影像数的阈值范围(如5～15)来动态调整子集规模,其优势在于不仅能自动汇聚连接较好的影像组合,而且迭代过程简便,可提高分区效率。图3为两个分区合并的示意图。

图3 分区间合并示意图

1.2 基于影像分区的场景重建

针对无人机序列图像,不同于每次添加一张影像的传统SFM方法,该模块选择每次添加多张影像的改进SFM算法,大大提高了每个分区内重建的效率。在上节分区的基础上,可在分区影像区域网内,估计影像相对位姿和结构信息,并按照“影像关联强相关”原则通过光束法平差获得优化后的位姿参数。同时,对跨航带的强相关影像进行匹配。其中,影像关联强相关具体可描述为:影像间连接点在相邻影像上的投影范围占影像面积的比例大于阈值,则认为该影像同当前影像具有强相关的约束。然后,将相邻影像中所有的强相关影像集合作为一级相关影像,重复上述步骤以确定同一级相关影像存在强约束关系,并将当前影像中存在共同连接点的影像作为二级相关影像。以此类推,直至找到满足条件的所有强相关影像。在强相关影像建立分区的过程,也是提出弱关联影像的过程。整个算法可以实现动态分区调整,降低SFM流程中对初始影像对的依赖性,且由于无人机序列影像的特点,多个初始影像对也降低了重建失败的风险。

2 实验与分析

选择南水北调中线工程渠首段开展实验。该测区内渠道长176.718 km,建筑物长8.827 km,其中深挖方渠段58.411 km,最大挖深达47.50 m,开口宽度373.22 m;填方渠段全长33.689 km,最大填高17 m,高差起伏较大,为了确保南水北调中线干线输水渠道的安全运行,对其渠道坡面变形进行有效的监测尤为重要。鉴于传统的航空摄影模式,针对本测区或困难区域,在缺少地面控制点,且仅有下视影像的情况下,其自检校光束法平差无法求解出正确的焦距,导致高程精度无法保证。因此,本文采用贴近摄影的方式,利用M-300无人机搭载5镜头相机进行飞行实验。在没有地面控制点的情况下,利用垂直于“面目标”的全下视摄影方式获取了陶岔渠的影像,共选取319张有效影像。测区整体示意如图4所示。

图4 南水北调中线工程渠首段局部影像示意图

为验证改进的SFM三维重建方法的有效性,分别对算法中的部分实验结果进行讨论分析。

1)影像匹配与分区结果。通过SIFT算子与本文提出的Harris-SIFT算子分别针对影像组合中的前后两帧无人机序列图像进行特征提取与匹配,并将结果进行比较。在影像匹配处理过程中,两者时间存在一定的误差,如果两点的相关系数值大于某个阈值(此处阈值根据经验设定为0.85),可认定两个特征点为正确匹配点对;相反,便作为错误匹配点剔除。影像匹配的正确率(P)可按公式(4)计算。P值越大,代表匹配后正确点的数量越大,算法精度越高。

(4)

在该模块实验中,选择光照变化、角度变化较大的影像对以验证Harris-SIFT算法在特征提取与匹配环节的有效性。由实验结果(表1)可知,本文改进算法在此类情况下能够有效实现高精度、高效率的影像匹配,可为快速三维重建模块中“仅依靠影像匹配结果进行场景内影像集分区”提供条件。分析其原因,对于相邻角度偏差较大的影像,传统的SIFT算法仅依据灰度直方图信息,容易产生误匹配,且每一特征描述子均为128维特征向量,加大计算量;而Harris-SIFT算法利用积分图像的性质优化SIFT,不仅降低描述子维数,而且易于并行处理,因此提高了算法的整体性能。

表1 相邻两影像不同算法匹配性能对比

2)三维重建结果与分析。由于涉及河流的区域在影像匹配环节中精度较低,不可能自动重建水面,故在每张影像中均估计一个mask,并在最后纹理映射环节中赋予纹理信息。经本文算法验证,刁河渡槽段监测区三维模型如图5所示,建模效果比较完整,尤其在涉及堤坝护坡的重建效果(图6),台阶以及马道边防护墩清晰可见且边缘完整。

图5 刁河渡槽段倾斜模型

图6 堤坝重建前后模型细节示意图

此外,经统计得到整个重建构成处理时间,并引入Photoscan软件的处理时间以及增点增量式重建方法(Bundle)进行对比,结果见表2。

表2 测区内无人机序列影像重建效率对比结果

由于渠道成线状分布,旋翼无人机需要分段飞行才能完全覆盖,特利用网络RTK技术(见图7(a)所示)测量了大量控制点。同时,为了验证南水北调开放场景重建模型精度,仅在项目设定的大量控制点中选择4个控制点作为检查点进行精度评定,此4个控制点均分布在马道边防附近(如图7(b)所示)。本文重建后精度结果见表3,所选择控制点平面误差(dx,dy)相对于GPS可控制在0.010 m以内,高程误差(dz)则可控制在0.020 m以内,三维重建模型的均方根误差(RMS of 3D)最小可控制在0.017 m,满足1∶1 000测图精度要求。

表3 控制点重建精度指标结果 m

图7 像控点图新地球展点坐标示意图

3 结论

鉴于无人机序列影像的三维重建结果可作为传统空间信息可视化结果的有力补充,本文针对无人机序列影像的特点,引入计算机视觉领域重建方法,提出了基于无人机序列影像批处理三维快速重建方法。通过改进的影像检测算子实现影像快速稳健的匹配,并依据影像间匹配度进行分区,降低重建多个影像增加的计算量,同时利用分区间公共点计算相邻分区间的空间三维线性变换参数,进行小分区之间的合并,有效减少无效影像匹配消耗的时间。实验结果表明,本文基于影像匹配的分区算法结果良好,可以得到关联度较高的子集,在批量分区三维重建过程中既保证了精度又减少了时间消耗。但是,由于分区算法的关键在于影像间的匹配度,错误的匹配结果将会对影像连接关系产生负面影响。因此,在后续研究工作中应考虑加入更稳健的方法实现大规模影像集的分区,以期获取良好的三维重建算法输入。