基于覆盖区域自适应优化的无人机航拍拼接方法

冯向东，魏春英

(1.成都理工大学工程技术学院 基础教学部，四川 乐山 614000；2.宁夏大学 物理与电子电气工程学院，宁夏 银川 750021)

0 引言

近些年，得益于无人机(Unmanned Aerial Vehicle，UAV)和传感技术的快速发展，UAV捕捉到的航拍图像和视频被用于很多领域中，例如天气预报、海事监控、农业监测以及无人机精确制图等[1-2]。过去，图像拼接研究主要是针对拼接2张图像的简单情况，或通过拼接多张同排图像生成全景图像[3]。但从UAV图像中生成拼接图像，需要取大范围区域的多张图像作为输入。如何快速有效地进行UAV航拍拼接是一项具有挑战性的任务。

关于UAV航拍的图像拼接，目前已有一些研究成果，如文献[4]提出了基于移动直接线性变换技术的APAP仿射扭曲方法，该方法可纠正由输入图像的平移和旋转产生的误差，减少幻影效应。文献[5]提出了结合形状保留扭曲和全局对齐的图像拼接方法——SPWGA，利用相似性扭曲和投影扭曲的优点，实现高准确度对齐，减少投影畸变。文献[6]提出了改进的投影-相似变换方法以拼接无人机遥感图像。通过改进初始单应矩阵，对重叠区域到非重叠区域的投影变换进行平滑推导，形成相似变换，同时考虑拼接过程中图像重叠区域的配准精度和非重叠区域的视场一致，但该方法的处理速度较慢。文献[7]提出了无参数仿射扭曲的准单应性法，以平衡非重合区域中的投影畸变和透视畸变。文献[8]提出了基于仿射扭曲残差的大视差图像拼接方法——WRIS，先得到内点特征匹配，再评估每个特征的扭曲残差，以最小化特征匹配误差。该方法有效地提高了较大视差图像的拼接准确度，但不适用于多张图像拼接的情况。为加快图像拼接处理速度，文献[9]提出了并行架构，将图像的二进制描述子保存在多个散列表中，但该方法将新帧更新为参考帧，由此估计出全局单应性变换，造成拼接结果中存在严重累积误差。文献[10]提出了一种基于欧拉弹性模型与加速稳健特征算法的UAV图像拼接方法，主要针对畸变问题进行改进。文献[11]提出了一种基于改进KAZE的UAV航拍图像拼接算法，利用加速的KAZE算法提取图像的特征点，使用Grid-KNN和随机一致性算法进行特征点匹配，但对大范围的UAV拼接效果不佳。

以上方法均不能很好地处理拼接图像中的视觉畸变和模糊伪迹，对大范围拍摄的多张图像拼接结果存在严重形变和细节丢失，不能满足大范围UAV图像快速拼接的要求。为此，本文提出了多张UAV图像拼接的快速稳健方法。首先，估计输入图像的地面覆盖区域和重合率，并基于重合率和覆盖区域的相对位置，通过所提自适应选择算法优化要拼接的图像集合，利用重合区域进行特征提取和匹配。由于所获图像对的精确重合约束了特征匹配区域，避免不必要的计算，由此降低累积二次投影误差。其次，在转换区域应用局部仿射扭曲平滑推理，以缓解拼接结果中的模糊伪迹。实验结果证明，所提方法的输出图像实现了较好的视觉质量，畸变较少，且与以往方法相比，处理时间缩短了2倍以上。

1 提出的覆盖区域自适应选择算法

利用快速预处理，估计图像覆盖区域的相对位置和重合率，以改善特征检测和匹配步骤，提升精度并降低计算复杂度。特征检测阶段，通常利用SURF，SIFT和ORB等具有尺度不变性和仿射变换不变性的特征[12]，确定图像间的对应关系。

1.1 图像覆盖区域估计

考虑UAV捕捉垂直向下方向图像的情况。设图像地面覆盖区域的高度和宽度分别为H和W，相机视角α，UAV高度a，图像分辨率hpixel×wpixel，其中，h和w分别为图像的宽度和高度的像素数量，则图像覆盖区域估计为W=2atan(α/2)，H=Wh/w。

将图像覆盖区域中心的GPS坐标设为UAV坐标，并作为图像中心，保存在元数据中。ηi和λi分别表示弧度上的点Pi的纬度和经度。根据Pi和Pj的GPS坐标，利用半正矢公式计算出2点间距离：

(1)

式中，R为地球半径。线PiPj与指北方向线之间的夹角为方位角，计算如下：

θ(Pi,Pj)=arctan2(θy,θx)。

(2)

根据所有图像中心的GPS坐标，估计距离和方位角，并由此绘制UAV相机路径。此外，可利用相机参数(例如焦距和相对高度)计算覆盖区域的宽度和高度。利用相机万向偏航角，得到所有图像的覆盖图。然后，将图像覆盖区域和重合率估计作为自适应选择算法的输入。

1.2 自适应选择算法

本文基于覆盖区域重合知识，提出选择用于拼接的部分图像的高效算法。图像拼接中，输入图像的重合率会影响用于拼接的匹配特征性能。若输入图像的重合率较低，很难得到用于拼接的良好匹配特征；若输入图像过于密集，或多张图像共享相同的重合区域，则密集对应关系可能会导致误配准。针对该问题，提出了快速自适应选择算法，移除与其他图像密集重合的非必要输入图像，仅在相关图像的重合区域中执行特征匹配和配准处理。在配准过程中，所提方法可显著降低离群点数量。

相关研究表明[13]：若图像帧中包含的内点数量较少，就丢弃该帧。但与其他邻近图像密集重合的图像会增加二次投影误差，造成图像特征的误配准。因此，本文方法将丢弃被其他图像密集覆盖的图像。所提自适应选择算法如下所示，从集合D中n个高度重合的密集覆盖区域F1,F2,…,Fn，生成稀疏覆盖集S，并利用相应图像完成拼接。

算法:自适应选择算法输入:D为n个密集图像覆盖区域F1,F2,…,Fn的集合,ri为Fi和Fj之间的重合率,α,β和γ为阈值。输出:稀疏图像覆盖区域集S。1.S←D2.V为访问节点集合,β≥13.repeat4. 计算S中所有图像的重合率:S:ri=∑Fj∈Srij5. m=argmaxFj∈S&Fi∉Vri6. j=argmaxFj∈Srmi& k=argmaxFj∈S&i≠jrmi7. ifrmj+rmk≥β & rjk≥γthen8. S←S/{Fm}9. else10. V←V∪{Fm}11.end if12.Until rm<α13.ReturnS

2 UAV航拍图像拼接

首先，介绍利用确定的图像重合区域进行快速特征检测和匹配的方法。其次，简单回顾非重合区域的投影扭曲技术，并解释提出的基于距离和误差的重合区域局部扭曲技术。最后，解释多张图像拼接的最终步骤。

2.1 框架概述

所提方法的基本流程如图1所示。

图1 所提方法的基本流程

首先，确定图像覆盖区域，得到密集图像集。通过重合区域估计和所提自适应选择算法，生成稀疏图像集。其次，提取稀疏图像集中所有图像的特征，及其在相应图像中的各自位置。然后，利用所提重合区域的局部仿射扭曲技术，得到重合区域的局部单应矩阵。最后，将所有图像投影到参考图像平面上，通过多波段融合，得到多张UAV图像的拼接图像。

2.2 特征快速检测匹配

通过比较描述符的距离，确定特征在不同图像中的对应位置。通常使用快速近似最近邻库(Fast Library for Approximate Nearest Neighbors,FLANN)[14-15]以加快处理速度。拼接多张图像时，传统方法会对所有图像对的匹配特征进行穷举搜索，产生极大计算负担。为此，利用所提算法，从输入图像集生成一个稀疏图像集，提取稀疏图像集中所有图像的特征，以及相应图像中的各自位置，在欧式距离内，2个特征点p和q的欧式距离可以定义为：

d(p,q)=〈Dp-Dq·Dq-Dp〉，

(3)

式中，Dp，Dq为2个特征向量。本文对重合率高于预定义阈值的成对图像进行匹配。在匹配2个重合图像的提取特征时，仅分析重合区域内的特征，显著降低了特征匹配和配准的计算量。

2.3 投影扭曲技术

该阶段利用匹配特征集合估计仿射扭曲变换，实现每对图像的最优配准。随机抽样一致(Random Sample Consensus,RANSAC)算法[16]被广泛用于在给定集合中寻找匹配特征对，以得到用于变换矩阵估计的最小二乘解。假定从图像I和图像I′的2个重合区域中分别得到了2个匹配特征集合PI和PI′。利用投影单应矩阵H，将PI中的每个特征转换为PI′中相应的特征点。将PI中的特征点表示为pi=[xi,yi,1]Τ，将PI′中的特征点表示为p′i=[x′i,y′i,1]Τ，其中pi和p′i形式为齐次坐标。由此，可得p′i=Hpi，该转换可表示为：

(4)

此外，

(5)

(6)

设h=[h11,h12,…,h31,h32]T表示H的8个未知参数的向量形式。由式(5)和式(6)可得：

(7)

利用RANSAC，通过重合区域的匹配特征估计出图像之间的单应转换矩阵。严格限制提取特征的匹配区域，能够减少离群点数量，使RANSAC更易于收敛。本文以预设的迭代次数执行RANSAC，随机选出PI和PI′中的M(M≥ 4)对匹配点(pi,p′i),…,(pj,p′j)。

定义2M× 8的矩阵A如下：

(8)

(9)

2.4 基于距离和误差的局部扭曲技术

(10)

，

(11)

式中,j=1,3，且：

(12)

式中,

j=2,4。

图2 局部单应转换样例

图像合成阶段，首先，将输入图像对齐并扭曲到同一个参考坐标系后；然后，将修正后的图像合成为单张图像。将2.2节算法得到的集合S中，与其他图像的公共匹配关键点数量最大的图像选择为最终合成表面。由此，能有效降低累积二次投影误差。计算从其他图像到参考图像的单应矩阵。到参考图像的转换可采用直接转换，或通过中间图像进行间接转换。最后，利用多波段融合[17]，得到拼接图像。

3 实验与分析

本文硬件平台为Intel Core i7-10700F CPU，16 GB RAM，NVIDIA RTX 2070 GPU，运行Windows 10操作系统。采集图像的UAV为大疆 Mavic Pro Platinum，相机模型为DJI FC220。

采用均方根误差(Root Mean Squared Error，RMSE)和平均绝对误差(Mean Absolute Error，MAE)作为拼接准确度的评估度量[18]。RMSE和MAE数值越小，表明方法性能越好。

综上所述，在核心素养下展开小学语文读写结合教学，以阅读丰富写作素材，以写作深化阅读理解，提高学生语言理解和运用的能力。利用仿写的教学方式，加深学生对课文的理解，完善自己的写作水平，为培养学生核心素养打下良好的基础。

3.1 实验数据

实验通过UAV捕捉湖边、喷泉和小区等5个地面图像场景。以垂直向下的方向拍摄图像，相机全向俯仰角设为90°。所有图像的分辨率均为3 000 pixel×4 000 pixel。UAV图像场景测试数据详情如表1所示。

表1 UAV图像场景

UAV相机路径和覆盖区域示意如图3所示。图3(a)表示UAV在等高平行线中飞行，并在多个位置拍摄图像时的相机路径，该区域为随机形状；图3(b)表示纵向拍摄的图像；图3(c)表示横向拍摄的图像。设图3(a)中相邻2条平行线距离为l，每条平行线中，以2点间距s设定等距位置，以拍摄图像。2张图像之间的重合率计算为交并比，即重合面积与合并面积之间的比率。假定r为相同平行线中2张相邻图像之间的预期重合率。若图像是纵向的，如图3(b)所示；若图像是横向的，则调换s和l的数值。利用估计距离，控制UAV在预设轨迹上飞行，并在预期位置进行图像拍摄。

图3 UAV相机路径和覆盖区域示意

应用所提算法，从密集图像集生成稀疏图像集时的图像覆盖情况如图4所示。图4(a)和图4(b)分别表示应用所提自适应算法之前和之后的图像覆盖情况。可以看出，前后的发生密集覆盖区域所对应的图像被移除了，从而减少了需要处理的图像数量。

(a)本文自适应算法应用前的效果

3.2 结果分析

为验证所提方法在实际场景中的性能，通过实验评估RMSE和MAE性能，并与先进方法进行比较。实验包括不同场景，预设重合率范围为85%～70%。rm为所有ri(i=1,2,…,n)的最大值，即每张图像的重合率加和。α为算法1的循环终止条件数值，即rm<α。β用于保证Fm被Fj和Fk充分覆盖，为此设β≥1。γ为Fj和Fk之间的重合率最小值，以使算法能够从图像集中丢弃Fm。根据经验，将α，β和γ的最优值设为：α=2.7，β=1.6，γ=0.4。

图5给出了UAV航拍的图像，是某小区UAV俯瞰图(遴选的航拍图像)。图6是最终的拼接结果，可以看出，本文方法生成的拼接图像没有包含明显的视觉畸变，也没有明显的模糊伪迹，其中，红色框中的道路线条没有断层或者扭曲。整体拼接效果良好。

(a)航拍图1

图6 采用本文方法的UAV航拍拼接结果

表2和表3分别给出了本文方法与其他先进方法平均RMSE和MAE结果，粗体表示最优性能。平均RMSE和平均MAE的像素值越低，表示结果越好。表2中，对于所有场景，本文方法的RMSE的像素值在3.2～7.2 pixel。所有方法在“小区”场景中，均表现出最高的像素误差值，这是因为该场景的图像元素更加复杂。其中，APAP方法的RMSE达到12.377 pixel。WRIS在公园场景中取得最低误差，本文方法在其余场景中均得到了最优性能。表3给出了相似性能结果。MAE表示绝对误差的平均值，是更加一般的误差表现形式，其受异常值的影响小于RMSE，因此，表3的整体数据在2～7 pixel。从表2和表3可以看出，在大部分情况下，所提方法得到的RMSE和MAE性能指标更低。这主要得益于所提方法基于重合率和覆盖区域的相对位置，通过所提自适应选择算法优化要拼接的图像集合，降低累积二次投影误差。此外，在转换区域应用局部仿射扭曲平滑推理，缓解了拼接结果中的模糊伪迹。

表2 本文方法与先进方法的平均RMSE比较

表3 本文方法与先进方法的平均MAE比较

表4给出了对于小区场景，提出的方法与先进拼接软件[19]在总处理时间方面的性能，该时间为整个拼接过程耗时，图像数量为50～200。本文方法的处理时间呈线性增加，这是因为本文方法获得了图像对中每张图像的精确重合情况，避免不必要的计算，其他软件的耗时上升幅度很大。为公平比较，本文方法的耗时中包括预处理时间。在拼接100，150和200张分辨率为5 400 pixel × 3 600 pixel的图像时，本文方法的整体处理时间分别为56.2，102.5，125.2 s。针对不同数量的图像，相比于其他软件，本文方法的处理速度至少加快了2.1倍。

表4 拼接时间比较

4 结束语

本文提出了快速拼接多张UAV图像的稳健方法，在大范围区域通过UAV捕捉大量图像，并快速拼接出能够展示视觉细节的单张高分辨率图像。创新之处是通过自适应算法优化用于拼接操作的图像集合，移除冗余重合区域，由此降低计算量，减少累积二次投影误差，并在转换区域应用局部扭曲平滑推理技术，缓解拼接结果中的模糊伪迹。实验结果表明，所提方法的输出图像实现了较好的视觉质量，畸变较少，在大部分实验场景中的RMSE和MAE性能均优于其他优秀方法，且处理速度比先进软件快得多。

所提拼接方法可用于各种不同领域，例如遥感和农业监测。未来，可尝试进一步加快处理速度，实时生成UAV图像或视频的拼接图像。