无人机航拍图像拼接技术研究与实现

周方圆，杨鹏举

（延安大学物理与电子信息学院，陕西延安，716000）

0 引言

无人驾驶飞行器（UAV）是一类使用自动驾驶仪或远程控制技术控制的飞行装置机。无人机的首次使用是在军事任务中，例如目标区域的侦察和实时航拍，以及低空飞行时的精确打击。然后应用逐步扩展到民用目的，例如农业应用、消防监视、交通监控、灾害损害评估和核反应堆安全检查[1]。二十一世纪的今天，随着无人机技术的成熟和普及，其已成为各个领域数据采集常用工具之一，为小区域和大比例尺地形图或详细3D表面信息的经典航空摄影测量，提供了一种低成本的替代方案。然而，受限于无人机的固有局限，很多时候需要对无人机航拍图像进行拼接，以获取更高质量的图片[2]。为此，探究无人机航拍图像拼接技术与实现，是相关从业人员所必须进行的研究，有助于提升无人机航拍图像的质量，为依靠无人机航拍进行的决策提供更加科学且完善的数据支撑。

1 无人机航拍图像拼接的必要和技术现状

1.1 无人机航拍图像特征和拼接必要

近年来，无人机在军事、科学和民用领域的使用急剧增加，以获得最接近和最真实的现场图像，进而为军事、科学和民用领域的正确决策提供数据和图像支持。然而，由于无人机航拍图像受到来自不同高度级别的捕获帧，例如照明、阴影、遮挡等各种环境约束，从图像中提取制图对象是一项艰巨的任务，因为航拍图像本质上是分散、嘈杂、复杂和模糊的[3]。虽然现代技术已经支持无人机搭载高倍率的广角镜头进行图像获取，但是，这类专业设备不仅价格昂贵，而且所获取的图像失真严重。在此背景下，图像拼接是一种无人机航拍获取的图像的处理方法，旨在将覆盖同一场景不同部分的多张图像组合起来，以形成一张更加精确的广角图像。在无人机航拍图像处理中，图像拼接是一项非常具有挑战性的任务，在过去的几十年里，已经为此开发了许多算法，旨在无人机航拍图像拼接的处理过程中，通过不相交的图合并进行结果聚合，进而允许拼接后的图像不受图像融合中固有的测量和几何校正的影响。

1.2 无人机航拍图像拼接技术的现状

传统的无人机航拍图像拼接是使用无人机自带的全球导航卫星系统的相机位置信息，实现直接地理参考。该信息由无人机飞行期间机载接收器记录，然后使用SIFT算法检测大量特征，这些特征可用作相邻图像之间重叠区域内的连接点，以改进地理参考解决方案。这种图像拼接是通过GNSS标签或使用数据集中的已知特征来获得估计位置来完成，帧矩阵必须包含以下信息：行数、列数和总帧数[4]。假设帧数据在行数和列数方面具有一致的大小。其他两个矩阵，即第一帧的x和y位置，也必须具有相同的大小。例如，初始帧的位置数据将是一系列x和y坐标对。这样，一个像素将具有位置（X1，Y1），和像素 Ñ，即直接像素旁边，将具有位置（X2，Y2）。在这种情况下，这两个相邻像素之间的间距是y2-y1和x2-x1。因此，这些位置必须位于基于真实的坐标系中。虽然这种方法更快、更经济，但它提供的拼接图像质量较低，无法适用于一些高精度图像需求，例如历史建筑或工业应用。

相比之下，另一种的无人机航拍图像拼接使用了间接地理参考方法，以某些目标的坐标作为地面坐标点(GCP)，进而实现图像拼接。在这种方法中，在x和y方向的每个像素处估计一维流向量，然后使用迭代最小二乘法从一维流估计全局仿射参数。准确的参数是通过在x和y方向上迭代重复优化获得，因此这些目标必须在图像中清晰可见且可区分，以便在数据处理步骤中手动选择其中心。这种方法应该适用于大多数无人机的图像数据，然而，应该注意的是，这种方法依赖于数据中明显的不均匀性。例如，在分析野火强度差异特征（特定火灾像素之间的大温度对比度）时，诸如建筑物或河流之类的图像也会在图像中提供对比鲜明的边缘，从而限制配准过程。为此，可以在固定的环境中使用任何现有的人工特征，例如角落、井盖或道路标记。虽然这种方法能够提供相对传统图像拼接更加高精度的图像，但是，这种方法需要准备和测量GCP的位置，这一过程需要消耗较多的时间和精力[5]。

2 无人机航拍图像拼接的关键技术与实现

2.1 无人机航拍图像拼接的关键技术

在实现高质量的无人机航拍图像拼接中，图像的特征点提取算法是十分关键的部分。如前文所述，SIFT算法是传统无人机航拍图像拼接的常用算法。但是，该算法运算复杂且容易产生大量的系统冗沉，导致图像拼接速度较慢且需要较好大量的系统内存。相比之下，无论是SUSAN算法还是SURF算法，无论是MORAVEC算法还是HARRIS算法，都更加的简单、易实现。尤其是HARRIS算法，鲁棒性好、稳定性高、提取精确且算法简单，是现阶段无人机航拍图像拼接中十分关键的算法，对于实现高质量的图像拼接有重要的作用。

HARRIS算法是Heidari等人在2019年受到哈里斯鹰的集体行为和追逐方式的启发，进而提出的基于种群的HHO算法。该算法基于以下原则：首先，根据其他家庭成员的位置和猎物（例如兔子）的位置（q<0.5）确定自己的位置；其次，鹰的位置完全随机（q≥0.5）。从数学的角度来看：

式（1）中，iter表示迭代，X（iter+1）是下一次迭代中鹰的位置向量，Xrobit(iter)和X(iter)分别是兔子和鹰的位置，Xrand(iter)代表从种群中随机选择的鹰，LB和UB分别代表变量的下限和上限。在这种情况下，哈里斯鹰采用软围攻（|E|≥0.5）和硬围攻（|E|<0.5）策略来消耗和轻松猎杀猎物。

依据上述原则，在无人机航拍图像特征点提取中，HARRIS算法使用局部加权散点图平滑来对齐图像之间的光谱响应函数，以局部方式调整拟合，保留一般趋势，同时减轻异常值的影响，使其更灵活地将线拟合到数据。为此，HARRIS算法通常使用抛物线或高阶多项式而不是直线来拟合数据，因为目标是确定数据段的最佳拟合，以改进预测而不是通用性。在这里，HARRIS算法选择了二次多项式，以便在点内进行比直线拟合有时可能更平滑的拟合。例如，将局部近似中要考虑的点的分数设置为0.15，使用Python loess函数中的默认权重函数、三方函数和迭代次数10自动提取像素子集，用于从跨越重叠区域的两条样线中提取像素，并从模型训练中排除。

此处假设位置信息是由用户通过GNSS或从数据中的地理已知点生成。如果数据包含GNSS，用户可以通过假设位置在帧的直接中心，并根据传感器的镜头信息和飞机高度推断所有其他位置。另一种选择是在图像中找到一个包含清晰地标的位置（从基于地面的GNSS标记或从其他地理校正图像中找到），并使用它来推断图像中所有数据的x和y信息，即行号和列号。

2.2 无人机航拍图像拼接技术的实现

对无人机获得的航拍图像进行拼接，首先，要对影像数据进行预处理，包括单个图像的拼接、感兴趣区域(ROI)的识别，然后是地理配准和ROI的矢量处理。其中，原始数据集使用摄影测量软件Pix4D Mapper中的“3D地图”模板进行拼接。输出坐标系选择为WGS 84/UTM zone 11N(EGM96)。获得的输出是RGB和DSM。之后，使用QGIS中的“Georeferencer”工具执行地理参考过程将图像数据的确切位置匹配，对DSM进行地理校正。使用AutoCAD中的“矩形”命令创建ROIs，要求每个ROI都有与标记板的中心重合，以实现精确匹配。其中，第一帧矩阵中的每个单元格都必须有一些位置信息，此信息与所有帧数据一起传递给第一个函数，该函数为每个帧中的每个像素提供x和y位置信息。此函数的输出是两个与输入frame_data矩阵大小相同的矩阵，包含每个帧的x和y位置。

其次，应用HARRIS算法对可以进行像素到像素比较的重叠区域进行定量分析。其中，一个图像被选为“参考图像”，另一个图像被选为“待拼接图像”。以便在目标图像中，生成一系列独特的特征点（如图1）。

图1 特征点图例

如图1所示，要在左侧进行标准化的目标图像中识别出唯一的特征点。然后，对于每个唯一特征点，识别参考图像（右）中的对应特征点。在此示例中，目标特征点“175”对应于参考特征点的171、173、175，平均（四舍五入）为173。将参考图像的特征点与目标图像的特征点进行比较，并获得每个目标图像唯一特征点的对应参考特征点列表。其中目标唯一特征点175具有包括171、173和175的对应参考特征点的列表。具有小于6个值的对应参考特征点列表的任何目标特征点由于采样率低的实例而被省略，以最大限度地减少模型偏斜。每个目标特征点的相应参考值被平均并四舍五入到最接近的整数，仅使用给定目标值的中间95%的参考值。这样做是为了减少异常值的影响。

最后，根据匹配点对估算出待拼接图像的变换矩阵后，还需要利用图像融合技术完成图像拼接[6]。在实际的应用中，采集的图像会受到多方面因素影响，如光照变化、几何变形或者动态场景等等，这些都可能造成融合图像在色彩或者亮度上不连续的问题，图像融合技术就是用来消除这些问题的。图像融合就是将配准后的图像每一个像素点运用融合算法重新分配坐标和灰度信息的过程，从而使拼接图像在重叠区域能够自然平滑的过渡，消除拼接痕迹和模糊现象，获得准确度和精度较高的全量图像。具体来说，在应用HARRIS算法从无人机航拍图像中生成点云后，使用Agisoft Metashape或者Pix4dmapper软件包处理捕获的图像。处理步骤分为三个主要部分：（1）图像对齐，（2）点云和网格的构建，以及（3）DSM和正射影像的构建。由于所使用的两个软件包都是完全自动化的，用户只需添加图像、放置标记并定义一些可选的输入参数，例如项目基准和投影、GCP和CP以及最终分辨率。

3 结论

作为重要的信息传递媒介，无人机航拍图像拼接是将无人机获得的特定场景的多幅图像，拼接在单个帧中的过程。与单独的图像相比，拼接后的图像提供了更大量的信息，是无人机实践应用中一种十分重要的技术。在本次研究中，基于无人机图像拼接的必要性和技术现状，提出了一种新的图像拼接方法。该方法基于HARRIS算法校正图像之间的尺度差异，以减少异常值和对齐误差。所述方法对于优化现有无人机航拍图像拼接，实现无人机航拍图像的无缝拼接，有着重要的实践意义，建议在实际应用中推广使用。