基于图优化的无人机视频影像快速拼接技术与应用

2024-02-27李虹曹琳纪任鑫陈军鹏宋亚婷王永威

科技创新与应用 2024年6期

李虹曹琳纪任鑫陈军鹏宋亚婷王永威

摘要：为实现灾害复杂环境中无人机视频影像的快速、优质拼接，综合利用无人机POS数据、图像特征点提取和匹配技术，建立一种基于图优化技术的无人机视频影像快速拼接方法，并选取典型高山峡谷区域开展应用试验。试验表明该方法可以实现航拍视频的快速实时拼接，拼接后影像精度与线下后期拼接数据相差不大，很大程度上提高图像拼接的效率。该文方法可以实现无人机航拍视频快速拼接，满足现场数据检验以及其他快速应急响应的需求，在灾害应急保障与救援中有重要应用意义。

关键词：无人机；影像快速拼接；图优化；确定关键帧；特征点提取

中图分类号：V279+.2 文献标志码：A 文章编号：2095-2945（2024）06-0007-05

Abstract： In order to realize the fast and high quality mosaic of UAV video images in complex disaster environment， a fast mosaic method of UAV video images based on graph optimization technology is established by comprehensively using UAV POS data and image feature point extraction and matching technology， and typical mountain and canyon areas are selected to carry out application experiments. The experimental results show that this method can realize the fast real-time stitching of aerial video， and the image accuracy after stitching is similar to that of offline later stitching data， which improves the efficiency of image stitching to a great extent. This method can realize the rapid stitching of UAV aerial video， meet the needs of on-site data inspection and other rapid emergency response， and therefore has important application significance in disaster emergency support and rescue.

Keywords： UAV; fast image stitching; graph optimization; determining key frames; feature point extraction

随着无人机遥感平台系统和载荷技术的不断发展，利用无人机获取地面影像的数据，开展正射影像拼接和地表三维模型建立已成为应急测绘作业的主流方式。无人机作为一种新型航空遥感平台，具备在人力无法进入的危险区域开展低空作业的优势，可以快速获取地表的高分辨率图像数据，能够为抗震救灾、应急救援及时提供数据支撑[1]。

利用无人机采集到的影像精度较高，但像幅较小，需进行影像拼接处理后才能获得完整的测区影像。传统的无人机正射影像拼接方法一般采取离线处理方式，利用摄影测量技术恢复地表的三维点云和单张照片对应的位置和姿态信息，进一步进行密集匹配获取数字表面模型（DSM）和拼接后的正射影像（DOM）。但使用该方法进行影像拼接处理比较耗时，一般只针对相机拍摄的静态图像，所获得影像成果主要用于灾害后期的损失评估或地图制作等测绘任务。为了能够快速获取拍摄区域大范围监测影像，满足突发事件和灾害发生时需要实时掌握灾场环境数据的应急需求，往往通过无人机拍摄视频数据进行实时传输，同时要求在无人机飞行时对数据进行实时拼接，以達到能够快速查看灾情区域的效果。

近年来，无人机航拍视频快速拼接已成为无人机测绘领域的热点研究问题[2]。现有的无人机视频拼接的主流算法有3类，虽然在应用场景上各具特色，但都有不足之处。其中应用领域最广、使用频率最高的图像拼接方法是基于图像特征点匹配，即通过提取匹配视频图像的特征点，快速计算视频图像间的变换参数，进而完成视频的拼接。特征点提取算法最常用的有3种，分别为SIFT算法、SURF算法和ORB算法。SIFT算法（尺度不变特征变换）由Lowe[3]于1999年首次提出，因其对尺度变化、光照变化、旋转等均有较好的鲁棒性，至今为止仍是精度最高的特征之一。Bay等人在2006年提出了SURF算法，它是利用积分图像加速卷积运算，使得运算速度有了很大提升。Ethan Rublee等人在2011年提出了ORB算法，它是在综合FAST特征检测与BRIEF特征描述的基础上进行了优化和改进[4]。但基于图像特征点匹配的方法适用于图像序列较短的情况，对于长时序的图像序列会出现明显的误差累积效应，从而导致拼接效率降低。且该方法对图像场景和特征点数量有较高要求，对于稀疏特征点或无特征点区域，拼接过程易中断从而导致拼接失败，特征点数量过多则会影响拼接效率。

直接利用无人机飞行时获取的POS（Position and Orientation System）数据进行影像拼接也是常用的处理方式，该方法利用无人机自带的POS系统获取经纬高和姿态数据，然后基于共线条件方程求解每个像素对应的地理坐标，最后基于地理位置进行图像拼接。该方法对无人机飞行获取的POS数据精度要求较高，而在实际飞行过程中，由于灾害现场环境较为复杂，获取的POS数据精度存在不稳定的问题，导致获取的相邻图像存在明显的错位现象，使得拼接后的数据会出现明显的接缝。还有一类影像拼接方法是先基于POS数据校正原始图像获取正射影像，然后通过特征提取和匹配来求解基准图像和待配准图像的几何投影变换关系，最后通过坐标微调的方式对正射影像重新校正后再基于地理位置拼接图像。但该方法依然存在系统偏差、速度较慢等问题。

本文从应急救援需求出发，为应对灾害现场复杂恶劣环境导致飞行不稳定造成的影像拼接问题，采用综合利用多种信息的无人机视频快速拼接方法进行影像拼接处理试验。该方法以POS数据作为相机位置和姿态的初始值，利用关键帧图像特征点提取和匹配结果来构建图优化的约束，然后基于图优化对位置和姿态进行更新，最后利用优化后的位置和姿态完成图像的快速拼接。

1 影像快速拼接方法

基于图优化技术的无人机视频数据快速拼接方法是综合利用图像特征点提取和匹配、无人机POS数据及图优化技术，对视频数据进行快速处理，能够对无人机拍摄的视频数据进行实时拼接。该方法实现主要包括3个关键步骤，即确定关键帧、特征点提取和匹配、图优化。确定关键帧的作用是从视频数据中确定用于拼接的若干帧图像数据，由于视频的帧率较高，关键帧的确定可以降低计算的数据量；特征点提取与匹配的作用是利用匹配后的二维点对应信息来计算出相邻图像拍摄时的相对位置和姿态数据，用来作为图优化的边；图优化对相机的位置和姿态信息进行优化，每个相机的位置和姿态数据对应了图优化中的节点，图像匹配的结果用来对节点进行调整。

基于图优化技术的无人机视频数据快速拼接方法主要分为以下几个步骤，技术流程如图1所示。

1.1 确定关键帧

在选定基准帧影像后，为了提高图像拼接的效率，获取满足重叠度要求的影像对需要提取关键帧影像。判定当前帧图像是否为关键帧的依据是当前帧与参考帧之间的重叠度[5]。在选定了重叠度和参考帧之后，计算当前帧与基准帧的重叠度，若重叠度满足要求，则将当前帧选为关键帧，否则移动到下一帧，循环上述过程。在选定关键帧之后，再进行下一关键帧的提取[6]。

为提高关键帧的提取效率，本文采用的方法是利用POS数据、飞行高度数据以及相机标定参数来确定每张视频图像在地面上的覆盖范围，然后根据覆盖范围计算出图像重叠度，最后根据航带内以及航带之间的图像重叠度来判断当前帧是否为一个关键帧。为了能够达到较好的特征点匹配效果，关键帧的选取要保证相邻的关键帧之间的重叠度达到一定的数值，比如航带内的重叠度要求达到80%以上，不同航带之间的重叠度要求达到30%以上。计算重叠度时，假设飞行高度不变，并且假设地平面没有起伏，那么相邻图像对应的地表区域在XY平面上可以用矩形和来表示，重叠率的计算公式如下

式中：iou为重叠度；R1为采集图像地表区域在X方向上的距离；R2为采集图像地表区域在Y方向上的距离。

1.2 特征点提取与匹配

特征点提取与匹配是图像拼接的核心步骤，图像配准的精度和速度直接影响了拼接的质量和实时性。本文主要是利用特征点提取算法从图像中得到稀疏的特征点，然后利用特征点匹配建立相邻图片之间的特征点对应关系。本文采用ORB 算法进行特征点的提取，ORB算法是2011年由Ethan Rublee等人提出的[7]。它是在FAST特征检测与BRIEF特征描述的基础上提出的，并对其进行了优化和改进。为了使FAST算法有一定的尺度不变性，ORB算法首先对图像进行降采样与尺度空间变化，然后构建金字塔影像，再在金子塔影像上进行特征点检测，并构建特征描述子[4]。特征点提取之后需要用特征描述子对两幅图像进行粗匹配，粗匹配结果可能会出现大量的误匹配点，严重影响之后的单应矩阵计算的准确度，为图像拼接带来难度。因此，需要将这些错误的匹配点剔除[8]。本文采用RANSAC算法对错误匹配对进行剔除，该算法能够在包含异常数据的数据集中得到有效样本数据。这些异常数据有可能来自错误的计算、测量的误差等情况，例如图像特征点匹配中出现的错误匹配对就是来自系统误差和算法误差。

利用特征点提取算法来从图像中得到稀疏的特征点，然后利用特征点匹配来建立相邻图片之间的特征点对应关系。为了能够和POS数据的尺度一致，需将特征点转换为地面坐标。具体方法是根据相机的标定参数（焦距、主点、畸变系数），以及飞行的高度将特征点投影到地面。为了简化运算以及后续的拼接，假设地表是平坦的，即所有的地面点的高程值是相同的。因此在计算相对位置和姿态时，只需要考慮平面上的平移和旋转，这样就将复杂的三维位置与姿态计算问题简化为二维平移与旋转。特征点提取和匹配技术流程如图2所示。

1.3 图优化

在基于图像的三维重建中，往往需要将地面点的三维坐标，以及相机的位置和姿态一同进行优化。当图像的数量较多时，点云的数量也较大，导致优化的速度较慢。图优化只对位置和姿态进行优化，需要进行优化的参数较少，运算量大幅降低，通常在几次迭代后就可以收敛，因此图优化广泛地应用于实时定位和建图（SLAM）领域。基于图优化的SLAM算法的优势在于它可以消除长时间的误差，使所建地图更加精确等[9]。本文将图优化技术应用于无人机视频影像的拼接，也能够发挥独特的优势。具体流程是：在得到关键帧数据后，以关键帧数据对应的拍摄位置和姿态作为未知数。每个图像对应图优化中的一个节点（Node），相邻图像之间的相对位置和姿态作为图优化中的边（Edge）。节点的位置和姿态的初始值来源于无人机飞行时的POS数据。当相邻图像的纹理较为丰富时，特征点数量较多而且匹配成功率较高，可以用来计算相对位置和姿态，用于构造图优化中的边。当匹配不成功时，直接利用POS数据来计算相对位置和姿态。因此该方法能够最大程度地利用图像纹理信息对POS数据进行校正，当纹理不够丰富或匹配不成功时，还可以利用POS信息来进行定位，并且不会出现拼接中断的情况。图优化技术流程如图3所示。

2 试验与分析

2.1 试验区概况

本文试验区位于福建省福州市永泰县，地处福建省东部、福州市西南部，因受火山作用强烈，又受后期喜山运动新构造升降和震荡影响，境内群山林立、沟谷深切，大部分地区海拔在500 m以上，是典型的高山峡谷地形。该地区地形陡峭、高差大，岩石和土体容易失稳下滑，从而诱发崩塌、滑坡等灾害发生。同时，由于地形抬升作用，使得局地性暴雨频发，也为泥石流和洪水孕育提供有利条件。试验区现场如图4所示。

2.2 试验数据获取

试验数据采集设备为KWT-X6M多旋翼无人机，续航时间为70 min，抗风能力7级，遥控器最大控制距離7 km，地面站最大控制距离10 km。该机型具有很强的环境适应性，可以在海拔5 000 m以上的高原地区开展测绘作业，并可在高湿、高热、高腐蚀和高盐等恶劣环境下正常使用。无人机所挂载的相机型号为KWT-4K-30X，该设备具有30倍光学变焦、829万像素高清镜头，视频输出分辨率最高为1 920×1 080 P/60。数据采集设备如图5所示。

根据试验区周边环境，选定平坦开阔区域作为起降点，保证无人机起飞和降落时四周视野开阔，周边障碍物的高度角不能大于15°，并且对GNSS信号接收不产生影响[10]。本次试验起降点选定在福州市永泰县城以南，岭路乡与莆田市涵江区交界处，坐标为25.806°N～118.950°E，距离永泰县城13 km2，最高海拔1 130 m。测试当天永泰县最高气温34 ℃，最低气温26 ℃，风力1～2级，东北风。无人机进行飞行作业前首先对周边1 000 m范围区域进行航线规划，航线规划区域内包含建筑物、道路、植被等典型地物。通过对无人机获取的数据进行拼接处理后，可以对比拼接成果中不同类型典型地物检查拼接效果，航线规划如图6所示。本次试验通过2个架次飞行获取测试数据，分别获取实时成图影像和后期拼接对比数据。

2.3 试验结果与分析

本次试验通过无人机飞行获取的视频数据、POS数据、飞行高度数据以及相机标定参数等数据，综合运用图像特征点提取和匹配、图优化技术实现无人机视频影像的快速拼接。按照规划航线实施航测任务，飞行过程中最大爬升高度为107.463 m，飞行速度6 m/s，航向重叠率75%，旁向重叠率85%，测区面积约0.13 km2，飞行时间5 m/43 s，共获取影像32张。实时拼接成果与后期拼接成果如图7所示。

经测试，利用图优化技术实现无人机视频快速拼接成图方法能够完整呈现测区实时成图影像，且成图速度较快，实时成图时延小于等于8 s，符合测试指标。通过与后期拼接成果对比可以得出，无人机视频影像实时拼接会导致精度有一定损失，但纹理特征明显。同时，通过选取建筑物、道路等典型地物，对单幅影像拼接效果进行细节对比，可检查实时拼接成果定位精度及角度偏移程度。拼接效果局部对比如图8所示。从局部对比图中可以看出，实时成图影像拼接位置基本无偏移，图幅定位较为准确；拼接影像角度受飞行姿态影响有轻微偏移，但对数据质量影响不大。综上所述，该方法能够在保证一定数据质量的前提下大幅度提高数据获取的时效性，可满足应急救援实际需求，为指挥人员提供数据支撑。

3 结束语

本文为满足突发事件和灾害发生时能够实时掌握灾场环境数据的应急需求，针对无人机获取的航拍视频提出了一种基于图优化技术的视频影像快速拼接方法。该方法通过确定关键帧、特征点提取和匹配、图优化等关键技术可实现对无人机视频影像的快速拼接。本文选取位于福建省永泰县的典型高山峡谷区域开展应用试验，通过无人机飞行2个架次分别获取实时成图影像和后期拼接对比数据，经过数据处理后，对无人机视频影像实时拼接成果与后期拼接成果进行对比分析，试验结果表明如下。

1）该方法充分利用POS信息和图像特征信息来进行视频影像快速拼接，综合多种数据的优势，能够提高拼接的效率和精度。

2）该方法可以实现无人机航拍视频的快速拼接，满足快速应急响应的需求，能够在灾害应急保障与救援中发挥重大作用。

3）该方法应用在复杂的灾场环境中仍存在不足之处，实时拼接影像角度受飞行姿态影响有轻微偏移；面对地形陡峭、高差较大的高山峡谷地区，无人机获取的视频影像对于三维位置和姿态的解算较平坦区域稍显复杂，还值得进一步深入研究与验证。

参考文献：

[1] 郑晖，姜城，孙敏，等.一种近实时的无人机视频流拼接方法[J].地理与地理信息科学，2015，31（5）：1-5.

[2] 孟淑英.自动检测拼接线的无人机视频影像快速拼接方法[J].测绘通报，2013（5）：47-49.

[3] LOWE D G. Object Recognition from Local Scale-Invariant Features[C]//IEEE Computer Society， 1999.

[4] 陈武.无人机视频影像拼接关键技术研究[D].南昌：南昌航空大学，2019.

[5] 任超锋.航空视频影像的正射影像制作关键技术研究[D].武汉：武汉大学，2014.

[6] 李含伦，李丰凯.低空视频影像自适应关键帧提取与快速拼接[J].图像与信号处理，2018，7（4）：179-190.

[7] 李慧，蔺启忠，刘庆杰.基于FAST和SURF的遥感图像自动配准方法[J].国土资源遥感，2012（2）：28-33.

[8] 王陈东.低空无人机视频实时处理关键技术研究[D].武汉：武汉大学，2018.