基于双无人机视频拼接的水深测量方法研究

摘 要：本文将视频拼接技术应用于近岸测深，将2架无人机捕获的2个视频作为输入，采用统一的视频拼接和防抖优化，以获得最佳的视频拼接效果，同时采用基于线性关系的时间互相关分析方法，对获取的全景视频估算水深。在计算中，首先从全景视频中选择感兴趣区域（ROI）并进行正射校正变换，以提取时间堆栈图像。其次对信号进行滤波，以消除噪声。最后将该方法应用于2架无人机，以获得更宽的视场角，扩大测量区域，为测深算法提供有效的视频输入数据。

关键词：无人机；视频拼接；进岸测深

中图分类号：P 642" " " " " " " " 文献标志码：A

水深是直接反映近岸地形的关键参数，然而在波浪运动、极端天气和人类活动的影响下，近岸地形会经常发生变化[1]，使海/水岸带管理面临较大挑战，因此需要及时测量近岸水深，并亟需一种能应用于实际工作的准确、便捷的测深方法[2]。传统的水深测量方法主要利用浮标、声纳等设备，操作受限、成本较高，在复杂水域环境下测量精度不足[3-4]。随着无人机技术的普及，应用双无人机系统可以同时获取水体表面和底部的信息，从而为水深测量提供更全面、立体的数据源。这种整合视觉信息的方法有望克服传统方法的局限性，对水深进行高精度测量。本文通过2架无人机的应用案例证明了可以使用视频拼接和波速反演算法从全景视频中估计水深。

1 应用案例的视频处理

1.1 视频采集方案

视频采集位置是一个面向西太平洋的沙质海岸。该地区在长岸方向上有约5km的海滩海岸线，在跨岸方向有一个显着的地平线，可以观察海浪。涌入的海浪传播方向与海岸线间的夹角几乎为0。该地点的波浪具有清晰的波峰线和理想的振幅。因此本文选择该海湾作为图像采集地点，并获取1月—5月的该地点不同条件下浅水深区的无人机视频。使用配有24mm焦距普通广角镜头的无人机，将像素分辨率调整为FHD（1920 ppi×1080 ppi）。由于需要连续视频，因此将捕获视频的帧速率设置为30f/s。为了更好地利用视频并实现深度多点反演过程，无人机应部署得尽可能高，并确保无人机不超过安全可控的高度，因此将无人机悬停在60m～120m的高度，视频时长为4min～15min。

1.2 视频拼接和稳定

在固定视角下，无人机拍摄的测深视频通常受摄像机视场（FOV）的限制[5]。拼接视频是增加摄像机水平视场的一种方法，适当增加另一个摄像机可以减少第一个摄像机偏置的影响[6]。为了稳定输入视频，将视频在空间上划分为网格。在原始视频中的相邻帧间估计单个单应性Fi（t），其中i代表帧t处的网格，它是通过相邻帧间的跟踪特征来估计的，相机路径可以定义为一系列连续单应性的乘法，如公式（1）所示。

Ci（t）=Fi（t）·Fi（t-1）…Fi（1），1≤t≤T，1≤i≤m2 （1）

式中：T为视频文件中的帧数；m2为m×m网格的大小。

网格的局部变化通常可以更好地取得拼接效果。相机路径可由KLT跟踪来计算特征轨迹。给定原始路径C={C（t）}，优化路径为P={P（t）}，特征轨迹如公式（2）所示。

（2）

式中：Ωt为第t帧的邻域；数据项||Pi（t）−Ci（t）||2强制优化路径接近原始路径、||Pi（t）−Pr（t）||2主要稳定优化路径；λ和ωt，r均为权重系数，平衡上述2项，根据经验，将λ设置为5。

通过2个高斯函数计算ωt，r，如公式（3）所示。

ωt，r=G（||r-t||）·G（||Ci（r）-Ci（t）||） （3）

如果所有网格都参与路径优化，则公式（3）转化为公式（4）。

（4）

式中：P={Pi|1≤i≤m2}；j∈N（i）为网格j是网格单元i的邻网格；Estable为稳定性能量函数，它的作用是通过优化过程中的能量项来确保系统的稳定性。

视频拼接是为了创建更宽的FOV，假设P A和P B分别是视频A和视频B生成的优化路径，H是用于拼接2个视频的单个单应性。对于拼接过程，公式（5）、公式（6）的优化算法可以同时实现拼接和稳定。

E（PA，PB，H）=Estable（PA）+Estable（PB）+β·Estitch（PA，PB，H） （5）

（6）

式中：vkA（t）和vkB（t）分别为在视频A和视频B的t帧处，通过傅里叶变换计算的第k个特征点；i和j分别为特征点vkA（t）和vkB（t）所在的网格；Estitch（P A，P B，H）为使用傅里叶变换来拼接帧。

基于上述原则，本文规划了2条飞行路线，并根据相机镜头参数，将2架无人机间的距离从100m合理调整到130m。2架无人机的飞行参数见表1。

1.3 正射校正和背景识别

正射校正是对影像进行几何畸变纠正的一个过程，逐帧提取感兴趣区域（ROI），每个图像的正射校正主要包括3个阶段。1）通过地面控制点确定ROI的真实坐标。2）确定像素分辨率。3）计算ROI像素坐标。4）将这些像素重新组织成完整的图像，以便输入算法。考虑复杂的相机运动，背景识别通过在连续帧的特征流上聚类和识别背景点，实现视觉里程计的作用，并提取出图像中的前景点，如图1所示。

由于无人机可能会受机械振动和强风等环境因素的影响，每幅图像的特征参数都需要求解一次，如公式（7）所示的位置信息（xw、yw、zw）和相机欧拉角。

（7）

将黑白相间的纸张作为地面控制点，以便在每一帧中对其进行快速识别。由于无人机携带的惯性测量单元（IMU）和GPS定位模块的数据可能不是最准确的，会导致相机外在参数估计困难，因此在后续的识别中，需要通过静态或简单的相机运动、颜色阈值分类或模板匹配来确定地面控制点的像素坐标。而背景识别是一种有效的方法，可在连续帧的特征流上聚类和识别背景点，背景点的运动与相机运动非常接近，可以作为视觉里程计，从帧间的背景点计算相机的运动路径。

2 信号提取

在理想情况下，波浪可以近似为多个正弦波的叠加。然而，海面上存在许多与海浪运动无关的短风浪，表明像素强度信号有大量噪声与水深无关。此外，如果不对原始信号进行适当处理，就很难在各种其他不确定因素的共同作用下从下采样图像中直接获得可用信号。因此，需要对信号进行3次滤波，得到与水深相关的信号分量。波的运动特性可以通过像素波动直接反映出来，像素强度信号可以从一系列正射校正图像中提取，某指定样带的时间堆栈图像如图2所示。第一次滤波通过图像滤波方法消除短风波等高频噪声，高斯低通滤波器可以显著降低像素强度波动。第二次滤波应摆脱由光学噪声等产生的不相关因素的影响，带通滤波器将截取频率范围为0.05Hz～0.5Hz的像素强度信号，并通过快速傅里叶变换截断上述频段之外的信号。第三次滤波提取信号的主频率分量，以强调不同信号间的相关性。

3 深度的估计

经过正射校正后，波浪传播方向基本垂直于海岸线。根据是否能完整反映波浪的传播特性，使用时间延迟法来确定波速的最佳范围，将时间滞后Δt固定为3s，然后选择一个参考像素位置i，从1到i-1（0m～149m）的所有相邻像素位置j都参与相关系数的计算，如公式（8）所示。

Cor（xij，yij）=〈I（xi，yi，t），I（xj，yj，t+∆t）〉 （8）

对于跨岸方向的每个像素，将正相关系数最大的点与参考像素间的距离视为波速估计的合适范围，再通过线性拟合方法确定波速，最后将波速乘以时间，即为水深。

4 测深结果

4.1 不同数量无人机的测深结果

为了取得基准测深结果，使用带有RTK-GPS和单波束声纳系统的无人遥控船执行测深任务。基于单个无人机的测深结果如图3所示，其测量的长岸范围为0m～100m。

为了实现双无人机测深，本文选择比单无人机更大的ROI区域，其长岸为0m～200m。本文算法和传统算法水深测绘的结果如图4所示，2种算法的试验拼接结果总体吻合较好，因为它们都是基于线性色散关系求解的水深，证明了本文所提拼接算法的有效性。

此外，本文还计算了全局均方误差（MSE）和全局均方根误差（RMSE），分别为0.37m2和0.60m。均方误差和长岸线的关系如图5所示。从图5可以看出，约50m和200m海岸的深度曲线非常不一致，这可能是与相机的距离较远造成的。由于在视频拼接过程中增加了一个摄像头，另一个摄像头的整流偏差需要在一定程度上得到补偿，例如波浪通常单独影响相机A结果误差，而相机B通常需要利用其与相机A的距离来补偿相机A的整流偏差。因此，为了进一步降低视频拍摄时整流偏差的影响，应根据现场调整相机欧拉角度和相机距离。

由单个无人机和双无人机的测深对比结果可以看出，基于双无人机的视频拼接方法可以创建更宽的视场，以扩大测量区域，可为测深算法提供有效的输入数据。

4.2 讨论

虽然4.1节的结果表明，该方法能够合理地实现基于视频拼接的测深测绘算法，但该方法存在的问题及其适用性仍需要做进一步探讨。为了获得最终的全景视频，通过公式（5）、公式（6）中估计的拼接和稳定变量对输入视频进行变换。然而前景图像容易被误识别，造成该结果的主要原因是相机欧拉角度相近、距离相对较短的2台相机间存在轻微的视差偏差。

5 结论

本文提出了一种利用无人机视频拼接的近岸测深测量方法，通过引入第二架无人机来弥补无人机测深测绘的不足。结果表明，该方法通过拼接2架无人机拍摄的视频，扩大了无人机测绘的水平视场角。此外，在提高测量效率的同时，还解决了校正偏差影响测绘结果的部分问题，可为测深算法提供有效的技术支持。

参考文献

[1]潘文俊.基于色散关系的无人机浅海水深自主测绘系统研究[D].广州：华南理工大学，2021.

[2]郑鹏，张华，潘子英，等.多波束测深声呐成像仿真及作用距离分析[J].数字海洋与水下攻防，2023，6（6）：664-669.

[3]郭孝祖.基于ICESat-2和Sentinel-2的浅水测深研究[D].南京：南京信息工程大学，2023.

[4]高敬涵，李道京，周凯，等.共形衍射光学系统机载激光雷达测深距离的分析[J].激光与光电子学进展，2021，58（12）：67-74.

[5]姚贇.无人机多路航拍视频拼接方法研究[D].西安：西安理工大学，2023.

[6]刘台，胡斌，田进龙，等.全景视频实时拼接技术研究与实现[J].移动通信，2023，47（2）：69-76.