复杂场境下无人机图像匹配导航技术研究

陈小平 石浚茹

研究背景

俄乌冲突自2022年2月爆发，距今已经持续约一年半。无人机在持续的冲突中使用频率远超传统武器中的飞机大炮，这场冲突可以说是人类战争历史上动用无人机等无人设备最多、规模最大，并且起到关键作用的一场军事冲突。近期乌克兰多次使用无人机袭击莫斯科，据俄媒报道，今年俄罗斯本土以及克里米亚和战场上的俄控地区，已经发生了超过120次疑似无人机的袭击。另据报道，乌克兰基辅近期遭到无人机大规模空袭，有一种说法是俄罗斯开始对乌克兰进行报复性打击。在冲突中，俄乌双方大量运用中低空、中低速武装无人机开展对抗，以察打一体无人机为突破点，运用了智能化游击战战法，并取得不错的作战效果。

经过整理各媒体对俄乌冲突的报道，双方无人机主要在情报信息支援、智能决策支撑、攻防转换支持等方面发挥关键作用。攻防转换支持方面，近期乌克兰方面在反电子干扰上有典型应用。据报道，在乌克兰利沃夫附近的一个露天测试场上，一架攻击无人机在受到电子干扰后失去了目标信号，但无人机并没有直接坠毁，而是加速向目标飞去并摧毁目标。乌克兰生产的无人机虽然可以携带炸弹进行攻击，但容易受到俄罗斯方面的干扰，然而新的人工智能软件可以使无人机保持锁定，不受电子干扰和物理障碍的影响，即便俄方遍布电子干扰系统，无人机依旧依靠软件锁死预选目标，完成攻击任务。在这个场景下，此攻击无人机在电子防御方面完成得非常好，受到干扰后依旧能够完成任务，抗电子干扰的能力是作战无人机的一个重要能力。

我们对于电子对抗（又称电子战）的最新定义是：使用电磁能、定向能和声能等技术手段，控制电磁频谱，削弱、破坏敌方电子信息设备、系统、网络及相关武器系统或人员的作战效能，同时保护己方的电子信息设备、系统、网络及相关武器系统或人员作战效能正常发挥的作戰行动，是信息作战的主要形式。

在本次冲突中，俄乌双方均使用无人机进行情报侦察和火力打击，同时采用多种无人机反制样式。在干扰敌方无人机方面，主要存在导航定位干扰、侦察干扰、信息干扰三个方面。导航定位干扰使无人机无法精确定位自身的空间位置而偏离预定飞行路线，或者无法获取目标精确位置信息而造成打击失效。

导航定位干扰是最基础、最常用的干扰手段之一。无人机常用的导航系统主要有卫星导航系统、惯性导航系统和视觉导航系统。单一导航系统有天然的限制，为获取更加准确可靠的位置信息，无人机导航系统一般利用不止一种导航技术实现组合导航。美国“捕食者”无人机就采用卫星导航、惯性导航和视觉导航的组合导航。尽管现阶段的无人机、特别是军用打击、察打一体等无人机基本都采用多种导航技术实现组合导航，但是由于惯性导航和视觉导航的缺陷和限制，依然以卫星导航为主要手段。作为电子对抗/电子干扰的对象，卫星导航系统的信号功率极其微弱、信号体制半公开，在电子对抗环境下极其容易受到干扰。

卫星信号被干扰、遮挡以及欺骗攻击等导致的全球卫星导航系统（Global Navigation Satellite System，GNSS）定位设备无法正常输出导航参数的情形称为GNSS拒止环境（Denied Environment）。在GNSS拒止环境下保持无人机导航参数的正确、正常输出，是应对敌方干扰必须解决的问题之一。GNSS/INS组合导航经过几十年的发展已经非常成熟，这也是大多数移动体采用的导航方式。这种方式在GNSS拒止环境下，虽然可以通过提升INS的性能、改进GNSS/INS组合方式来提升导航成功率，但是仍然不能长时间地支持移动体进行运动。应对拒止环境，使无人机在其中依然能保持较长时间的导航参数输出，实现无人机在拒止环境下的全局自主导航，是反电子干扰必须走的一步。

视觉导航的本质是以图像处理的手段挖掘图像中所包含的导航信息，利用相机获取周围环境信息，通过图像处理技术和定位算法提取导航信息完成导航任务。视觉导航（Vision-based Navigation，VBN）是一种新型的导航技术，其结构简单、价格低廉、信息量大和抗干扰能力强的优点使之在军用领域具有极强的应用前景，成为在强拒止环境中代替GNSS的一大选择。

基于匹配的视觉导航方法

视觉导航技术方法根据是否参考了图像先验信息，可以分为两种类型：一种是通过图像序列进行匹配，根据匹配结果得到无人机位姿信息，其中即时定位与地图构建（Simultaneous Localization and Mapping，SLAM）技术较为成熟；另一种是通过将无人机遥感图像和坐标信息已知的基准图像进行配准，根据配准结果完成视觉定位。

无人机基于图像匹配的方法是以图像配准技术为基础的视觉导航方法。需要预先采集环境图像、建立导航环境的图像数据库，在飞行过程中从图像数据库中搜索与相机拍摄图像最为匹配的图像，从而估计当前状态的飞行平台位姿。与SLAM技术相比，该方法的特点在于其中地图的创建与导航的实时定位是分开完成的。

如采用高精的三维数字地图，视觉导航的定位成功率和可靠性都大幅提高。然而高精的地图获取成本极高，并且需要随着时间变化不停更新，并不是一个经济实用的方法。相对于高精三维地图，将带有经纬度的卫星图像作为地图是一个较为理想的选择。

网络上有大量的免费的、GPS对齐的卫星图像可以在线获取，无人机上只需要安装一个向下的单目相机，并预先加载好飞行地点附近的卫星图像，通过比较、对齐无人机实时获取的图像和卫星图像，即可获得飞机的实时位置。主要问题是处理卫星图像和无人机传入的图像之间的成像条件的差异。由于无人机图像是在远低于卫星地图的高度上拍摄的，因此高于地平面的结构存在较大的透视效应。植被的季节性变化、阴影角度、建筑物的视角、车辆的存在以及由于成像硬件不同产生的变化都是我们需要克服的差异。

除了要克服卫星图像和实时图像之间的差异之外，算法的实时性和轻量化也是一大要点。随着遥感技术的发展，数字影像地图的数据量越来越大，对这类超高像素、超大幅面影像与较小的实时图像进行配准的问题，以现有的配准方法不仅匹配成功率低，消耗的时间对于实时导航的要求来说也是负担不起。针对无人机视觉导航快速匹配处理问题，研究无人机实时影响与数字影响地图的快速配准的新方法与技术途径没实现GNSS拒止条件下的无人机视觉导航定位的高效、快速图像配准处理，解决现有配准算法在无人机视觉导航应用中定位精度差、定位用时长的问题。并且，当前应用于无人机上的CPU、FPGA等传统机载计算平台算力有限，无法承载计算量过于庞大的算法，这也是困扰深度学习进入实际应用的难点之一。因此综合来看，我们需要一种快速实时的、可靠的、符合机载算力的视觉导航定位算法。

特征点匹配是在深度学习给图像处理领域带来新一轮潮流之前经过长足发展的一种匹配方法。特征点匹配包括两个任务：特征点检测和描述子提取。特征点检测的目标是在同一区域的不同图像上完成的两次完全独立的检测迭代中找到易被检测的显著点，这些图像可能在光照、尺度、旋转和视点等方面存在较大差异。描述符提取是从特征点周围区域提取特征向量的步骤，目标是构造一个描述符，该描述符将用于使用欧氏距离或汉明距离等度量来匹配特征点。一般使用特征点匹配和统计滤波相结合的方法来进行无人机定位。

随着卷积神经网络架构在ImageNet的大規模视觉识别竞赛中获胜，研究人员开始将CNN应用于视觉定位等计算机视觉任务中。卷积神经网络在特征提取方面有其独特优质，对图像高层特征的提取和表示能力可以有效提升光学遥感影像的配准质量。Hunter等人提出一种利用预先存在的卫星图像在GNSS拒止环境下进行定位的方法，该方法只需一个单目RGB相机，以及预先存在的飞行地点卫星图像，然后将无人机图与之进行比较和对齐。为了克服卫星和无额人际在图像捕获条件上的差异，使用卷积神经网络（CNN）在易于获得的卫星数据上进行训练，并开发一种优化方法，将相邻无人机之间的误差以及卫星地图的误差降至最低。最终该方法实现在0.2千米高度、0.85千米的飞行距离上，平均定位误差小于8米。南方科技大学的Zheng、Wei等人提出University-1652的数据集，包含来自3个平台（无人机、卫星和地面相机）的数据，涉及全球1652座大学建筑。University-1652是首个基于无人机的地理定位数据集，可实现无人机视角目标定位和无人机导航。利用该数据集，研究人员分析了各种现成的CNN特征，并在该数据集上提出了一个强大的CNN基线；经过实验，University-1652有助于模型学习视点不变特征，在真实世界场景中有良好的泛化能力。西北工业大学的刘、孙等人提出了一种名为F3-Net的端到端地理定位框架，用于计算多源和多视角图像的相似性。该方法设计了分割与融合（SF）模块，通过全局自注意机制充分利用特征；为改进多视图语义特征，引入了基于不变性目标语义一致性原则的目标特征增强（TFE）模块；在多视图特征学习之后，使用特征对齐与统一（FAU）模块与Earthmover（EM）距离计算非对齐特征的相似性。F3-Net充分利用了多源图像特征对应性和多视图图像语义一致性。F3-Net将多视图图像的特征视为一种概率分布，因此可以在学习过程中量化并消除多视图图像的特征差异。经过实验，F3-Net在University-1652数据集上达到很高的准确率。深度强化学习结合了深度学习的特征提取能力和强化学习的决策能力，当前关于深度强化学习的视觉导航测试的数据集主要是室内的导航任务，取得了不错的效果。武汉大学孟怡悦等人利用基于端到端的深度强化学习框架来解决视觉目标导航问题，利用放缩点积注意力机制构建更加的当前时间步的状态，利用奖励塑造自动化设置奖励空间，解决奖励稀疏问题，最终提出一种基于注意力机制和奖励塑造的深度强化学习视觉目标导航方法。该方法在AI2-THOR数据集上进行实验，相较以往方法成功率提高7%、路径长度加权成功率提高20%。

视觉导航的完整性

虽然视觉导航领域的研究已经非常成熟，但是和GNSS/INS数十年的研究和广泛应用相比，系统的完整性和对故障的鲁棒性并没有得到足够的重视和重点的研究。

完整性是一种可以放置在导航系统输出中的信任度，通过定义为完整性风险（Integrity Risk，IR）的概率来反映。一般完整性风险是指位置（或姿态）估计误差大于可以容忍的极限，而导航系统却没有意识到这种危险的情况：

其中‖·‖表示定位误差的一个度量，AL表示警戒线（Alert Limit，AL），定义为度量空间中的最大允许误差。为了避免完整性失效，GNSS研究界和航空工业在过去几十年开发了完整性监测方法。然而相对于GNSS接收机知道每个发射信号确切结构，相机是被动式光学春干起，对曝光时间内捕获的信息知之甚少，结构（特征、对象设计图案等）的检测是一项非常具有挑战性的工作。简单地采用现有的针对GNSS开发的方法并不是视觉定位完整性的最佳解决方案。相反，我们需要巧妙地设计完整性框架，以包括跨越不同领域的所有基本故障模式。尽管基于深度学习的系统取得了显著的成果，但这些方法仍然没有达到完全取代传统导航和制导技术的足够高的技术准备水平。在实际中，验证深度神经网络的输出完整性是非常困难的。

当前算法开发的重点通常放在提高可用性和准确性，然而更高的准确性和可用性并不一定导致更好的完整性。系统的复杂性通常使故障监测和完整性监测变得更加困难。因此，如果一个视觉算法为错误量化和可行的完整性检查选项提供了清晰的结构，那么只要能够满足这方面的基本要求，其他性能因素（如准确性）的微小牺牲是可以接受的。以面向完整性的观点重新审视现有的视觉导航相关算法，并为安全关键应用确定更好的解决方案，这将是非常有价值的，尽管这并不一定是最先进的算法。

预期成果

经过本项目的研究，预期能够取得以下成果：

（1）开发出基于无人机平台的、基于端到端训练的深度强化学习框架实现的视觉导航算法，探索人工智能在无人机视觉导航领域应用的可能性；

（2）以多源数据融合的视角，开发出一种INS/VBN组合导航方法，实现拒止环境下的无人机自主导航；

（3）在高导航成功率、准确率、实时性的前提下，优化系统性能，提高GNSS/INS/VBN无人机导航系统的完整性和鲁棒性。