无人机视觉导航发展现状

钟春来 杨洋 王喆 曹立佳

无人机已被广泛应用于民用领域，如空中监视、包裹递送、精准农业、智能交通、搜救行动、灾后行动、火灾检测、遥感、交通监控等。近年来，无人机的应用领域因其成本效益、快速机动性和易于部署而显著增加。

无人机导航可以看作是无人机根据当前环境和位置制定如何安全、快速到达目标位置的计划过程。为了顺利完成预定的任务，无人机必须充分了解自身的状态，包括位置、导航速度、航向以及起点和目标位置。迄今为止，已经提出了各种导航方法，主要可分为三类：惯性导航、卫星导航和视觉导航。然而，这些方法都不是完美的。因此，根据具体任务采用合适的无人机导航至关重要。随着计算机视觉的快速发展，视觉导航已被证明是自主导航领域的一个重要且具有前景的研究方向之一。首先，视觉传感器可以提供丰富的周围环境在线信息；其次，视觉传感器具有显著的抗干扰能力，非常适合动态环境的感知。第三，大多数视觉传感器都是无源传感器，这也导致传感系统无法被检测到。基于视觉的无人机导航系统的示意图如图1所示，系统以来自外界感知和自身感知传感器的输入，在经过内部定位、地图构建、障碍物避让和路径规划等处理后，导航系统最终会输出连续的控制信号，以引导无人机飞向目标位置。

视觉传感器

一般来说，视觉导航使用的视觉传感器包括单目、双目、三原色加距离（RGB-D）和鱼眼相机。单目相机因其价格低和灵活性高成为了应用的首选。然而，它们只能捕捉到彩色图像，无法直接获得深度信息。双目摄像机是单目摄像机的扩展版本，可以在没有红外传感器的情况下通过比较两个摄像头捕捉到的图像，利用视差原理来估计物体的深度信息。RGB-D相机结合了彩色图像和深度图像的优势，通常通过使用红外传感器来获取深度信息。RGB-D相机最适合室内环境，因为它作用的区域范围有限。鱼眼相机可以为远距离区域提供宽视角，这对于复杂环境中的避障具有吸引力，但存在严重的图像畸变。

基于地图的视觉导航系统

基于地图的视觉导航系统使得无人机能够根据预定义的地图和环境布局进行导航，具备避障和路径规划能力。这些地图的详细程度各不相同，可以是涵盖整个环境的三维模型，也可以仅仅是环境元素之间相互连接的示意图。基于地图的导航系统可以分为三种主要类型：独立于地图的导航系统、依赖于地图的导航系统和基于地图构建的导航系统。

独立于地图的导航系统

独立于地图的导航系统在没有已知地图的情况下运行，而无人机只能通过观察和提取周围环境的独特特征来进行导航。目前，光流和特征跟踪方法是与地图无关的导航系统中最常用的方法。

基于光流的检测方法利用图像中每个像素的灰度随时间的变化和相关性分析来推断像素的运动速度，从而检测目标物体的运动。光流方法可以分为两种主要类型：全局光流和局部光流。全局光流方法主要考虑相邻像素之间的平滑运动，而局部光流方法则采用差分法，假设光流在图像的所有像素点上都是恒定的。曾幼涵等人提出了一种基于光流的导航算法，实现了无人机在无GPS情况下的速度与位置控制。然而，在复杂环境中存在一些限制，例如存在快速移动的物体、障碍物遮挡或不断变化的照明条件，这些因素可能使光流方法的应用受到限制。

基于特征跟踪的导航系统是一类依靠跟踪环境中独特的视觉特征或关键点来实现导航和控制的导航方法。基于特征跟踪的系统首先检测环境中的关键视觉特征或地标，这些特征可以是点、边缘、角点（Harris、SIFT、SURF和ORB等）或其他可以在图像中可识别的独特图案。当在初始帧中检测到特征，系统会跟踪它们在连续帧中的移动，此跟踪过程涉及从当前帧到下一帧的特征匹配，通常使用特征匹配和特征跟踪技术；通过跟踪特征随时间的运动，系统可以估计无人机与环境之间的相对运动。这些信息对于了解无人机如何移动以及如何调整其轨迹至关重要。

依赖地图的导航系统

基于地图的导航系统依赖于已知环境的空间结构，以实现无人机的导航、避障和路径规划。在这些方法中，通常使用两种不同类型的地图：八叉树地图和栅格地图。这些地图包含了丰富的信息，其使用二维地图表示环境的三维模型以及顯示环境元素之间连接关系的地图。此外，当三维数据直接储存在二维地图中时，它适用于如办公区域、宽敞的走廊或平坦的户外区域等高度信息不太重要的环境。然而，在更复杂的环境中，如传统的城市区域，障碍物的形状不规则，这使得使用二维模型更具挑战性。因此，必须采用三维占用模型，其中高度的概率分布得到更新，而不仅仅是一个维度的数值。可以重新规划那些具有非标准轮廓的障碍物，如隧道、树木、建筑物墙壁以及以独特方式排列的物体。

基于地图构建的导航系统

由于周围地形复杂且崎岖，对于无人机来说，很难使用预先存在的准确环境地图进行导航。此外，由于风暴或大雨等自然灾害，无人机无法轻易识别目标区域。因此，在复杂环境中导航时生成地图是一种有效的解决方案。一般来说，地图构建方法广泛应用于自主和半自主领域，并且由于同步视觉定位和建图技术的快速发展而被广泛接受和流行。根据其视觉传感器图像处理方式可以分为间接法和直接法。

间接方法不直接使用图像，而是首先从图像中检测和提取特征，然后将他们用作运动估计和定位方法的输入。特征通常是旋转和透视不变的，并且对运动模糊和噪声具有鲁棒性。然而，大多数间接方法仅从图像中提取不同的特征点，这最多只能重建一组特定的点，我们将这种方法称为稀疏间接方法，它只能重建稀疏的场景图。

尽管间接法在普通环境中表现良好，但很容易陷入无纹理的世界。因此，直接方法在过去十年中变得流行。与间接技术相比，直接方法通过利用所有图像的强度信息来优化几何参数，从而提高了对光度和几何像差的抵抗力。此外，直接技术更有可能识别密集对应关系，从而使它们能够以更高的计算成本重建密集地图。

障碍物检测和避障

避障是自主导航的关键组成部分之一，因为它可以识别和传输有关周围障碍物的关键信息，从而降低碰撞和飞行员失误的风险。因此，它有可能显著提高无人机的自主性。避障基于检测障碍物并计算无人机与障碍物之间的距离。当障碍物接近时，无人机根据避障模块的指令进行躲避或掉头。一种方法使用测距仪（如雷达、超声波和红外线）来估计距离。此外，它们的视野和测量范围狭窄，使得它们无法在复杂的环境中收集足够的信息。与该方法相比，视觉传感器可以收集大量的视觉数据，这些数据可以被处理并用于避开障碍物。避障方法分为三类：基于外观的方法、基于运动的方法和基于深度的方法。

基于外观的方法是障碍物视为统一背景（即地面或天空）的前景对象。它们的工作基于来自相关背景的一些先验知识，以边缘、颜色、纹理或形状特征的形式。使用安装在无人机上的相机对连续拍摄的单张图像进行障碍物检测。检查获取的图像是否符合天空或地面特征；如果没有，则被视为障碍像素。对图像中的每个像素执行此过程。结果是一个二值图像，其中障碍物以白色像素呈现，其余像素以黑色像素呈现。对于无人机，大多数研究都在寻找一种将天空与地面分开的方法。例如，Huh等人使用地平线将天空与地面分开，然后使用粒子过滤器算法确定移动障碍物。Mashaly等人提出在复杂的环境中进行有效分割天空的方法。在另一项研究中提出一种利用单个广角相机的实时障碍物检测系统，该系统使用基于局部对象的背景减法来获取静态/移动对象的轮廓。

在基于运动的方法中，假设附近的物体具有可以使用图像中的运动矢量检测到的剧烈运动。该过程涉及在很短的时间内拍摄两个连续的图像或帧。首先，在两帧上提取几个匹配点。然后，计算匹配点的位移矢量。由于距离相机较近的物体具有较大的位移，因此任何位移值超过特定阈值的点都被视为障碍物像素。基于运动的障碍物检测主要依赖于匹配点的质量。因此，如果不匹配特征的数量较多，其质量可能会下降。此外，如果使用光流进行运动估计，必须注意靠近中心的图像点。这是因为，在光流中，运动矢量的数量并不多。事实上，使用光流检测无人机前面的障碍物仍然具有挑战性。

与基于运动的方法一样，基于深度的方法从单个相机拍摄的图像中获取深度信息。有两种方法可以实现这一目标，第一种是运动立体，第二种是深度学习。前者是者的机器人两侧放置了两个摄像头，并捕获一对连续的图像。尽管这些图像仅使用单个相机拍摄，但它们可以被视为一对立体图像，从中可以估计物点的深度。为此，在图像中搜索匹配点。然后，使用标准深度估计计算，计算对象点的深度。深度小于阈值的像素被视为障碍物。后者是使用适当的数据训练深度学习网络，从单个图像生成深度图。Mern等人提出了一种小型无人机避障系统，其中使用视觉算法计算深度。

路径规划

路径规划是无人机导航中的一项必要活动，需要根据一组性能特征（例如最低的工作成本、最短的飞行时间和最短的路线）确定从起点到目的地点的最有效路径。无人机在整个过程中还必须避开障碍物，如图2所示。根据用于计算理想路径的环境信息的类型，该问题可以分为全局路径规划和局部路径规划。全局路径规划旨在根据全局地图上确定最佳可能路径。然而，它不足以实时控制无人机，特别是当其他活动必须快速完成或在飞行过程中出现意外障碍时。因此，局部路径规划必须不断接收来自周围环境的传感器数据并实时计算无碰撞路径。

无人机路径规划涉及多个目标，包括寻找最短路径、最低成本路径以及保持持久安全路径等。解决这些问题的开放性挑战促使研究人员探索各种方法和技术，其中包括基于网络的技术、基于采样的方法和基于人工智能的方法，具体分类如图3所示。

基于网格的方法是在构型空间（无人机可能达到的位置空间）上覆盖网格，并假设每个构型都有一个网格点。机器人可以從一个点移动到相邻的点，只要这个点在自由空间内。这些方法支持在内存中表示环境，从而实现路径规划和机器人定位。基于网格的路径规划，包括A*，D*，MEA*和Dijkstra等。基于采样的算法用采样配置的路线图来表示配置空间。基本算法对空间中的配置进行采样，并保留自由空间中的配置作为里程碑，以寻找连接起点和目标的路径。这些算法更适用于三维空间，包括粒子群优化算法（Particle swarm optimization，PSO）、势场法（Potential Field Method，PFM）、快速探索随机树法 （Rapidly exploring Random Tree，RRT）、RRT*和泰森多边形法（Voronoi Diagram，VD）。

人工智能算法在无人机路径规划中的应用是至关重要的，它可以帮助无人机在复杂环境中更有效地规划路径，基于人工智能的路径规划方法包括蚁群算法、人工神经网络 （Artificial Neural Network，ANN）、暴力搜索、遗传算法（Genetic Algorithm，GA）和可变邻域搜索法（Variable Neighbourhood Search，VNS）等。无人机必须确保在有限的电池储能容量下高效执行任务，因此机器学习算法在感知、规划和控制方面发挥着关键作用。深度强化学习是近年来新出的一种方法，它通过智能体与环境的互动来学习如何选择行动以寻找最佳路径，常用算法有Q-learning、DQN、DDPG、DDQN、CPP等。深度强化学习算法可以帮助无人机学习在复杂和未知的环境中寻找最佳路径，以最大程度地提高任务执行效率。具体算法的选择通常取决于问题的性质、状态空间的维度和可用的训练数据。深度强化学习在无人机领域的应用前景广阔，有望进一步提高无人机的自主性和效率。

总结

随着计算机视觉的快速发展和无人机的日益普及，它们的结合已成为学术界和工业界重点关注的研究领域。本文主要从定位与建图、避障和路径规划三个方面介绍无人机视觉导航。定位和建图是自主导航的关键，也为无人机提供位置和环境信息。避障和路径规划对于无人机安全、快速地到达目标位置且不发生碰撞至关重要。

与传统机器人相比，无人机不能在状态估计存在相当大误差的情况下立刻停止运行，导致飞行器的控制命令不连贯甚至坠毁，无人机可以为计算机视觉应用提供具有挑战性的测试平台。通常，飞机的尺寸比移动机器人的尺寸大。因此，图像处理算法必须能够鲁棒地实时提供视觉信息，并具有补偿图像序列粗糙变化和三维信息变化的能力。其次无人机自身计算能力和能量的限制，其中大部分算法都不能直接应用于无人机。虽然目前无人机视觉导航领域面临诸多挑战，但同时也为计算机视觉应用提供了重要的实验平台，这有望推动该领域不断发展。