基于深度视觉的四旋翼无人机自主飞行感知和避障综述

王从宝，张安思，2，杨 磊，梁国强，张 保

(1.贵州大学 机械工程学院，贵州 贵阳 550025；2.贵州大学 公共大数据国家重点实验室，贵州 贵阳 550025)

0 引言

四旋翼因其结构简单、机动性高、成本低、故障低以及多功能性等特点,在公共安全、民航拍摄、消防急救、农业植保以及军事等[1-5]领域显示出其广泛的应用前景。同时,随着计算机科学、人工智能、图像处理以及大数据等相关技术的迅速发展,推动着无人机技术朝着完全自主传统无人机自主飞行控制和更加安全高效的方向发展。在无人机自主飞行研究中,感知和避障是难点所在,常因感知不准确或者避障不及时导致无人机坠毁,因而受到众多研究者的关注。

方法通常基于同步定位映射(SLAM)或状态估计和控制指令计算两步交叉过程,从而实现无人机自主能力[6-7]。尽管目前常用的SLAM算法可在大多数情况下进行有效定位,但在视觉重叠、动态场景以及外观显著变化等复杂环境中会导致感知系统出现无法修复的错误。此外,感知与控制的模块化还会引起模块间误差累积和漂移等问题。

为克服上述问题,近年来,随着深度学习(Deep Learning,DL)在无人机自主飞行感知和避障领域的优势逐渐凸显,特别是基于数据驱动的DL无人机自主飞行控制在许多任务中取得了显著成效[8]。其能够将无人机的感知与控制有效结合起来,消除传统控制中漂移等问题[9]或者能够进行端到端直接数据驱动控制[10]等优势。因此,为全面了解目前基于DL方法且以视觉输入的四旋翼自主飞行感知和避障的研究进展。

本文首先简要阐述了无人机自治水平等级和相关DL技术方法;其次,对四旋翼仿真平台及数据集对相关基础性研究进行介绍;再次,围绕基于DL且以视觉输入的四旋翼自主飞行感知和避障两方面进行了较为全面的分析和总结;最后,针对基于DL且以视觉输入的四旋翼自主飞行感知和避障的研究现状,对其面临的挑战和未来的发展趋势进行总结和展望,旨在为后续研究人员提供参考。

1 无人机自治等级与DL简述

本节将对相关工作进行简要阐述,从无人机的自治等级和相关DL技术进行介绍,为后续的综述开展奠定思路基础。

1.1 无人机自治等级

无人机自主性可定义为自身集成传感、感知、分析、通信、规划、决策以及行动的能力,通过人机界面(HRI)或无人机系统与其通信,以实现人类操作员指定的目标[11]。澳大利亚航空航天自动化研究中心的Kendoul[11]根据无人机执行任务的复杂程度、环境的复杂度以及外部系统独立性,将无人机的自主水平可划分为11个等级,如图1所示。从0级到10级,划分的自主水平等级是一个渐进递增的过程。其中,最基本的自主水平级别为0级,其要求无人机由遥控器进行控制,由远程外部系统发出控制命令,引导无人机执行特定的功能,而传感由无人机执行,所有数据也是由外部系统进行处理和分析。最高级自主水平级别为10级,要求无人机在没有外部干预的情形下执行人类设定的复杂任务,即无人机能够完全自治[11]。对于较高的无人机自治水平等级,目前的研究尚未涉足,大多数研究主要集中在中间自治级别,即4级无人机水平自治等级。而4级自治要求无人机能够感知障碍物存在(即检测无人机与障碍物的距离),并自主决策避开障碍物。

图1 无人机自主等级划分Fig.1 UAV autonomy level classification

无人机自治等级划分为本文对基于DL视觉的四旋翼自主飞行感知和避障综述提供了有效的分析路线,本文将围绕无人机4级自治级别展开基于深度视觉的四旋翼自主飞行感知和避障研究进展进行全方面的综述。

1.2 DL简述

DL在过去的十几年里已经被证明是人工智能领域一项优越的技术,可以解决很多种类的问题,在某些案例中甚至超越了人类[12],并且在数据挖掘[13]、计算机视觉[14]、自然语言助理[15]、生物特征识别[16]以及医学诊断[17]等多个领域取得了良好的效果。其作为机器学习的一个分支,一种从数据中学习表示的新方法,具有神经网络的特征,通过增加神经网络深度对输入进行特征提取,因深层网络结构具有很强的表示能力,所以可以学习到输入数据的高维特征。深层网络结构的各个网络层含有可更新的权值参数,可通过对参数的更新来逼近表达复杂的非线性函数。常见DL结构有卷积神经网络(CNN)[18]、循环神经网络(RNN)[19]等。

基于DL视觉的四旋翼自主飞行感知和避障的多数研究中,更加倾向于CNN,该网络是一种能够自动检测输入数据(视觉图像或时间序列)并能够从图像中提取图像特征的DL模型,这也正是基于DL的无人机自主飞行感知和避障研究常以视觉图像作为输入数据的原因。常见CNN通常由多层网络结构组成,一般包含输入层、卷积层(Convolutional Layer)、最大池化层(Max Pooling Layer)、全连接层(Fully-connected Layer)以及输出层。网络结构中的卷积层常对输入二维图像与二维内核进行卷积运算的典型卷积操作,通过非线性激活函数(ReLU或Sigmoid)对卷积操作输出,并通过池化函数对输入数据进行采样,以最大池化函数最为常见。可重复上述过程,从而学习到高级的抽象表示,最后由输出层进行输出。典型的CNN结构如图2所示[20],在其基础上还衍生出多种变体网络结构。其中,衍生出的DL网络变体在四旋翼的自主飞行感知和避障上应用研究如表1所示。

图2 典型CNN结构Fig.2 Typical CNN structure

表1 常用于四旋翼无人机自主飞行感知和避障的DL网络结构Tab.1 DL network structures commonly used for quadrotor UAV autonomous flight perception and obstacle avoidance

2 无人机仿真平台与数据集

近年来,得益于诸多无人机仿真平台和用于无人机自主飞行感知和避障研究的相关公开数据集,进一步推动了无人机自主飞行感知和避障的研究进展。为此,本节将从无人机仿真平台与数据集两方面,进行较为全面的介绍和总结。

2.1 无人机仿真平台

无人机仿真平台通常由仿真内核与控制软件两部分构成,仿真内核主要涵盖无人机的飞行控制模块、接口模块以及无人机数学模型等,控制软件包含主控模块、飞行记录与回放模块以及可视化模块等。仿真的目的是将仿真环境中无人机的运动策略迁移到真实环境中,实现2个环境之间的无差别转化,是基于学习的无人机自主飞行的最终目标。仿真环境中的训练是真实环境中应用部署的根基,同时也是无人机自主学习和运行试验的首要步骤。相比于实体无人机在真实工况环境中进行飞行试验学习的危险性和不确定性,仿真训练为基于DL的无人机自主飞行感知和避障研究提供了一种成本低廉、效率高且能可视化的学习路线。

为此,本小节将分别对Gazebo[27]、Flightmare[28]以及AirSim[29]三种常用于四旋翼无人机DL方法研究的仿真平台进行简要的介绍,其对应的特点如表2所示。

表2 常用的四旋翼无人机仿真平台对比Tab.2 Comparison of commonly used quadrotor UAV simulation platforms

① Gazebo。Gazebo是由南加州大学机器人研究实验室Howard等开发的一个免费且开源的高性能仿真平台,其集成了机器人操作系统(ROS)和PR2机器人平台,可应用于无人机的开发、仿真和测试。与其他2个仿真平台相比,Gazebo与ROS有很好的兼容性,经常与ROS配套使用,但其视觉渲染效果不是很好。

Gazebo具有清晰的图型界面和便捷的编码窗口,支持ODE、Bullet、Simbody等多种物理引擎,并应用ORGE渲染引擎为研究者提供各种情形下高仿真的室内外环境。能够对无人机在不同工况环境中飞行高仿真度模拟,很适用于感知、避障以及路径规划等无人机导航的研究。Gazebo内含各种机器人仿真模型,并提供多类传感器来模拟环境的反馈,让使用者能够搭建不同类型的无人机飞行模拟环境。除此之外,Gazebo还为使用者提供云端服务,使得控制算法在仿真无人机上进行快速测试和验证成为了可能。

② Flightmare。Flightmare是由Song等[28]提出的一个模块化且灵活的四旋翼模拟器,通过使用Unity编辑器构建逼真的渲染引擎和四旋翼动力学模拟。Flightmare将四旋翼无人机动态建模和渲染引擎进行解耦,便于通过使用并行编程实现快速准确的动态仿真,还为使用者提供方便灵活的可视化界面,可以在各种复杂且接近现实的3D环境中模拟不同的传感器。渲染引擎和四旋翼动力学之间的接口使用高性能的异步消息传递库,实现多种协议消息传输以及异步消息处理等任务。

Flightmare具有几个鲜明的功能:首先,支持3D点云场景提取界面的多模式传感器套件;其次,可用于强化学习API,并集成用于模拟环境交互的VR眼镜;此外,还可应用于视觉里程、DL以及人机交互等各种应用。

③ AirSim[29]。AirSim是微软公司于2017年为机器学习研发而开发的一款开源无人车/无人机仿真平台,其仿真环境是基于虚幻引擎(Ureal Engine)而开发的,支持跨平台的软硬件在线仿真,具有极高的物理与视觉渲染度,适合自动驾驶相关的计算机视觉、DL以及强化学习等算法研究。

AirSim具有便捷而强大场景搭建模块,包含城市、小镇、森林、胡泊等丰富场景,用户可在城市中心、郊野、工业区等多种环境中对飞行器进行算法测试和验证。AirSim提供Mavlink接口并支持使用Pixhawk固件(如Ardupilot与PX4)运行SITL和HITL,可对仿真环境中的飞行器进行直接控制。同时,AirSim还提供多种语言的API接口,具有完备的底层控制架构,可以对中上层控制进行设计。此外,AirSim还具有单目相机、深度相机、IMU、激光雷达、GPS等多种传感器,具备很好的扩展性。

2.2 无人机图像数据集

DL技术为无人机自主飞行感知和避障研究提供了可行的解决方案,其核心思想是通过训练阶段从大量数据中提取高层抽象表示,进而做出分析决策。但目前大多研究的数据来源是公开数据集,包含从真实或虚拟环境中获取的无人机标注数据集,下面介绍几种常用于无人机研究的公开数据集。

① KITTI数据集[30]。KITTI数据集是在德国卡尔斯鲁厄(Karlsruhe)的周围环境中通过移动平台(大众Passat旅行车配备的4个摄像机、1个旋转3D激光扫描仪和1个组合GPS/IMU惯性导航系统)收集的数据集。该数据包含摄像头图像、3D激光雷达、惯性与GPS导航数据等,是为了推进以自动驾驶为目标的计算机视觉和机器人算法的发展。该数据集涵盖多种多样的交通场景,捕捉了从农村地区的高速公路到市中心的许多静态和动态对象的场景。在合适场合无人机研究中可应用该数据集。

② IDSIA森林足迹数据集[31]。该数据集通过 1名徒步旅行者配备3个GoPro Hero3头戴式摄像头(1个向左30°,1个指向正前方,1个指向右侧30°)覆盖大约7 km徒步旅行路线所采集而来,最后图像数据由3个相机图像组成。该数据集通过避免相同轨迹重合被拆分为不相交的训练集(含17 119帧)和测试集(含7 355帧)。该数据可用于预测各种路径的视图方向(左、中、右3个方向)。

③ 无人机碰撞数据集。该数据集出自于Gandhi等[32]提出的一篇无人机研究文献中,通过2个步骤对数据进行收集;首先,对导致不同类型碰撞原始轨迹进行采样,在此基础上学习导航策略;其次,在第一步导航策略下收集更多更好的轨迹。该数据包含了20多种不同室内环境中的11 500条碰撞轨迹,通过使用加速度计数据将所收集的轨迹数据自动分割,进而将轨迹划分为远离碰撞物体和靠近碰撞物体的正负数据。

④ Udacity数据集[33]。Udacity数据集起初是为一个线上挑战所提供的,该数据集包含7 000张汽车驾驶图像,分布于6个视频剪辑中,5个用于训练,1个用于测试。这些图像数据包括了来自3个摄像头(左、中、右)的时间戳图像以及不同传感器(如IMU、GPS、转向角、速度)的数据。

⑤ SYNTHIA合成数据集[34]。SYNTHIA数据集是一个自动驾驶场景下合成的数据集,该数据集由基于Unity开发平台创建的虚拟城市渲染的一组图像帧构成,包含了各种静态场景(建筑、道路、人行道和交通标志等)和动态对象(如汽车、自行车和行人)以及不同照明条件和天气。数据集包含了213 400张虚拟城市中随机快照和视频序列2组互补的合成图像,涉及8个RGB摄像头传感器(2个多目摄像头和4个单目摄像头)。

3 DL四旋翼的自主飞行感知和避障

在四旋翼自主飞行研究中,DL无人机的感知和避障是目前研究的重心所在,感知任务允许无人机了解自身状态和环境情况,而避障则是对感知到的障碍物进行避让,避免发生碰撞,感知与避障相互区别,又呈现出交集且递进的关系。感知任务一方面是对无人机自身状态和所处环境进行估计;另一方面为避障输入相应指令,以完成相应避障任务(其关系如图3所示)。下面将从无人机自主飞行感知和避障两方面分别进行论述。

图3 无人机自主飞行的感知和避障关系Fig.3 Relationship between perception and obstacle avoidance for autonomous UAV flight

3.1 感知

在无人机自主飞行研究中,无人机感知是指无人机在飞行过程中能够对自身状态和周围环境的理解,如可以考虑周围环境的空间限制以及对障碍物边界进行有效检测。在DL的背景下,无人机的感知大多数情况下依赖于视觉技术。正因DL在图像上表现出的强大性能,因此被广泛应用于无人机自主飞行的感知中。近期的大多数研究基于视觉上对环境进行感知,一方面是检测无人机需执行的任务目标或自身所处环境情况;另一方面则是根据对环境的感知输出有关特征表示,为后续无人机生成高级控制飞行指令。

Wang等[10]提出基于深度循环神经网络来实现单目视觉里程的端到端的新框架,并用该架构以端到端方式进行训练和部署,从原始RGB图像中推断出无人机的姿态。通过深度网络架构与经典的几何方法结合,进一步提高视觉里程(VIO)的准确性。而Smolyanskiy等[35]提出一个自动跟踪微型飞行器系统,并引入深度神经网络(DNN)用于估计无人机相对轨迹中心的视图方向和横向偏移,以实现无振荡的稳定飞行。

而一些研究者通过基于学习的深度估计来感知周围3D环境,这种3D环境感知可以用于反应式[36]或者计划式[37]控制策略,从而使得无人机安全地导航。Mancini等[38]提出一种用于场景深度估计的神经网络,并在网络中添加长-短记忆层,以低开销计算方式缓解单目视觉的一些固有限制,在KITTI数据上进行验证,与当前最新技术有着相当的性能,且该网络能够在不进行任何微调的情况下推广到不同实际环境中。此外,文献[39]提出联合障碍物检测和深度估计的网络架构,应用VGG-19网络对输入的RGB图像进行特征提取,然后将特征反馈给深度预测分支网络和障碍物检测分支网络。深度预测网络模型被告知检测对象结构,从而产生更加稳健的估计,而障碍物检测利用深度信息更加精确地预测障碍物距离和包围框。该方法在未知的场景中表现出显著的映射质量,降低无人机导航的失败率。为了促进无人机在植物保护领域的应用,Wang等[40]将DL与深度相机结合,提出一种RGB-D信息融合方法。该方法使无人机能够感知到障碍物存在,而且还能够感知障碍物的位置和内容。根据感知到障碍物的具体特征,生成最优避障策略和规划最小飞行路径。类似地,She等[41]通过使用YOLOv3网络检测可疑障碍区域,并引入SURF算法对输入图像进行匹配和提取特征点。然后在输入图像之间匹配可疑障碍区域。最后进行特征点提取和视觉扩展处理从而确定障碍物。

此外,在国际比赛方面,自2016年首届无人机竞技大赛以来[42],其他无人机国际竞赛纷纷举行,极大促进了无人机领域的发展,同时也推动了DL技术在无人机系统上的应用。总体来看,DL技术在无人机竞赛中主要作为感知系统并结合相关技术实现无人机在特定环境中自主飞行,以实现相应飞行任务。通过神经网络对特定环境(如闸门、颜色等)进行感知,并反馈相关信息使无人机调整其姿态,便于执行相应任务(如飞越闸门)。关于DL网络在四旋翼竞赛中的应用如表3所示。

表3 DL网络在四旋翼无人机竞赛中的应用Tab.3 Application of DL network in quadrotor UAV competition

3.2 避障

避障是四旋翼无人机自主飞行中不可或缺的任务。传统避障技术利用同步定位和映射(SLAM)和运动结构(SfM)等技术来生成表示环境视觉的几何地图,从而预测障碍物和能穿越的空间。这些技术由立体相机、光探测距离传感器或超声波传感器等多种传感数据进行融合,但这些传感器价格高昂、体积、质量大或是工作范围和环境有限,不适用于小型的旋翼无人机系统。

目前,四旋翼无人机避障研究主要集中在自主避障上。对于无人机自主避障的研究应用场景,一种是侧重于非结构化的户外场景,例如森林,这使无人机在荒野检测、野外搜寻救援、目标跟踪以及环境检测等应用成为可能;另一种则侧重于室内场景,涵盖监视、货物交付、任务或者制造环境检查等各种任务。根据室内外场景列举了相关DL在四旋翼避障技术上的应用,在这些DL避障方案中,一些人使用端到端的方法将无人机系统捕捉到的原始传感器数据直接映射到一组可能的飞行动作中[32,52-53],这些方法不需要明确的映射和运动规划[23,54-55]。一些方法通过模仿人类[23,54],从模拟环境训练[55]中收集经验,或者是直接部署与现实世界[32]中进行训练。这些避障任务中,DL方法能够通过标记输入数据集进行恰当的概括,从原始输入数据(视觉图像)中推断出一种模式,即在未知情况下引导适当的行为动作(相关应用如表4所示)。

表4 相关DL四旋翼无人机避障技术Tab.4 Related DL quadrotor UAV obstacle avoidance techniques

与上述不同的是,一些研究者基于DL提出不一样的方法。通过估计输入图像的深度判断无人机与障碍物的距离或者检测无障碍区域,然后使无人机远离障碍物或向无障碍区域飞行,从而避免发生碰撞。例如,Chakravarty等[57]通过使用CNN来预测RGB图像的深度,用数千个训练图像对神经网络进行训练,并设计一种基于行为仲裁的控制算法,接收来自神经网络估计深度图作为输入,并输出偏航和俯仰轴上的角速度,以引导四旋翼无人机远离障碍物并朝向目标位置飞行。该方法可在以前看不到的室内环境中推广,并有较好的泛化能力。同样,Carrio等[58]通过使用AirSim生成3种不同无人机模型来合成丰富的深度图数据集,并基于深度图检测方法成功用于无人机避障。Zhang等[59]也应用CNN从RGB图像中估计深度,然后将深度图像输入避障系统中,避障算法将扩展深度、目标位置、当前位置以及当前方向作为输入,然后输出用于避障的旋转角,使无人机远离障碍物,向目标方向飞行。并以四旋翼鹦鹉Bebop2在现实世界验证该方法的有效性。

而一些DL技术需要执行几个阶段,这些阶段涉及中间表示,用于预测无人机与障碍物的距离、无人机的姿态或者里程计,以便重新计算到达目标位置的路径。这种DL方法通常会有2个模块;一个是感知模块,该模块会生成一组与无人机系统及周围环境状态相关的特征图;另一个则是决策模块,根据感知模块状态估计进行决策预测。这些模块组合构成一种复杂的网络。如Dai等[60]基于CNN方法设计一种两级端到端避障框架使得四旋翼无人机能够在未知和非结构化环境中自主避障。该方法可以减少决策延迟并提高无人机的鲁棒性,其第一阶段基于CNN模型作为预测机制来预测转向角和碰撞概率;在第二阶段,控制机制将转向角映射到改变无人机偏航角的指令,使得无人机遇到障碍物时,可以通过自动转向避免碰撞。类似地,在Yang等[61]的研究工作中,提出具有中间感知的两阶段CNN方法,从图像中进行轨迹预测。该方法第一阶段从图像中预测深度和表面法线估计[62],第二阶段则是从深度和法线图中预测路径,从而使得无人机能够感知3D障碍物的位置以及场景分布,从而更加精确地预测路径。

4 挑战与展望

综上所述,DL技术依赖自身在原始传感数据(图像)中的卓越学习表征性能而受到研究者的广泛关注。从目前研究情况来看,四旋翼获取图像数据是当下基于DL利用关键信息类型,这是因为获取图像的传感器价格便宜、质量小且能量功耗低等特性。鉴于DL技术在图像信息提取中表现出强大的性能,因其在无人机自主飞行研究应用中的算法优势引起研究人员极力投入,从结果来看已是初显成效,但其作为机器学习一个蓬勃发展的新领域,正处于一个发展阶段中,在解决实际问题时,多复杂工况下的四旋翼自主飞行感知和避障研究中仍然面临着诸多挑战。

① 训练数据成本高

在DL技术中以大多采用监督学习方法,实际复杂工况环境中生成泛化能力鲁棒的模型需要大量数据,对于四旋翼而言,针对性的数据采集成本比较高,且容易出现无人机碰撞、偏离路径以及坠落等情况。对于大量数据还需进行数据标记工作,这一任务极为耗时。

② 推理认知能力不强和泛化能力弱

目前,基于DL方法的自主四旋翼研究还依赖大量的数据进行训练,虽然无人机在既定环境中表现出较好的性能,也解决了无人机在传统控制中漂移、偏差、不可预测噪声序列等问题,但其智能水平还停留在计算智能上,且网络模型的泛化性能和有效性还受到所用数据的数量及质量的制约,代表性场景和条件的多样性数据集、传感器多种类别之间的平衡成为了DL应用过程相互制约的因素。

③ 缺乏统一评判标准

大多数研究阐述了所用的网络模型结构、训练数据以及相应的测试方法,解释所选地面真值、标签并描述导航系统如何与CNN模型交互。但缺乏统一性的评判指标,一些文献应用特定环境指标进行评估,例如成功飞行的圈数[58]或者飞行的距离[31]以及不同速度[9]下的性能。

④ 硬件及通信系统限制

四旋翼平台自身存在续航能耗、有效载荷尺寸局限等问题,而这些限制主要源自电池技术和传感器技术的发展,同时这也限制了无人机自主飞行所需的能力。此外,多数无人机自主操作都是机载处理,通信设备和处理器的性能会影响无人机的操作,特别是在传输大量数据或是带宽限制时体现尤为明显。现在,设计功能强大且能耗低的小型化设备是嵌入式开发人员要攻克的难题,特别是处理器GPU这一板块。

针对上述问题,结合DL的发展趋势,对基于DL的四旋翼自主飞行在感知和避障的未来发展及研究方向做出几点总结。

① 多源的数据集

针对无人机自主飞行研究数据相对缺乏、采集成本高等问题,可通过在模拟环境中无人机采集模拟图像样本对网络进行训练,或者根据真实图像与模拟图像生成合成图像,从而减少数收集过程成本昂贵的问题。这要求模拟器在功能上可生成真实照片的真实感环境,这样有利于网络感知算法与模拟到真实传输技术的发展。

② DL与强化学习(RL)结合

现阶段神经网络是DL方法中依靠数据驱动实现无人机控制的主体核心,这是基于深度网络在学习表征能力上的体现,而网络的决策能力表现并不突出。RL在策略搜索决策能力上表现出良好的性能,通过融合DL鲁棒表征能力和强化学习的决策能力的深度RL将会是无人机自主飞行研究的一个热点和发展前景。

③ 高效的网络学习模型

当前,出现了较多表征精确度较高的DL模型,但这些模型并不都适用四旋翼无人机自主飞行上的应用研究,仅少数模型可直接应用,大多数模型需要对其结构和参数进行适当的调整,才能够在无人机自主飞行研究中应用。设计适用于无人机自主飞行研究的高效网络学习模型极为重要,高效的学习模型可减少训练学习时间以及应用时对数据的处理时间,从而提高网络模型在应用中的快速决策能力。

④ 硬件设施的突破

对于处理器、传感器、通信系统等硬件上的限制,因DL技术都有着较高的计算资源要求。目前,需要减少网络模型深度、降低数据的输入帧率等措施来匹配硬件上的限制,并在硬件与其功耗之间做出良好的权衡。从长远来看,需等待相关领域有质的突破。例如,出现更高性能且体积小的CPU,可提高无人机的机载计算处理能力,也可解决网络通信系统在成本、覆盖范围、延迟以及可扩展方面的需求。而在DL-UAV的供电方式上受限于使用重型的锂聚合物或锂离子电池,若未来开发人员突破现行的能量收集机制,将会更好地扩展自主无人机的应用研究。

5 结束语

文中首先从无人机自治等级与相关DL技术方法进行简要阐述,明确当前四旋翼自主飞行研究所处的自主水平,并对基于DL方法进行简要介绍;其次,从无人机仿真平台及数据集的相关基础性研究进行介绍和;然后,对基于DL且以视觉输入的四旋翼自主飞行感知和自主避障两方面研究进展进行全面综述;最后,结合DL和以视觉输入的四旋翼自主飞行感知和避障在一些关键的开放性问题上的不足,对其未来挑战和发展趋势进行了总结和展望。希望可为基于DL方法且以视觉输入的四旋翼无人机自主飞行感知和避障的研究者提供进一步的启发。