四旋翼在移动平台视觉导引自主降落研究综述

袁泽慧,陈国栋,李世中

(1.中北大学 机电工程学院, 太原 030051;2.江苏省机器人技术及智能制造装备工程实验室(苏州大学), 江苏 苏州 215021)

0 引言

近年来,四旋翼无人机由于体积小、重量轻、成本低和机动性好等优点,广泛应用于各个领域,如重要设施的现场监测、空中运输、目标搜救和定位等任务[1-3],尤其是在军事领域,四旋翼无人机正日益成为执行区域侦察和目标搜索等任务的重要平台[4]。但目前四旋翼无人机的续航能力仅为10～30 min,且载重能力有限,严重制约了四旋翼的应用,因此将其与地面无人车配合部署,利用地面平台对无人机进行充电,或将无人机运送至目标区域,完成任务后,对无人机进行回收,可以有效缓解该问题。同时,联合部署也可有效弥补地面无人车的环境感知能力有限这一缺陷,增强其战场态势感知能力和行为能力,有效扩大侦查范围,最大化综合作战效能。除军事用途外,空地协同也成为辅助人类监测环境、探索自然、救灾抢险等重大任务过程中不可或缺的技术支撑。

无人机能否在有限的空间内快速、精确的降落在地面平台上,进行充电或回收,保证无人机的自主复飞,是实现空地协同的前提。然而,目前多数空地协同应用中要求地面平台需停放在预先选定的位置[5-7],从而允许四旋翼无人机从静止的平台上起飞和降落。显然这种模式需要大量的后勤保障,效率低,因此实现无人机在移动平台上自主降落成为提高空地协同作业能力的更好选择。

目前四旋翼无人机在移动平台上自主降落最常用的方法是利用高精度的GPS和惯性传感器[8]、运动捕捉系统[9-10]、计算机视觉[11]来估计无人机和降落目标之间的相对位姿,然而GPS在室内、森林、城市等环境中信号较弱甚至失效,这成为GPS的致命缺陷。而运动捕捉系统一般仅用于室内环境中。相反,视觉传感器可以获得丰富的环境信息,有效避免了这些问题。同时,视觉传感器具有轻便、低功耗、低成本等优点,近距离测量精度更高。因此基于视觉传感器实现四旋翼无人机的自主降落,成为目前最常用的方法之一。

本文中主要对近年来基于视觉的四旋翼无人机在移动平台上的自主降落研究成果和进展进行梳理,对自主降落系统的基本组成和关键技术重点进行分析和介绍,同时针对当前该领域中存在的问题及未来发展趋势进行展望,从而为我国未来开展空地协同领域的技术研究,突破重点难点问题提供参考。

1 四旋翼无人机自主降落系统

目前基于视觉的四旋翼自主降落系统中,通常在无人机底部安装下视单目摄像头,地面降落平台上布置人工标识,结合计算机视觉技术对降落标识进行检测和识别。视觉伺服控制在某种程度上是一种有效的选择[12-13],但是在这种方式中,无人机仅利用视觉信息被“拉向”目标,因此要求在整个无人机降落过程中,降落标识都是可见的。而在无人机接近降落目标过程中,下视摄像头很容易“丢失”降落目标。因此,有学者提出了基于模型的方法来实时预测无人机和降落目标间的位置,即构建卡尔曼滤波器,当降落目标暂时“丢失”时,通过运动模型对降落目标的位置进行预测,进而帮助寻找目标。同时,无人机在移动平台上的精确降落的关键在于对无人机和移动平台的位姿进行精确的估计,利用卡尔曼滤波器可以实现对自主降落系统中多传感器的有效融合,减小噪声,因此该方式成为无人机在移动平台上自主降落所采用的主流方式,其主体框架如图1所示。

图1 四旋翼无人机自主降落整体框架图Fig.1 The framework of quadrotor automatic landing

无人机在移动平台上的自主降落可分为3个阶段:会合、跟踪与降落阶段。

1) 在会合阶段无人机依靠GPS或固定路径搜索等方式,寻找地面移动平台,当无人机成功检测到地面机器人时,则进入跟踪阶段。

2) 跟踪阶段,无人机根据滤波器估计得到的自身和地面平台运动状态信息,不断调整自身姿态和速度接近地面机器人,当其与地面平台运动方向一致,且在水平方向的相对距离小于一定阈值时,准备降落。

3) 降落阶段,同样无人机根据自身和地面平台运动状态信息,快速、精准的到达指定位置,完成降落任务。整体降落流程如图2所示。

图2 四旋翼无人机自主降落流程Fig.2 The diagram of quadrotor automatic landing

2 四旋翼无人机自主降落技术发展现状

2.1 降落标识检测

如上所述,无论是在跟踪阶段还是最终的降落阶段,都需要依靠不断生成的无人机和地面标识的运动状态信息,进而调整无人机的速度和姿态,到达期望位置。相对于GPS,标识检测和识别系统可以精确的计算无人机与降落标识间的相对位置和姿态。然而,视觉成像容易受到光照条件的影响,尤其是在室外条件下,天气状况,以及由于太阳光照,无人机及周围建筑物等在图像中产生的阴影,都会影响降落标识的识别效果。因此,视觉检测和识别系统的快速性、鲁棒性,位姿计算精确性就成为了此部分的关键所在,决定了无人机自主降落的成败,方法也从早期的简单颜色追踪发展到了如今的多图案组合的方式。

常用的部分降落标识如图3所示。

图3 部分降落标识Fig.3 Part of landing marks

Kim等[14]采用一红色的长方形图案做为降落标识,如图3(a)所示。在红、绿、蓝3个通道分别采用颜色滤波器对降落标识进行识别,通过鱼眼相机模型和畸变模型建立目标点的投影向量,结合无人机的高度信息,得到无人机与降落标识在水平方向的相对位置。文献[15]和[16]中采用了类似的方案,该方案简单,处理速度快,但是由于图案的对称性,需借助其他传感器才能实现降落标识的三维位置估计。索文凯等[17]则设计了一种多色彩导引、多图形组合的地面着陆标志。将灰度变换、HSV 色彩变换以及Hu不变距匹配3种方法配合使用,实现降落标识的识别与处理,保障降落标识的准确识别率。Yang等[18]采用了图3(b)所示的标识,利用“H”中两条直线平行的基本特征,提取图像中的平行直线,通过平行直线的灭点来估计无人机与降落标识间的相对姿态,且由于“H”图标的物理尺寸已知,通过计算平行线之间的距离来估计无人机与降落标识间的相对位置。 北京航空航天大学Bi等[19]则将红绿蓝3种颜色的模块组合成一“H”形图案,采用颜色滤波器对降落标识进行追踪,提取图像标准矩计算相对位置。清华大学 Zeng等[20]利用自适应阈值实现图像分割,通过图像配准识别“H”字符,利用 Hough 直线检测和面积关系识别三角形以确定航向,该算法运算速度快,计算成本低,而且检测成功率达到了97.42%。

2017年阿联酋阿布扎比举办了穆罕默德·本·扎耶德国际机器人挑战赛(mohamed bin zayed international robotics challenge,MBZIRC2017),比赛中要求四旋翼无人机在15 min之内降落在以15 km/h速度移动的车辆上。车辆顶部放置一大小为1.5 m×1.5 m的如图3(e)所示的降落标识。捷克技术大学Baca等[21]利用自适应阈值对图像进行分割,快速提取图像中的圆和直线。当两直线的交点与圆心点基本重合时,则降落标识检测成功。通过对圆和交叉直线的使用,有效降低了假阳率。作者表示在无人机自主降落过程中,都能检测到该标识。为了提高对降落标识的检测速率,苏黎世联邦工学院Bahnemann等[22]则设计了2个检测器:矩形检测器和叉号检测器,2个检测器相互独立,并行使用。当无人机与移动平台间距离较远时,使用矩形检测器,而当无人机接近移动平台时,则使用叉号检测器。Falanga等[23]在其工作中也采用了该图案,通过寻找外面的矩形框,快速的判断降落标识是否可见。如果外面的矩形框可见,则在此基础上进一步通过圆的中心点,以及叉号内部的4个角点,结合PnP算法来估计相对位置和姿态。

近年来,随着二维码技术的发展,二维码越来越多的应用于无人机自主降落系统中,利用二维码识别算法可实现对降落平台的高可靠性检测,同时由于二维码特殊的几何排列,可利用单目相机实现无人机和降落平台间6自由度的相对位姿估计,而并不需要借助其他的传感器,如IMU,超声波、气压计等。目前常用的二维码视觉基准标记库有April-Tag[24]、ARTag[25]和ArUco[26]等。AprilTag由于其快速性、高鲁棒性、以及极低的假阳率成为最常用的视觉基准系统之一。Ling[27]、Borowczyk[28]等在他们的工作中都采用了AprilTag视觉库中的二维码标签作为降落标识,实现了微型四旋翼无人机(micro aerial vehicles,MAV)在移动目标上的自主降落。无人机在飞行过程中,随着高度的变化,单个的二维码标签经常会面临无法检测到的情况,如当无人机飞行高度较高时,标签无法被检测到,或者当无人机逐渐接近地面时,标签逐渐从无人机下方摄像头的视野中移出,从而导致无人机的降落精度降低。因此,为应对降落目标“丢失”的情况,Lange等[29]设计了由多个内外径比值不同的同心圆环组成的降落标识,如图3(c)所示。其主要思路是降落标识中的圆环彼此独立,整体降落标识是一组圆环的组合,因此即使只能检测到部分圆环,仍然可以识别出降落标识。北京理工大学的Jiang等[30]采用了混合标签式的降落标识,即将不同尺寸的标签按照一定的顺序排列,标识内部为小尺寸标签,外部为大尺寸标签。当无人机接近地面时,内部小标签仍然在摄像头视野范围内。Malyuta等[31]在其开发的远距离无人数据采集系统中,也采用了组合标签式的降落标识。Nogar[32]、西北工业大学张咪等[33]则提出了一种多层嵌套二维编码的阶层降落标识。 多个标签的使用不仅提高了降落标识的检测率,同时也提高了无人机相对于降落标识的位姿估计精度。

2.2 无人机与移动平台运动状态估计

准确的估计无人机与地面移动平台的实时位置、姿态、速度以及加速度等运动状态信息是实现无人机在移动平台上自主降落的前提和关键,若位置估计误差大,轻则无人机的降落误差大,重则引起事故。另外,在无人机自主降落过程中,降落目标“丢失”的情况难免发生,这主要是因为摄像头一般安装在无人机底部,光轴垂直向下。当无人机在接近移动平台的过程中,其俯仰角发生变化,则容易导致降落目标不在摄像头视野内的情况。因此研究者们提出了利用卡尔曼滤波器,通过对无人机和移动平台携带的多传感器进行融合,实现对无人机、移动平台的位置、姿态等运动状态的精确估计,同时利用运动模型对移动平台的位置进行预测,有效防止降落目标丢失的情况。

Falanga等[23]搭建了第一套不需外部设备,仅依靠机载传感器和计算机实现无人机在移动平台上自主降落的系统。首先利用扩展卡尔曼滤波器(extened kalman filter,EKF)对单目视觉和惯性单元测量量进行融合,得到无人机在世界坐标系下的位置和姿态。进而,通过标识识别和检测系统,对降落标识进行识别,并计算降落标识在无人机坐标系下的位置和姿态,通过坐标变换关系,得到移动平台在世界坐标系下的位置和姿态。文中假设移动平台的加速度和角速度均为0,即移动平台匀速直线运动,则当移动平台“丢失”时,利用该运动模型对移动平台的位置进行预测。在该系统中,无人机和移动平台的位置、姿态等信息分别采用了EKF进行估计,移动平台在世界坐标系下的位置精度则主要取决于无人机位姿和标识检测系统的精度。Borowczyk等[28]则建立了统一的二阶线性运动模型,对无人机和移动平台的运动进行描述,其中假设无人机和移动平台的加速度均为均值为0的白噪声。针对不同的传感器,建立相应的观测模型。滤波器以100Hz的频率同时对无人机和移动平台的位置、速度和加速度进行预测,当接收到传感器测量量时,对滤波器状态量进行更新。使用的传感器包括了GPS,视觉惯性导航系统,配备广角镜头的下视摄像头以及云台相机等,实现了四旋翼无人机(大疆M100)在运动车辆上的自主降落,而且车辆的直线运动速度最高可达50 km/h。显然,由于卡尔曼滤波器中运动模型为线性模型,当车辆的运动轨迹为弧线时,对其位置、速度估计必然不准确。在文献[21]中,有效验证了这一结论,当车辆转向时,产生了严重的跟踪误差。因此,作者采用了无迹卡尔曼滤波器(unscented kalman filter,UKF)对运动车辆的位置、速度、车头方向,以及车辆运动轨迹的曲率进行估计。另外,由于比赛中汽车的运行轨迹已知,因此基于此对车辆的运行轨迹进行预测,有效降低了车辆“逃出”无人机摄像头视野的概率。无人机的位姿估计则同样采用了EKF,对惯性单元、差分GPS等多传感器信息进行融合得到,最终无人机在 25 s 内成功降落在速度为15 km/h的运动车辆上。不同于以上对无人机和移动平台的位置等信息进行估计,Ling[27]则采用了卡尔曼滤波器对无人机和移动平台间的相对位置和速度进行估计,但是该方法无法对移动平台的位置进行有效预测,因此当长时间没有接收到视觉测量量时,无人机需重新返回到初始阶段,即会合阶段。

2.3 控制器设计

在完成无人机和移动平台的运动状态(位置、速度、加速度等)估计后,根据相应的降落策略可计算得到无人机的期望飞行轨迹,将期望位置、速度、加速度与当前估计值的差值做为位置控制器的输入,通过位置控制器将其转换为无人机的期望总拉力,以及姿态角,然后将机体姿态角作为输入传递给姿态控制器,计算无人机所需要的力矩。进一步,将所需的力矩和总拉力根据控制效率矩阵转换为单个电机的转速,整体轨迹控制结构图如图4所示。如何根据飞行环境、以及空气动力学约束等条件,选择合适的控制器,使无人机能够按照预先设计的轨迹飞行,进而实现无人机快速、精确的自主降落,是一项非常重要的任务。

图4 轨迹控制结构图Fig.4 The architecture of trajectory tracking controller

PID(Proportional-Integral-Derivative)控制器做为工业领域最常用的控制律之一,同样广泛应用于无人机的轨迹控制中。文献[31]和[34]设计了两层级联控制器来控制无人机沿参考轨迹飞行,从外至里分别是位置控制器、姿态控制器。位置控制由一二自由度控制器组成,输出期望加速度,内层姿态控制器将期望加速度转换为机体角速度。在文献[31]中,假定无人机定高飞行,在水平方向上通过PD控制器,将无人机和移动平台间的相对位置转化为期望加速度,建立无人机的动力学模型,将期望加速度转换为期望姿态角,通过ROS将期望的姿态角发送给无人机自驾仪。文献[35]在水平方向位置控制中采用了PID控制器,实现了无人机在移动平台上的精准降落。Palafox等[36]则注意到随着无人机不断接近降落目标,无人机反应速度需越来越快,提出了基于高度的自适应PI控制器,即PI参数随着无人机降落高度变化,实验验证了该控制器的有效性。

PID控制器结构简单,易于实现,但是轨迹跟踪中,X、Y、Z方向以及航向4个通道上均需设计PID 控制器,因此整定的参数较多。为了简化控制器参数整定过程,Polvara等[37]采用了阻尼弹簧控制器,从而将需要调整的参数从12个降为3个。哈尔滨工业大学王兆哲[38]则采用模糊控制策略实现PID参数的整定。

四旋翼是一个典型的非线性、强耦合的欠驱动系统。 对于非线性模型,显然非线性控制器更有效。在无人机控制中,由于姿态动力学速度要快于位置动力学速度,因此两者控制可以进行解耦,位置控制器的输出是姿态控制器的参考输入值,因此在许多无人机控制工作中,采用了反步法。文献[30]采用了标准的反步法来实现对无人机位置和速度的跟踪。为了应对无人机飞行中存在的干扰,Vafamand等[39]在位置控制和姿态控制中,设计了一自适应反步控制器,仿真实验证明了该控制器的有效性,在存在干扰噪声的情况下,无人机位置和姿态都达到了期望的理想值。然而反步法控制器需要选取合适的李雅普诺夫函数,而且控制器对不确定参数比较敏感。

模型预测控制器(model predictive controller,MPC),在设计中考虑了各种软件和硬件约束,可以实现有限时域内的在线优化,近年来在无人机的轨迹跟踪中应用较为活跃。在Tzoumanikas等[40]设计的四旋翼无人机自主降落系统中,利用视觉惯性里程计(visual-inertial odometry,VIO)估计四旋翼的位置、姿态、相对速度以及移动平台的运行轨迹。在此基础之上,在位置控制中设计了线性MPC以生成无人机降落轨迹,并根据所建立的无人机线性动力学模型转换为姿态控制命令。在文献[41-42]中,由于地面平台的运动轨迹为直线,无人机的飞行方向基本保持不变,因此同样采用了线性MPC实现对无人机轨迹的跟踪。而当无人机的飞行轨迹不是直线时,线性MPC显然不能满足要求。如文献[43]利用线性MPC规划了到目标的整体运动轨迹,再加上在状态估计中,地面车辆的运动模型设置为匀速直线运动,与地面车辆实际的“8”形运动轨迹不符,导致在实际飞行中,无人机两次都落在了降落标识外部。因此在文献[22]中,采用了非线性MPC轨迹跟踪控制器,实际测试结果表明无人机能够在户外条件下执行复杂的动作,顺利完成了MBZIRC2017比赛中的科目:避开障碍物,快速降落等。Vlantis等[44]则设计了非线性MPC,通过设置目标函数,实时考虑无人机的飞行能力、防撞要求等约束,在线计算约束优化问题,保证了无人机在终点时位置、速度、和姿态偏差最小化,实现了无人机在移动的倾斜平台上的自主降落,但该方法计算量大,所以系统采用了地面基站做为计算单元,再将结果无线传输给四旋翼,这无疑增加了对无线传输速率和稳定性的要求。于是Guo等[45]引入了可变采样时间MPC,当无人机不断接近地面平台时,逐渐缩小MPC的采样时间,调整其目标函数,重新规划无人机的降落轨迹,从而提高计算效率和降落精度。为应对无人机降落过程中出现的扰动,作者设计了增量非线性动态逆控制器(incremental nonlinear dynamic inversion,INDI)实现对降落轨迹的跟踪,实验证明了该自主降落系统的快速性和精确性。Paris等[46]则设计了边界层滑模控制器补偿接近移动平台过程中湍流风所产生的扰动,实验证明了该控制器在存在湍流风干扰的情况下依然能够保证良好的轨迹跟踪性能。

2.4 代表性成果汇总

综上所述,目前基于视觉的四旋翼无人机在移动平台上的自主降落研究已经取得了一些成就,为便于总结和比较各自主降落系统的性能,将当前经过实际飞行验证的部分代表性成果进行梳理,汇总于表1。

表1 四旋翼无人机在移动平台上自主降落技术部分代表性成果Table 1 Some achievements of autonomous quadrotor landing techniques on a moving platform

续表(表1)

可以看出:① 现有的成果中,在运行轨迹是曲线的移动平台上成功实现自主降落的较少。这主要归因于实际应用场景的复杂性,以及无人机自身计算资源有限等问题,许多研究成果仍然停留在仿真阶段。而当地面平台的运行轨迹是直线时,无人机实现了在50 km/h运动的车辆上的自主降落。② 除了文献[45,49]明确指出无人机的降落误差外,其他对降落误差并没有提及。文献[45]中,当地面平台的速度为18 km/h时,降落误差为43.8 cm,而且随着地面平台速度逐渐增高,误差将会进一步扩大。因此如何减小降落误差,保证无人机自主降落精度,提高空地协同效率和作业能力,实现空地协同的落地应用,依然任重而道远,需要研究人员的进一步努力。

3 结论

四旋翼无人机技术的快速发展,加快了其在各个领域的应用脚步,但是其续航能力的限制,催生了空地协同系统的诞生。空地协同不仅在民用领域具有较大的应用价值,也将很大程度上改变未来海陆空作战体系。目前开发的空地协同应用中,一般要求四旋翼无人机从静止的地面平台上起飞和降落,这无疑降低了空地协同效率,因此有必要对无人机在移动地面平台上自主降落进行深入研究,为实现空地协同的高度智能化提供基础。本文在简要介绍自主降落系统的基础之上,对其中的关键技术:标识检测和识别,状态估计,以及控制器设计进行了梳理,归纳了当前的若干研究进展,为进一步开展无人机在移动平台上的自主降落技术的研究提供参考。

综合目前的研究成果,四旋翼无人机在地面移动平台上的自主降落虽然已经取得了一些成果,但是由于实际应用场景的复杂性,以及四旋翼平台自身存在的负载及计算资源有限等问题,许多研究成果停留在仿真阶段或者局限于室内条件下,需要依靠高精度的GPS进行定位等,因此该方向的研究仍然存在诸多难点。今后的研究方向主要包括以下几个方面:

1) 恶劣气象条件下的基于视觉的自主降落技术。实际的应用环境中,雾霾、雨雪天气等恶劣天气不可避免,在保证计算效率的情况下,如何融合去雾、去模糊算法,提出高精度的降落标识检测算法,克服恶劣环境对图像采集质量的影响,并且保证检测算法的高鲁棒性和环境适应性,是未来的重要研究方向之一。

2) 自主降落系统的低成本化。当前在室外条件下,成功实现无人机在移动平台上降落的案例中,如文献[31,48]中,视觉传感器均采用了高分辨率、高帧率的相机,并配以广角镜头,其价格远高于普通四旋翼无人机的价格,而且降落系统中配备了高精度的GPS或卫星导航系统。因此如何降低自主降落系统的硬件成本是一个值得考虑的问题。采用高效率、高精度的软件算法来补偿低成本硬件带来的缺陷,是当前的主要选择。未来在保证系统性能参数的前提下,降低系统硬件成本,是值得探索的方向之一。

3)多传感器融合提高无人机与地面移动平台的运动估计能力。无人机自主降落的本质是对自身和运动平台的状态估计,尤其是在移动平台快速运动或运动轨迹不确定时,精确的运动状态估计,对地面平台运动轨迹的预测能力,是实现无人机自主降落的关键因素。单一的视觉传感器易受光照等因素影响,充分利用不同传感器的特点,进行优势互补,通过多源数据间冗余信息提高无人机在降落过程中对自身以及移动平台运动状态估计能力,实现无人机对移动平台的稳定跟踪、精确降落,将是今后的主要研究方向之一。

4) 降低无人机降落过程中扰动的影响,增强系统稳定性。无人机在降落过程中,不可避免的会受到各种扰动的影响,如自然风、地面平台高速运动产生的湍流风,以及无人机接近地面或移动平台时产生的近面效应等。目前的研究中,对湍流风、近面效应所带来的扰动考虑比较少,而这两者主要在无人机接近降落目标时产生,直接影响自主降落的精度。为此,建立扰动数学模型,加强控制器的抗干扰性能,对于提高无人机降落阶段的轨迹跟踪能力将起到至关重要的作用。