基于视觉的空中加油定位技术研究

2023-07-06赵敏琨刘小雄徐新龙王映龙

计算机测量与控制 2023年6期

赵敏琨，刘小雄，徐新龙，杨楠，王映龙

（西北工业大学自动化学院，西安 710072）

0 引言

随着无人机飞行能力和完成任务效率的提高，人们越来越迫切地需要将无人机进行有效而稳定的远程部署与机动。不论是传统的有人战斗机还是新兴的无人机，二者都存在作战半径有限的问题。空中加油作为增加无人机空中续航能力的一种有效方式，已经在世界上诸多国家实践中得到了广泛使用；而以该过程高自主性为目标的自动空中加油（AAR，autonomous aerial refueling）技术，正是各国研究的热点。

空中加油需要两架飞机之间保持一定的距离和速度，其中一架作为加油机，另一架作为受油机。该操作可以让飞机在途中补充燃料，从而大幅提高其远程作战、长时间续航的能力。然而，空中加油过程包括了多种技术的综合应用。除了飞行器设计中加油和受油装置的硬件研究之外，还有两机靠近时的导航、制导与控制研究。其中，加油接口首先提供了加油的物质基础，导航则包括了位置、速度、姿态等信息的获取和处理，制导指令计算出合适的加油路线和轨迹，控制最后实现精确的对接操作。在这些技术之中，导航是一个非常重要的环节，因为它相当于对环境的感知，只有先得到了飞行器的相对位姿数据，才能在此基础上进行后续的制导和控制。

对于AAR 问题来说，必须确保两机之间的距离和相对姿态能够满足安全标准，这就提出了对导航信息精确获取的要求。通常，导航过程需要通过多种传感器和算法来确定飞行器的位置和姿态，包括导航卫星、惯性测量单元、激光雷达、光学传感器以及检测跟踪、位姿估计、信息融合等。其中，采用光学传感器获取图像数据，通过视觉处理算法最终得到导航信息的过程被称为视觉导航、或基于视觉的定位；一般来说，完整的视觉导航包括检测、跟踪、位姿估计三大步骤。

相较于传统方式，视觉导航有以下几个优点：

1）低改动：不需要系统性调整飞行器的结构设计，同时得益于图像传感器较小的体积，可以采用加装的方式将其添加到飞行器上。

2）低成本：使用普通的光学传感器和计算机视觉算法就可以达到较高的精度要求。

3）无源性：传统的导航方式依赖于参考信号，如地面站或卫星信号等，但在某些场景下，这些信号可能不稳定或无法获取。而视觉导航不需要参考信号，能够在复杂环境下实现自主导航。

随着近年来光学传感器和计算机视觉算法的发展，视觉导航技术逐渐成熟。针对AAR 问题，美国团队首先引入了视觉导航技术，其代表有2005年提出的VisNav系统［1］、2008年的VisBRR 系统［2］，以及2006年起Campa团队［3］所做的工作。近十多年来，国内外研究者就该问题提出了多种解决方案，不论是软式锥套定位［4-7］，还是硬式接口定位［8-9］，以及加油机定位［10-11］和受油机定位［12-14］。

综上，本文将首先介绍空中加油技术概念，然后依照不同研究主体的顺序，对AAR 过程中基于视觉定位的研究发展进行梳理总结，最后在此基础上展望未来的研究方向。

1 空中加油技术概念

1.1 空中加油的方式

根据加油和受油接口的不同，目前空中加油可以分为两种主要方式：软管-锥套式（PDR，probe-and-drogue refueling）和硬杆-接口式（BRR，boom-and-receptacle refueling）［15］，二者分别简称为“软式”和“硬式”。

采用软式空中加油，需要受油机在机首或机翼前缘安装1根固定的、或可伸缩的受油（管）插头；需要加油机在机翼侧边安装加油吊舱，或者在机身中心线安装加油平台；吊舱伸出软管的长度为15～27m 不等，平台伸出软管的典型长度为24m；加油软管末端安装有漏斗状的锥套，其配有机械自锁机构［16］。两机接近时，飞行员控制受油机缓慢加速，当受油插头伸进加油锥套后，机构自动锁紧完成对接。

采用硬式空中加油，需要受油机机身具备专用的受油接口；需要加油机尾部具备专用的可伸缩刚性硬杆，以及配套的专职加油操作员控制舱；硬杆中部装有V 形或H 形气动操作面，可以让它在一定范围内移动［16］。两机接近时，飞行员控制受油机稳定在对接范围（即受油包络）内，操作员控制气动操作面和伸缩机构，当硬杆末端的加油插头对准并伸进受油接口后，两机完成对接。

上述两种空中加油方式各有利弊，硬式流量大、输油速度快、对空气湍流不敏感、但通用性差，需要专职的加油机［16-17］；软式流量小、输油速度慢、对空气湍流敏感、不过通用性强，方便以客机或运输机为基础加装输油系统，进而改装为加油机。

目前，我国在役的主要加油机——运油20采用的就是机翼两边各1个加油吊舱、加上机身中心线1个加油平台，总共能够伸出3条软管的软式空中加油布局，如图1所示。

图1 运油-20加油布局

1.2 空中加油的流程

假设AAR 在中高空进行，加油机定高平飞，那么加油过程可以分为四个阶段：交会（Rendezvousing）、对接（Docking）、加油（Refueling）、脱离（Dismissing）。以下首先给出几个关键位置点的定义［18-19］，再说明各阶段机动动作［20］，整个流程如图2所示。

图2 空中加油飞行剖面

观察（Observation）位置：一般位于加油机的侧后方，与加油机机翼保持足够的安全距离。

预接触（Pre-contact）位置：硬式情况位于加油机的后下方，软式情况位于加油机的侧后方，与加油机机尾保持足够的安全距离。

接触（contact）位置：硬式情况位于加油机后下方的一定三维范围内，软式情况位于加油机侧后方的一定三维范围内。

空中加油控制点（ARCP，air refueling control point）：相对于指定加油机而言，受油机到达观察／预接触位置的规划地理点。

空中加油起始点（ARIP，air refueling initial point）：受油机进入加油航道的地理点，启动与加油机的无线电联系并开始进行对接机动。

交会起始点（RVIP，rendezvous initial point）：在ARCP之前的一个规划地理点。如果两机没有达到指定的高度，就开始爬升／下降机动；如果两机没有达到共同的航道，就开始航迹机动。

交会阶段：接到加油命令后，在不同位置的两机或其中一方前往指定空域的RVIP，先到者盘旋等候另一方；当双方都到达后，受油机前往ARIP。

对接阶段：与加油机建立目视和无线电联系后，受油机机动至加油高度以下300 m；当接到进入受油编队指令后，受油机机动至预接触位置；当接到受油指令后，受油机机动至加油接触位置并保持稳定飞行。对软式而言，到接触位置的机动包含了受油插头伸进加油锥套完成对接的过程；对硬式而言，到接触位置后，还需要加油机上的操作员控制加油硬杆伸到受油接口里完成对接。

加油阶段：两机完成对接后，加油机控制油管阀门打开给受油机输油，并在加油完毕后自动关闭阀门。该阶段两机保持相对静止。

脱离阶段：加油结束后，受油机缓慢减速并进行偏转机动，从接触位置脱离。至此，AAR 流程结束。

2 空中加油视觉定位研究现状

根据研究主体的不同，AAR 视觉定位可以分为软式、硬式和机体三类，即相机照射、定位的目标分别为加油锥套、受油接口区域和加／受油机机体；根据相机的结构区别，AAR 视觉定位可以分为单目、双目、红外摄像头三类。当然，为了追求更高的精度和更好的鲁棒性，大部分研究不仅仅使用视觉系统得到的导航结果，而是将它与其他传感器的输出进行融合，包括惯性、导航卫星、激光雷达等。不同传感器的使用场景有别，其中视觉传感器主要用于近距离，对应上节所述的 “对接”、“加油”和 “脱离”三个阶段，而其他传感器主要用于中远距离，即 “交会”阶段。图3给出了AAR 问题的输入分类和整体流程。

图3 自动空中加油问题输入分类和整体流程

以下，从不同研究主体的角度出发，梳理自动空中加油视觉定位的研究现状，主要关注其中用到的检测、跟踪和位姿估计算法，并在后一小节给出总结。

2.1 加油锥套定位

软式空中加油是应用最早也是最广泛的空中加油方式，对于AAR 问题，该方案的关键在于，受油机的加油插头需要对准加油机拖曳软管末端的加油锥套，以便在接近时成功插入并完成对接，如图4所示。这一目标就从感知层面提出了对锥套精确定位的要求。然而，由于在接近过程中存在着加、受油飞机的抖动，拖曳软管的湍流运动，以及天气变化等因素，使得锥套的位姿很难精确地确定。所以，如何定位锥套，还有如何提高锥套定位的精度，是多年以来学者们研究的重点。

锥套的视觉定位，就是根据输入的图像经过算法处理识别出锥套区域，进一步跟踪其二维坐标，然后由此估计出锥套相对于受油机的三维位置和三轴姿态。根据采用光学标记与否，锥套的视觉检测定位可以分为合作与非合作两类。其中，“合作”指的是给锥套安装LED主动光源，或者安装具有明显色差的环状条带；“非合作”则指不改变锥套光学外观。

2005年，Valasek等人提出了VisNav系统［1］，其采用了基于位置敏感二极管（PSD，position sensing diode）的导航引导技术。在AAR 过程中，当加油机锥套内的红外LED发射的结构光照到受油机头的PSD 上时，会产生电流信号，根据电流强弱可以得到LED 在PSD 平面的投影坐标。当得到4组及以上LED的数据后，VisNav系统利用高斯最小二乘差分校正（GLSDC，gaussian least squares differential correction）算法得到六自由度导航信息。2011年，解洪文［4］使用滤光双目相机对锥套边缘光学标记进行拍摄，通过轮廓跟踪法检测出光斑区域的边界，进一步得到其像素重心，再根据对极几何原理完成3D点匹配。2013年，王旭峰等人［21］通过色彩空间变换，根据内、外中心距和内、外长轴比判断“加装红色标识的环带”区域，对检测到的区域用最小二乘（LS，least squares）椭圆拟合得到端面中心坐标。2015年，支健辉等人［22］首先进行色彩空间转换-自适应阈值分割的图像预处理，拟合中心点后，根据目标像素位置变换速度，对MeanShift算法的目标搜索窗宽进行自适应修正；同时定义了基于巴氏系数的阈值函数，处理锥套被遮挡的情况。2016年，秦勇等人［23］先给锥套上添加标记，用颜色通道相减方式进行提取，再通过最大类间方差法进行阈值分割检测；接着根据上一帧目标拟合最小椭圆尺寸和运动速度确定感兴趣区域（ROI，region of interest），在此区域内完成对锥套的跟踪定位。

2014年，黄斌等人［6］提出一种无须安装标记的、基于圆形特征的锥套检测与跟踪方法。直接由锥套形状特点确定ROI，用扫描法获取内部边缘点；同时，说明了一种多方位最近点区域搜索法，用以提取锥套所在的所有可能图像区域，并且采用检测前跟踪策略进行精匹配。2015 年，杨博文等人［7］采用快速霍夫梯度法（FHGM）进行锥套预检测，以初始中心设置ROI，再利用中心八向搜索法确定并提取轮廓，最后通过LS椭圆拟合精确定位，该方案有效解决了远距离情况下锥套和背景混杂的问题。2016年，高宇等人［24］提出了一种基于跟踪-学习-检测（TLD，tracking learning detection）的锥套跟踪算法。先通过金字塔（LK，Lucas-Kanade）光流法跟踪锥套，再利用半监督学习P-N 算法更新检测框，最后借助级联分类器返回含目标的图像块并融合跟踪框。2018年，李旺灵等人［25］针对Meanshift方法中跟踪窗口不变，导致跟踪失败的问题，使用锥套的位置信息作为输入以更新跟踪目标窗口；针对大幅快速运动导致跟踪失败的问题，采用扩大当前时刻视场、即增大窗口尺寸的改进措施；通过这种自适应核窗口的改进，该方案针对AAR 问题的实时性更好。同年，吴雷等人［26］对实际锥套定位精度进行了建模与定量研究，他们首先通过误差方程对相机焦距、对接距离等关键因素进行定量分析；然后基于自行设计的一套高精度三轴物理运动平台，进行试验和误差测量。

2021年，张怡等人［27］针对传统目标跟踪检测器和跟踪器独立，跟踪效果取决于检测结果，且检测跟踪关联策略复杂的问题，基于检测跟踪一体化的CenterTrack网络，改进提出了一种AAR 场景下的目标联合检测跟踪算法。分别从模型设计与网络优化两方面着手，采用膨胀卷积轻量化网络、深度可分离卷积减少参数与计算量、以及使用多种优化策略相结合的措施改善该网络计算量较大、训练耗时过长的问题。

2.2 受油接口定位

硬式空中加油是另一种常见的空中加油方式，对于AAR 问题，该方案的关键在于，加油机的加油硬杆末端需要对准受油机机身上表面的受油接口，以便伸长后成功插入并完成对接，如图5所示。这一目标就从感知层面提出了对接口精确定位的要求。不过，由于在接触位置附近可能存在两机的抖动、硬杆气动舵面的湍流运动、以及天气变化等因素，使得接口的位姿较难精确地确定。所以，如何定位接口，以及如何提高接口定位的精度，是多年以来学者们研究的重点。

图5 硬式受油接口示例

另外，因为硬式加油需要操作员移动硬杆与受油接口对接，而接口目标较小、且在目视情况下较不明显，所以其周围通常喷涂有与机身底色对比明显的辅助识别标识。美军F-22战斗机机身上的辅助识别标识是一个 “梯形跑道”状的黑白相间图案，而F-16战斗机机身上的辅助识别标识是一个“梯形‘王’字”状的白色条纹。

接口的视觉定位，就是根据输入的图像经过算法处理识别出接口区域，进一步跟踪其二维坐标，然后由此估计出接口相对于加油机的三维位置和三轴姿态。同时，由于接口周围的标识相当于显著特征，识别的目标部分也包含了该标识。

2008年，Doebbler等人提出了VisBRR 系统［2］，其采用了基于主动可变轮廓（ActiveDeformable Contour，也称visual snake）的图像处理技术，使用安装在加油机机尾指向后下方的单目摄像头拍摄受油机机头的受油接口，采用闭合的不相交的轮廓来分离图像中的目标区域；该区域喷涂有块状辅助标识，它的形状、大小、位置和颜色等参数均为已知的；利用这些先验信息即可实现对标志的跟踪，进而估计出相对位姿。2017年，文献［8］在Meanshift算法基础上提出了一种基于角匹配的内核带宽自适应算法。先使用后向跟踪法修正核窗口中心，再根据Harris算法检测角点，之后用小尺度方法对两帧之间的同一点进行匹配和回归分析，进而确定核窗口宽度的更新量。同年，吴佳驹等人［9］针对Meanshift算法仅仅利用目标区域H 分量颜色统计信息，缺乏空间信息而导致的跟踪失败问题，考虑到目标遮挡情况下，外层像素更易受背景影响，而靠近中心的更可靠，故加入了目标中心到当前点的距离作为权重分配因子，提出了改进方案。

2.3 加／受油机机体定位

不论是软式还是硬式，不论是单机还是多机，空中加油的过程中接近并保持稳定的步骤对飞行员而言相当于考验了近距离编队能力，如图6所示。对于AAR 问题，准确把握接近过程中对方飞机的位姿也是至关重要的，因为这不仅能给飞行员提供机动参考，还能减小高危的空中碰撞风险。所以，如何定位目标机体，以及如何提高目标机体定位的精度，是多年以来学者们研究的热点。

机体的视觉定位，就是根据输入图像经过算法处理识别出加／受油机机体区域，进一步跟踪其二维坐标，然后由此估计出加／受油机机体的相对三维位置和三轴姿态。然而，由于锥套和硬杆也在图像中占据了一部分可见域，对加油机体检测而言，需要消除锥套的影响；对受油机体检测而言，需要消除硬杆的影响。

2006年起，Campa团队针对加油机体的定位问题，陆续进行了一系列研究。他们采用的方案是在受油机头安装单目摄像头，指向斜上方拍摄加油机图像；同时在加油机尾部设置多个点状的光学标志物（其位置信息为先验已知的），以便提取特征并进行跟踪。Campa等人［3］首先分析了基于机器视觉进行AAR 过程中检测标记和位姿估计算法的性能。提出了一种鲁棒的算法，用于正确识别和分类光学标记；然后提供标记位置的排序列表，作为位姿估计算法的输入。另外，其详细研究了GLSDC 和正交迭代（LHM，Lu，Hager and Mjolsness）算法的性能，突出了计算量、鲁棒性和误差传播的差异。Fravolini等人［10，28］按照这种思路，基于3D 虚拟视景（VRT，virtual reality toolbox）生成的AAR机动图像流，分别在加油机尾安装人工标记与否的两种情况下，研究了特征提取-匹配-位姿估计过程的效果。此外，他们还提出了两种特征匹配算法：一种是仅分析两个匹配点集之间的距离得出匹配决策，另一种不仅考虑不同点集之间的距离，还考虑同一点集之间的接近性，后者可以用拓扑图建模。

2009年，Weaver［18］通过乔莱斯基分解状态协方差矩阵确定各自由度扰动的标准量，然后给各自由度一个标准扰动，利用VRT 的3D渲染生成加油机的预测图像；这些图像和实时测量图像进行比较，作为EKF 的量测误差反馈，最后融合INS数据得到相对位姿。他的方案中，单目红外摄像头安装在受油机机头位置并指向斜上方。相比于普通彩色图像，红外图像的复杂度更低，可以减少图像处理的计算量。另外，为了衡量预测和真实图像的差异，他考虑了三种基于灰度值的算子：图像强度差平方和、图像梯度和带有阈值的图像梯度。这种图像匹配方案，避免了检测跟踪中错误检测和错误关联的可能性。

2012年，郭军等人［29］假设已经得到特征点投影坐标，着眼于位姿估计算法实践。利用3D-3D 对极几何原理和N点透视技术进行相对定位导航。接着使用EKF 对视觉估计数据滤波，并与速度量测数据融合，以提高视觉导航算法的精度和鲁棒性。同年，王龙等人［11］针对AAR 过程位姿信息严重耦合和强非线性的问题，受卫星导航伪距概念启发，利用特征点的图像坐标信息对位置和姿态进行解耦，提出了一种迭代算法。

2016年起，Nykl团队针对受油机体的定位问题，陆续进行了一系列研究。他们采用的方案是在加油机尾安装双目摄像头，指向斜下方拍摄受油机图像。Parson［12］提出了一种立体视觉检测算法。首先根据双目图像利用半全局立体匹配算法（SGBM，semi-global block matching）算法计算出视差图；其次根据视差-深度矩阵转换关系，计算得到重投影点云，使视差图中的每个像素都映射到了左相机坐标系下的一个三维坐标点。Piekenbrock等人［13，30］提出了一种基于三维迭代最近点的（ICP，iterative closest point）的并行计算定位实现方案。假设预先已知受油机的参考点云模型，第一步的点云配准过程先进行k-d树搜索给出近似最近邻结果（ANN，approximate nearest neighbor），用其作为初值再执行Delaunay 三角剖分得到精确最近邻结果（NN，nearest neighbor）；第二步的点云变换（根据感知点云和参考点云数据计算旋转平移变换矩阵的过程）过程是：先找到各自的中心，再将两点云平移至原点，使用奇异值分解（SVD，singular value decomposition）处理它们的协方差矩阵，在此基础上确定旋转四元数，使用中心点确定平移矢量。

2019年，Anderson等人［31］主要研究了加油机尾伸出的硬杆对受油机图像遮挡的问题，在虚拟视景中量化分析了其遮挡范围，同时确定哪些像素不能用于双目立体视差成像，从而达到降噪并提高算法效率的目的。同年，Parson等人［32］提出了一种壳参考模型，其与真实模型的区别在于只用受油机的局部生成点云，他从完整的模型中手动去除了机腹部分以及被加油硬杆遮挡的机顶部分；这样，在进行配准时只需使用局部感知点云和局部参考点云进行匹配。Paulson等人［14］遵循类似思路，同样着眼于加油杆遮挡，采用了将遮挡区域转换为阴影体（Shadow Volume，计算机图形学技术）的策略，动态更新进近对接过程的点云参考模型。

2020年，Lee等人［33］在同样流程的基础上，引入了基于深度学习技术的卷积神经网络（CNN，convolutional neural network）对图像动态裁剪出ROI区域，再送入ICP 流程，即：捕获高分辨率双目立体图像-用CNN 动态裁剪-生成ROI区域视差图-计算出重投影点云-用ICP确定受油机位姿。仿真结果表明，相比于团队之前的试验，该方案的运行速度更快。

2.4 视觉定位算法总结

综合上述研究现状，将视觉AAR 问题可用的算法总结为图7。表1给出了将基于视觉的定位技术应用于AAR 问题的知名研究团队。

表1 视觉AAR 问题知名研究团队

图7 视觉AAR 问题可用的处理算法总结

从视觉传感器获得数据后，先后进行检测、跟踪及位姿估计的过程；其中，检测跟踪环节可以分为基于特征点、基于目标、图像匹配三种技术路线，位姿估计环节分为对极几何、PnP问题、点云问题三种求解思路。

1）基于特征点的技术路线适用于接口和机体检测，因为接口标识与机体对比度明显、而机体边缘与背景也有明确的分界，容易提取出特征点，接着进行匹配和筛选，从而定位2D点。

2）基于目标的技术路线适用于锥套检测，因为锥套相当于一个小目标，进而需要将其从背景中分割下来，然后提取出其轮廓作为特征，接着在此基础上计算椭圆参数，定位2D目标。

3）不论是2D点还是2D目标，对其连续的定位就构成了跟踪问题，光流、相关滤波、均值漂移都是可以采用的算法。

4）另外，关于目标检测和跟踪，新颖的深度学习、卷积神经网络技术也可以考虑，如让YOLO 网络检测锥套目标，然后使用GOTURN 网络进行跟踪，或者使用检测跟踪一体化的CenterTrack网络。

5）图像匹配技术路线适用于机体检测，基于灰度的分支利用图像整体的统计特征进行相似性度量，基于特征的分支提取人为设计的特征点、线，再计算描述子进行匹配。

6）对极几何适用于单目相机，其求解思路是根据对极约束方程组，利用需求数量的2D-2D 点对计算出基础或单应性矩阵，再结合相机内参得到本质矩阵，最后通过奇异值分解获取旋转矩阵和平移向量。

7）PnP（perspective-n-point）问题就是已知n个2D-3D点对（即一些三维点和它们在像平面的投影位置），计算相机或物体位姿的过程。其求解思路中，通常先用直接计算法得到位姿初值，然后构建最小二乘优化问题迭代求解。直接线性变换（DLT，direct liner transform）算法至少需要6对匹配点计算位姿矩阵，而EPnP算法则需要4对不共面的匹配点。

8）点云问题针对双目和RGB-D 相机（从输出数据来说，RGB-D相机相当于单目摄像头与小型激光雷达的组合），是基于数量庞大的3D-3D 点对计算位姿的过程。对双目而言，其求解思路遵循“视差-深度-配准-变换”，即由立体图像计算视差图，根据视差-深度关系得到图像点深度，进一步得到其三维坐标，预先完成感知点云和参考点云的配准，然后通过奇异值分解求出位姿变换值。

3 未来的研究方向

随着算法技术的不断发展，可用于AAR 问题的处理方法也越来越多，未来的研究将朝着更准确高效、更稳定、更安全的方向进步。

首先，精确的定位技术将成为未来研究的重点。近年来，深度学习算法在计算机视觉领域取得了显著的进展；因此，未来可以考虑将深度学习目标检测算法与传统的视觉定位算法结合，以提高定位的精确性，如文章［33-35］所做工作；同时，受益于神经网络模型端到端的特征，未来也可以考虑使用一体化模型，整合检测定位过程，以减少人为设计算法的复杂性和不稳定性，如文章［27，36-37］所做工作。不过需要说明的是，目前针对AAR 问题引入了深度学习算法的研究仅局限于软式锥套的定位跟踪，未来需要研究其在硬式受油接口以及加／受油机体方面的应用。

其次，鲁棒性将成为未来研究的另一个重点。由于AAR 过程存在多种不确定因素，如雾／霾、光照、背景干扰等，如何让算法主动适应天气变化，以及如何排除环境中其他可见目标对算法的影响，如文章［7-8，14，22］所做工作，是未来需要考虑的另一个方面。

最后，多源信息融合也是未来研究的重要方向。因为视觉系统仅提供了一个信源的数据，对AAR 问题高安全性的需求远未达标，所以联合使用视觉、雷达、激光等多种信息整合在一起，以实现更精确、更可靠的定位效果非常必要，如文章［9，18，29，32］所做工作。