一种直升机合成视景辅助导航技术

齐小谦，周 兴，王炳翮，杨 乐

(中国电子科技集团公司第五十四研究所，河北 石家庄 050081)

0 引言

直升机飞行员必须在低空高速飞行，以减少地面武装人员瞄准的时间，而且飞行航路必须经常改变，防止自己的活动规律被摸透。直升机利用地形隐蔽飞行、贴地飞行的特点使得跟踪监控难、险情处置时间短，客观上增加了直升机撞地的风险。遇到突发情况时，如迷航、低能见度和风切变等，主要依靠飞行员或领航员的目视观察和经验来避免危险，情景感知能力很差。为了提高直升机低空活动安全性，支持在恶劣天气条件、威胁区域进行地形跟踪飞行，研究为飞行员连续、精确提供可视化辅助导航信息的技术非常重要[1]。

合成视景是信息融合中可视信息部分的融合，它把2个或多个具有互补特征的图像或视景融合成一幅新画面，从而使合成的视景具有更高的可信度、更好的清晰度和可识别性[2]。针对直升机地形跟踪飞行和在恶劣视觉环境下进行合成视景辅助导航需求，利用高分数据、机载航电数据进行多源视景合成，为飞行员生成直升机周边视场范围的地形、障碍物和相关环境特征(包括建筑物、跑道等)，为规避低空地表威胁提供精细可视化手段，及早发现和规避可能的危险，能够提高复杂地形和恶劣环境下的飞行训练能力。

本文从机载辅助导航应用的视角，对合成视景的内涵与概念进行深入分析，提出一种基于高分数据的合成视景辅助导航技术的研究方法[3]。以内置高性能三维地理信息系统为基础平台，将机载多源前视图像进行深度融合，提高不同数据源之间互补、相关的目标精度和导航定位可靠性，提高虚拟场景视觉精度、增强场景真实感。该项研究在某型直升机综显设备上进行了验证，给出了成果形态和运行场景，满足直升机在恶劣视觉条件下辅助导航的需求。

1 合成视景辅助导航基本原理

合成视景辅助导航信息在直升机航电系统内部产生，使直升机在不同区域、不同气象条件下持续获得高精度、高可靠性的辅助导航信息，工作原理包括：

① 以载机的位置和姿态为基准，并以存储的地形、跑道和障碍物数据库为基础，进行数据信息和图像融合处理。

② 根据载机姿态、高度、速度和位置信息，以及传感器图像信息和综显指令，结合高分三维地形数据库信息，对飞行航路、周围环境和障碍物告警进行可视化描绘[4]，生成虚拟的舱外环境三维场景。

③ 基于飞行员视角，综合计算机头指向、航向和飞行姿态等参数，生成合成视景辅助导航立体范围内的三维虚拟场景。

④ 对机舱前方地形概况及其与飞行航向/航迹的空间关系进行形象化展现，对前方地形、障碍物与当前飞行高度之间相对关系进行可视化标示[5]，为飞行员在终端区的飞行操作提供辅助参考。

⑤ 结合应飞航路信息，将飞行员观察所需主飞行显示信息(如姿态、空速、高度和应飞航点等)与合成视景图像一体化显示，保证飞行数据/状态可视化指示与直升机实飞状态一致[6]，将合成视景视频信息在机载综合显示系统进行叠加显示。

2 总体设计

直升机合成视景辅助导航技术的设计主要包括地面支撑环境和机载处理机，如图1所示。其中，地面支撑环境主要包括地面服务器和三维可视化管理软件；机载处理部分主要包括机载三维场景快速重建、视频图像融合、障碍目标检测与告警、合成视景辅助导航和综合信息显示等功能，组成机载处理机。

图1 系统功能组成

直升机合成视景辅助导航实现流程主要分为三维环境加载、导航视场生成、障碍目标识别、航路自动修正、飞行数据叠加和合成视景输出。

① 在地面支撑环境构建完成飞行区域的三维地理信息环境。基于高分遥感图像(含可见光产品)、DEM数据，经过对地形地物数据、三维模型数据和气象水文数据的可视化表达，预选构建大视场、高精度的低空地理环境[7]。机载处理机内置高性能三维地理信息平台，同步加载地面提供的飞行航线库、空域资源库、关键地景地物以及区域分类、区域名称、底层高度深度、作战性质和区域形状等数据，为直升机低空掠地飞行提供关键点、途经点、障碍点、重点区域等指示信息。

② 机载处理机加载已构建的三维地理信息环境，基于本次飞行航路要求，提取航线区域所需范围内的高分地形、影像产品以及关键点、目标信息等数据，经过图像加载、三维渲染，预先构建飞行航线覆盖区域的三维场景。

③ 在接收机载航电数据、图像等信息后，解析组合导航、飞行参数和飞行姿态等信息，依托合成视景处理计算机和数据存储设备，基于存储设备的高分、二三维地图数据，机载气压、高度、导航等数据以及红外、雷达等传感器实时数据，进行地理环境、气象环境、空间和物理特性等分析处理，利用载机组合导航的飞行平台位置、姿态和传感器状态，采用几何模型计算飞行员的导航视场[8]，生成与直升机飞行员视角相匹配的粗粒度三维视景。

④ 以直升机可见光、红外传感器提供的前方外景图像、视频为数据源，基于已形成的目标检测样本库，利用深度学习方法完成准确识别障碍物与威胁目标，为飞行员提供准确及时的目标物告警[9]。

⑤ 结合雷达高度表、气压高度表和惯导等机载设备的性能，结合高精度地形信息进行地形辅助定位。基于已识别最新的目标威胁，对当前直升机飞行航路中近距离范围内的航线进行自动修正[10]。基于高精度、高可靠性的地形相关自主导航算法，在卫星导航失效情况下进行位置校正。

⑥ 在外部环境的虚拟视景图像基础上，叠加显示飞行仪表信息，将外部环境和飞行参数描述在一幅图上，结合直升机航电融合数据提供的位置和姿态等信息进行动态调整，为飞行员提供外部环境和飞行参数的可视化描述[11]。

⑦ 通过机载视频总线实现合成视景视频信息传输，并在综合显示系统(或多功能显示器)进行输出显示。

技术总体处理流程如图2所示。

图2 总体处理流程

3 关键技术研究

实现高精度、高时效性的合成视景辅助导航，使直升机在不同区域、不同气象条件下持续获得高精度、高可靠性且抗干扰性强的辅助导航信息，为构建全天候、全域自主导航、抗电磁干扰能力强的组合导航系统奠定技术基础，重点需突破三维场景加速绘制、异源图像精确配准、多源障碍物目标检测识别和复杂地形匹配导航等关键技术。

3.1 高动态视点三维场景的加速绘制

针对复杂视觉条件下合成视景辅助导航对场景更新效率要求极高的使用需求，场景绘制速度直接影响视景导航精度，并干扰了飞行员判断，影响飞行安全。为保证视景导航场景绘制的实时性，研究高动态视点三维场景加速绘制技术[12]。根据现代GPU高效的并行模式，将大规模地形块进行数据分块，在CPU中进行必要的预处理，通过多级缓冲机制加载数据块和视域裁剪技术，各地形块在GPU流处理器中并行简化，批量渲染，能够有效提高场景渲染的帧率和减轻CPU工作负载。进一步提高绘制效率、降低场景更新滞后、提高视景导航精度。

3.2 兼顾实时性和精确性的异源图像配准

红外图像和高分可见光图像的配准属于异源图像配准问题，红外图像分辨率差、对比度低，难以从中提取点特征，使用直线段检测(LSD)算法提取图像线特征[13]，并使用结合Voronoi图的谱图匹配算法完成精确特征匹配，可以很好地解决异源图像由于传感器差异造成的共同特征难以提取和匹配的问题。为了进一步提高匹配精度，使用非线性畸变差模型和基于Retinex理论的红外图像增强技术对镜头畸变和光照不均因素进行预处理，滤除其造成的几何校正误差和图像失真问题。针对实时性要求，可以按照预先规定的航线在高分影像图中裁取航线周边区域，预先提取这些区域的相关特征并建立索引[14]。数据处理过程中，只需实时提取视频数据中的特征值，根据事先建立的索引，与高分影像中预先提取的特征值进行匹配，可以有效缩短处理时间，运用几何配准方法，粗略定位待匹配数据的大概位置，后续特征匹配时只在粗略定位的范围进行特征计算，有效减少计算量，进一步缩短处理时间[15]。

3.3 基于深度学习的多源障碍物目标检测识别

直升机多源影像目标检测识别、视频数据目标实时检测是一个关键问题，影响着目标物识别与理解的整个过程。直升机飞行环境中存在大量静态线性目标与动态目标，如高压电线塔、电线杆、烟囱、无人机、空飘气球和飞艇等。在复杂背景下，由于目标局部信息缺失、图像中噪音污染、场景复杂多样性和目标自身的复杂变化等问题，使得静态与动态目标识别比较难[16]。采用计算量小、计算速度快且准确性良好的网络模型，在检测阶段直接把整幅图像输入到模型中进行预测，只进行一次卷积神经网络(CNN)，通过端对端的方式直接预测不同目标的类别和位置。针对目标背景复杂多变的情况，在进行数据样本集训练前，采用通用的ImageNet数据集、SUN数据集以及Places数据集进行预训练，从而获得更加稳定良好的泛化性能[17]；针对图像序列尺度差异大的问题，在目标检测识别模型中采用特征金字塔架构进行多尺度检测，实现实时稳定的障碍物与威胁目标的检测识别与告警，对重点目标给予凸显标识。

3.4 基于边缘化粒子滤波的复杂地形匹配导航

将惯性导航(INS)三维数字地图信息与地形测量装置所提供数据进行信息融合，获取导航参数的最佳修正信息。建立基于粒子滤波的地形匹配算法地形辅助导航解算模型，由气压高度表测得海拔高度，它与雷达高度表测得的离地高度之差即为地形高程的测量值，将其作为系统的量测。由INS指示的位置从高分数字高程地图得到预测的地形高程，由此建立非线性的量测方程。结合INS的误差方程(使用间接法进行状态估计)，获得INS误差的最佳估计值。最后利用该估计值对INS的导航参数进行校正，从而使系统达到最佳导航状态[18]，提高机载导航的精度和稳定性。

4 合成视景辅助导航技术应用

依托实验室半实装条件，以某型直升机综显设备为演示平台，以高分地理信息库、侦察视频图像为数据源，验证技术方案的可行性。航电系统提供的载机姿态、高度、速度、位置信息以及机载传感器图像均采用历史采集数据进行模拟，结合高分地形数据库信息进行数据信息和图像融合处理，生成持续视景导航图像并在综合显示系统(或多功能显示器)进行输出显示[19]，演示验证系统交联关系如图3所示。

图3 演示验证系统交联关系

经过高效处理，虚拟场景重建距离范围≥10 km，视景合成延时≤3 s，根据飞行阶段和飞行状态对视景显示进行一致性动态匹配调整，合成视景辅助导航综合显示界面如图4所示。

图4 综合显示界面

以上应用表明，本文提出的技术方法实现了高分影像与机载视频图像配准处理、实时重建实景数据、地形和障碍告警，能够将仪表数据、航线、空域和指令等元素与视频图像合成显示，为飞行员在驾驶舱获取超视距前方地形剖面和超视距碰撞警示提供了有效手段，达到可靠支持直升机地形跟踪飞行和在恶劣视觉环境起飞着陆的应用效果。

5 结束语

合成视景辅助导航作为一种新技术，引起了越来越多的关注，可以与多项热门技术如三维场景重建、图像精确融合、地形辅助导航等相结合，能够为直升机低空飞行训练提供安全保障，满足多样化的应用场景。

通过深化研究直升机合成视景辅助导航的基本原理与使用场景，介绍了一体化高分数据与直升机多源航电数据深度融合的设计思路，规划了障碍自动分类和告警提示以及飞行员视角下的三维场景快速重建、地形辅助导航、航路自动修正等重要功能，系统性设计了技术架构、处理流程。给出了演示系统的架构以及运行画面，全方位地展示了合成视景辅助导航技术的特点。

研究成果表明，在应用高分地理信息库基础上，借助先进的图像融合以及三维重建等技术，利用机载导航数据和飞行计划航线，能够提供高精度、低时延的三维场景图像以及地形和障碍告警。通过演示试验，证明了本文的设计方法合理可行且具有时效性、精确性和稳定性[20]。后续仍需深入研究相关算法，综合接入并融合处理更多类型视频图像数据，能够进一步提高图像融合精度、降低处理时延，推广到多种应用场景，例如无人车合成视景辅助导航，为新型组合导航系统研究奠定基础。