虚拟现实监控软件的设计

尚丽娜 张国旺 张芹芹

中国飞行试验研究院

虚拟现实监控软件的设计

尚丽娜 张国旺 张芹芹

中国飞行试验研究院

利用虚拟现实技术，以三维立体图形方式形象地显示飞机的三维姿态及内部测试设备的健康状态和内部座舱状态，提高了实时监控系统的可视性。目前，该软件已在型号试飞中得到验证，实践证明软件运行稳定，视景界面逼真，能够准确、实时地输出飞行参数，系统操纵性、通用性和可扩展性良好。

由于某大型运输机将要承担着运输重要战略物资和人员的任务，因此针对飞机安全性的验证试飞尤其重要，飞行试验安全监控也必不可少。对于大型运输机要进行测试验证的参数有10000个左右，怎样让这些参数更好地服务于试飞，如何以形象、生动、直观的形式将试飞数据呈现在实时监控人员的眼前，让监控人员在紧张的工作环境中，通过虚拟现实技术开发的实时监控画面给以视觉和感官上形成巨大的冲击，能够吸引监控人员将更多的目光和注意力集中到实时监控画面上。因此，在飞行试验中开展虚拟现实技术的实时监控的研究是必须的。

目前机载测试设备健康状态实时监控处于空白，所以开展这方面的工作很有必要。测试设备在飞行过程中，如果出现故障能够及时发现，在飞机落地前就可以着手进行排故工具、技术力量和相关备件的调度和准备，能够大大缩短故障定位和排除时间，对提高大型飞机的试飞效率提供重要技术保障。

虚拟座舱实时监控技术在某型机飞行试验中起到至关重要的作用，目前使用的实时监控画面主要是简单的单参数驱动的平面图形，与座舱中的真实仪表差别很大，不能形象生动、直观的显示真实的座舱布局，不能完整、精细的表现座舱中所有显示屏中测试参数的变化情况，采用虚拟现实技术，开发多种适合于大型飞机飞行试验的虚拟座舱监控画面，给指挥员“沉浸”于等同真实驾驶舱的感受和体验。

系统设计

虚拟现实（ Virtual Reality，简称VR） 是近年来出现的高新技术，又称虚拟仿真。虚拟现实是利用电脑模拟产生一个3 维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，不仅可以及时、没有限制地观察三度空间内的事物，还可以通过对目标进行操纵，使用户产生一种身临其境的感觉。

为了达到虚拟现实的实际效果，满足软件的功能使用要求，系统设计时要考虑软件升级、扩展的需求，因此，虚拟现实监控软件采用模块化设计思想，将各个功能模块独立起来，并实现有机地结合，利于各功能模块的复用、扩展与维护。

总体结构设计

根据系统总体的要求，根据功能性的划分，把系统分为基础层和应用层，基础层包括任务管理，应用层包括可视化监控软件包（包括任务编辑软件、二三维可视化监控软件、机载测试系统监控软件、虚拟座舱监控软件和数据记录回放软件）。

系统总体结构示意图如图1所示。

接口设计与软件流程图

虚拟现实监控软件的输入接口主要有任务编辑、任务管理、数据记录等部分模块。

虚拟现实监控软件的输出接口主要有二三维可视化监控软件、记载测试设备状态监控模块、虚拟座舱监控模块等。

任务管理是整个系统的任务信息数据管理中心，主要实现任务的保存功能，各个应用模块根据使用任务配置信息方式，通过相同的接口方式实现任务配置信息的上传和下载。

任务编辑软件是用于配置任务相关的信息的程序，主要包括任务文件的保存和读取、二三维显示的任务信息设置、任务的上传和下载。

二三维可视化监控软件是用于飞机起飞、降落和空中飞行等关键试飞科目试验任务保障程序。包括运行管理模块、数据接收处理模块、三维模拟显示模块、二维电子地图显示、安全监控模块。软件可以通过配置进行三维和二维的同屏显示或者拆分独立显示。

数据记录软件采用系统服务程序的方式运行，提供数据记录操作。

根据以上描述，实时监控软件的总体数据流向图如图2所示。

图1　监控显示软件结构示意图

虚拟现实监控软件整个处理功能模块整体性强、功能明确、运行效率较高。根据软件功能要求，软件流程为系统初始化设置、模型加载、启动定时器、数据解算、画面输出等。其软件流程如图3所示。

图2　软件数据流向示意图

图3　软件流程图

主要模块设计

虚拟现实实时监控软件的主要模块是测试设备健康状态监控软件和虚拟座舱监控软件两部分，下面具体就这两部分的软件设计进行介绍。

测试设备健康状态监控软件

机载测试系统要表现整个飞机内部的机载测试设备的工作状态、各个设备的连接关系、通讯关系和板卡的数据信息。同时整个配置流程对灵活性要求比较高，要求能够使用工具进行飞机和设备的控制。目前为止从来没有尝试过的新思路，但对测试设备的状态、试飞任务的执行起着至关重要的作用，大大提高测试设备工作、排故效率。

（1）采用单独的配置环境

针对需求的可变性要求，设计了单独的设备配置管理工具，通过管理工具，用户能够根据实际工程的需要，对各个设备进行位置的摆放、参数的连接、连接关系的定义，采用了所见即所得的可视化设计方法，让用户能够比较轻松的配置完成设备信息，完成监控任务的前期资源的准备。

（2）编译器优化

在系统设计时，要能够编辑选中设备和移动位置，容易进行设备控制，能够比较方便的进行编辑。编辑器需要使用外部的配置文件，以便进行参数连接，明确的分工处理，简化了操作的复杂性。

虚拟座舱监控软件

虚拟座舱仿真模块调用三维场景、二维仪表模型和相应的字符/符号与图形，生成并驱动三维场景和二维虚拟仪表画面，并在显示器上输出。监控人员对所看到的信息进行反馈，从而构成人在监控回路中的实时监控。

座舱虚拟显示技术就是在实时监控系统中建立一个虚拟的座舱显示软件，通过测试数据对虚拟座舱中的屏显进行驱动，还原飞机的真实座舱显示情况，可以把所有仪表和部分重要数据集中到几个监控画面上，场景实时驱动模块使用OpenGL来进行座舱、仪表模型的显示和驱动，使用双缓存技术进行画面的显示，避免了画面闪烁。其中几何顶点数据包括模型的顶点集、线集、多边形集，这些数据经过流程图的上部，包括运算器、逐个顶点操作等；图像数据包括像素集、影像集、位图集等，图像像素数据的处理方式与几何顶点数据的处理方式是不同的，但它们都经过光栅化、逐个片元处理直至把最后的光栅数据写入帧缓冲器。在OpenGL中的所有数据包括几何顶点数据和像素数据都可以被存储在显示列表中或者立即可以得到处理。

OpenGL要求把所有的几何图形单元都用顶点来描述，这样运算器和逐个顶点计算操作都可以针对每个顶点进行计算和操作，然后进行光栅化形成图形碎片；对于像素数据，像素操作结果被存储在纹理组装用的内存中，再像几何顶点操作一样光栅化形成图形片元。

整个流程操作的最后，图形片元都要进行一系列的逐个片元操作，这样最后的像素值送入帧缓冲器实现图形的显示。OpenGL基本工作流程图如图4所示。

界面设计

根据软件各功能模块，遵循面向用户的软件界面设计风格，从软件易操作性出发，进行了整体布局设计。虚拟现实实时监控软件的主界面如下图5，6所示。

关键技术及解决措施

数据平滑技术与局部驱动技术

虚拟化实时监控技术研究中，首次研究处理高效而稳定的数据平滑算法，首次实现了三维模型局部驱动技术在试飞实时监控画面中的应用。

三维实体建模技术，不仅描述了实体全部的几何信息，而且定义了所有的点、面、体的拓扑信息，可对实体信息进行全面完整的描述，能够实现消隐、剖切、有限元分析、数控加工、外形计算等各种处理和操作。模型建好之后主要使用真实的试飞数据驱动它，能够逼真地展现飞机空中姿态，如机翼变形的动态显示、起落架动态监视等。

如果使用机载记录数据进行回放，飞机姿态会非常平稳，局部活动部件的动作也非常流畅，但是遥测数据往往因为复杂的电磁环境、飞行动作对天线的影响、飞行距离、高度、地理环境等因素的影响，遥测信号会受到频繁干扰，当遥测数据中跳点出现时，软件要能判断出是跳点还是出现了异常的真实数据，因为造成信号干扰的原因很多，所以判断起来非常困难。

图4　OpenGL基本工作流程图

图5　机载测试设备状态实时监控界面

图6　虚拟座舱软件主界面

因此三维模型建好之后，还必须根据飞机各部位的动作特点和规律进行数学建模，采用微分方程、代数方程、逻辑关系式等表达形式来抽象出其运动规律，还要考虑到信号受到干扰时的要进行严密的平滑处理，平滑处理算法是非常复杂，因为异常情况的种类非常多，相关因素复杂。针对以上的这些特点，可以对飞机的各重要部位进行单独的三维实体信息描述，配合数学模型和实时飞行数据的驱动，从而真实展现其飞行姿态，包括起落架收放信息。

在设计和实现过程中为了达到理想效果，对部分参数数据在三维模型上的体现进行了适当的修改，因为部分部件的数值很小在模型上即时变化了不仔细看也发现不了，因此将显示幅度相应放大，但界面上增加了数据显示功能，指挥员和试飞工程师看动作的同时能看到实际参数数值，不会因为动作幅度的微小放大而对他们造成错觉，而且提高了三维模型可动部件的易于发现期变化的监控效果。

数据接入技术

系统开始的数据接入方式是针对已有的几套系统的进行设计的，在系统开发过程中，需要接入单独的结构数据包的数据，与已有的系统存在较大的分歧，因此设计者通过分析，以最小的程序改动量的方式进行处理，在保证系统稳定性的基础上，完成了新的数据接入，从而保证了系统软件的正确实施，有效的解决外来数据不一致的问题。

增加系统引入模块之后的虚拟现实实时监控软件，首先由用户来判断当前选择使用的是哪种实时监控系统，如果用户选择Magali实时监控系统，则调用通信协议参数初始化函数，对通信协议相关参数如：服务器IP、通信协议类型、端口号等信息；如果用户选择的是开放式遥测数据处理系统，则进入创建TCP套接字，使用TCP协议将监控软件所需参数名数组发送给视图驱动接口；将需要监控的参数名组包后，发送给通信函数，通信函数从服务器接收到的所测试参数数组中挑出所需监控参数，按照监控软件所需参数名顺序，将服务器发送的数据进行重新挑选后放到客户端数据缓存中，通过接口控制函数将重新组包后的参数，用UDP协议发送给实时监控软件。

系统特点

不同于以往的飞机实时监控软件的设计，虚拟现实实时监控系统具有以下的特点。

（1）采用了镂空方式表现飞机内部测试系统

编写了针对系统的灵活可配置的图形编辑界面，对系统的实现，提供了有效的可视化编辑工具。采用分步加载的方式，提高的画面的连续显示，让显示的板卡信息正确显示。

（2）高度灵活的试验任务管理框架

编写了针对性比较强的独立任务配置程序，以可配置方式实现参试装备数据的编辑功能。试验目标的可配置，使新增目标能够方便的导入到系统中使用。

（3）预定航迹的规划

提供外部设置接口，让用户根据实际情况设置航迹。在航迹的关键点位置，能够显示出相关的关键数据信息，同时能够根据设置，播放出提示声音。

（4）分层多级显示场景

实现了快速加载三维场景，采用优化算法，保证地景的连续性，大幅运动的情况下没有撕裂现象出现。采用分级网格技术，实现了多分辨率的地景图片的融合。

结束语

虚拟现实实时监控系统能够形象直观地反映飞机真实飞行状况，软件达到了形象、生动、逼真的理想效果，在某大型运输机中已经得到应用，效果显著，反应良好。由于系统采取模块化设计，进行模型库升级之后，可以应用于大客飞机试飞数据遥测监控任务中，对以后更多的大型飞机测试系统健康状态监控和虚拟座舱监控打下坚实的技术基础。

10.3969/j.issn.1001-8972.2015.06.033