基于沉浸式虚拟现实的协同训练及演示平台构建*

吴鹏飞，石章松，吴中红

（海军工程大学，武汉 430033）

0 引言

为应对新军事变革的挑战，以计算机为主体的数字化虚拟现实技术在军事领域得到广泛应用，并在作战指挥、军事训练和战法研究等方面取得了革命性成果，因其在指挥决策、训练演习和理论训练上特有的科学性、直观性、交互性、可控性和再现性等诸多优点，被视为信息时代提高作战效能的有效途径［1］。在此背景下基于沉浸式虚拟现实技术构建协同训练及演示平台，提供一个完整的虚拟训练环境，灵活全面地定制并实施各种策略，通过交互性、构想性、沉浸感等特点将被动的教学变为主动，实现单机及多人协同的训练，提高学员对装备的使用和管理水平、协调配合能力，以及对紧急状况的处置能力，平台操作要简单、性价比高，具有重要的现实意义［2］。

1 系统组成

沉浸式虚拟协同训练及演示平台系统组成框架设计包括以下部分：任务系统、广义映射网关和通用化视景仿真系统，其中广义映射网关包括映射网关、虚拟作战对象库、虚拟场景库和动作脚本库，通用化视景仿真系统包括作战任务模块和交互演示设备。在平台中操作者可以概览整个作战流程、漫游舰艇/潜艇平台和操控武器装备，操作者选择相应的任务系统，将其连接到映射网关中，映射网关进行数据转换后，驱动相应的场景、对象与动作，然后触发通用化视景仿真系统中对应的作战任务模块呈现在交互演示设备上，操作者与虚拟场景的交互信息再反馈给通用化视景仿真系统并得到实时的处理，其架构设计如图1所示。

1.1 任务系统

任务系统是与通用化视景仿真系统中的作战任务模块对应的任务系统，是包含具体任务参数的数据包，包括初始化参数、过程仿真模型和具体作战任务参数，还包括相应的任务界面，这些界面在操作者需要查看某些作战对象参数时可以弹出［3］。

1.2 广义映射网关

为了便于开发与后续应用，将映射网关与虚拟对象库、场景库和动作脚本库融合为一个模块，成为广义的映射网关，主要起到协议定义、解析和管理作战实体数据库的功能，其框架图如图2所示。

1.2.1 映射网关

映射网关包含数据驱动模块和Socket数据接收模块，能够解压不同的任务系统。将某个任务系统连接到映射网关，映射网关对其数据包进行数据转换，发送索引指令到虚拟对象库、场景库和动作脚本库，驱动相应的对象、场景和动作，然后触发通用化视景仿真系统中相应的作战任务模块［4］。

1.2.2 虚拟场景库

虚拟场景库包括系统、战位和装备操作3个层面的场景，系统层面的场景要包括整个海战场环境，比如海面、涌浪、蓝天、风和雨等自然环境要素，舰艇、飞机和导弹等作战单元外观；战位层面的场景包括各个作战单元内部的漫游场景，比如在舰艇的舱室内漫游；装备操作层面的场景包括各个装备的外观和操控场景，比如装备的控制台，虚拟场景设计了可以被按下的按钮、开关电门等虚拟动作的各个场景。

1.2.3 虚拟对象库

虚拟对象库根据其应用的范围涵盖几乎所有的海战对象，包括舰艇、潜艇和飞机，还有导弹、鱼雷、舰炮等武器系统。对象库中的对象可以被映射网关驱动，在通用化视景仿真系统中与操作者进行交互。

1.2.4 动作脚本库

动作脚本库包含所有虚拟作战对象的动作。比如导弹的发射、飞行、转弯和爆炸；潜艇的航行、转弯、下潜和上浮；也包括装备操作的动作，比如某装备的电门、开关等被打开或关闭等。

1.3 通用化视景仿真系统

通用化视景仿真系统包含作战任务模块和交互演示设备两个大的方面，其系统框架图如图3所示。

1.3.1 作战任务模块

作战任务模块实质就是一个个作战剧情，当数据网关转换任务系统中的数据后会触发相应的剧情，对应的虚拟作战对象在对应的虚拟场景中按照剧情的推演显示在交互及演示设备上，与此同时，操作者在平台中的动作会被交互设备反馈到作战任务模块中，作战任务模块按照真实情景处理反馈信息，然后调整剧情做出对应的动作映射到交互及演示设备上，实现与沉浸式虚拟协同训练及演示平台实时交互。

1.3.2 交互演示设备

操作者的所有行为都要借助智能穿戴设备与虚拟场景进行互动，智能穿戴设备包括投影头盔、数据手套、智能耳机和投影屏幕等，操作者的感受均是实时同步的，可以真实体验与参与平台中的各项任务，有很好的沉浸感、交互性和构想性。

2 系统设计

2.1 系统流程设计

任务系统包含任务参数，主要功能为生成任务剧情，进行数据发送；映射网关数据驱动模块进行数据接收，并将接收到的数据转换成引擎所能识别的数据，并以对应的数据驱动引擎中对应的模型库；视景仿真系统模块主要作用为依托数据驱动模块所传递的数据，进行场景的渲染和表现［5］。

2.2 3D模型库的构建

模型库的构建相对于系统而言是作为一个独立模块进行开发和管理，主要采用3D-Max进行模型的创建［6］，基本设计概念如图5。

3D模型库主要是将海战场场景、作战对象和动作脚本建成三维模型，赋予材质并烘焙，组建模型库。模型创建以后利用收集的素材，对模型赋予材质、贴图，然后根据展示需要，对模型进行整体或者局部的烘焙，模型库的构建流程如图6所示。

系统优化贯穿在整个模型创建过程，需要若干次优化，包括：模型结构优化、纹理贴图优化、模型优化、场景优化［7］。通过这些优化技术才可以减小模型占据内存空间的容量和系统资源，在模型不失真的前提下，使虚拟环境运行中更加流畅。

2.3 接口设计

系统接口设计如图8所示。

2.4 人机交互流程设计

人机交互流程是基于多人协同操作的设计，通过系统分配不同的环境岗位，每个岗位配置一台普通PC机，所有PC机和系统服务器处于同一个局域网内，可以进行正常的通讯，通过普通PC机器输入、输出设备和智能穿戴设备，以有效的方式实现人与计算机的对话［8］。

2.5 人机交互软件开发要点分析

人机交互软件开发就以下两个要点进行分析：

1）利用VR眼镜观察的位置进行视线选择。操作者佩带VR眼镜后，视野中心会产生一个控制点，控制点会随着操作者移动，如果使用者看一个物体一段时间后，则有相应的回馈产生［9］。

2）虚拟场景观看。目前一般借助陀螺仪进行虚拟场景的视野观看，虚拟环境中的摄像机会与操作者产生随动，其中关键的要点是控制抖动，由于操作者在朝向一个方向静止观察时会产生抖动，微小的位移被陀螺仪获取后会对相机产生很多的抖动，但我们可以通过一系列算法显著降低抖动性。

3 沉浸式虚拟协同训练及演示平台演示

目前平台实现了若干个任务系统，就其中对岸火力打击任务分别在系统层面、战位层面和装备层面进行演示。

3.1 系统层面

在对岸火力打击任务系统层面，可以观察对岸火力打击任务整个流程：

3.2 战位层面

在任务战位层面，操作者可以在舰艇上自主漫游，观察舰艇战位配置和工作生活环境，可以进入甲板、舰桥和各个舱室，并能观察对岸火力打击的作战情况。

3.3 装备操作层面

在任务装备操作层面，操作者可以操控舰炮和无人机等武器系统，并能够实时观察到无人机侦察画面和舰炮的打击效果。

4 结论

在协同训练及培训方面，沉浸式虚拟协同训练及演示平台有着其他培训形式和软件不能比拟的优势，它能够给操作者提供高度自由的操作性，可以模拟误操作的后果，但不会造成人员的伤害和武器装备的损坏；高度仿真的场景设计提供了深入的沉浸感，使操作者身临其境［10］；它能够在体现操作者想法的同时不打断他们的灵感，降低了操作负荷。因此，基于虚拟现实技术构建虚拟协同训练及演示平台是适应新军事变革需要，提高我军信息化作战能力的重要举措，它提供了一种新的协同训练和培训形式，将成为协同训练效能的倍增器。

参考文献：

［l］庄春华，王普.虚拟现实技术及其应用［M］.北京：电子工业出版社，2010.

［2］赵沁平，周彬，李甲，等.虚拟现实技术研究进展［J］.科技导报，2016，34（14）：71-74.

［3］张伟，温茂禄，李轲.虚拟现实技术在军校教学及训练中的应用前景探悉［J］.高校讲坛，2010，33：203.

［4］杨姝.深度沉浸式虚拟现实舰船体验［J］.舰船科学技术，2016，38（1A）：34-36.

［5］刘国柱.直觉交互界面与虚拟现实［J］.武汉理工大学学报（社会科学版），2014，27（1）：132-136.

［6］姚鹏飞，陈正鸣，童晶，等.基于Unity3D的绞吸式挖泥船虚 拟 仿 真 系 统 ［J］. 系 统 仿 真 学 报 ，2016，28（9）：2069-2075.

［7］王宇琛，黄盖先，艾鸿.基于虚拟现实技术的3D智慧校园设计与实现［J］.智能计算机与应用，2015，5（2）：89-92.

［8］方向明，方明，刘天元，等.基于虚拟现实技术的机器人仿真设计研究［J］.长春理工大学学报（自然科学版），2016，39（1）：61-65.

［9］孟美.虚拟现实人机交互开发要点分析［J］.信息系统工程，2016，29（8）：20-21.

［10］胡小强.虚拟现实技术基础与应用［M］.北京：北京邮电大学出版社，2009.