浅谈基于虚拟现实体感交互技术的军事模拟训练应用

2018-12-08石慧煊周耘芃

网络安全技术与应用 2018年12期

关键词：模拟训练体感虚拟现实

◆石慧煊周耘芃

◆石慧煊周耘芃

（中国电子科技集团公司第二十八研究所共性产品中心江苏 210007）

本文研究了虚拟现实体感交互技术现状，分析市场主流体感设备产品特性及技术特点；探讨了虚拟现实体感交互技术在军事模拟训练中的应用，主要涉及训练仿真、数据融合、以及数据评估分析等方面，该研究为发展基于虚拟现实体感交互技术的军事模拟训练提供参考。

虚拟现实；体感交互；军事模拟训练

0 引言

体感交互设备是虚拟现实技术的重要组成部分，为虚拟现实在各应用领域的发展提供了技术支撑。从红外成像动作捕捉设备在影视娱乐领域带来的虚拟角色构建技术革命，到头戴式显示设备掀起的虚拟现实热潮，体感交互设备始终扮演着推动虚拟现实技术不断革新的角色。

虚拟现实军事模拟训练系统是以虚拟现实技术为核心的新一代模拟训练系统，在继承传统计算机模拟训练系统的基础上，强调受训人员以第一人称高度沉浸在模拟环境中。在虚拟现实军事模拟训练中，模拟训练系统的仿真度与沉浸感是影响系统训练效果的重要因素。仅通过单一的体感设备提供单一视觉、听觉、或触觉感知反馈难以满足虚拟现实军事模拟训练对虚拟场景仿真度与沉浸感的要求，必须尝试针对训练科目，将多种体感设备整合，为用户提供综合的沉浸式感知反馈。通过多种感知反馈的综合作用，进一步提升虚拟现实军事模拟训练的沉浸感，从而提升模拟训练的效果。

本论文结合中国电子科技集团公司第二十八研究所多年以来在军工技术及虚拟现实技术领域的研究成果，阐述了体感交互设备的技术现状，研究了目前市场主流体感交互设备的产品特性、技术特点、以及在虚拟现实军事模拟训练中的应用，提出了通过整合多种体感交互设备实现具有更高训练效果和沉浸感的虚拟现实模拟训练构想。

1 体感交互设备概况

1.1 虚拟现实头盔

虚拟现实头盔以全封闭头盔的形式，利用陀螺仪等传感器采集用户头部姿态数据，采用实时计算的虚拟视觉信号替代真实世界影像，欺骗用户的视觉感知系统，使用户产生身处虚拟环境的错觉[1]。

1.2 空间定位与动作捕捉

常用空间定位技术大致可分为七类：红外光学定位、蓝牙定位、UWB定位、WiFi定位、电磁定位、传统激光定位、及大空间激光定位，七类定位技术对比如表1所示：

表1 七种空间定位技术对比

定位精度定位范围问题设备费用红外光学毫米级支持大空间遮挡问题昂贵蓝牙米级小范围信号干扰中等 UWB厘米级小范围超声波衰减中等 WiFi米级小范围信号干扰低电磁米级小范围延迟高、信号干扰中等传统激光毫米级小范围遮挡问题低大空间激光毫米级支持大空间无低

（1）红外光学定位

红外光学动作捕捉系统是基于具有高度反光特性的标记点反射特定波长的红外光的原理，反射光被数个安装在不同位置的高频红外摄像机捕捉成像，再经过图像处理算法对各个摄像机生成的二维图像进行三维重建，计算出各个标记点在三维空间中的位置。此种动作捕捉技术的特点是定位精度高，系统延时低。

（2）蓝牙定位

蓝牙空间定位技术主要利用信号强度信息RSSI实现室内高精度定位。基于RSSI指纹标定的定位方法定位精度不佳，且需要耗费大量人力采集标定数据，限制了该方法的推广应用。其缺点为定位精度不佳，对设备要求高，耗费大量人力时间，使用繁琐。

（3）UWB定位

UWB定位采用时间间隔极短的脉冲进行通信的方式实现定位，由于超声波在空气中的衰减较大，该技术智能适用于较小范围，测量的精度也仅为厘米级，无法用于大范围定位。

（4）WiFi定位

WiFi定位主要基于WiFi基站和带有WiFi模块的手机或者PDA等终端设备。定位精度差，误差为米级，且较易受到干扰，需要经常更新。

（5）电磁定位

电磁定位技术通过计算磁场强度的方法来得到位置与姿态信息。该技术的缺点为延迟较高，定位精度差，且较易受到干扰。

（6）传统激光定位

传统激光空间定位技术是使用一对以时分复用形式发射红外光的定位基站，光敏传感器通过被激活的时间测量出相对于基站的角度，结合多个传感器的测量结果就可以计算出自身的空间位置和运动轨迹。同时该系统也存在光敏传感器因遮挡而无法定位的问题。

（7）大空间激光定位

通过激光信息编码技术，在扫描激光中加入定位基站的身份标识信息，从而将多个定位基站整合到系统中，使得定位空间能够随着定位基站的增加而扩大，理论上可扩大至上千平米[2]。

1.3 惯性传感器动作捕捉

基于惯性传感器的动作捕捉系统，依靠固定于身体关键肢体部位的惯性传感器，测量肢体的姿态角度及加速度等信息，由此计算出每个肢体的空间位置。由于通过每个传感器测量得到的都是相对数据，当从身体根节点向下计算每个节点的绝对位置时，这些测量误差就会逐级传递下去并不断被放大[3]。

1.4 语音识别

语音识别技术主要使用深度神经网络配合隐马尔科模型的框架，由深度神经网络提供特征输入，再由隐马尔科模型对语音的时序进行建模[4]。深度神经网络的特征提取经历了从前馈型深度神经网络，到循环神经网络，再到卷积神经网络的三次技术改进。前馈型深度神经网络使得在提取语音特征时，可以直接处理连续的拼接语音帧。随后，具有更强长时建模能力的循环神经网络替代前馈型深度神经网络成为了语音识别技术的主流。卷积神经网络也被尝试用于进行语音识别，只要输入的语音足够长，并具有良好的上下文相关性，使用卷积神经网络同样可以对语音的长时相关性进行建模。

1.5 半实物仿真装备

半实物仿真装备通过在外形、重量、材质、后坐力、操作方式等方面对真实装备进行仿真，高度还原装备使用环境及操作流程。

单兵武器装备如枪械、肩扛式发射器等的半实物仿真设备可以对装备的外形、材质、重量、后坐力、操作方式等特性进行较为精准的仿真，还可以将扳机、按钮等操作转换为电子信号发送至计算机进行数据汇总处理，作为虚拟现实军事模拟训练的数据输入，在虚拟场景中模拟弹药发射。大型装备的半实物仿真设备可以对操作台、驾驶舱等操作环境进行仿真，再现真实操作环境中的按钮、拉杆、方向盘、脚踏板、指示灯等装置。

2 体感交互设备的数据融合

2.1 光惯结合动作捕捉

通过结合激光空间定位技术与惯性传感器技术，融合室内空间定位数据与受训者关键骨骼部位运动数据，对受训者进行虚拟姿态重建，从而完成对虚拟场景中虚拟角色的动作同步与行为驱动。以虚实结合的方式，提高虚拟现实模拟训练的沉浸感。

基于激光扫描空间定位技术的精准室内空间定位，与惯性传感器（IMU）技术相结合，利用多传感器深度融合算法对采集的数据进行处理、融合和姿态重建，并与虚拟现实系统对接，实现动作姿态数据与人员实时位置数据的无缝平滑融合，从而完成对虚拟场景中虚拟角色的动作同步与行为驱动。以虚实结合的方式，在训练场景中，深化角色的真实感，提高受训者的操作沉浸感。

2.2 动作捕捉系统与眼动仪的数据融合

将空间定位技术与眼动仪结合，通过坐标系变换，将用户视线方向从眼动仪坐标系转换至空间定位系统的坐标系中，将眼动数据与空间定位数据融合，可以获取用户在移动过程中的视线方向，并可通过计算得到视线与场景物体的交点位置。

在进行数据融合时，会存在空间及时间上的偏差。采用位数更多的数据类型存储运算中间结果，可以在一定程度上减少因数据精度不足产生的计算误差。通过尽可能精确地测量空间定位系统以及眼动仪的数据延时，可以更精确地在时间上匹配两种数据，减少数据融合时产生的时间偏差。

3 体感交互设备在模拟训练中的应用

3.1 模拟训练仿真

（1）战场空间仿真

使用高精度模型与高解析度贴图，通过性能强大的计算机对场景进行高帧率实时渲染，产生可以用于虚拟现实军事模拟训练的战场场景。声音应该使用实时计算的三维声音，受训人员佩戴虚拟现实头盔和耳机即可感受到临场感十足的视觉与听觉感知反馈。

结合空间定位系统对虚拟现实头盔进行空间定位，从而允许受训人员在空间中不借助手柄或按钮进行自由移动，受训人员以这种方式进行移动不容易产生眩晕感。

（2）战术动作仿真

受训者在虚拟现实军事模拟训练中使用自然动作驱动训练流程能够获得更好的训练沉浸感。将采集到的动作数据进行实时处理，并用于驱动虚拟场景中的虚拟角色，使虚拟角色的动作与受训者的真实动作保持一致[5]。

基于激光的动作捕捉系统主要特点是动作捕捉的精准度较高，一般都可以将误差控制在1毫米以内。基于惯性传感器的动作捕捉系统不存在遮挡问题，并且成本相对较低。

（3）武器装备操作仿真

虚拟现实军事模拟训练中，各类武器装备的操作是较为重要的训练环节，其中包括轻武器射击、交通工具驾驶、大型设备操作等。

目前的虚拟现实技术不足以提供复杂、真实的触觉感知反馈。为绕过这一问题，通常根据训练科目，使用如轻武器、肩扛式发射器以及驾驶舱等高度定制的半实物仿真武器装备辅助训练。受训者借助半实物仿真设备可以完全还原真实武器装备的操作使用流程与关键动作，在开始真实武器装备训练之前获得一定装备使用经验。

（4）作战指令仿真

在虚拟现实军事模拟训练中，通过对语音及手势进行识别，可以分别对上述两种下达作战指令的方式进行模拟仿真。

通过语音识别可以获取受训者说出的指令关键词，并将其转换为虚拟场景中对虚拟士兵下达的作战指令。采用命令词识别的形式事先定义好一组作战指令命令词以及相应的句式规则，在进行语音识别时只需要将用户的输入与定义好的命令词及句式规则进行匹配，可以有效提升识别准确率。数据手套可以对受训者的手部动作进行精细化采集。通过手势识别算法对采集到的手部运动数据进行处理，识别出用户的手势动作，最后将手势动作映射到模拟训练中的不同作战指令。

3.2 模拟训练评估分析

（1）模拟训练数据采集

根据数据产生的来源可将数据分为系统模拟数据和真实体感数据两大类，前者采集模拟训练系统中虚拟兵力、装备、火力、战损等模拟数据；后者采集实际在环受训人员的真实体感数据，包括手势、动作、姿态等，为训练评估提供数据支撑。通过体感交互设备上的传感器和虚拟场景中的同步视频跟踪摄像机，自动采集模拟训练推演过程中红蓝双方队员的部署位置、装备使用、弹药消耗、伤亡状态和在场指挥训练人员的真实口令、动作等实时数据。

（2）体感数据的评估分析

将虚拟现实模拟训练过程中采集的数据作为机器学习算法的输入，采用线性模型与神经网络等结构训练生成评估模型。线性模型是机器学习中较为基础的模型，已有相对成熟的理论基础，模型训练及参数调整难度较低，适用于简单评估指标的预测计算。神经网络目前被大量用于深度学习、强化学习等技术，可以生成非线性的高复杂度模型，适合评估难以通过简单变量概括的抽象评估指标的计算。