数据驱动的指控系统增强现实电子沙盘设计与开发

2021-06-24张梦骏范云锋苏智勇邱令存

空天防御 2021年2期

李勇，张梦骏，仇栋，范云锋，苏智勇，邱令存

（1.南京理工大学自动化学院，江苏南京 210094；2.上海机电工程研究所，上海 201109）

0 引言

指挥控制系统（简称指控系统）是指挥人员及其指挥机构对相关作战人员和主战武器装备实施指挥和控制的信息系统，具有辅助决策、战斗模拟与评估、战术计算等用途［1］。受物理显示设备的限制，传统的指控系统大多采用二维电子屏幕进行信息展示，抽象的数据和单一的表达方式难以全方位地表现出战场真实的态势与要素。常规的实物或电子沙盘［2］一定程度上能展现出战场的三维实态与军事部署，但通常缺乏多人协同机制和快捷的人机交互机制，限制了指挥人员的协同作战能力与指挥效率。同时，许多系统通常十分冗余和繁重，难以适时地实地展开。更重要的是，多数沙盘系统往往不能实现真实数据下的作战模拟［3］，缺乏实战可靠性。因此，为指控系统开发能真实展现战场态势、具有友好的协同交互能力、基于数据驱动的轻量型电子沙盘成为了研究重点。

增强现实（augmented reality，AR）技术作为当下备受追捧的新技术，通过运动相机或可穿戴显示装置的实时连续标定，将三维虚拟场景一致地投射到用户视野中，从而实现“实中有虚”的融合效果［4］。与单纯的虚拟现实技术相比，AR 技术实现了对真实场景的扩充与增强，不仅给人以更加逼真的三维显示效果，更为虚实交互提供了技术支持，被广泛应用于军事、教育［5］、医疗［6］、维修装备等领域。其中，基于增强现实的电子沙盘技术的研究在国内外已取得一定成果。Amburn 等［7］利用Kinect 深度相机发明了实用的增强现实电子沙盘，被用于美国陆军军事模拟对抗；Jung等［8］基于增强现实技术设计了军事训练沙盘，采用虚拟战术地图实现标记、归档等军事行为；Yang 等［9］利用光电编码器与机器视觉方法进行三维注册跟踪，实现了不依赖于固定标记的增强现实电子沙盘；Zhou等［10］基于实时视频流，提出了将增强现实电子沙盘投影于物理沙盘上的沙盘系统。此外，随着各类交互设备性能的不断增强，自然交互技术得到了飞速发展，多尺度显示屏提供了无处不在的交互界面，智能可穿戴设备大大提升了用户的交互体验与交互效率，为电子沙盘的交互设计奠定了技术基础。

本文针对指控系统三维可视化与交互等需求，基于增强现实技术与自然人机交互技术，设计并开发了一种数据驱动下的面向指控系统的新型电子沙盘。该沙盘系统主要由态势生成与可视化模块、标绘功能模块、多人协同模块、多通道人机交互模块组成，支持以真实战斗数据与仿真数据驱动军事要素的部署与作战过程的演练，极大地提高了指控人员的作战指挥效率与系统的实战可靠性。

1 系统框架设计

1.1 需求分析

在现代信息化联合作战条件下，高效智能的战略战役级指挥控制成为发展的重要方向，面向指控系统的新型电子沙盘应该满足以下需求。

1）多通道人机交互。目前我国已经形成陆、海、空等多兵种联合作战的指控体系，指挥模式多元化，操作方式各异化，传统的交互技术已经大大限制了指挥员的指挥效率。因此，需要发展多通道的自然交互方式以提高系统的交互效率（比如手势与语音），并能达到实时感知的效果。

2）数据驱动下的战斗仿真。一般而言，传统的电子沙盘要求指挥员按照预定的作战流程进行战斗演练，数据理想化、流程固定化。然而，面对复杂多变的真实场景，指挥人员常常需要因地制宜地进行战术模拟。因此，需要构建基于多种数据驱动的电子沙盘，更好地模拟真实场景下的作战过程。

3）虚实融合显示。为全方位地展现战场态势与要素，电子沙盘需具备大范围虚拟场景的三维立体显示效果。此外，单纯的虚拟环境往往无法满足真实战场环境的营造，缺乏相应的场景感知。因此，新型电子沙盘需要具备虚实融合的显示效果。

4）协同标绘。常规的标绘多在实物上进行标绘或者以二维军标为主，无法动态地进行更改与设置。因此，需要设计能够实时响应操作人员指令的三维动态军标，并实现对多指挥员、多感知设备联合操作时的协同标绘。

5）轻量化与便捷性。传统的指控系统采用物理模型或二维屏幕显示，场地固定且设备较多，无法满足现代指挥所对于便捷性和轻量化的需求。因此，需要研究和设计能够随时随地进行态势模拟的三维电子系统，具备携带方便、操作简单等特点。

1.2 系统架构设计

针对系统需求，本文的增强现实电子沙盘系统共包含：态势生成与可视化模块、标绘模块、多人协同模块、多通道人机交互模块，系统架构如图1所示。其中，态势分析与三维建模是进行立体可视化模拟指挥的基础，外部数据输入驱动系统仿真的进行，人机交互与标绘为多人协同提供了技术支持。

图1 增强现实电子沙盘系统架构图Fig.1 Architecture of augmented reality electronic sand table system

2 功能模块设计

2.1 态势生成与可视化

战场态势指战场上敌我兵力分布及战争环境的当前状况和变化发展趋势，组成要素包括战场环境、态势目标和态势分析结果等信息［11］。

一方面，本文采用三维建模软件进行战场军事要素的构建，主要包括：地形环境、武器装备、军事建筑、军标等。为实现真实数据驱动下的地形效果，模型采用真实地形高度图与卫星影像数据作为数据来源，利用建模软件合成等比例缩放地形，并利用绘图软件对纹理进行调整。其他军事要素模型以真实物理模型尺寸数据为参照，利用建模软件制作而成。

另一方面，系统以红蓝标志进行敌我区分，同时基于外部真实数据或仿真数据输入，对敌我双方兵力、各武器装备设施进行部署，具体参数以立体用户界面（user interface，UI）进行显示，指挥员可以以多种方式下达作战命令，包括：部署、展开、撤收、目标分配、发射、禁射6个主要战术命令。同时，在战斗开始后，系统利用通信接口从数据库端实时接收包括位置、速度、姿态等信息的武器战斗数据，并驱动模型作出相应操作，达到可靠的实战模拟效果。此外，系统根据外部数据信息，以三维军标对相关命令生成标绘动作，形成海陆空多兵种、多战术、多交互模式的真实战争态势。数据驱动下的三维态势生成过程如图2所示。

图2 数据驱动下的三维态势生成示意图Fig.2 Data-driven three-dimensional situation generation

2.2 标绘功能模块

军队标绘是以军队标号作为军事情况表示的图形语言，利用手动或自动的标注手段将敌我企图、决心部署等战术情况，标注在地形图、航空照片或电子沙盘等各类传播载体上的过程［12］。为了实现真实战场环境下三维军标实时绘制和显示功能，本文设计了标绘功能模块。该模块通过基本军标图元的调用，组合成任意非规则军标图形的三维军标，并在地图相应位置进行显示，模块工作流程如图3所示。

图3 标绘功能模块示意图Fig.3 Plotting function module

显示控制模块响应用户输入，控制军标的显示与否。信息处理单元首先通过空间感知系统获取指挥员标绘目标位置，然后从军标要素数据库中选择相应的军标符号进行渲染，为控制模块提供数据与位置支持。

2.3 多人协同模块

协同指多人能够同时对三维场景进行观察和交互，多人协同模块保障了多人标绘与研讨功能的顺利开展。通过场景共享技术使多个指挥员看到具有相同空间坐标和战争态势的三维场景，并允许多用户对场景中同一虚拟对象进行交互操作。协同模块工作流程如图4所示。

图4 协同模块工作流程示意图Fig.4 Workflow of collaboration module

感知模型用于获取用户对系统的多通道指令信息，协同服务器与通信协议为协同模块提供了物理基础，并发控制与冲突处理主要针对多人同时对同一目标发起控制或向一个正在被控制的目标发送控制请求的情况。根据场景作业特点，采用集中式控制方法和令牌控制方法相结合的方式进行并发冲突管理，对每个用户规定一个优先级，实际可根据职级高低来确定。协同控制算法流程如图5所示，每个可控制资源对象均分配一个令牌，若有用户发出对其操作的请求，服务器先判定这个资源令牌使用情况，在无占用情况下，可根据优先级确定令牌使用权，否则，拒绝用户请求。最后，根据用户是否享有资源令牌使用权的情况，对其做出响应处理。

图5 协同控制算法流程Fig.5 Workflow of cooperative control algorithm

2.4 多通道人机交互模块

传统的指控系统交互大多采用触屏、实物摆放等方式进行，明显不能满足信息化战争背景下对人机交互便捷性和高效性的需求。针对这一问题，本文系统采用多通道自然人机交互方式，主要包括语音识别、手势识别、视线UI 输入等，允许用户以这些交互方式对系统下达命令或控制。通过设计面向任务空间的多种交互方式框架，依靠互补来克服彼此的缺陷，从而提升系统整体的表达能力、自然性与便捷性［13］。多通道人机交互框架如图6所示。

图6 多通道人机交互框架图Fig.6 Framework diagram of multi-channel humancomputer interaction

2.4.1语音识别

本文借助公开的语音识别工具包实现对中文语音指令的识别，识别出指令后与具体的操作行为建立映射关系，从而实现中文语音对全息场景的操控。由于军事指挥中语音指令种类比较固定，故采用工具包开发人员预先定义的字典库进行识别，使用xml格式文件存储系统所需命令，具体识别流程如图7所示。

图7 语音识别流程Fig.7 Flowchart of speech recognition

2.4.2手势识别

本文基于肌电传感器进行手势的感知与识别，将其佩戴于胳膊的肘关节上方位置，通过探测肌肉活动，实现对手势动作的感知，并将感知信号以蓝牙传输至PC 端，系统再以信号模板将其映射为具体的控制命令，从而完成整个识别过程。

3 系统实现

3.1 软硬件配置

新型电子沙盘硬件部分主要由协同计算机与头戴显示设备构成，外加MYO 肌电传感器、语音采集设备。其中，协同计算机用于手势、语音信号的处理，并作为协同服务器，为多人协同提供网络支持，其主要硬件参数为：CPU 型号为Inter（R）Core（TM）i7-4770，主频为3.4 GHz，GPU 型号为NVIDIA GTX1080；头戴显示设备采用影创科技推出的增强现实头盔Action One Pro，主要用于增强现实系统展现，其采用一体机设计，单目观察视角达45°，搭载高通骁龙835处理器以及高达1 000 Hz 的九轴惯性测量单元（inertial measurement unit，IMU）确保高精度的定位显示，并配置了1 300 万像素的高清摄像头，实现完整的六自由度追踪。

本系统开发所依赖的软件平台主要为unity3D 2019.2.3f1、Microsoft Visual Studio 2017（以下简称VS2017）和3DS MAX，开发语言以C#为主，语音识别工具包为微软speech SDK5.1。其中，unity3D 作为一个跨平台的三维开发引擎，主要承担整个系统全息影像构建任务；VS2017 为代码编写与管理平台；3DS MAX 为相关模型的建模、渲染、动画提供帮助。软硬件组成如图8所示。

图8 系统软硬件组成示意图Fig.8 System software and hardware composition

3.2 功能验证

本文采用3DS MAX 制作所需的军事要素，由于增强现实设备的处理能力有限，需要平衡模型的大小与精度，在保证宏观效果的条件下，尽可能降低模型面片数以提高其渲染速度，部分军事要素模型如图9所示。

图9 部分军事要素模型示意图Fig.9 Schematic diagram of some military element models

为满足多场景作战需求，系统可根据实际需要结合卫星数据生成真实地理场景，本文以两套地形场景为例进行分析：沙漠对抗与城市防卫，增强现实效果如图10～11所示。其中，沙漠对抗场景主要针对敌我红蓝控制区域进行战术对抗推进；城市保卫场景以城市地理要素为中心，在海陆空多兵种袭击下，进行有效的战略防卫。

图10 沙漠对抗增强现实场景Fig.10 Augmented reality scene of desert confrontation

图11 城市防卫增强现实场景Fig.11 Augmented reality scene of city defense

系统展开后，通过三维立体环绕屏实时展示敌我双方的兵力部署与武器装备的飞行数据，借助操作菜单，指挥员可以实时对各个军事要素进行多方位操作，如旋转、缩放、移动、详细信息展示等，控制菜单如图12所示。针对战术打击过程，指挥员通过语音指令以及MYO手环的手势识别指令下达作战指令，部分检测手势如图13所示，并根据指令相应地生成战术标绘示意。