多设备交互和多用户协作的虚拟现实剧场

2021-12-19西安音乐学院陕西西安市710000石茜睿任思锦赵璇王延松

石河子科技 2021年4期

（西安音乐学院，陕西西安市，710000）石茜睿任思锦赵璇王延松

1 虚拟现实剧场

1.1 虚拟现实剧场的结构

虚拟现实剧场通常支持用户在身临其境的虚拟环境中进行交互。现在提出了一个支持多设备交互和多用户协作的虚拟剧场系统的体系结构和实现方法。在这项研究中，系统配备了一个大的环形屏幕来显示身临其境的立体虚拟场景，以及多自由度平台、仿真枪和智能手机等多种交互设备来支持用户交互。这里介绍了一个身临其境的虚拟现实剧场系统，它配备了6-自由度平台、3-自由度座椅、模拟枪和智能手机等多种交互设备。为了实现用户协作，根据不同的交互任务将用户分成两组。在应用中，一组采用6-自由度平台控制视点，另一组通过仿真枪和智能手机与目标物体进行交互。漫游时，用户通过6-自由度平台或3-自由度座椅产生的模拟运动获得逼真的飞行体验。

1.2 虚拟现实剧场的多设备交互和多用户协作

1.2.1 多设备交互

这种交互设备不仅获得用户的输入，而且提供触觉反馈。由于本系统交互的特点是多用户协同工作的同时性和同位性，本系统由四种不同类型的交互设备组成：6-自由度平台、3-自由度座椅、仿真枪和智能手机。根据交互设备的性能，可以将其分为两类：输入设备和输出设备。对于输入设备，6-自由度平台获取用户的驾驶输入，模拟枪和智能手机为其他用户采集射击信息。所有输入将被发送到核心模块。核心模块完成数据处理后，输出设备，包括6-自由度平台和3自由度座椅，接收输出数据，改变机械结构，为用户提供触觉反馈。核心模块作为一个软件控制器来管理交互式设备和系统显示。一般来说，核心模块处理输入数据并生成输出数据，包括用户反馈和渲染结果。硬件支持核心模块的平台由高性能工作站和一系列服务客户端计算机组成。对于软件，核心模块被实现为两种相互通信的组件类型，交互管理器的主要功能是实现交互式设备的输入输出处理。交互管理器不断地从输入设备接收数据，分析和处理输入数据，并通过网络将结果数据发送到系统引擎。一旦系统引擎响应交互管理器，管理器立即将数据传输到输出设备。

系统引擎包含系统的逻辑。引擎接收规范化的输入数据，更新渲染，并与交互管理器通信。在渲染方面，系统引擎采用Unity游戏引擎生成并渲染虚拟场景，提供逼真的图形。

为了实现多用户协同交互，实验环境中提出了一种新颖的设计方案。设计了一个基于第一人称射击游戏的飞行模拟场景，在这个场景中，用户可以探索虚拟环境，沉浸在飞行体验中。在探索过程中，用户需要拍摄视角中显示的目标。因此，可以归纳为三个基本的交互任务：旅行任务、射击任务和飞行模拟。旅行任务的目的是允许用户在虚拟环境中自由地移动自己的观点；射击任务是指射击虚拟目标的行为，由仿真枪和智能手机完成；飞行模拟为用户提供漫游时的运动感。

1.2.2 多用户协作

实验者紧接着建立了一个由基本交互任务组成的协同任务，并将不同的基本任务合理分配给用户，实现用户的协同。用户分为两组，分别有相应的任务，即G1和G2。G1的交互任务是射击任务和飞行模拟。在这个小组中，每个用户都配备了一把模拟枪或一部智能手机，坐在一个3-自由度的座位上。用户被安排在一个区域内，面向投影屏幕。当目标出现在屏幕上时，用户通过控制相应的十字准线来射击目标。随着用户视角的移动，所有3-自由度座椅都会根据速度和方向定期模拟动作。G2的任务是旅行任务和飞行模拟。由于多用户控制可能会引起混淆，G2中只有一个用户。G2采用6-自由度平台，帮助用户完成任务。详见表1。

表1 多用户协作任务

通过这种方式，用户可以自由地探索沉浸式虚拟环境，并与虚拟目标进行联合交互。在评估中，探讨了将不同种类的交互设备组合在一起以提高系统的协作能力的优势。结果表明，适当的任务划分有助于提高用户体验。

2 多设备交互和多用户协作的虚拟现实剧场

虚拟和增强现实技术有望通过提供历史上精确的重建和相关的信息来缓解这些困难，从而提供更丰富的游客体验。在这个身临其境的世界里，他们可以在一个历史遗址中导航或被引导，这个历史遗址通过虚拟再现缺失的特征，并通过讲述其元素的意义和作用来增强。这样可以丰富现场和非现场的经验。在网站上，一个视频流的实际（往往是部分破坏）网站可以覆盖一个虚拟模型，扩大遗产地，以揭示缺失的历史元素。在场外，可以用虚拟模型覆盖实际站点的三维副本来重新创建历史站点。比布洛斯罗马剧院创造这种沉浸式增强体验而开发的系统。

2.1 比布洛斯罗马虚拟剧院

三维模型是使用Rhinoceros3D软件建立的。“原样”模型为创建最合适的假设模型提供了必要的证据。与理论上的维特鲁维经典模型相比，网格的结合显示了置换的Byblos剧院的多重变化和不精确性。5对于确定比布洛斯剧院的几何结构和比例，残存遗迹的精确复制至关重要。例如，由于“原样”模型，人们注意到的第一个区域变化是管弦乐队偏离中心，与罗马的维特鲁维亚模式不太一样。管弦乐队的中心从舞台移到礼堂大约一米远，这样直径就变小了，剧场的尺寸也相应地改变了。增强现实应用扩展并丰富了游客在场景中观察到的实时信息；它们通过在现有废墟上增强虚拟模型，提供了一种信息丰富的体验。

在虚拟环境中与增强模型交互。虚拟现实世界是使用Unityengine开发的，这是一个跨平台的游戏引擎，用于开发PC、控制台、移动设备和网站上的视频游戏。开发的应用程序允许用户在三维真实网站的演练中可视化和交互。此外，为了使应用程序更具交互性，在场景中添加了一个向导，以吸引用户的注意力并让他们对网站进行虚拟游览。

二维虚拟应用程序的开发首先是在一个统一场景中添加一个玩家预置；统一场景是一个包含所有“游戏”对象的虚拟空间，而玩家预置则是一个跟踪“玩家”所有信息的游戏对象；它通过跟踪来定义要在播放器屏幕上呈现的内容。

2.1.1 多设备交互

玩家的虚拟姿势是通过用户在键盘（改变位置）和鼠标（改变方向）或游戏控制器（x-box控制器）上的输入来更新的。一旦播放器在场景中设置好，就将实际站点生成的纹理网格移植到场景中。用户可以手动与模型碰撞交互。然后将虚拟模型添加到场景中，并与实际站点仔细合并。

为了使应用程序更具交互性，在场景中添加了一个虚拟向导。特定的poi（Point of Information缩写，信息点）被选在历史文物附近，比如剧院的祭坛。指南在预定义的检查点周围浮动，并等待用户在离它很近的距离内到达，然后解释感兴趣的对象是什么。一旦用户在对象附近，它就会发光，在指南开始讲述关于该对象的信息音频之前捕获用户的注意力。完成后，向导将移动到下一个检查点并等待用户再次靠近。为了帮助用户知道要去哪里，使用了一个A*（通用的路径查找和图遍历算法）路径规划算法，它确定了用户和指南之间的路径,并将其呈现在屏幕上供用户遵循。

2.1.2 用户协作

虚拟应用程序的开发首先是在一个统一的场景中添加一个用户预设；一个统一的场景是一个包含所有“游戏”对象的虚拟空间,而用户预置则是一个跟踪“玩家”所有信息的游戏对象；它通过跟踪来定义要在播放器屏幕上呈现的内容。提出了一个关于可能重建拜布洛斯罗马剧院的区域指导假设，重建模型用于设计考古遗址中用于旅游目的的最终用户虚拟和增强现实应用程序。对所采用的虚拟方法和增强方法的技术挑战和局限性进行了详细和系统的解决，产生了一种可扩展到其他站点的可扩展方法。

2.2 浙江省科技馆台风体验剧场

2.2.1 设备交互

项目系统组成:（1）视频影片。本项目分为两个部分，360°环幕影片和虚拟现实视频。环幕视频，通过建立三维模型，动画制作，实时重建台风场景、各种气象现象的模拟等。虚拟现实视频通过虚拟现实技术提供与环幕视频内容不同的内容。（2）动感模拟座椅。由电力驱动，座椅可以实时响应运动的视频内容，并可以做三自由度的运动。它能真实地模拟台风引起的船舶摇晃和车辆晃动的影响，从而扩展了经验者的模拟场景，弥补了单一经验模式的不足。（3）风力模拟系统。风扇产生的风速可以无限调节，提供类似于真实台风的风体验。（4）广播系统。该系统由两部分组成，分别是环幕投影系统和虚拟现实显示系统，通过播放系统控制的子播放系统，用于虚拟现实体验座椅的视频播放。根据体验的形式，展览将体验区分为两个区域：一个是会场中心的环形屏幕体验区，观众可以站在360°的环形屏幕上体验，将观众置于风暴眼中。另一个是外环的虚拟现实体验区。该设计充分利用了人体坐姿和站姿的高度差异，在不影响中央环屏体验区效果的情况下，弥补了由前后盖形成的上线观看和站立的人数单一体验，提高了场地承载体验的能力，丰富体验的形式，实现一个项目多种体验模式。

2.2.2 多用户协作

台风体验项目属于情景式展示形式。该系统在保证虚拟现实体验和环屏体验的同时，还能保证展品的体验。同时，解决了单一使用虚拟现实技术的弊端。（1）解决展品数量少的问题。通过环幕体验区和6个动态座位，可以保证20多人同时体验。（2）解决了传统虚拟现实体验操作不便的问题。在大多数情况下，展览可以通过360°环屏体验区进行。虚拟眼镜作为环形体验的补充，可为参观者提供一个选择，丰富展览的呈现手法。