VR 影像信息可视化与空间叙事融合方式探析

高 锐

中北大学艺术学院，山西太原 030051

1 引言

虚拟现实（VR）在电影中的应用，既是延续又是创新。一方面，它继承了电影的基本元素（如影像、声音、剧情等），并在此基础上增添了互动、沉浸、参与等新元素，打造了一种新的电影形式[1]。另一方面，它也是一种独立而特殊的媒介形式，涵盖了电影以外的其他媒介形式（如游戏、教育等）。随着硬件设备和软件平台的改进和优化，VR 技术能够提供更清晰、更流畅、更真实的虚拟环境，让用户从空间维度上更直观地接收信息、感受沉浸感和代入感，而这便是跨媒介的融合，影游融合就是一个典型例子。

在虚拟现实环境中，信息可视化（Information Visualization, InfoVis）作为数据传达的有效方式，能将抽象的数据转化为可视化的图形、图表等形式，使用户能够更直观地理解数据，助力决策制定与知识传递。空间叙事（Spatial Narrative）作为一种叙事方式，通过在虚拟空间中构建连贯的故事，利用角色、情节和环境等元素，创造引人入胜的体验。因此，信息可视化与空间叙事的融合是VR 影像为受众提供更多样体验的核心要素[2]。

但在VR 影像中将信息可视化与空间叙事相结合，并不是一件容易的事情。如何在虚拟环境中协调信息可视化和空间叙事的元素，以实现更有效的信息传达，营造更引人入胜的叙事效果，是当前该领域研究所面临的重要课题。本文即是在这样的背景下开始思考和探索如何在VR 影像中将信息可视化与空间叙事融合，以达到更佳的体验效果。具体而言，本文的目标旨在分析信息可视化和空间叙事在VR 影像中融合的现状，以及如何通过这种融合实现更深层次的用户参与与认知。

2 VR 影像的概念、特点与分类

近年来，虚拟现实技术迅猛发展，在电影领域，VR 技术为观众创造了一种前所未有的沉浸式体验。本节将探讨VR 影像的概念、特点、分类以及与信息可视化和空间叙事的关系。

2.1 VR 影像的概念和特点

VR 影像是一种利用VR 技术来创建沉浸式和交互式视频体验的方式。不同于传统的视频，VR 影像让观众可以在一个三维虚拟环境中自由地观察和探索，而不是只能看到一个固定的画面。它也不同于普通的VR 环境，因为它有一个明确的故事情节和角色设定，而不是只有一个空白的场景。它还不同于一般的VR 游戏，因为它更注重讲述一个有趣的故事，而不是只有一个游戏目标或挑战。VR 影像是一种介于视频、VR 环境和VR 游戏之间的媒介形式，既包含了视频的叙事元素，又包含了VR 环境的沉浸元素，还包含了VR 游戏的互动元素，能够实现根据不同的主题和风格来呈现不同的内容和体验。

VR 影像为电影体验带来了新的维度。通过头戴式设备、运动座椅等设备，用户能够沉浸于虚拟世界中并与之互动，即不再仅仅是观众，更是参与者[3]。VR 影像的特点可归纳为三点：（1）沉浸感：用户能够身临其境地感受到虚拟环境，与之产生紧密的情感联系；（2）交互性：用户通过视线、手势、语音等方式与虚拟环境互动，影响故事走向和结果；（3）自由度：用户可以在虚拟空间中自由探索，选择感兴趣的内容和视角。

《侏罗纪世界VR:探索》（Jurassic World VR Expedition）由The Virtual Reality Company（VRC）开发，是一部基于《侏罗纪世界》系列电影的VR 影像。玩家可以通过佩戴HTC Vive 头显产品并坐在运动平台上，体验一段五分钟左右的沉浸式冒险。该片利用了VR 技术的视觉、听觉和触觉等感官刺激，结合空间叙事的情节、角色和环境等元素，为参与者创造了一种类似于电影的体验。然而，该影像却很难被界定是游戏还是电影。我们可以在IMDB 这样的电影网站找到该影像的资料，也可以在游戏论坛和话题中找到对该影像的评价。它既包含了电影艺术的特征，又包含了游戏艺术的特征，从而形成了一种独特的媒介形式。 因此，为了表述准确性，我们称其为VR 影像。

2.2 VR 影像的分类

VR 影像涵盖多种形式，如虚拟游戏、虚拟体验、虚拟导览等，每种形式都有其独特的创作和体验方式。通过观看第78 届威尼斯国际电影节VR 单元中国站上展出的23 部影片后，笔者梳理了典型VR 影像的三种分类：（1）虚拟游戏类，如《最后的工人》（The Last Worker）以剧情冒险游戏形式，结合手绘风格和沉浸式机制，带观众进入自动化世界；（2）虚拟体验类，如《阿姆斯特丹的天使》（Angels of Amsterdam）通过互动体验，让观众身临其境于17 世纪的阿姆斯特丹，与其中的虚拟人物互动分享故事，营造逼真亲密的交流；（3）虚拟导览类，如《心境VR》（Mind VR Exploration）将中国古典文化融入虚拟空间，创造出具有神秘和优雅氛围的游戏情境。

2.3 VR 影像与信息可视化和空间叙事的关系

在VR 影像中，信息可视化和空间叙事是两个重要的元素，它们不仅能够增强虚拟环境的真实感和美感，还能够传达更完整的信息和故事。

信息可视化作为一种将抽象数据转化为视觉元素的技术，以更直观的方式传达信息和洞察。其价值在于它不仅能将复杂的数据转化为易于理解的图表和图形，还能够以视觉方式呈现数据背后的模式和关系，从而加强决策制定和知识传递的能力[4]。一方面信息可视化提供数据的可视化呈现，另一方面它参与构建信息的故事性，通过视觉布局和交互方式传达信息的逻辑和情感。信息可视化的范围广泛，涵盖统计图表、地理信息图、网络图、时间序列图等多种形式。不同的可视化方法有其特定的适用场景和设计原则，需根据数据类型和目标选择合适的方式。在实践中，信息可视化需要遵循简洁、清晰、有效和美观等原则，确保视觉元素能够有效传达信息。

在VR 影像中，信息可视化的应用也呈现出丰富多样的可能性。如在VR 动画短片《伟大的C》（The Great C）中，通过大量图表、图形等可视化元素，展示超级计算机Great C 的数据处理能力，引导观众深入了解其认知和判断；在VR 剧情片《战痕：朋克吧！女孩》（BATTLESCAR：Punk Was Invented By Girls）中借助不同颜色、形状、大小等视觉元素区分场景和角色，帮助观众更好地把握故事情节和主题。

空间叙事的概念来自于叙事学，是指利用空间元素来构建和表达故事，以便于人们感知、记忆和想象。在电影中，空间叙事是通过摄影机、灯光、音乐等手段来营造不同的场景和氛围，从而引导观众进入故事情境。在VR 影像中，空间叙事则需要利用虚拟现实技术创造出更身临其境的体验。例如，在VR运动模拟器中，用户可以通过头戴式设备、运动座椅、手柄等设备模拟视觉、听觉和触觉等感官体验，从而在虚拟空间中感受到深度、距离、方向等空间信息，有效地增强用户对空间的感知[5]。这种在空间中使参与者产生的主观感受和情绪反应感知被称为空间体验。在虚拟现实中，空间体验是由空间叙事所引发的。空间叙事的核心在于创造连贯的故事结构和情感体验，通过角色行为和环境呈现传达情感与主题。值得注意的是，为了实现有效的空间叙事，需要考虑叙事结构、叙事元素以及叙事策略等要素。

具体而言，在VR 影像中，空间叙事的运用表现出十足的创意，如在以《星球大战》系列电影为蓝本创作的VR 交互影片《维德不朽》（Vader Immortal）中，影片采用线性叙事方式，让用户通过第一人称视角近距离感受达斯维德的威力与恐怖，通过不同场景和元素更全面地认识星战世界。而在2019 圣丹斯电影节上获最佳VR 动画的《咕噜米的眼睛》（Gloomy Eyes）里则以非线性叙事方式展示僵尸男孩与人类女孩之间的爱情，通过时间跳跃和水彩画风为观众呈现出截然不同的故事角度和情感[6]。

3 VR 影像信息可视化与空间叙事融合方式探析

在VR 影像中，信息可视化与空间叙事的融合是一种创新的叙事方式，能够将数据和故事相结合，提供更丰富和更深刻的体验。笔者将在本节对VR 影像中信息可视化与空间叙事的融合方式进行探析，包括融合的模式、策略和效果，以及相关的案例分析。

3.1 融合模式的分类

在VR 影像中，信息可视化与空间叙事的融合模式多种多样，当下各类影片卖点层出不穷，笔者根据融合的程度和方式进行如下分类：

（1）嵌入式信息可视化。这种模式将信息可视化嵌入到虚拟环境中，与空间叙事有机地结合在一起。观众可以在虚拟空间中看到图表、图形等信息可视化元素，以更直观的方式理解故事情节或背后的数据。这种模式强调信息可视化与空间叙事之间的一致性和协调性，使观众能够在沉浸于故事情境的同时，获取相关信息[7]。在5 分钟烧掉五百万美金的VR 大片《HELP》中通过展示外星生物的特征、行为、目标等信息，利用虚拟空间中的信息可视化元素，引导观众更深入地沉浸于故事紧张和惊悚的氛围。另一个典型的例子是VR 定格动画《病玫瑰》（Sick Rose），本片讲述在疫情背景下，一位生病的小女生去医院找妈妈，期间遇到各种天马行空的奇幻人事物的故事，在这部VR 影片中使用了医疗数据、疫情图表等信息可视化元素，让观众更清晰地把握疫情对人们生活和健康的影响[8]。

（2）交互式信息可视化。交互模式赋予观众更多的参与感和控制权，观众可以通过交互方式操纵信息可视化元素，影响故事的发展和结果。在虚拟环境中，观众可以自由选择浏览不同的信息可视化图表，以及根据个人兴趣和需求深入探索故事内容[9]。该模式强调信息可视化与空间叙事之间的动态性和互动性，使观众能够在主动参与故事的过程中，获取更多维度和层次的信息。比如，在VR 交互纪录片《太空探索家:国际空间站体验》（Space Explorers:The ISS Experience）中，用户也可以通过与信息可视化元素互动，自主地探索不同的情节线索，与8 名宇航员一起执行任务[10]。

（3）生成式信息可视化。生成式指利用人工智能和算法，根据抽象数据生成视觉元素，创造出具有美学和创意的虚拟环境。生成式信息可视化与空间叙事模式在想象和创新方面具有更大的灵活性，能够呈现出多样化和个性化的视觉效果[11]。这种模式强调信息可视化与空间叙事之间的协调和融合，使观众能够在欣赏故事美感的同时，获取更深层次和隐含的信息，但目前尚无应用该模式的VR 影像实例。不过我们可以从一些研究中窥见“生成式信息可视化与空间叙事”的雏形。

斯坦福大学计算成像实验室曾尝试使用生成式信息可视化技术来改进虚拟现实显示器[12]，实验展示了一些使用神经网络算法生成的三维图形，让观众感受到数据的视觉化效果。此外，美国哥伦比亚大学对虚拟现实中信息可视化的研究[13]提到了一些使用生成式信息可视化技术的虚拟现实影像，如Automating 3D Model Generation for VR with Generative Adversarial Networks，是通过使用生成式对抗网络（GAN）自动创建三维模型的虚拟现实应用（图1）。

图1 使用生成式对抗网络（GAN）自动生成VR 的3D 模型①

3.2 信息可视化与空间叙事的融合策略

在VR 影像中，信息可视化与空间叙事的融合不仅需要考虑分类模式，还需要考虑具体策略，以实现更有效和更有吸引力的叙事效果。根据不同的目的和场景，信息可视化与空间叙事的融合策略可以分为以下三种：

（1）多感官交互策略。该策略强调通过触觉、听觉、嗅觉等多种感官来增强观众的参与感。通过引入触觉反馈、环绕音效等技术，将观众置身于虚拟环境中，使信息可视化与空间叙事更加身临其境。这种策略适用于需要提供强烈感官刺激或情感体验的VR 影像，例如恐怖、惊险、浪漫类的VR 影像等。多感官交互的策略主要可以通过以下方式实现[14]：①使用震动、温度、压力等触觉反馈来模拟空间叙事中的物理接触或冲击，以增强其真实感和紧张感；②使用立体声、环绕声、混响等音效来营造空间叙事中的声音氛围或方向感，以增强其空间感和氛围感；③使用香气、味道、气味等嗅觉刺激来传达空间叙事中的场景特征或情绪状态，以增强其记忆力和情感力[15]。

在VR 交互影片《掌声》（Clap）中便使用了上述策略，讲述了被鼓掌的对象和掌声之间的关系。该体验使用了多感官交互的策略，通过触觉反馈和声音交互，让观众体验到不同场合下被鼓掌或鼓掌的情绪变化。

（2）多维度引导策略。该策略强调通过多重叙事线索和视角来引导观众的注意力，使观众可以选择不同的路径和视角来探索故事。这种策略适用于需要展示复杂内容或多元意义的VR 影像，例如推理、悬疑、历史类等[16]。多维度引导策略可以通过以下方式实现：①使用时间、空间、角色等多重线索来构建空间叙事中的不同层次或关系，以增加其丰富性和复杂性；②使用第一人称、第三人称、全景等多重视角来展示空间叙事中的不同角度或细节，以增加其多样性和选择性；③使用线性、非线性、分支等多重结构来安排空间叙事中的不同顺序或结果，以增加其灵活性和互动性。

在VR 影片《墙壁里的狼》（Wolves in the walls）中使用了多维度引导策略，通过第一人称、第三人称、全景等多重视角，让用户可以与主人公Lucy 互动，观察她的生活，探索她的想象。Lucy 还结合了机器学习与人工智能技术，这使Lucy 在与人们交互时呈现非固定脚本且表现灵活，这也使得这个角色荣获艾美奖最佳虚拟角色奖。

（3）多样化体验策略。该策略强调在影片中创造多样化的体验，通过不同的情感、主题和故事情节来触发观众的共鸣。设计师可以在不同的情节中融合信息可视化元素，以多样化的方式呈现故事的深度和复杂性。此类策略适用于需要展示美学和创意的VR 影像，例如动画、电影、戏剧类等。多样化体验策略可以通过以下方式实现：①使用色彩、形式、风格等信息可视化元素表达空间叙事中的情感、主题或氛围，以增强其美感和表现力；②使用符号、隐喻、象征等信息可视化元素传达空间叙事中的意义、价值或理念，以增加影像的深度和内涵；③使用变换、组合、创新等信息可视化元素来展示空间叙事中的变化、对比或冲突，以增加其复杂性和张力。

这一类型策略在荣获威尼斯国际电影节金狮奖的VR 沉浸式影片《哥利亚：玩转现实》（Goliath:Playing with Reality）中表现尤为明显，该片使用了多样化体验的策略，通过符号、隐喻、象征等信息可视化元素，传达了精神分裂症患者乔（Joe）内心世界和外部世界之间的冲突和融合。

3.3 案例分析

为了进一步说明信息可视化与空间叙事在VR影像中的融合，笔者选取两个案例进行分析：《The Limit》和《遗愿》。这两个案例分别采用了嵌入式和交互式的融合模式，以及多感官交互和多维度引导的融合策略，从而创造出不同的虚拟体验。

《The Limit》是一部动作惊险的VR 360 度电影，通过触觉反馈和环绕音效，让观众身临其境地体验故事情境。该片用嵌入式模式将信息可视化元素与虚拟环境结合，让观众在沉浸于故事情境的同时，获取相关的信息。这种模式适合动作惊险题材的影像，增强观众的情感共鸣和参与感。

《遗愿》是一部悬疑推理的VR 电影作品，通过多重线索和视角引导观众探索故事。该片用交互式模式赋予观众更多的参与感和控制权，让观众通过交互方式操纵信息可视化元素，影响故事的发展和结果。这种模式适合悬疑推理题材影像，激发了观众的思考和解谜兴趣。

通过比较这两部影片，可以看到它们在融合模式和策略上的异同之处。相同点在于，它们都成功地将信息可视化与空间叙事相融合，创造出丰富的虚拟体验。不同点在于，《The Limit》更加强调观众的情感共鸣和身临其境的感觉，《遗愿》则注重观众的思考和选择。因此，不同的融合模式和策略可以根据影片的主题和风格进行选择，以达到更好的叙事效果。

4 结论与展望

通过对信息可视化与空间叙事的融合方式、方法和效果等相关概念和理论的介绍，笔者提出了嵌入式、交互式和生成式三种融合模式，以及多感官交互、多维度引导和多样化体验三种设计策略。通过案例分析得出如下主要结论：（1）信息可视化与空间叙事的融合能够丰富VR 影像的体验，同时也为创作者提供了更多创作可能性；（2）不同的融合模式和策略可以根据影片的主题和风格进行选择，以达到更好的叙事效果；（3）多感官交互策略和嵌入式信息可视化与空间叙事模式适用于动作惊险题材，可以增强观众的情感共鸣和身临其境的感觉；（4）多维度引导策略和交互式信息可视化与空间叙事模式适用于悬疑推理题材，可以激发观众的思考和解谜兴趣；（5）多样化体验策略和生成式信息可视化与空间叙事模式适用于动画、电影、戏剧等题材，可以展示故事的美学和创意。

作为一种新颖而有效的VR 影像创作手段，信息可视化与空间叙事的融合方式能够将信息可视化元素与空间叙事元素有机地结合起来，形成一种具有高度沉浸感、互动性和创意性的VR 影像体验。通过运用信息可视化与空间叙事的融合方式，为VR 影像创作者提供一些思考，也为观众能更深层理解VR 影像提供启迪。

注释

①图片来源：COLUMBIA UNIVERSITY IN THE CITY OF NEW YORK。