基于VR技术的数字博物馆视听语言

吴清华

随着虚拟现实技术的不断发展，数字博物馆迎来了新的发展机遇。近年来，数字博物馆建设过程中普遍存在信息传播效果不佳的问题。而视听语言是指利用视听刺激的合理安排向受众传播信息的一种感性语言，可以针对数字博物馆在信息传播方面的问题提出相应的解决方法。现基于虚拟现实技术，对数字博物馆视听语言展开研究，通过虚拟空间、五感体验、视线引导、非蒙太奇等方式提高数字博物馆信息传播的效果，以期为相关研究提供借鉴和参考。

随着科学技术的发展，虚拟现实技术已被广泛应用于教育、医疗、电影、游戏、建筑等领域，其中也包括数字博物馆。例如，2016年，故宫博物院首次运用虚拟现实技术进行三维复原，为参观者再现明清御窑的考古挖掘现场。通过虚拟现实系统，数字博物馆实现了对信息资源的三维建模，极大地激发了观众的参观热情，为观众了解历史文化提供了极大的便利。

目前，大部分数字博物馆的展陈方式以文字和图片为主，展示手段较为单一，易使观众感到无趣，并出现信息传播效果不佳的问题。心理学家赤瑞特拉经过实验证明：人类获取的信息83%来源于视觉，11%来源于听觉。视听语言是指利用视听刺激的合理安排向受众传播信息的一种感性语言，可以针对数字博物馆在信息传播方面的问题提出相应的解决方法。本文主要在数字博物馆与虚拟现实技术相结合的背景下对视听语言展开研究。

虚拟现实技术与数字博物馆

虚拟现实技术

虚拟现实技术是一种综合了数字图像处理、计算机图形学、模式识别、人工智能、传感器以及高分辨显示等，将视觉、听觉、触觉融为一体，生成逼真的三维虚拟环境的信息集成技术。1994年，美国科学家G.Burdea和P.Coiffet在《虚拟现实技术》中提出，“虚拟现实技术具有以下三个重要特征，分别是沉浸感（Immersion）、交互性（Interaction）和构想性（Imagination），也被称为虚拟现实的3I特征”。近年来，随着大数据和互联网等的兴起，提升虚拟环境的自适应性受到越来越多人的关注，智能化（Intelligence）成为新时代研究与应用虚拟现实技术的重要特征。

数字博物馆

数字博物馆以數字形式对信息进行采集和管理，以实现信息永久保存，并通过互联网为大众提供数字化展示、教育和科学研究等服务。数字博物馆突破了时间和空间的限制，实现了馆藏资源的开放与共享。

虚拟现实技术在数字博物馆中的应用

在数字博物馆中有基于全景照片的虚拟现实技术和基于虚拟现实建模语言的虚拟现实技术等方式。在数字博物馆中，虚拟现实技术主要应用于文物信息采集、文物虚拟展示、文物修复还原以及文物资源共享等方面。

虚拟现实技术背景下视听语言的转变

视听语言是影视常用的艺术手段，同时也是大众传媒的一种符号编码系统，包括镜头的拍摄、镜头的组接和声画关系等。虚拟现实技术具有沉浸式、交互性、构想性的特征，促使传统的视听语言发生了颠覆性的转变。

从有边画框到无边全景

在传统的视听语言中，所有的内容都是在摄影机的画框里展现的。因为摄影机的拍摄范围有限，所以拍摄前期需要制作分镜头脚本，为后续拍摄提供参考。虚拟现实技术的出现打破了传统视听语言有边画框的限制，让视听语言以无边全景的方式出现，不再受限于摄影机的拍摄范围，可以全方位地看到事物的内容以及故事发生的全景。例如，谷歌推出的短片Back To The Moon，采用360°全景的方式呈现出了故事内容，讲述了魔术师与红桃女王之间的爱情、魔术师与邪恶的绿衣人之间的斗争，以及魔术师与红桃女王消灭邪恶的绿衣人后携手坐上太空舱回到月球的故事。

从单向观看到双向交互

虚拟现实技术的交互性使传统的视听语言从单向观看转变成双向交互，观众由旁观者变成参与者。观众不仅可以看到虚拟场景里的所有内容，还可以与虚拟场景里的事物进行交互。双向交互可以更好地吸引观众的注意，避免信息接收不到位。例如，在与皮克斯动画《寻梦环游记》配套的社交VR体验《COCO VR》中，观众可以自由地选择发型、衣服、饰品等，打造自己的骷髅形象，同时观众还可以邀请三个朋友共同体验这个奇妙的亡灵国度。

从导演视角到观众视角

传统的视听语言通常以导演视角进行表达。由于虚拟现实技术具有沉浸式、交互性以及构想性的特点，以导演视角进行叙事的作用并不明显。在虚拟场景中，观众处于主体地位，可以根据自身的主观意愿自由地选择想要观看的内容。例如，威尼斯电影节最佳VR动画短片Arden's Wake讲述了一个从小丧母的女孩在海洋深处寻找父亲的故事。在虚拟场景中，观众可以自由地探索，选择不同的视角进行观看，甚至可以忽略故事情节体验被海洋淹没的末日世界。

从镜头剪辑到视线引导

在传统的视听语言里，蒙太奇在叙事方面起到了重要的作用。蒙太奇的运用会让观众产生视觉中断，降低虚拟现实技术的沉浸感。因此，在虚拟场景中，应采用视线引导的方式进行叙事。例如，电影Henry讲述了一只小刺猬交朋友和过生日的故事，该电影多次采用视线引导的方式进行叙事。

从二维声音到三维声音

在传统的视听语言里，不论是单声道还是双声道都是二维平面化声音，观众只能在平面声场里感受声音效果。随着虚拟现实技术的兴起，二维平面化声音逐渐转变为三维立体化声音。三维立体化声音可以将声场还原为三维空间，让观众感受前后、左右、上下移动的声音效果。例如，Baobab Studios制作的VR动画Invasion！讲述了小兔子靠机智的办法让外星人离开地球的故事。影片中寒风肆虐的环境声音给人以身临其境的感觉，随后传来了大鹰的声音，而观众可以通过声音判断大鹰的位置变化。

基于虚拟现实技术的数字博物馆视听语言研究

虚拟空间

数字博物馆通过空间布局进行场景分区，可以让观众在短时间内熟悉数字博物馆的各个场景。1956年，认知心理学家乔治·米勒发表了《神奇数字7±2》，提出在短时间内，人的记忆容量是有限的，通常有5到9个记忆单位。数字博物馆可以采用场景分区的方式把空间分为5到9个展厅，并使用不同的名字以及不同的布局作为区分。

除此以外，还可以在场景分区的基础上建立特殊标志，加深观众对场景内容的记忆。例如，谷歌推出的VR短片Back To The Moon采用了360°全景的方式呈现故事内容，短片的六个主要场景有不同的标志，分别为在水里游动的鱼、红桃女王扑克牌、方正神奇宝座盒、回月球的太空舱、巨大厚重的书籍以及转动的放映机。数字博物馆可以在场景分区的基础上在每个展厅的入口设计一个特殊的标志，并采用视频交互等方式对展厅进行介绍，以便观众更好地接收数字博物馆各个展厅的信息。

五感体验

数字博物馆可以利用人的五感为观众提供沉浸式体验，从视觉、听觉、嗅觉、味觉、触觉五个方面营造沉浸式氛围，让观众更好地沉浸在虚拟场景中。虚拟现实设备虽然屏蔽了观众在现实世界中的视觉和听觉，但为观众提供了虚拟空间中的视觉、听觉、触觉等感官模拟，增强了其在虚拟空间的真实性与沉浸感。

目前，虚拟现实技术在感官体验方面以视觉和听觉为主。例如，Baobab Studios制作的VR动画Invasion！在视听效果方面接近真实世界。在该影片中，观众既可以看到冰天雪地的虚拟场景，又可以听到寒风肆虐的环境声音。在视觉和听觉的影响下，观众还能获得其他感官体验。数字博物馆通过增强视觉和听觉效果，可以提高信息传递效果。

视线引导

数字博物馆可以通过人的声音进行视线引导，并通过旁白、对白、独白等进行信息传递。在观众进入数字博物馆之前，先利用旁白介绍数字博物馆的基本信息，引导观众观看对应的视频、图像等，再利用旁白实现空间的合理转换，让观众正式进入数字博物馆。例如，首部获得艾美奖的VR电影Henry在开头通过旁白进行视线引导，利用旁白向观众传达小刺猬的基本信息并实现空间的合理转换。

观众进入数字博物馆后，利用对白介绍数字博物馆各个展厅的主题和内容、重点展出藏品以及最佳观看路线等。在观众参观数字博物馆的过程中，利用独白让藏品讲述自己的故事，吸引观众的注意。例如，电视纪录片《如果国宝会说话》中东汉击鼓说唱陶俑的独白：“两颗突出的苹果肌，仿佛熟透的冬枣，构成我可爱的面容，人们叫我说唱俑，虽然无名无姓，咱可是国家博物馆里，万人朝觐的大明星。”

非蒙太奇

数字博物馆可以通过非蒙太奇进行场景调度，避免蒙太奇影响虚拟场景的沉浸感。在视听语言里，常常涉及长镜头的运用和场景调度。长镜头采用一镜到底的拍摄手法虽然可以避免剪辑产生的视觉中断，但是拍摄成本较高。目前，长镜头的使用并不常见。而场景调度包括纵深调度、重复调度、对比调度，可以最大限度地利用空间表现力展现场景的整体和细节内容。

数字博物馆可以采用纵深调度、重复调度、对比调度的方式，让观众走进藏品场景。在观众参观的过程中，数字博物馆应有专门的讲解员为观众实时讲解，并向观众展示陈列藏品。例如，法国巴黎卢浮宫博物馆的《蒙娜丽莎：越界视野》VR体验，运用了三种场景调度手法，首先是纵深调度，利用透视关系的变化，使观众走进作品场景，身临其境地感受作品创作的情景；其次是重复调度，通过演员重复出现的方式增强作品的叙事、表意、抒情效果；最后是对比调度，通过对比的方式提高作品的艺术效果，让观众深入了解作品背后的故事以及作品创作的过程。

随着虚拟现实技术的发展，数字博物馆与虚拟现实技术不断融合，给数字博物馆带来了新的发展机遇。虚拟现实技术以沉浸式、交互性和构想性的特征，使传统的视听语言发生了翻天覆地的变化。本文基于数字博物馆与虚拟现实技术融合发展的背景，通过虚拟空间、五感体验、视线引导、非蒙太奇几个方面对视听语言展开研究。目前，虚拟现实技术在叙事引导方面仍有待完善，这也是数字博物馆亟待解决的问题。未来，随着虚拟现实技术在硬件设备和软件系统方面的不断完善，视听语言将会有更好的发展。

（作者单位：广东工業大学）