现象学视野下虚拟现实影音作品的听觉空间审美*

■ 丁 阳 郭艳民

一、VR影音作品视听美学新形态:交互式VR与线性VR体验融合

VR影音作品的体验者想要体验虚拟空间中的运动,需要在现实环境中移动,体验者的视觉、听觉以及触觉都会随着头部及身体的运动实时反馈,体验的时长由体验者自主控制。有学者对VR影音作品的要素进行了归纳,指出“全景+立体+根据观者反馈而实时渲染的内容,是完整定义VR影像的三要素,其中观者的反馈包括自由视角、剧情选择、动作介入、道具使用等多种要素。”①

(一)VR影音作品:介于传统影音作品与VR游戏之间的体验

相较传统影视作品,VR影音作品打破了画框的限制,改变了传统电影中的叙事原则与视听语法,体验者可以在虚拟环境中随意转动视角。此时,体验者的身体仿佛化为一个巨大的操控杆,选择权部分交予了体验者,在不影响叙事表达的情况下,体验者具有相当大的“自由度”。这种对内容的自由设定给创作者带来了挑战,他们需要仔细地引导体验者,以便有效地进行叙事。现阶段VR影音作品的叙事原则还是从传统电影改编而来,尚处于向明确的语法演变的初级阶段。当创作者想要呈现一个依赖于特定事件序列展开的情节叙事时,这种自由便构成了一种挑战。荷兰阿姆斯特丹应用科学大学研究员Vosmeer、埃因霍温理工大学教授Schouten认为,VR影音作品中,体验者和叙事之间的关系是无法准确预测的,每个体验者都会有自己的体验版本,VR电影的体验不是完全被动的(如传统电影),也不是完全主动的(如VR游戏),它介于这两种体验之间。②

(二)音频线索有效引导注意力

在VR影音作品中,体验者需要自行转头或移动身体探索剧情,影像的出现打破了原来的线性顺序,这时有方向性和距离感的音频线索就将发挥重要作用。体验者的听觉感知总是“打开”的,因此对于看不到的区域(被墙或者物体遮挡视线的区域),体验者都会借助音频线索检索信息。这些音频线索主要包括人物对话、空间音频、音效和音乐。可见,音频线索有利于在叙事过程中引导体验者视线,并进行有效的空间调度,音频线索不依赖于提示时的注意力焦点,且可与体验者视域之外的元素相联系,Jayesh S.Pillai和Manvi Verma通过实验考察了知觉线索与VR影音作品情节点相关的体验保真度,从而提升VR影音作品带来的沉浸感。其中就明确论证,音频线索无论是独立存在还是与视觉线索相结合存在,都能有效地引导体验者的注意力,空间音频在其中发挥了异常重要的作用。③

VR技术给予体验者活动头部或移动身体来控制视角的可能性,这意味着体验者关心的不再是空间有限画幅而是整个空间,创作者必须考虑到全部视角的画面和声音内容；同时构建影像和声音的源头来自于空间信息,空间信息在时间的推移下形成的变化才是整个创作的目的,作品内容在空间内是变化的,变化成为构建时间的质料。这种视听美学形态突破了传统电影单一的固定媒体形态,实现了视听传播方式的革新。

二、VR影音作品的空间声音体验

虚拟听觉空间来源于真实的听觉空间,马歇尔·麦克卢汉(Marshall McLuhan)最早使用“声学空间”(acoustic space)一词来描述周围的听觉空间。而后,艾德蒙·卡彭特(Edmund Carpenter)在论著《爱斯基摩人的现实》中发展了这一概念,用“听觉空间”(auditory space)替换了“声学空间”(acoustic space):“听觉空间没有特定的焦点。它是一个没有固定边界的球体,是由事物本身制造的空间,而不是包含事物的空间。它不是象形空间,并非是被框住了的,而是动态的,总是在变化中,时刻创造自己的维度。它没有固定的边界,它对背景是无所谓的。眼睛聚焦、定点、抽象,在物理空间中定位每一个物体,在背景的衬托下；然而,耳朵却偏爱来自任何方向的声音……”④听觉空间不存在固定的边界,一个点声源以相同的响度值向全方向传播,随着距离的增加,响度逐渐减弱,直至一个边界点完全消失。在电影研究中,米歇尔·希翁(Michel Chion)将这种只存在于画外的、巨大的空间描述为扩展域(superfield)。⑤这个空间的声音是从银幕物理边界之外的扬声器发出来的环境声、噪声、音乐声等声响创造而来,它并不是时刻都与我们在银幕上看到的影像同步,但从结构上说,它不存在任何的自主性,比起传统的单声道电影,扩展域以一种更为具体和明确的方式,提供了影片叙事情节周围所有空间的一种连续的、恒定的知觉。推知而来的VR影音作品中的听觉空间,更趋近于多声道电影中的扩展域,但其听觉空间具有自主性。

(一)空间音频构建全景空间声场

如果说,声音技术早期发展是为了让观影者听到声音、听清声音,实现声画合一的基本要求,那么环绕声及沉浸声的发展则是为了进一步实现声音在空间声场中位置和距离的精确变化,以促成观影者最大限度地产生身临其境之感。杜比声技术的出现创造了清晰、个性化的声音,改变了人们对空间的感知,也改变了场景的构成规则。但是这种基于声道的重放系统所产生的空间听觉效果还是与原声场有一定差别。在全景声重放系统中,由于声波传播中存在直达声和反射声并且受制于所在的建筑空间环境等等原因,许多空间移动的音响效果并不理想,遮蔽了很多声音的细节,并且与观众所在的不同听音位置也有关系。针对这些问题,全景空间声场可以最大程度上削减声音在传播中所产生的折扣。

构建空间声场的目的是在三维空间中创造一个围绕听者的声音环境的印象,从而模拟人耳在三维空间中的声音定位。根据蓬托斯·拉赫松(Pontus Larsson)等人的研究,空间音频传输方法可以分为声场相关法(多声道系统)和头部相关法(双耳系统)两种⑥,鉴于VR影音作品常通过耳机进行声音再现,因而较为常用。HRTF(Head-related Transfer Function)是头部相关传输函数,在理想情况下,这种声音定位的算法能够实现每个人都能真正听到的虚拟声音,如同他们各自感知真实声音一样。目前囿于个性化HRTF造价费用过高,还未能在市场上广泛应用。声音需要根据人头部或身体位置的变化即时演算出所对应的声像定位,如当头部向左边转动时,原本来自正前方的声音就要相应地改变方向,变成相对于头部右侧。这样无论体验者去往虚拟空间的何处,声音都会随其空间环境变化、视觉方向及焦点变化而相应实时改变。交互性质的引入使VR环境下的听觉空间更具自主性,这也要求创作者应将全景空间思维纳入到声音设计的环节。

(二)声音的虚拟性

柏拉图的《理想国》中有一个著名的“洞穴寓言”:一群囚犯被困于山洞中,他们被锁链拴住,无法转头看洞外的景象,只能透过身后火光看见投射在岩壁上的影子,听见他们说话的回声,这些囚犯将影子和回声当作世界的真实存在。⑦声音的虚拟性与柏拉图的“洞穴寓言”有很大共鸣。现实就是岩壁和投射的影子,而火焰和投射影子的身体代表虚拟。那些转向面对火的囚犯可能会习惯它,并发现他们的知觉框架会向那个方向转换。同样地,在声音虚拟中,听者如果不考虑他们对声音的固有感知经验,尝试理解其潜在的机制,可能会发现他们对声音的体验发生了变化。这意味着,曾经是虚拟的东西变成了现实。前文已经说明,传统影院观影时,所有的声音都来自周围的扬声器,但是我们的感知却将其定位在面前的银幕,使观众感觉声音来源于银幕中的某个事件或物体。现实世界中,人感知到的声音与声源声音一致,但在电影中,这种一致性常常伴有虚拟性。拟音师通过使用音色相似的物品以敲击、摩擦的方式进行模拟。对听者来说“听起来真实”的声音和“真正真实”的声音是两种不同的东西,声音的物理性质非常显著,因而有被模拟的空间。如同塔科夫斯基所说,在电影中,精准写实的声音世界是无法想象的,这意味着镜头里要混杂所有声音,势必造成声音的不和谐,这种不和谐的结果只能是声音在电影中不受重视。如果没有适当的选择,电影等于没有声音,因为它丧失了自己的表达⑧。

这样的模拟也经常发生在VR影音作品中,很多幻想或是超现实的环境营造都需要大量的声音素材,这些素材不可能通过直接录制物体和事件获得,涉及大量的拟音和音效剪辑。此外,与传统电影有所不同的是,VR影音作品的虚拟性还体现在用耳机重放时,声音在头部定位这种贴近性有效地消除了声源和听者之间潜在的声学效应,声源听起来就在听者的脑袋里。耳机代表了一种虚拟的效果,使声音听起来既来自声源处,又在听者的脑袋里,由此拓展了虚拟的听觉空间,这是VR体验所独有的。虚拟现实的任务是要构筑一个与真实世界相对应的虚拟世界,声音打开了有限的视觉空间,让体验者通过可见和可听的内容结合起来,使其成为可感知的整体。声音的虚拟性并没有产生一个不真实的东西,而是产生了一种真实的可能性,这是对现实的增强、扩展和延伸。声音的虚拟性影响着体验者听到的东西,并影响着体验者的体验方式,进而作用于体验者的认知方式。声音的虚拟性将声音定位为一种新的感知,从一个虚拟的声音集合体中实现,由物理属性和心理声学定位共同构成一个完整的声音感知体验,是一种基于现象学的更具包容性、以听者为中心的声音理论。

三、听觉空间的现象学陈述:复合意向性

如果“洞穴寓言”的故事继续,柏拉图假设当成功离开洞穴的囚犯感知到外面的世界后,他们可能会希望返回洞穴,然而,在返回后却发现他们已经丧失了感知岩壁阴影的能力。囚徒和逃亡者反映了现象学和经验主义者的区别。现象学是关于纯粹意识现象的科学,⑨用来描述经验的结构,特别是意识、想象、与他人的关系以及人类主体在社会和历史中的处境。当前国外学界对声音现象学的研究以美国著名现象学家唐·伊徳(Don Ihde)为代表,他的专著《听和声音:一种声音现象学》在学界产生了重要影响,为学界构建声音现象学范式奠定了基础。他的声音概念不仅仅局限于人类的声音,同时还涉及我们在聆听活动中所有发出声音的物。⑩书中重点关注了听觉感知与注意力,尤其是将听觉和声音视为一个相互关联的整体或实体的现象学。对于伊徳来说,寻找听觉体验的新语言首先要从哲学传统的视觉隐喻中转变过来,打开听觉隐喻的大门,朝着聆听世界声音特征的方向发展。伊徳的方法论来源于胡塞尔和海德格尔,对胡塞尔来说,注意力和所有经验的中心是意向性,意向性是理解人类和他们的世界之间关系的核心概念。意向性的概念并没有将人与世界分开,而是使人与世界之间不可分割的联系变得可见。由于人类经验的意向性结构,现实也只能从人与现实的关系中理解,每一次理解的过程都产生了我们与世界的关系,也就是“我们的世界”,人类总是通过一个中介的人造物建构人类与世界之间的特定关系,比如进行电话交谈这样的体验就涉及到技术构成的意向性问题。荷兰特文特大学特聘教授Peter-Paul Verbeek认为,当人类意图使用技术时,中介意向性(mediated intentionality)就发生了；当人与技术真正融合时,产生混合意向性(hybrid intentionality)；当人的意向性与技术的意向性结合时,产生复合意向性(composite intentionality)。

具体到VR影音作品中的听觉空间,空间音频作为特定的技术可以针对体验者不同的转动方向,实时渲染音频内容,体验者此刻也只关注对他们产生意义的声音,这种定向性的技术被添加到人类的意向性中,复合意向性随之产生。这里涉及到双重意向性,一个是技术对生活世界的意向性,一个是人类对这种技术意向性作用下的意向性。由此,技术的意向性与人类的意向性相通,人类需要依赖技术体验现实,VR环境下的听觉体验不能等同于现实环境下的听觉体验,它仍然是经由VR技术中介所带来的听觉体验。想要理解听觉空间、听觉主体与其环境的关系,还需要理解身体概念在其中的转变和聆听的意向性模式。

(一)具身性与身体在场

人类与技术人造物之间存在的四种关系中的第一种为具身关系。伊德将具身一词限定在关于身体延伸的多模态的第一条线索,具身关系并不局限于视觉关系,它们可能发生在任何感觉或微观知觉维度,比如助听器帮助听力障碍的人听清声音,手杖辅助盲人行走,这是因为一个人的身体意象的经验不是固定的,而是可延展的。莫里斯·梅洛-庞蒂(Merleau-Ponty)区别了作为本己的身体和作为对象的身体,在他看来身体被对象化是“客观世界起源中的一个决定性因素”,这个概念在VR环境下依然适用。体验者在虚拟世界的化身是一个三维的对象,本己身体在退出客观世界时,把身体和它周围的环境意向性地联系在一起,以身体感知的方式呈现人的主体间性,并最终向我们揭示有感觉能力的主体和被感知的世界。

具体到作品中,“在场感”(sense of place)是一个重要的先决条件,这种“仿佛自己在现场”的感觉来自于体验者将自己移情至虚拟影像所构建的空间之中,其中声音扮演着不可或缺的角色。企鹅通过声音找寻到它的幼仔,人们也可以通过电话中传来的声音识别出一个人,但这也并非绝对的,通过声音而判断某个人的特征只是显现的特征,但这样的声音特征能表明一个人的在场。声音的表达来自人的身体,这种独特性是可被察觉的,类似地,物在其物性上也是可被察觉的。通过结合作品体验,VR影音作品中声音所营造的在场感主要通过语音交互和音效塑造而成。

语音交互是使体验者获得“在场感”的重要手段。第78届威尼斯VR竞赛单元最佳VR作品《歌利亚:玩转现实》(Goliath:Playing with Reality),采用手势交互与语音交互相结合的体验方式,体验者可以用手柄控制声音,影像中出现了一串串动态的字符串,此时手柄变成一个圆圈,体验者只有将圆圈套入方块字符串时,才可以听到清晰的语音,影像也配合显示语音所对应的文字,如果圆圈没有套入字符串中就听到无法辨析语义的声音。随着这些正方体掉落、升起、堆叠、倾倒,体验者感受到主角歌利亚内心的喜怒哀乐、所思所感。获得翠贝卡电影节故事景观评审团大奖的《库松达》(Kusunda),以尼泊尔的库松达土著社区为中心,讲述了86岁的采集狩猎者萨满法师Lil Bahadur和他15岁的孙女Hima的生活。尼泊尔目前大约只有 150 人仍然使用库松达语,这种历史悠久的语言已经濒临灭绝。体验者有机会通过一系列语音驱动的互动从库松达语中学习一些短语,虽然作品试图通过体验者选择不同的发声短语,创造不同的叙事分支,但体验者不管读错与否都不会对后面的叙事产生影响,也无法通过语音的选择创建不同的叙事情节,很显然并没有达到相应的交互体验,作品的在场感也因此打了折扣。

此外,在场感还可以通过音效塑造实现。获得第77届威尼斯电影节最佳 VR 沉浸式作品评审团大奖和2021 年戛纳 XR 最佳 VR 互动体验奖的《家中的刽子手》(The Hangman at Home),以动画的形式邀请体验者进入五个交织的故事,作品中有一个场景可供体验者自行选择近距离或者远距离观看、聆听其中某一个故事中人们之间的亲密行为,将体验者从旁观者转变为目击者。随着体验者的走近或远离,声音也相应地放大或减小,同时空间音频也作用在这个部分,用来暗示体验者所在的方位和每个场景故事发生对应的位置。创作者有意将这五个故事中出现的一些物品作为交互情节点,体验者可以尝试弹奏钢琴、点燃火柴、打开唱盘机等一系列动作,每个动作都有相应的音效,特别是在点燃火柴烧毁书籍的那一刻,体验者从一个旁观者变成参与者,浸入了一个虚拟世界。

VR影音作品中,在场感的实现是VR体验能否获得沉浸感的前提。这种沉浸式体验与移情作用相联系,而移情作用的前提是体验者处在客观对象所处的环境,借助声音这一媒介将人身体的在场和物的在场呈现出来,试图让体验者对虚拟环境中的人和事物产生同情和共鸣,从而发挥和释放作为主体的想象力和情感,更好地实现移情作用。

(二)VR影音作品中聆听的意向性模式

建立在虚拟性和具身性的基础上,我们体验的声音不能与我们、我们的身体或是物理环境分开,不同的聆听模式会重新定义和定位声音。希翁区分了三种不同的聆听模式:因果聆听、语义聆听和缩减聆听。因果聆听是最常见的,目的为了更好地理解声源或事件；语义聆听包含了信息编码或解码的过程,目的是为了解释某种意义,比如前文提到的《库松达》中语音互动的部分；缩减聆听是以声音自身特性为中心的聆听模式,比如描述乐器的音色。之后在Tuuri和Eerola的分类法中,聆听模式的概念得到了进一步的扩展。对于Tuuri和Eerola来说,听声音或音乐并不是一种通过听觉来掌握意义的同质化行为,听众的意向性常常被忽视,由此他们提出聆听受到三个方面的影响:注意力(我们专注于声音的程度),意向性(聆听模式:我们作为聆听者如何感知声音,作为我们试图理解世界的结果)和倾向性(聆听风格:我们最倾向于利用哪种聆听模式)。需要注意的是,这三种聆听模式在复杂、多变的VR影音作品中也会相互结合发挥作用。为了描述知觉现象我们必须认识到意识和主动感知的问题。在电影中,银幕限定了给观众看与听的内容,鉴于我们文化中缺乏对听觉的训练,导致声音信息的遗漏或者难以选择某些声音内容的情况发生；而在VR影音作品中,影像和声音都会随着体验者的交互行为发生变化,我们的意识会影响感知,主动地聆听,同时,声音在体验者视线外的区域产生的增值现象能够更好地解释影像的意义。由此可见,在VR影音作品中声音比影像更能成为情感和语义控制的潜在手段。

四、听觉空间的审美建构:声境与听觉主体间的契合

康德认为,审美判断建立在人类的某种共通感(common sense)基础上,共通感的意思是当人给出一个审美判断后,他可以跟别人讨论,获得别人的认同。由此康德认为美具有主观的普遍性,用普遍性表示美感是可以传达予他人的。对传统电影来说,自然地再现声音世界是无法想象的,如果银幕上出现了一切声音,将会是非常喧闹的,也很难让观众抓住影片想要突出表达的内容,电影中的声音必须经过设计,才能形成自己的声音表达。在处理影片声音设计时,声音设计师需要借助审美的方式,将审美欣赏作为一种知觉经验。

音景(soundscape)是当代声音研究(sound studies)中的一个重要概念,电影研究中也经常运用音景的理论解释声音的现象。音景由景观(landscape)衍生而来,加拿大西蒙弗雷德大学教授默雷·谢弗(Murray Schafer)认为,音景是通过声音理解人们在特定时间与环境相互作用的方式,Barry Truax将其定义为声音环境,强调个人或社会对声音的感知和理解方式。不难发现,音景的概念由景观而来,还是基于西方视觉范式的提法,同时音景将声音作为一个对象看待,声音被放置在景观和对事物视觉理解的框架下,以英国阿伯丁大学蒂莫西·英戈尔德(Timothy Ingold)教授为代表的学者认为,音景的概念不能准确解释声音的内涵,声音不应是对象,而应该是我们感知、思考的媒介。他将声音与光(而非可见物体或图像)进行比较,正如视觉研究倾向于将视觉从属于图像,将眼睛视为再现图像的工具,而不是感知器官,音景研究将耳朵简化为简单的回放工具存在着很大的风险。英戈尔德用天气、风和呼吸这类的例子,提出另一种理解声音的方式,即作为体验的声音,声音就像呼吸一样,是一种来去循环的能量。基于英戈尔德对于声音的理解,有学者提出了声学环境/声音环境,简称声境(acoustic milieu)的概念,Milieu是一个法语词汇,英文翻译为environment,声境主要是指通过声音或听觉创造的环境,但是声境不是一个简单的环境。国内学者王婧认为,声境不仅仅是一个环境,它是主动产生的,具有物质、符号和记忆的特征。如果我们把听者作为我们的主体,那么人们就会理解,通过听的行为,他与声音环境相互作用,产生我们所说的声音。因此,声音既不是物体,也不是振动体,也不是振动发生的空间；声音是听者与环境相互作用的产物。聆听不再是沉思眼前的事物,而是沉浸在环境中。声境的概念摒弃了西方传统美学中主客二元对立的思想,指向一种关系性的环境。此外,因为声境只是环境的一部分,所以聆听的行为不是一种专注于一种感觉并麻醉其他感觉的截断感知:它编织了主体与特定环境之间的关系,声音环境与视觉、触觉和其他环境共存。声境的理论有助于我们理解VR影音作品中创作者、体验者和作品之间的关系。例如在声音交互作品《水母》(Jellyfish)中,该作品运用实时语音分析仪测量体验者语音的振幅、频率变化,并根据语音信息实时反馈给体验者所听所见的虚拟环境。体验者置身海洋世界,一旦凝视某一个水母,水母便会向体验者游来,它会根据体验者发出的声音产生相应的形态变化,当体验者保持沉默不理会水母时,它就会游离。体验者说话或歌唱的过程中会将注意力更多放在聆听自己的声音上,创作者在设计之初就充分考虑了语音信息的特征,水母的形态变化也根据语音的变化而发生改变,体验者聆听的行为沉浸在整个海洋环境中,声画交织一体,体验者通过这样的交互体验了解一个物种。

这里不妨借用禅宗中的心和境的关系来进一步分析VR影音作品中的听觉空间的审美建构。体验者(感知主体)和听觉空间(声音环境)之间的关系可以看作是心与境之间的关系。唐代佛教学者宗密禅师说:“心境互依,空而似有故也。且心不孤起,托境方生；境不自生,由心故现。心空即境谢,境灭即心空。”作品中声音所营造的听觉空间首先是创作者主观经验的表达,声境强调个人对某种声学环境的体验,体验者在交互的过程中,感知主体与环境之间的相互作用产生了一种幻觉,根据人的头部及身体的移动带来听觉空间的变化,基于对现实环境的记录,但又不是完全还原现实,体验者接受信息的多少取决于自身的交互过程及个人的主观经验,如人生阅历、学识素养、气度胸怀等。一部成功的VR影音作品应该做到心与境的契合,这就需要创作者在创作之初就充分考虑到作为感知主体的体验者的接受程度,听觉空间设计需要具备全向声场的思维,通过有效的交互场景推动叙事的进行。

注释:

① 花晖:《VR电影语言》,上海交通大学出版社 2019年版,第29页。

② Vosmeer M,Schouten B.ProjectOrpheusAResearchStudyinto360CinematicVR.Proceedings of the 2017 ACM International Conference on Interactive Experiences for TV and Online Video.2017.pp.85-90.

③ Pillai J S,Verma M.GrammarofVRStorytelling:AnalysisofPerceptualCuesinVRCinema.European Conference on Visual Media Production.2019.pp.1-10.

④ Carpenter E S,Carpenter E,Mcluhan M.ExplorationsinCommunication:AnAnthology.Beacon Press(MA).1966.

⑤ [法]米歇尔·希翁:《视听:幻觉的建构(第三版)》,黄英侠译,北京联合出版公司 2019年版,第132页。

⑥ Larsson P,Väljamäe A,Västfjäll D,et al.Auditory-inducedPresenceinMixedRealityEnvironmentsandRelatedTechnology.In the Engineering of Mixed Reality Systems.Springer.2010.pp.143-163.

⑦ Jowett B.AllegoryoftheCave:Plato.CreateSpace Independent Publishing Platform.2016.

⑧ [苏]安德烈·塔科夫斯基:《雕刻时光》,张晓东译,南海出版公司2019年版,第175-176页。

⑨ 倪梁康:《现象学及其效应:胡塞尔与当代德国哲学》,生活·读书·新知三联书店2005年版,第37页。

⑩ Ihde D.ListeningandVoice:PhenomenologiesofSound.Suny Press.2007.