交互·镜语·复眼:VR影像媒介语言的全息融合*

苏米尔

人类以影像认知、表达乃至改造世界的历史由来已久。作为影像世界“新成员”的VR影像,其呈现出的虚拟三维时空从根本上源于“人的本质力量的对象化”。戴上VR眼镜的体验者步入一个有别于传统影视的、前所未有的三维幻境。在虚拟世界中,VR体验者通过与情境的交互成为与创作者共同编织故事世界的主体,并通过在VR世界中人的本质力量的对象化来审视与确证自身。恰如马克思所言:“一切对象对他说来也就成为他自身的对象化,成为确证和实现他的个性的对象,而这就是说,对象成了他自身。对他说来对象如何成为他的对象,这取决于对象的性质以及与之相应的本质力量的性质。”①随着人类运用媒介的本质力量的强化,媒介的进化形态其实就是人对自身力量的确证。因此,VR影像的诞生与发展具有历史的必然性,其媒介形态所表现出的诸多媒介语言特性是历史上其他媒介语言的“变体”,并通过深度的媒介融合逐步生成自身独有的特性。如果说传统影视凭借蒙太奇语言集合了音乐、舞蹈、绘画、雕塑、建筑、文学、戏剧等艺术的媒介语言元素,那么VR影像则实现了更大程度的媒介融合,并在媒介语言上表现出交互性、镜语性和复眼性。

一、交互性:对现实世界的智媒化“拟态”

传统影像的接受端以静观为主。VR影像通过游戏式交互的植入,促进交互与静观彼此融合。从根本上讲,游戏式交互在VR场景的融入可视为法国电影理论家安德烈·巴赞(André Bazin)提出的“电影是现实渐近线”在智媒时代的一种投射。回溯银幕世界的演变,“无声电影—有声电影—彩色电影—高清电影—3D电影”的路径就是一条不断追求现实逼真感的“渐近线”。当现实生活的人际互动被植入VR情境后,创作端与接受端之间在共筑故事世界的过程中实现了语言、行动、情绪、思想的交互,这使得影像演进的这条路径更加趋近现实世界。其实,这是一种“超越式”的趋近,即通过人与虚拟情境元素的交互、人与人在情境中的交互,虚拟情境承载了人类更为丰富的想象和超越现实维度的“高维时空”。VR交互基于叙事设计与技术因素存在交互程度的“梯度”之别。不同程度的交互又分为视觉、听觉、躯体等不同方式的交互。交互程度之“经”与交互方式之“纬”的交织有利于我们对具体VR文本交互性的定位。

(一)VR影像交互的“梯度”划分

在静观故事的同时,体验者被赋予“角色身份”,与情境产生了具有“梯度”之分的“初级—中级—高级”行动交互。其中,“初级行动交互”是指通过情境文字提示或符号指引实现的交互。这种交互类似于电脑和手机等二维客户端利用按键或鼠标操作的传统交互,处于VR交互的初级阶段。例如,在国产VR系列短片《戴上眼镜当皇帝》中,体验者戴上VR眼镜,便打破了传统戏剧的“第四堵墙”,也消解了传统影院的银幕阻隔,并从受众的“全视角”转换为角色的“限视角”。VR体验者端坐于龙椅,仅仅获得了皇帝视角,与大臣、宫女、宦官、刺客的语言交流全部依赖画外音。这类作品已经初具VR交互雏形。“中级行动交互”类似传统电脑单机游戏,通过担任角色、参与游戏进行交互,并在类似游戏闯关、升级中产生不同结果。譬如,美国首部VR系列剧《寻踪》(Gone)讲述了一个母亲寻找女儿的故事,其交互模式可以据此实现优化,即赋予体验者角色职能。《寻踪》原作品中的体验者根据提示信息帮助母亲寻找女儿产生了不同的故事结局。“高级行动交互”类似多人同时在线参与的游戏。由多名VR体验者以虚拟身份参与创作。在不同场次与不同对手的交互中,叙事路径的差异性与多元性更加显著,形成发散性、多通道的叙事结构。

目前,“初级行动交互”与“中级行动交互”已然实现,“高级行动交互”受限于正在探索中的人机交互技术,所以仅为一种预设。“目前的VR双向传输能力差、传输速率迟缓,难以满足受众实时互动、社交分享、多屏观看的需求。所以,现在的很多VR节目只是360度照片建构的一个三维立体场景,视觉效果、互动性和沉浸感都较差,用户的沉浸体验不尽如人意。”②当然,人们对智能媒介科技的愿景终将成为其探索的重要动力。“Oculus Story Studio”电影工作室的Oculus Social社交应用平台可视为“高级行动交互”的雏形。用户在Oculus Social可以邀请不超过5名用户同时观看VR作品并交流。VR影像提供了一种超越传统3D电影的真正的虚拟三维时空,当被赋予不同角色身份的体验者步入虚拟情境,人机交互演进为“人—机—人”交互,从而使VR受众获得了极大的自主性与沉浸感。

(二)VR影像交互的主要方式

在不同“梯度”的VR影像中存在着视觉交互、听觉交互、躯体交互的不同交互方式。这些交互方式越丰富,交互程度越深入,就越能体现出VR作为“现实渐近线”的影像功能。体验者的交互往往伴随着选择,当选择失误还可以如游戏一般退出重来。“不论是对时间的消逝发出感喟的孔子,还是慨叹‘没有人能两次踏入同一条河流’的赫拉克利特(Herakleitus),他们共同阐释了一条亘古的时空规律:作为三维生物的人类只能感受四维截面,却不能在四维时空中自由穿梭。换言之,三维空间生物只能在瞬间感受‘此时此刻’,却无法逾越‘时间’之维抵达时空彼岸。然而,VR影像时空中的观众从三维向四维乃至更高维度的跃进,使‘人生可以从头再来’之假设成为逼真的幻觉体验。”③当然,这种幻觉体验的实现还须诉诸体验者在虚拟世界的交互与选择,这是人的本质力量在影像投射中的延展。

在众多交互方式中,视觉交互占据主导地位,主要体现为VR体验者与色彩、光线、情境角色以及其它形象元素的交互。VR剧情短片《特别追击》(Special Delivery)讲述了一名守卫抓捕神秘的不速之客的故事。在叙事过程中,受众视线可以跟随主人公,也可以关注其他人物。当受众视线游离于关键人物、关键信息之外时,这些人物与信息的视觉渲染会立即中止,体验者视线移至何处,便会触动相应位置的事件发展。《特别追击》的设计一方面使传统影像中接受“推拉摇移跟”“远全中近特”的被动地位转为视觉的主动选择,从而使受众以VR眼镜下的双眼替代了摄影机镜头。另一方面,VR影像视听信息量巨大,而人眼有效视野范围为120度,所以随着视线迁移触动或暂停某些方位信息的设计避免了受众错失一些视野盲区的重要信息。

相较于视觉交互和听觉交互,躯体交互是对现实世界行为更大程度的“类比式再现”。早期的互动电影与今天的网络游戏也存在受众的动作交互,但是通过鼠标按键来操控角色的人机交互过于单一。相较而言,VR影像中的躯体交互形式多元,令体验者在一个虚拟的三维乃至更高维度的时空中“生活”。在圣丹斯电影节与戛纳电影节上映的VR剧情短片《壁炉里的狼》(Wolves in the Walls)中,主人公露西需要体验者一同证明家中的墙壁中有狼的存在。于是,在作品开篇,露西面向体验者,画了一双手(如图1所示)。这双手成为体验者与情境交互的介质。体验者通过对“手”的控制与露西及情境展开交互。

图1 VR剧情短片《墙壁里的狼》中作为躯体交互介质的“双手”

体验者的躯体交互在重要情节点发挥着推动剧情的作用。惟有作为露西同伴的体验者用相机拍下狼的照片,才能令露西全家相信露西的猜测,避免灾难。在交互的过程中,《壁炉里的狼》设计了一系列与体验者交互行为对应的手柄操作:挥动手柄对应挥舞双手,按下手柄来选择相机按键对应拍下狼的照片,按下手柄来选择光剑对应抗击狼的攻击,按下手柄来选择门把手则能够阻挡狼冲入房间。VR情境的躯体交互强化了体验者的行动自主性,跨越了影像创作与接受之间的“藩篱”,促使创作端与接受端在高频度的交互中共筑一个故事世界。

二、镜语性:“共时性景深”与“共时性蒙太奇”

镜语是VR影像对影视媒介语言的借用,虽然VR场景多以类似电影长镜头式 “一镜到底”的方式摄制,但是传统影视的交叉蒙太奇、平行蒙太奇、对比蒙太奇等手法也并非没有用武之地,而是在VR语境下凸显出共时化的新特征。“共时性镜头”与传统影视的镜头历时性组接相对,是指VR全景摄像机经过技术拼接而同时呈现在受众视野的多个镜头的复合体。基于VR镜头的特殊性,影像拍摄中的景深与蒙太奇也从传统的“历时性”转向VR之“共时性”。

(一)从“历时性镜头”到“共时性镜头”

VR影像拍摄使用的通常为经纬360度的全景摄像机,由若干镜头向不同方向发散,则所拍摄的画面需要由“缝合技术”拼接而成。值得注意的是,镜头之间的“科学的60度夹角”的设计正是考虑到相邻镜头拍摄到的区域有信息的“交集”,所以需要根据具体情况确定镜头之间的安全距离。

通过全景摄像机拍摄的素材在剪辑时体现出与传统影视剪辑的巨大差别,在时间上表现为从传统影视的历时性转变为VR影像的共时性。在传统影视剪辑中,虽然也是多镜头、多机位拍摄,但是在后期合成时要按照时间线性规则提取影像素材,比如三个机位同时拍摄,分别从不同视角记录同一内容,在剪辑时则要按照历时性原则来组织素材1、素材2和素材3(如图2所示)。

图2 传统影视剪辑的“历时性”镜语图谱

然而,VR影像则是通过“缝合技术”使各个镜头信息不重复、不割裂,形成如同人眼环顾的视觉效果,所有镜头内容共时化展现,比如选取VR全景摄像机若干镜头中的三个镜头,如果存在相邻镜头摄录的“公共区域”则需要“缝合技术”处理,最终三个镜头的拍摄内容共时化呈现(如图3所示)。

图3 VR影像素材“共时性”镜语图谱

(二)从“历时性景深”到“共时性景深”

在传统影视画面中,单个镜头在同一时刻的景深是唯一的,只有历时性,没有共时性,即只能在一段时间内进行景深变换。然而,由于VR影像是多个镜头在同一时刻共同营造一个虚拟情境,因此在同一时刻可以展示不同景深,形成VR影像独有的“共时性景深”。

作为VR影像的媒介语言,“共时性景深”在创作中具备两点优势。一方面“共时性景深”有利于引导体验者的注意力。在传统影视中,有时会使用变焦镜头在历时向度上的变化带来景深效果的变化,引导体验者视点的迁移。这一点理应为VR影像创作所吸纳。由于VR影像挣脱了传统二维平面束缚,进入虚拟三维乃至更高维度的时空,所以体验者在360度空间容易产生信息盲点,错过关键信息。因此,“共时性景深”通过不同镜头焦距的调整,使一些拍摄对象被淡化,另一些拍摄对象被突出,从而激发受众的视觉反应。另一方面“共时性景深”有利于视觉优化。比如,在VR影像创作中,景深可以作为一种营造意境的手段。“共时性景深”通过不同景深产生的视觉差异,能够在景深对比中营造出虚实相生的缥缈意境,带给体验者更深层次的审美沉浸体验。

此外,MMSPEED和QAGOR路由随空洞尺寸增加而数据包传递率迅速下降,而DG-SHGR路由仍保持稳定。原因在于:DG-SHGR路由引用雷区概念。从图7可知,即使在D=0.2 s时,DG-SHGR路由仍保持75%的数据包传递率,而在D=0.5 s和D=0.8 s时,数据包传递率保持95%以上。相反,在最糟糕的情况下(Topologies 18),MMSPEED路由在D=0.2 s、D=0.5 s和D=0.8 s 3种条件下的数据包传递率下降至30%、55%和61%。

基于此,我们可以对富有古典意境美的文学作品实现跨媒介叙事的VR影像创设。例如,在李白名篇《梦游天姥吟留别》中,从山峦大地到天上仙境的游历,过渡在于“洞天石扉,訇然中开”这一句。透过石扉,映入眼帘的是“青冥浩荡不见底,日月照耀金银台。霓为衣兮风为马,云之君兮纷纷而来下”的又一番光景。如果要引导立于石扉之前的体验者步入VR情境中的天上仙境,就需要以小景深展现体验者所处的山峦大地,使后景在云雾缭绕中变得模糊,同时以大景深来表现石扉之后的这一奇景,增加这一方位景物的纵深感与前后景的清晰度,从而自然地引导体验者步入“仙境”。

(三)从“历时性蒙太奇”到“共时性蒙太奇”

“蒙太奇”在传统影视中体现为单个镜头之间的历时性,这一历时性概念在VR影像世界中则衍化为共时性。VR影像叙事存在类似戏剧的换场,此时镜头转换还可以看作是类似影视的“历时性蒙太奇”,而在许多VR场景中所谓的“一镜到底”并非是纯粹的影视长镜头复现,而是VR的“共时性蒙太奇”结构的结果。

“共时性蒙太奇”可以视为“无缝剪辑”在共时向度的延伸。经典好莱坞时期“无缝剪辑”法则要求镜头组接在线性时间轴上体现出空间变化的连贯效果,这是对镜头历时性组接的要求。在VR影像的共时性镜语中,这一法则以“缝合技术”来达到“无缝剪辑”的视觉效果。当技术不再成为阻碍,那么多个镜头的共时化则必须更多地考虑镜头内容之间的逻辑。这是由于,人脑接收处理信息习惯上依据线性原则,同时接收和处理过多信息容易造成逻辑上的混乱。这里由代表性案例——谢菲尔德国际纪录片电影节获奖作品《失明的世界》(Notes on Blindness)初步探索“共时性蒙太奇”的可行性。

在VR体验短片《失明的世界》中,所有景象均是由零星闪烁的蓝色星点构成,星点在虚实之间便衍化出不同景象,实现了梦境般的幻化。如此精巧的设计有赖于“共时性蒙太奇”的运用。起初,在VR体验者左侧是一条涓涓细流,远处是虚幻的山峦,右侧则是凉亭、草地、长椅、蜿蜒的小路、行驶的汽车、野炊的人们……这些右侧的景物在虚实之中彼此更迭,形成了传统影视“淡入”“淡出”式的蒙太奇叠化,而体验者左侧的河流山峦则渐渐淡化,逐渐由无数星点变幻出一个茂密的丛林。在短片中,有一只飞鸟从体验者左前方向右侧飞去,飞翔轨迹由光点汇成。此类虚拟形象在较大物理位移中留下连续的运动轨迹。这启示着VR创作者:相邻镜头拍摄同一运动形象时,要在拍摄角度、时间安设、焦距景深等方面形成配合,才能实现共时化的“无缝剪辑”效果。总体上,《失明的世界》以闪烁的星点构图来代替盲人脑海中的想象,使体验者置身于盲人的脑海世界,左右两侧景象的共时性变化不仅没有造成多个镜头之间的割裂,反而凭借高超的“缝合技术”和艺术想象创设出一个无限幻化的空间,使人在幽蓝星点世界中体悟到静穆之美。

VR影像全新的镜语性与传统影视镜语在诸多方面存在对应关系。可以说,VR镜头是传统历时性镜头在共时化语境中的变体。智媒科技赋能下的VR影像在一些学者那里被归为“后电影”。“后电影主要是由制作方式以及支撑这一制作方式的主要技术手段引发出观念的变化而诞生的。……正是数字化技术的发展、网络功能的增强、电脑的更新换代,改变了电影的技术系统和艺术系统,推动了后电影的生成和发展。”④不论名称如何界定,VR影像的镜语正在显现出其自身日益鲜明的特征,不断地强化在媒介矩阵中的主体地位,这种看似“脱胎”于电影的新兴影像媒介正在以突飞猛进的态势成长为独立的艺术媒介。

三、复眼性:“物理中心感”与“心理中心感”的深化

由VR影像在游戏中汲取的交互性和在影视中汲取的镜语性衍化出VR影像独有的复眼性。具体来讲,体验者戴上VR眼镜,便已处在虚拟空间的物理中心。不论体验者在虚拟空间中的物理位置如何,都是宛如蜻蜓复眼般的多方位感官主体,可以随时转移视线或转动身躯,来接收各个方位的信息。这种“复眼”的比喻,并非单指人的视知觉,而是包含视觉、听觉、嗅觉、味觉、触觉在内的多重感官复合体。特别是伴随着 “VR五感仿真技术”的革新,这种“复眼”感官特性会获得强化。技术演进主要体现在对肉眼分辨率、情境逼真化的处理等方面,创作者对叙事空间的美学安设则强化着VR受众的“复眼”式体验,使其从“物理中心感”至“心理中心感”都获得深化。

(一) 空间位移

VR影像创作者在同一场景中,有时通过引导受众物理位移(如走动或转身)来保持固定视点；有时通过镜头切换来变换视点,受众无需自行发生位移。这两种安设方式目的在于,通过空间位置的变换来强化“复眼”的物理中心感,从而通过交互、沉浸而深化“心理中心感”。在VR剧情短片《画中人》中,一名女子在书房电脑前工作,此时体验者处于女子正前方位置(位置1),当女子听到书房外客厅中的响动时,便起身走出书房查看究竟。此时,体验者视线跟随女子运动,体验者身体需要旋转180度(位置2),随即进入客厅,当女子将倒地的壁画扶起,再次走回书房后,体验者需要在位置2处右旋45度,方能获得与位置1相同的视点,即处于女子正前方。这是通过引导受众物理位移取得相同视点的手法,其优势在于引导受众的运动。缺点在于视点单一,并容易引起眩晕。

(二) 角色行动

当受众面向VR情境中的角色时,角色与受众展开语言交流和眼神交流。角色有时会与体验者身后正在走来的角色进行交流,或通过眼神、表情的变化引导体验者的视线转移。角色有时还会从体验者的身旁走过去从事其他活动,这也会引导体验者自觉地随之转身。根据电影《京城81号院》改编的同名VR体验短片之开篇,兄妹二人走入隐藏着秘密的81号院正堂,此时体验者位置正对兄妹二人,然后,二人分别从体验者左右两侧走向身后,这时体验者旋转180度,视线转移至摆放供品的香案。这即是借助角色行动强化“物理中心感”的一种调度。

(三) 镜头运动

前两种情况中不论是空间位移还是角色行动均在固定镜头下完成。在运动镜头中,要强化物理中心的空间位置,需要判断视线对象和运动轨迹。在一次拍摄万马奔腾的任务中,创作者起初尝试将全景摄像机捆绑在马背上,以期产生奔跑的动感,然而事与愿违,实际拍摄效果轴向错乱、空间颠倒。这正是对运动轨迹把握失策的后果。于是,创作者调整思路,将全景摄影机捆绑至摩托车上,然后以40—80公里/小时的速度追赶并冲入马群。如此拍摄,效果便是体验者置身马群之中,以更高速度超越并目睹了万马奔腾,带来了相对运动中的“物理中心感”。研究者李金辉对此次拍摄总结到:“由于 VR 的头显设备,依据平衡陀螺仪的技术原理,使体验者(观众)的视觉感受可以随视线变动,头显设备中的全景画面主动地调整为能够让体验者(观众)适应的空间关系,在体验者的虚拟世界里,宇宙坐标的关系是保持不变的。运动镜头的拍摄中,核心要素是体验者(观众)的视角要与谁一起运动,运动过程中所看到的对象是什么。”⑤

(四) 自主运动

在VR情境中,受众自主运动,视线自由转移,于是人机交互的跟踪、渲染、显示的计算机输入和输出同步进行。比如在VR剧情短片《寻龙探秘》中,体验者跟随虚拟形象“小仙女”指引。安装在VR眼镜中的陀螺仪和重力感应器、加速度计一同跟踪体验者运动和视线,把这些信息传递到画面渲染系统,系统根据运动和视线信息渲染出相应画面。当然,如果对《寻龙探秘》做出优化,我们还应当增加自主调节景别与焦距的功能。当体验者看到云雾缭绕的远空山崖处出现了神龙光谱,好奇心强烈并具有冒险精神的体验者自然会选择调节手柄,由“推镜头”将自己“推”至山崖之前,以小景别清晰地目睹神龙现身的一幕。相反地,不敢靠近并倾向全景欣赏的体验者则可以调控景别和焦距,由“拉镜头”将自己“拉”至一个心理安全地带,静候神龙出场。未来这种景别与焦距的自主掌控将提升受众的空间运动感和掌控感。

四、坐标映射:VR三大媒介语言特性的全息融合

VR影像作为一种更高程度的全息融合媒介,媒介语言的交互性、镜语性、复眼性在不同文本中所发挥的职能与所占的比重有所区别,因而会形成形态、风格、叙事方面的较大的差异。所以,我们把VR影像媒介语言之交互性、镜语性、复眼性映射于坐标系,形成了“VR影像全息融合坐标系”(如图4所示)。

图4 VR影像全息融合坐标系

在坐标系中,三根坐标轴均以原点0为起点,各轴之间的夹角均为120度,垂直轴表示VR交互性,随着坐标轴延伸,交互性愈强；左侧轴表示VR镜语性,随着坐标轴延伸,剧情特性与蒙太奇特性愈强；右侧轴表示VR复眼性,随着坐标轴延伸,全景观感与物理中心感愈强烈。每两根坐标轴所夹的面积S1、S2、S3分别代表此两种语言特性的复合强度。要运用这一坐标系衡量VR的形态属性,就需要对具体作品的三种属性在坐标系上予以定位。

未来的VR情境依托于“VR五感仿真技术”的突破,情境中的人物和景物都会在视觉上更接近人眼分辨率的极限,在听觉上更接近真实声音的声源方位。在艺术层面,虚拟仿真的视听等感官科技只是触动人们心灵的基本物质技术要素。鲁道夫·阿恩海姆(Rudolf Arnheim)在《艺术与视知觉》的“引言”中写道:“视觉形象永远不是对感性材料的机械复制,而是对现实的一种创造性的把握,它把握到的形象是含有丰富的想象性、创造性、敏锐性的美的形象。一个不可否认的事实是:那些赋予思想家和艺术家的行为以高贵性的东西只能是心灵。”⑥智媒科技的突飞猛进正在为全息影像艺术时代的全面到来打着“前站”。回首百余年前的黑白无声电影《火车进站》,这列“火车”带来了人类对影像的无限憧憬,也开启了人类用影像抒写历史与生活的新征程。今天的VR影像创作者与研究者立足于新型媒介语言的碰撞与融合,正在努力地点亮智媒时代的影像之光,并奋力地照亮前方充满无限可能的全新影像世界。

注释:

① [德]马克思、恩格斯:《马克思恩格斯全集》(第42卷),中共中央马克思恩格斯列宁斯大林著作编译局编译,人民出版社1979年版,第125页。

② 惠东坡:《国外电视媒体 VR 应用的主要问题及发展趋势》,《电视研究》,2020年第2期,第91页。

③ 张金尧、苏米尔:《VR影像叙事:一场全新时空的审美之旅》,《现代传播》,2017年第6期,第100页。

④ 周安华主编:《电影艺术理论》,中国广播电视出版社2005年版,第533页。

⑤ 李金辉:《隐蔽在现实中的虚拟——虚拟现实 VR视觉影像创作谈》,《北京电影学院学报》,2016年第3期,第23页。

⑥ [美]鲁道夫·阿恩海姆:《艺术与视知觉》,腾守尧等译,中国社会科学出版社1984年版,第2页。