表演与操演——当下VR 设备的双重文化逻辑

□毛睿喆

【导 读】 VR 设备交互系统与文本内容展现出不同的文化逻辑, 显示出一种背反的双重性特征。 VR 设备交互系统以表演的逻辑塑造出积极的使用者形象, 但当下的VR 文本内容依旧以规则为逻辑限制使用者的动作, 将使用者操演为系统中的用户, 培养其习惯, 压抑了使用者的能动性。 当下, 能动的参与者尚未在虚拟现实中出现, 但这种双重文化逻辑挑战了能动、 被动与观看、 表演之间的结构性关系, 这也使诞生能动的参与者成为可能。

2022 年10 月11 日, 马克·扎克伯格(Mark Zuckerberg) 在开发者大会(Meta Connect 2022) 上展示了Meta 公司 在 “元 宇宙” (the metaverse) 领域开发的最新终端设备以及相应的技术更新。 这不仅是对产品迭代和技术演进的展演, 也是对现有技术路线的再次强调:基于数字计算机技术的头戴式显示器与感应器之组合是当下通往沉浸性、 具身性元宇宙的最可行路径。

现今国内外有众多科技厂商正在设计开发VR 设备并搭建相应的内容 平 台。 Pico、 Meta Quest、 HTC VIVE、 Microsoft HoloLens 等 产 品 面向不同受众, 分层次地探索市场:既有消费级产品, 直接面向消费者为个人提供影音娱乐服务; 也有商用级产品, 为企业提供制造、 医疗、教育等领域的应用。 可以说, 在元宇宙的整体框架中, VR 终端设备和内容率先来到大众面前, 在元宇宙文化成型前, 成为一种值得关注的文本。

对当下VR 设备的考察可以从其交互系统与内容文本两方面入手,这既是对现有VR 设备和文本的分析, 也是对未来元宇宙文化的一次前瞻。

一

VR 设备承诺调动人类一切感知能力——不只是视觉与听觉, 还包括触觉、 嗅觉、 运动感知等——为受众带来“与他人或在他处的真实临场感”[1]。 虽然此承诺尚未完全实现, 但得益于位姿追踪(Pose Tracking) 技术的发展及其在VR 设备上的应用, 它正逐步成为现实。 作为实现沉浸性体验不可或缺的支柱,位姿追踪技术的重要性表明了, 探讨VR 设备的文化逻辑无法忽略其背后的技术架构。

位姿追踪系统通过检测、 追踪三维空间内设备自身、 使用者身体或周边环境在位置和方向上的相对关系和变化, 从而使VR 设备使用者的运动感知参与到与媒介、 作品的交互之中。 可以说, 位姿追踪系统是塑造使用者与虚拟现实世界互动性的基础, 也是具身性感官沉浸的基础。 只有精确的位姿追踪可以维持使用者身处另一世界的错觉, 此种错觉的消散会影响使用者的沉浸感, 甚至可能直接导致虚拟现实感的崩溃。

考虑到成本及精确度, 现有VR设备的位姿追踪系统大多采用光学追踪(Optical tracking) 与惯性追踪(Inertial tracking) 相 结 合 的 方 案。其中, 惯性追踪技术在当今的电子设备中已经非常常见, 智能手机或平板电脑中都配备了惯性测量单元(IMU) 来感知设备的转动和移动。而光学追踪使用复数的摄像头来获得环境图像, 通过提取图像中的环境特征信息, 并根据其中的一致性信息在图像序列中的位置变化来追踪设备相对于环境的位姿变化。 此方法与人类立体视觉的原理相似,当人使用双目看一个物体时, 可以下意识地通过两只眼睛的位置差异结合透视经验以形成空间感, 从而了解物体的空间位置。 若说光学追踪摄像头类似于人的眼睛, 那么

SLAM (Simultaneous Localization and Mapping) 算法则相当于人形成空间感知时的下意识。

进一步区分当下的光学追踪方案, 则大致可分为外向内追踪(Outside-in tracking) 和内向外追踪(Inside-out tracking) 两种。 外向内追踪方案中, 摄像头被布置在环境中的固定位置上, 而被跟踪的设备上被设置了特定的光学标记, 摄像头通过观测标记的位置及其变化以测算位姿。 使用外向内追踪方案的VR 设备有Oculus Rift CV1、 PlayStation VR等。 此方案非常成熟, 在电影的动作捕捉技术中也有应用。[2]在内向外追踪方案中, 摄像头被设置在VR头戴式显示器上, 通过向外观测以确定其在环境中的位置。 光学标记在此方案中并非必要, 譬如, HTC VIVE 的灯塔系统 (Lighthouse) 使用有标记的外部模块, 而Pico 4 的位姿追踪系统无须在外部环境中设置标记。 外向内追踪和内向外追踪相比, 前者拥有更高的精确度, 更低的延迟[3], 而后者成本更低, 更为便捷。

虽然不同厂商的位姿追踪解决方案有一定差异, 但是各种解决方案都存在一个值得关注的共同点:对摄像头或光学传感器的运用。 也就是说, “机械之眼” 在当下VR 系统中是普遍存在的。 更值得注意的是, VR 设备的机械之眼并非用以观察外部世界[4], 而是用以观测使用者自己的身体。

二

看向使用者的机械之眼可谓是VR 设备作为媒介的重要特征, 其独特性超过了VR 设备对实现虚拟现实的承诺。 因而, 正是机械之眼的独特性塑造了VR 设备交互系统的文化逻辑。

回望媒介技术发展, 人们对虚拟现实的愿景有着悠久的历史。 无论是口头、 绘画、 报纸, 抑或是照相术、 电影、 电视, 它们使用不同的技术手段, 尝试超越时间与空间的桎梏, 将遥远之物以愈加贴近人类天然感受和经验的形式, 带到人们身边。 也就是说, 在人类的媒介技术发展史上, 更为逼真地再现现实一直是其潜在的追求。 在对再现现实之追求的背后, 不仅有复制感官感受的逻辑, 更有超越世界物理限制的逻辑, 因而媒介逻辑自身一直有创生虚拟现实的意涵。

但是, VR 设备将媒介受众置于一双眼睛之下, 受众的接受行为必须基于这双眼睛的观察, 这在媒介技术的发展中尚属首次。 基于大数据算法的移动媒介或新媒体会通过受众的选择和喜好为其推送相应的内容, 但这仅限于监测受众行为的结果及偏好, 而非动作本身; 体感运动游戏通过感应系统观测玩家的身体动作, 但由于其对玩家动作的判定在技术上是有限的, 这使“体感运动游戏的玩家有了‘偷懒’ 的机会”[5], 也就是说, 体感运动游戏并不存在对身体动作详尽的观测。唯独VR 设备直接且详尽观测受众的身体动作。

在VR 设备中, 与其说是使用者作为受众接受媒介的信息, 不如说在此之前使用者需要先通过自己的身体动作向机械之眼表演自身的意图。 在理想化的VR 应用程序里, 若使用者意欲查找书架底层的书籍,他无须拖拽鼠标或用手指滑动屏幕,而是可以低头或俯身观看低于视点的画面, 如现实中一般; 或者也可以用虚拟的手抬起书架使底层与视线持平以便于查找, 毕竟虚拟现实中的重力体验是可以人工设定的。想要完成低头查找或搬起书架的行为, 使用者只需要向机械之眼表演出恰当的动作, 虽然动作的规则未必符合现实的物理法则。 因此, 沉浸性、 具身性的互动在VR 设备系统中可以被理解为将操作进行表演化。

机械之眼并非一种智能化、 有意识的主体, 但这并不妨碍其观测使用者表演的目光与“凝视” 具有相似特质。 伯纳德·沙拉特(Bernard Sharratt) 区分了4 种观看模式, 其中凝视是一种延长了的观看形式,它有表征、 复制、 观看3 种意涵。[6]机械之眼的观测正是一种长时间、不间断的看。 在表征的意涵中, 机械之眼通过观测手柄控制器或使用者的关键手势动作, 估计、 预测出使用者真实的动作; 在复制的意涵中, 机械之眼将使用者可能的动作再现于虚拟世界中, 这些被复制的动作有明显的人为性; 在观看的意涵中, 机械之眼观测的对象是自然人的动作。 因此, 在一定程度上, 机械之眼做到了凝视——聚精会神地看, 并通过算法理解(测算)、 复现(显示) 使用者的动作。

更值得注意的是, 机械之眼会将所见之物反馈给使用者, 使用者也可以通过头戴式显示器看到自己动作的复制图像。 这个过程中, 不只是机械之眼在观看使用者的动作,观看者还包括使用者自己, 从而使用者成为表演和凝视二者主体的集合。

从而, VR 设备所创造的场景不再是“景观”:一种“少数人演出,多数人默默观赏的某种表演”, “彻底偏离自己本真的批判性和创造性”[7]的观众也出现了脱离景观控制的可能性。 VR 设备的使用者向机械之眼表演, 亦是向自己表演, 在多人同时在线的场景下也是向他人表演; 与此同时, 它们也在观看自身的动作, 观看他人的动作, 观看VR 设备所塑造出的世界的动作。 在此意义上, 我们似乎可以说, 每位使用者都可以在表演与观看的交错中完成使用者之间或人机之间的信息传递。 在VR 设备塑造的世界中,他们不再是被动的受众, 而是能动的行动者。

三

VR 设备硬件层面的积极意涵是其交互系统的设计给予使用者相当的能动性。 不能忽视, VR 设备及其交互技术只是提供一个技术平台,参与者的动作无法逃脱VR 作品的内容文本为其设定的含义。

VR 内容平台为使用者提供了大量应用程序, 其形式类似于智能手机的应用商店, 另外VR 设备也可以通过串流 (Streaming)[8]来运行电脑系统中的VR 软件。 VR 内容的种类繁多, 几乎囊括了当下移动媒介应用的全部类型, 但当下相对成熟且能体现VR 设备交互潜力和特质的内容是VR 游戏与互动视频。 值得注意的是, VR 游戏与互动视频在类别区分上是模糊的, 可以被统称为VR 娱乐作品。 进而, 使用者在 “游玩/播放” (play)[9]此类作品时的交互动作及意涵是考察的重点。

使用者在VR 娱乐作品中的动作在姿态上是相似的, 但区分其目的和性质则可以分为进程性动作和非进程性动作两种。 进程性动作指可以推动作品进程发展的动作, 又可以细分为菜单动作和推进动作。 非进程性动作指在VR 作品中那些与作品进程发展无关的动作, 是否执行此动作或如何执行此动作都不会影响作品进程的发展, 又可以进一步分为探索动作和玩耍动作。

两种进程性动作中, 推进动作是进程性动作的主体部分, 它可以推进流程发展或改变流程发展的进程, 此种动作大多是追求现场主义[10]的。 例如, 在游戏 《渔夫的故事》 (AFisherman’sTale) 中, 游戏伊始必须(以虚拟手表演主角渔夫的手) 拿起牙刷并模拟刷牙的动作, 否则故事情节无法继续进行;而在VR 游戏 《上古卷轴5:天际VR》 (TheElderScrollsV:SkyrimVR)中, 某些场景里不同的动作(甚至不做动作) 则可以使情节走向不同的发展。 在非叙事类作品中, 推进动作是在特定规则的意义里推动流程的进展, 例如, VR 游戏 《乒乓:致胜11 分》 (Eleven:TableTennis)中, 模拟打乒乓球的动作是在比赛规则的意义里推进乒乓球比赛的进展。

而菜单动作作为另一种进程性动作, 它不直接与作品的主体内容关联, 但此动作是推进作品进程的必要动作。 例如, 不同VR 作品中设计了各种动作来触发作品开始:VR游戏《爱丽丝前传:误入兔子洞》(DowntheRabbitHole) 中, 将指示虚拟手的光圈停留在特定位置上,可以触发游戏开始; VR 视频《歌利亚:玩 转 现 实》 (Goliath:Playing withReality) 中, 使用者需要在读完警示文字后以虚拟手按下红色按钮来开始故事。 当然, 也有VR 视频无须进行菜单动作, 与传统视频一样直接开始故事的讲述, 如VR 视频《上坠》 (Marco&PoloGoRound)。除了用来触发作品开始的动作之外,VR 作品中的存档/读取动作、 设置调整动作等, 也都属于菜单动作。

探索动作是最为明显的非进程性动作, 它包括向内的探索和向外的探索。 前者指探索使用者自己的虚拟身体。 在初次进入一部作品时,大多数使用者都会挥动手柄控制器,观察自己的虚拟手, 或试探虚拟躯体在此作品中可以有何作为。 这一方面是满足使用者对新躯体的好奇心, 另一方面是尝试、 训练、 适应自己对虚拟躯体的操控。[11]向外的探索则是那些与虚拟世界中其他物品的互动, 是以了解虚拟世界或辅助作品进程为目的而做出的动作。大部分VR 作品中存在一些可以互动但不影响作品进程的物品, 它们可以增加使用者的沉浸感, 增强虚拟世界的现场性, 同时也为作品的叙事提供辅助。

玩耍动作是另一种非进程性动作。 它的姿势常常与探索动作相同,但它是非工具性的、 无目的性的。例如, 在熟练操纵虚拟躯体后依旧随意摆弄虚拟躯体, 或者在《节奏光剑》 (BeatSaber) 中任意舞动光剑以观看荧光闪烁, 又或者在射击游戏中用弹痕在墙壁上写字。 这些行为在作品的虚拟世界中是非工具理性的, 它将原本可用于推进进程、了解世界的资源 (使用者的时间、使用者的体力、 虚拟世界中的子弹等) 暂时挪用到一种自成目的性的行为中, 因而在作品的虚拟世界里是一种 “玩耍”。[12]

纵观使用者的各种交互动作,可以发觉它们都是在作品的强制规则制约下进行的。 除玩耍动作之外,其他动作类型都是被预先设定意义和目的的, 它们有极强的工具性。两种进程性动作在工具性、 目的性的基础上, 进一步被强制规定了进行此动作的时间、 次数或必要性。尤其是菜单动作, 对其强制限定的特征没有进行任何的掩饰, 而使用者却自然地、 无疑问地、 心甘情愿地接受了。

如此可以看出, VR 娱乐作品中的绝大多数动作都必须按照预设的脚本(script) 来进行, 而关键的进程性动作更是全部必须服从脚本的规定, 自主活动仅仅是一种幻觉。其中, VR 视频的逻辑尚未脱离出传统视频的故事脚本, VR 游戏的逻辑也大多延续了电子游戏甚至传统体育的规则脚本。 而无论作品设置的是故事脚本或规则脚本, 它们都只是在旧的作品体系中徘徊。

表现为作品脚本的规则是对参与者的限制, 但它也是这些作品必备的机制。 参与者之所以遵从规则,只是因为遵从规则可以使作品进行下去。 作品的逻辑压抑了参与者自由动作的逻辑, 进而参与者也就无法真正自由、 能动地参与。

四

VR 娱乐作品对规则的创造与对参与者的限制很容易让人们想到“魔环” (magic circle) 一词。 这个名称在游戏研究中指代的是游戏通过规则而创造出的特殊时空场域,“游戏场所内, 无条件、 特有的秩序主宰一切”[13]。 不过, 与赫伊津哈推崇 “魔环” 中规则的稳定性[14]相比, 迈克尔·利贝(Michael Liebe)指出其中的规则实际上是不稳定的:“在传统游戏中, 玩家可以自发地对游戏材料进行即兴创作, 并可能违反游戏规则做更多的事情。”[15]

“魔环” 中规则的这种不稳定性, 使传统游戏的规则拥有自主协商与变动的可能。 规则由自然语言谱写、 由自然语言传达, 规则秩序与变更规则的可能性之间存在着张力, 只要所有参与者一致同意, 规则就可以被改变。 因而游戏活动的规则可以展现出参与者的意愿和想象力, 可以做到无限拓展、 变化、延伸, 充满可能性。

但是在电子媒介尤其是VR 世界中, 参与者“无法做任何规则和游戏场域没有定义的事情”[15]。 更为确切地说, 并非参与者无法更改规则, 而是改变规则的门槛高了很多,甚至大多数情况中规则是否改变与参与者们的意愿无关。 当参与者以自然语言与身体动作活跃于虚拟世界中时, 这个世界的规则却是以计算机的技术语言所书写的, 这便隔绝了参与者与规则的沟通。 通过对计算机语言的掌握, 部分人掌控了对规则的设定权和改写权, 而对绝大部分普通参与者而言, 规则成为一种难以对话、 只能遵从的绝对秩序。 可以说, VR 设备背后基于计算机语言的技术黑箱将只懂得自然语言和动作的参与者与系统和规则隔绝开来, 规则的原始设定者和计算机语言的熟练使用者在虚拟世界中占据了特权地位。

技术黑箱及其控制下规则的存在还打破了另一个幻觉:即使未来的技术发展使VR 设备克服了对动作的限制, 让使用者获得与在现实空间中一致的感官体验, 如此被创造出的感官体验也无法真正带来身体的回归和媒介的消失。 人的动作和感官终究无法直接与技术秩序互动,亦无法跨越技术规则在虚拟现实中实现人与人的交流, 两者之间的界面没有消失, 它只是转换了存在的形式——人的身体和感官成为新的界面。 交流不再是由身体操作界面来完成, 而是用身体这一界面来完成。 操纵界面的方式也不再是点击,而是表演。

因此, VR 设备使用者作为表演与观看相纠缠的参与者并无法真正拥有能动性, 究其原因则在于他只是“表演者与观看者之统一”, 而表演行为中的其他重要角色仍然隐藏在幕后。

表演的流程由4 类角色执行:供应者 (sourcers)、 创作者 (producers)、 演 出 者 (performers)、 受 众(partakers)。[16]VR 作品的参与者虽然是表演者与观看者的统一, 但是也仅仅是演出者与受众的统一, 而动作及其含义依旧被牢牢掌握在供应者和创作者手中——而参与者无能为力。

掌控着表演脚本的技术秩序和系统规则静静地通过机械之眼凝视着参与者的行为, 再通过被誉为“互动” 的正向反馈, 要求使用者表演出脚本所规定的动作。 例如, 在《红色物质》 (RedMatter) 中, 只要以正确的动作拍打开关, 大门就能够被打开; 在《黑色马德里》 (MadridNoir) 中, 只要以虚拟手电筒照射正确的方位, 追击者就能够看见逃跑的叔叔; 即使在拥有多线情节发展的叙事作品中, 参与者可追求的只不过是更多的 “正确” 之一。“正确” 一词背后隐含了规定如何行动的规则, 隐藏着一个情态动词:“应当”。 它无时无刻不笼罩在VR作品的世界之上——而情态动词“应当” 在韩炳哲的思想中, 是规训社会的统治者。[17]

在规则之下的表演不仅仅是一种操作, 更是一种操演。 VR 设备的操演逻辑正是通过引导使用者重复表演技术秩序所规定的动作来建构出一种“用户” 身份。[18]用户不是受众, 他比受众更为能动; 用户与使用者也有区别, VR 设备的用户不只是单纯使用VR 设备的人, 还是VR 设备背后系统的重要组成部分。用户身份被系统所制约, 他无法挣脱系统来使用身体, 只能不断重复操演, 不断建构自己。

当下的VR 设备及作品正是以这种逻辑, 使用技术规则将动作与目的强制连接, 将规则下的特定动作培养为使用者的习惯——一种面对某种情形时自然流露出的本质、 风貌和必然。

五

VR 设备交互系统与文本内容展现出不同的文化逻辑, 使其文化逻辑显现出一种背反的双重性特征。VR 设备交互系统的文化逻辑展现出了能动的使用者, 这使得崭新的表演场域与积极的参与者形象于虚拟现实中诞生。 但是, 当下VR 设备的文本内容又使另一种截然相反的文化逻辑显现在我们眼前, 它虽然没有将VR 设备的使用者拉回到传统观看者的位置上, 却是以表演者为基础, 塑造出一种消极的甚至是自以为积极的参与者形象。

谈及表演与观看的能动性问题,雅克·朗西埃(Jacques Rancière) 总结了传统观点:“成为观众是一件坏事。 ……成为一名观众就意味着与知晓的能力和行动的能力相分离。”[19]2进而, 他引申出一种愿景:

我们需要一个新剧场, 一个没有观看者的剧场。 这不是指在空空如也的座位前进行表演, 而是说剧场一词所蕴含的那种被动视觉关系被另一种关系所替代, 即舞台上戏剧所意味着的行动。 ……正是在这种积极性力量的基础上, 必须建立一个新的剧场。 或者更确切地说,是恢复剧场最原始的美德, 恢复剧场真正的本质。 被称为剧场的景观只是剧场的退化。 我们需要的是一个没有观看者的剧场, 在那里, 观众可以从中学习而不是被图像所惑;在那里, 他们成为积极的参与者,而不是被动的偷窥者。[19]3-4

VR 的愿景为人们描绘出新剧场的雏形, 但是规则、 操演、 用户这些词汇和逻辑也真切地表现出, 在当下的VR 设备及作品的生态中, 新剧场还没有真正上演新戏剧, 只是在重复着已有的叙事逻辑、 已有的故事。 旧戏剧依旧占据着新剧场,真正能动的身体尚未登上舞台。

朗西埃也提出了一种应对表演与观看能动性问题的设想, 这也指向他所推崇的新剧场版本:

将其中僵化的逻辑和因果关系本身问题化……构想一种新的平等场景, 异质性的表演相互转译。 在所有表演中, 存在的是将一个人知道的与一个人不知道的联系起来;(参与者) 既是一名施展技能的表演者, 又是一名在人群中观察这些技能在新环境中可能产生之结果的观众。 ……观众积极扮演阐释者的角色, 挪用叙事并发展自己的理解,进而创生他们自身的故事。[19]22

虽然当下VR 设备的双重文化逻辑挑战了能动与被动、 观看与表演之间结构性关系和观看与被动、 表演与能动的相关性逻辑, 但在当下的VR 文本中出现的只是被动的参与者而非能动的参与者。 不过, 这个事实也从反面辩证地验证了朗西埃式新剧场的可能性:能动的参与者有可能出现, 它的瓶颈不是技术,而是各方各面的观念。

纵观国内外众多科技厂商所公布的对元宇宙的概念设想和产业布局, 它们无一不是以工具性的虚拟现实技术为基础, 尝试搭建一个工具性的元宇宙平台。[20]可以预见的是, 飞速发展的技术与工具理性之搭配使“新剧场旧戏剧” 的组合在短时间内难以改变, 而设想与探索符合元宇宙逻辑之新戏剧、 新文本的紧迫性绝不亚于对技术的开发。