人工智能在VR 影片交互性上的应用策略

(北京电影学院影视技术系，北京 100089)

1 引言

随着5G 信息传输技术的快速发展，VR 领域中的重要艺术表现形式之一——VR 影片再次成为研究与创作的热点。2014 年，Facebook 收购Oculus 使得VR 逐渐走进大众视野，但早在资本大量涌入VR 领域之前，虚拟现实(Virtual Reality，简称VR)技术已发展十余年。虚拟现实技术研究者Grigore Burdea 和Philippe Coiffet 认为，VR 是用计算机图形学构造出酷似真实世界的仿真模拟，是多种感觉通道的实时模拟和实时交互，围绕人的视觉、听觉、触觉、嗅觉和味觉以及心理学来研究的，界定其具有“3I”特性，即交互性(Interaction)、沉浸性(Immersion)、想象性(Imagination)，并指出VR 关键特征是实时的交互性。

基于“现代计算机图像技术、数字互动控制技术以及数字立体放映技术的第三代数字互动立体电影”的概念中指出，“互动”是第三代电影的核心特征。当虚拟的“真实”拓展了观众的想象空间，包裹住了人们的视听感受，仿真世界的回应便成为人们的期待。因此，所有对VR 的期待全部聚焦在虚实无缝结合的沉浸度下，人与机器的深度“交互”上。事实上，近年来VR 电影作为细分领域，在交互能力上进行了从叙事方法到技术手段的探索。但是，VR 所具有的360度全景视野对传统电影的镜头语言是一种颠覆，自身的叙事手法仍然没有找到标准法则，交互技术的应用也始终处于实验阶段，因此VR 影片的交互性研究仍需要进一步探索与创新。

本文梳理了近些年VR 影片交互的难点以及从业者在VR 交互性上的探索实践经验，介绍了VR影片以叙事驱动的交互策略，分析了人工智能技术在增强VR 影片交互上的应用可行性，并给出VR影片交互性应用策略上的一些思考与解决方案。

2 研究背景

交互性是VR 的核心特征之一，但却对传统电影的叙事模式提出了巨大挑战，人们不仅需要在VR 交互设备方面更进一步，还需要克服新技术所带来的产业与思想的冲击，目前来看VR 影片交互性的探索道路并不平坦。

2.1 VR影片的交互难度

“VR 媒介系统中的互动性越高，就越难以推进传统意义上那种线索清晰明确的故事叙事”。VR影片让以导演为核心的电影艺术表现形式面临话语权的转移，观众完全开放地主导时空发展则削弱了VR 影片创作意图的“作者性”，对“如何表达”提出了全新要求。传统电影的“画框”理论以及在“框”视觉指导下的镜头语言将在VR 全景视野中失去意义，电影艺术积累百年的蒙太奇法则面对VR时遭到瓦解，这引起众多电影人的恐慌。著名导演斯皮尔伯格在戛纳电影节上称VR 是“危险的媒介”，他认为“VR 非常危险是因为它给观众提供360度的观看场景，这样一来，导演如何‘讲故事’就成了大问题”。

同时，VR 影片在时空构建、交互方式及叙事方式等方面呈现出的游戏性特征，让学术界对VR电影与VR 游戏的界线充满担忧。有学者认为不必将电影与VR 技术相结合，也有学者认为通过VR媒介将形成介于电影与游戏之间的第三种艺术表现形式，还有人认为VR 将成为继第七艺术电影之后的第八艺术。新技术的应用在被广泛接受的过程中势必充满坎坷，在交互性上的探索更要先摒弃对传统电影艺术的过度保护与偏执态度，才能在新的叙事方式上探索出合适的道路，向前推进创新与实践的进程。

另一方面，VR 交互技术尚未完全成熟。基于头戴式设备的体感交互技术，会给观众造成眩晕感、方位感缺失、头部负担过重等不适。其次，VR 动作捕捉系统受到有效使用区域限制，计算机的智能交互仍局限于点击、划动等较为单一的非自然人机交互方式。此外，高质量的VR 影像对技术格式、VR 放映标准、网络传输速度等提出了更高要求，有待进一步发展与完善。

2.2 VR电影交互性的探索

从摄影术发明起，人们复制或再造世界的影像都逃不过边界的限制。画幅里的内容是导演展示故事和传达思想的天地，从传统的4∶3影像到超宽银幕2.35∶1，突破画框无限地接近与融入影片情境是人们近乎执着的追求。然而，VR 影像帮人们打破了演员与观众之间的“第四堵墙”，满足了人们从窥探梦境到走进梦境的愿望。在VR 营造的“幻境”中，为了使用户完全相信并信任自己所处的虚拟环境，除了通过视觉、听觉、触觉等体感交互带来“逼真感”之外，与VR 虚拟场景中的元素交互也会增加观众的“沉浸感”。虽然交互技术限制仍有待突破，但VR 影片创作者们从来没有放弃在交互性上的探索。

3 VR影片交互策略分析

VR 技术以头戴式显示器为播放媒介，改变了影像的生成和显示方式，创新了艺术形态与美学法则。在VR 影片的交互设计中，一种是以影片的创作内容为交互中介，以叙事方法引导观众积极参与到影片体验中，获得精神及思想上的交流。另一种则是通过VR 交互设备为媒介，以观众肢体动作触发促使主角交互感官，从而进行相应的电影表达。

3.1 以叙事驱动的VR影片交互策略

在电影自身发展的过程中，与观众的“交互”一直是寄予在“充分调动观众的情感，以实现二者在精神世界的交互之上”，事实上这也是许多传统艺术实现与其受众交互的主要方式。VR 影片在一定程度上延续了传统电影中这种精神上的交互方式，并且通过让主体角色积极参与故事情节的建构，来加强观众的情感共鸣。

3.1.1 化身性交互

传统电影里，观众是作为旁观者而出现，无论故事发生的现场多么温馨、悠闲、美好或者恐怖、血腥、紧张，观众都是作为第三者置身事外的。在演员与观众之间永远有“第四面墙”，而VR 影像打破了这面墙。VR 影片通常将观众预设到某一个虚拟位置并使其参与到情节建构中，通过虚拟摄像机或者虚拟人物为观众在虚拟世界中构建一个化身，从而达到使观众产生身临其境的沉浸感的效果。在VR 影片中，主要有两种化身性交互方式：一种是让观众化身为故事中的主角，以第一视角的角色身份参与到叙事中；另一种是让观众化身为某个虚拟摄像机视角，通过主观动作影响影片中人物及事物状态，达到与虚拟世界进行交互的目的。这两种交互方式都能使观众从心理层面和视觉角度感受到自己与故事的联动性。

图1 观众以某个摄影机的位置观看恐龙

3.1.2 叙事引导性交互

传统电影中，导演可以通过镜头组接的蒙太奇方法让观众注意到叙事中的某些细节，通过某种有意味的镜头表达想法或者通过特写让观众感受到一些微妙情绪。而在VR 影片360 度的全景画面中，镜头包含大量信息，需要观众自己去挖掘与剧情发展相关的细节。VR 影片中为了避免观众损失掉重要的情节线索，目前最常用的方法是通过拍摄技巧去引导观众的视线与注意力，如灯光的使用、明暗度的对比，或者配乐等，通过叙事引导性交互方法引起观众与“幻境”的主动交互。在Oculus制作的VR 影片《Lost》中，观众的虚拟位置是在一片幽暗寂静的森林中，偶尔有几声动物的叫声，导演给观众足够的时间去环顾四周环境。当观众熟悉了所处的环境之后，此时不远处的草丛中发出声响，观众的注意力随着声音的引导看到影片的主角——一个手掌机器人。除了运用声音引起互动之外，在VR 影片叙事中通过光线进行视线引导也是比较成熟的引导性交互手法之一。在《Lost》结尾，从天空中射下来一道光束，吸引观众将目光投向天空，此时看到一个巨大的机器人，光束正是它的眼睛，他正在寻找自己遗失的手掌。整个影片并没有深层的内涵与寓意，但是包裹式的影像与酷似真实世界的仰视角度，在观众视觉观感上强调了机器人的巨大体型，在心理层面上引起了观众的沉浸感。

图2 《Lost》中俯身查看的巨大机器人

3.2 以技术驱动的VR影片交互策略

视听觉的沉浸感并不是VR 的终点，感官的模拟和交互才是VR 要实现的目标。VR 诞生之初，头戴显示器及传感手套就是仿真过程中实现交互所使用的首要设备，其原理都是将小型屏幕置于头盔内部，通过光学目镜将屏幕上的影像投射在视网膜上成像。同时，交互硬件系统中整合的各种传感器，能够感知体验者头部甚至肢体的位置、姿态和运动，这些数据回传给计算机后，由计算机进行演算并将相应的画面映射到小型屏幕，从而完成交互。

人机“对话”是科学家追求的终极命题。在提出VR 设想之初，人们希望能够像使用鼠标和键盘控制计算机一样，可以通过手势、体势、书空、眼动等自然人机交互方式实现对计算机发出指令并得到反馈的效果。传感器仍然是VR 交互有待突破的主要关键技术，它能够帮助人们与多维VR 信息环境进行交互，比如，当你在VR 影像中触摸冰凉的河水时，传感器能够通过模拟水温来刺激你抽回自己的手，又或者当你在VR 影像故事中被攻击，传感器会模拟击打、电流或者震动等效果，从而加深你对影片中故事的临场感。

为了实现人与计算机之间的交互，必须要结合动作捕捉技术，需要将手势、体势、运动路径等多通道数据或指令传送给计算机，同时把模拟结果反馈给用户，以解决多个感知通道的交互。在第九届北京电影节VR 展映单元，VR 动画《精灵鼠小弟》尝试运用多种交互方式，观众可以通过手柄将皮球扔出去救出小老鼠。除了三维位置、手势，视觉与声音反馈也可以通过VR 头显设备或者声音接收器计算得到。在《精灵鼠小弟》中，观众也可以通过视网膜捕捉和眼球追踪来实现与精灵鼠点头或摇头的互动。

随着移动终端的普及，消费级VR 产品的相继推出，以及商业模式的逐渐成熟，全景体感交互的VR电影已初具形态。未来，更加成熟完善的动作捕捉系统也将推动VR 影片交互性进一步发展。

4 基于人工智能的VR影片交互策略

“如果想要观众与媒介系统之间的人机沟通达到自然顺畅的效果，就要求系统拥有良好的人机交互和机器学习功能”。基于现有VR 影片的交互能力，距离完全自由的交互还有一段距离。VR 电影是处于传统电影与游戏之间的，既满足于导演表达意图又能在一定范围内实现交互的第三种艺术表现形式，因此，建立在此共识基础上的交互策略是本文的研究重点。随着人工智能技术的迅猛发展，人工智能领域涉及的人机交互、深度学习、自然语言处理、知识图谱、计算机视觉、生物特征识别、AR/VR 等关键技术在各行各业得到广泛应用，与影视行业的交叉融合逐渐深入，取得了一定的阶段性成果，人工智能技术也将助力VR 影片交互性的发展与创新。

4.1 基于行为预判的交互

人工智能拥有强大的学习能力，利用深度学习算法对大量数据进行分析并从中总结规律作出预判，通过不断接收数据迭代学习自我优化。

在影片叙事过程中，利用深度学习分析人类在看到某些故事情节时的反应数据，设置出针对不同反应类型的多种叙事方法，从而引导观众进入不同的故事发展方向，进而增强VR 影片的交互性与丰富性。例如，在看到某些恐怖镜头时，有些观众可能会害怕地闭上双眼或转过头，而有些观众则非常大胆兴奋地寻求恐怖场景中的线索。闭上眼睛的观众有可能错过情节发生时的细节，影响到信息的接收。这时影片可以根据观众的反应借助人工智能给出不同的叙事走向，如为胆小的观众在后期的故事中添加镜头展现他当时所忽略的细节，而可以为大胆的观众再加深恐怖气氛。目前在VR 影片的基础人机交互中，头部位置捕捉、眼动捕捉技术等已经非常成熟，如何结合多种用户数据和深度学习算法进一步推断用户情感状态、预判交互行为等，将成为基于行为预判的交互性应用策略的主要技术突破口。

4.2 基于实时场景渲染的交互

计算机视觉在目前的影视行业应用较为深入，包括了三维视觉、动态视觉、视频分析与理解等。目前VR 影片的分辨率虽然已达到8K 以上，但是作为360度球形视界来看，清晰度仍然不能达到正常的影像观感，这也是引起人们使用VR 产生晕眩感的原因之一。人工智能能够做到实时图形渲染，当观众的视点转动时，可以快速根据转动动作提高视点转动方向的画面分辨率，而除视线范围之外的画面可以降低画面要求，能够一定程度上减缓VR影片的数据处理压力，在影片的交互上则可以减少延迟性等问题。

人工智能可以根据特征点自动生成影像画面。在VR 影片的体验中，经常会有人抱怨自己被“钉”在某个位置，身处逼真的仿真环境，观众第一反应或许就是走近看看，而VR 影片实际上仍然是平面的，在某种程度上并不能满足这种“走近观看”的心理诉求。如果计算机视觉能够实现实时场景渲染，或许VR 影片的制作者们可以通过拍摄同一个视角的多个深度，再通过观众观看影片时类似迈步的动作触发，进行画面深度的实时切换，去满足观众“走近”的这种需求。

借助人工智能中智能化的机器学习算法，如基于对抗式生成网络(Generative Adversarial Net works，GAN)的图像生成算法等，通过对大量影视数据集的学习与训练，自动生成符合情节需要的场景和元素。“Big-GAN”算法可以利用已训练的独立模型生成相关的高质量图片，也可以借助自然语言处理算法对描述性文字进行分析和理解，从而达到生成更准确的图像的效果。人工智能算法或将改变影视工业中三维制作的“作坊式”生产，有望提高VR 影片中素材的生成速度，并且能够结合观众的语音文字输入，提升相应的场景或元素模型的生成效果。

图3 BigGAN 生成的逼真图像①

4.3 语音交互

图4 手机语音交互

VR 影片中角色之间的语言交互也是重要的VR影片交互性发展方向之一。在VR 影片所模拟的真实环境中，语言交互比文字交互更加自然和舒适，而虚拟世界与角色进行语音交流，需要强大的语言储备系统与辨别观众语音的能力，人工智能的自然语言处理方法能够很好地解决这一问题。语音识别是自然人机交互的基础性技术之一，已经得到了广泛应用，人与机器的语音交互在生活中随处可见，并且已经做到了可以自由流畅对话的程度。这为将人工智能语音交互系统引入VR 影片交互奠定了基础，将会进一步提高VR 影片的沉浸感。

除上述人工智能技术在VR 影片叙事过程中能够促进交互性之外，人工智能算法也被广泛地嵌入到人机交互设备上，这也为推动VR 交互设备的发展作出了突出贡献。目前VR 人机交互输入设备有操作杆、眼动跟踪器、位置跟踪器、手势跟踪器、数据手套等，输出设备则以头戴显示器为主。传统的VR 输出设备大多是为VR 游戏所设计，由于头戴式显示器所带来的眩晕感会使得体验者无法长期舒适观看VR 影片，这也对VR 影片观看时长有所限制，因此，面向VR 影片的新型放映设备还有待进一步探索与创新。

5 结语

本文总结了VR 影片在交互性上的发展现状，结合现有的VR 影片所存在的交互性问题及应用难点，分析VR 影片交互性在叙事和技术方法上的不足与研究重点，提出基于人工智能的VR 影片交互性应用新策略。VR 影片只有解决自然交互问题，才能真正拥有“灵魂”，而不是成为传统电影的另一种播放媒介。愿本文能够为VR 影片交互的探索者和开发者们提供一些思考与启示，推动VR 影片在交互性上向前更进一步。

注释

①图片来源：https∶//baijiahao.baidu.com/s? id=1638550289665184172&wfr=spider&for=pc。