VR在虚拟影视拍摄中的应用

Norman Wang

（Glassbox 公司，美国 洛杉矶 90036）

1 虚拟制作

自2016 年HTC Vive 发行以来，我们见证了好几部将VR 技术广泛应用于其制作的电影大片。首先是史蒂芬·斯皮尔伯格的“头号玩家”，其中来自Digital Domain 的团队利用VR 来帮助可视化和设计“Oasis”：一部充满未来感的虚拟现实世界，很多电影中的故事情节都发生在其中。另一个最近的例子是“狮子王”，它使用真实的照片，用动画的方式再一次重现了1994 年迪士尼的这部经典电影，导演乔恩·法夫罗，视觉特效（VFX）主管Robb Legato 和摄影师Caleb Deschanel 使用VR 进行了可视化、设计、创作以及编排虚拟表演和摄影。

乔恩·法夫罗（Jon Favreau）在最近的美国导演协会（DGA）数字世界2019 活动的最新讲话中强调，使用真实演员和场景制作电影与使用虚拟演员和虚拟场景制作电影没有区别，因为“虚拟制作”技术使他可以使用传统制作中的技术、技能和工作流程，即使“狮子王”中的所有内容都是虚拟的。

虚拟制作最初是为了詹姆斯·卡梅隆的“阿凡达”而创造的，顾名思义，它是对传统电影制作的虚拟仿真。在传统的电影制作中，导演使用物理摄像机在一个物理场景中捕捉真实演员的身体表演。相比之下，虚拟制作使用虚拟摄像机在虚拟场景中拍摄数字演员的虚拟表演。“阿凡达”开创了3 项核心创新——虚拟电影摄影、表演捕捉和协同工作摄影机，其中虚拟元素与摄影图像实时混合。

虚拟制作与传统VFX 的不同之处在于，虚拟制作完全“实时”运行，其中，虚拟图像是在由摄影导演或摄影机操作员控制虚拟摄影机的情况下，在不到1s 的时间内生成的，而非一般典型的“离线”或“预渲染”方法，其中每个图像可能要花费数小时或数天才能生成。自“阿凡达”问世以来的1 年中，虚拟制作技术已广泛应用于大多数现代大片中，如上文提及的“头号玩家”和“狮子王”以及大获成功的电影和电视剧，如“复仇者联盟：残局”“战斗天使：艾丽塔”和“权力的游戏”。

2009 年，虚拟制作委员会由美国电影摄影师协会（ASC）、艺术导演协会（ADG）、视觉效果协会（VES）、预视化协会、美国制片人协会（PGA）和国际电影摄影师协会（ICG）的成员组成而正式成立。

2 现代虚拟制作

虚拟制作需要实时生成图像。这种速度要求是以图像质量为代价的，因此，传统的虚拟制作主要是出于可视化和预制作的目的。此外，传统的虚拟生产需要高度专业的设备和技术人员运行和操作。因此，虚拟生产主要用于高端项目，在这些项目中，大量制作和后期制作成本保证了对虚拟生产的投资。

在电影行业之外，实时渲染技术迅速发展。在视频游戏和VR 行业的推动下，当前的实时游戏引擎能够使用现成的消费类硬件实时创建逼真的图像。这导致了新一代虚拟产品的更迭，这些产品由游戏引擎以及现成的VR 和游戏硬件提供支持，如HTC Vive 在“头号玩家”和“狮子王”中的使用。

借助游戏引擎的功能，现代虚拟制作越来越多地创建更加逼真的图像，并具备基于物理的照明、阴影、大气、粒子、景深等效果，以便导演可以更好地可视化并传达有关复杂元素的决策。若使用早期方法生成的低质量图像，照明、构图和VFX 则无法实现。

ILM 的工作越来越明显地依赖于消费者硬件，ILM 的工作是在iPad 上连接Vive 控制器以创建无线虚拟相机，以及通过The Third Floor 和Glassbox Technologies 做出更多新作品，其中虚拟相机的跟踪完全由苹果公司的ARKit 完成。大体上，Valve在2016 年创建的使用绿屏和Vive 控制器来推广HTC Vive 和SteamVR 的混合现实演示，允许物理相机的运动控制虚拟相机，与“雷神”“仙境传说”和“复仇者联盟”产品使用的技术相同。

使用以消费者为中心的技术，可以使用数千美元而不是数百万美元的技术交付现代虚拟产品。在2019 年8 月，Epic Games 与虚拟制作委员会协商后发布了长达98 页的虚拟制作工作指南。

3 超越虚拟：实时制作

虽然虚拟制作很复杂，但是其核心仍然是物理胶片制作的虚拟仿真，在AI、云计算和实时光线追踪方面的最新进展，出现了一个明显的趋势，即实时渲染的图像可以接近以前只能通过传统离线VFX 实现的图像。NVIDIA 通过发布“ Turing”一代图形处理单元（GPU）促使了对“实时VFX”的最新推动，该图形处理单元（GPU）利用早期的设计改进了Tensor Processor，从而创建了专门针对实时优化的硬件和软件驱动程序光线追踪。该功能于2017 GDC（游戏者开发大会）在Epic Games、ILMxLab 和NVIDIA 之间的协作演示中首次展示。在2019 年，Epic Games 获得了高级图像学会（Advanced Image Society）的卢米埃奖，该奖项特别认可了该引擎的实时光线追踪功能。

拥有访问实时的真实照片的能力，现代电影制片人正试图超越虚拟制作，进入实时制作领域。实时制作是虚拟制作的扩展，除了在实时生产中，工作人员正在创建最终图像或非常接近最终图像，在此场景上，无需依赖虚拟元素进行离线的后期制作。实时制作可以分为3 个主要关注的领域：实时VFX、实时相机内VFX 和实时交互式照明。

实时VFX 是指在其他传统的VFX 流程中使用实时生成的图像。这可能意味着直接从引擎渲染最终图像，就像ILM 在“星球大战外线：侠盗一号”中以及Pixomondo 在“星际迷航：发现”中所做的，创建完整的动画，如Digital Dimensions所做的Zafari。根据Epic Games 发布的实时制作白皮书，这些工作室报告说明，与传统的离线制作相比，实时VFX 可以节省30%～50%的时间。位于英国的现场设施和位于西班牙的MR 工厂等设施正在使用绿屏将实时逼真的虚拟图像合成到摄影图像上，以直接创建最终图像。

实时相机内VFX 是相机内VFX 的实时扩展，通过投影仪和其他显示技术在摄像机内捕获视觉效果，如遗忘星球的标志性建筑天空塔、梭罗河、星球大战和登月第一人。在一些最新的作品中，结合了虚拟和实时制作技术的大型LED 墙用于在工作流中显示实时渲染和经过透视校正的图像，该工作流完全取代了传统的绿色屏幕。

实时交互式照明是实时相机内VFX 的直接产品。然而，并非显示虚拟图像以使其在相机中被捕获，实时交互式照明关注的是使用实时虚拟世界来控制真实世界的照明。这可以通过高亮度LED 和LCD 屏幕以及启用DMX 的专业灯来完成。

4 结语

实时制作是在稳定的技术上的最新进展，始于阿凡达的虚拟制作技术。结合了最新的AI、云计算、渲染、游戏引擎和XR 技术，实时制作有望比传统制作流程节省大量成本和时间。