虚幻引擎在虚拟拍摄中的应用

徐 立

(上海戏剧学院电影学院,上海 200040)

1 引言

视觉特效 (VFX)行业在过去30 年中取得了长足的进步:从1985年上映的《年轻的夏洛克·福尔摩斯》()电影中完全由计算机生成的角色,到2019 年真人版 《狮子王》()等令人难以置信的计算机三维全环境制作。视觉特效技术的发展主要由大型工作室和故事背后的一批创意头脑推动,他们在看到强大虚幻引擎背后的潜力和视觉特效行业需求指数增长后,甚至创建了内部实验室来开发其全部潜力。

影视制作方发现最好地有效控制整个制作流程就是:可以在导演、灯光、摄影、演员之间创造一个更具协作性的环境,让他们协同工作一次性完成最终的拍摄镜头,而无需后期特效部门将几个不同的镜头合成为最终的拍摄镜头,这样就大大降低了后期的制作成本和时间。虚拟制作即将改变制作电影的方式,这不再是新闻。随着电脑硬件、软件以及配套硬件的不断技术更新,越来越多的工作室开始使用虚拟制作这一影视制作方式,主要有以下几个原因:

(1) 它降低了新兴电影制片人进入影视拍摄的门槛。

(2) 它帮助了制作人对拍摄环境和设计镜头的完全地创造性控制。

(3) 对于外景拍摄的后勤保障来说,它大大地降低了各种成本,同时也节省了时间。

虚拟制作是电影制作的新领域,其他行业也开始注意到这一点,利用游戏技术打开了一个充满可能性的世界。虚幻引擎和虚拟制片的完美结合在影视制作行业正在不断推广和发展,不断更新发展的虚幻引擎,也给影视制作行业带来了一场革命。虚幻引擎中包含的技术进步将使电影和动画制作变得更加容易,游戏公司将继续扩展他们的虚幻引擎来构建整个三维环境和重塑虚拟生产工作流程的能力。

这方面研究将集中于四项主要技术,以及它们如何协同工作以实现虚拟制片。这些技术包括:虚拟勘景和制作拍摄预览、LED 幕墙、虚幻引擎和运动跟踪摄像机。

2 虚拟勘景和制作拍摄预览

这项技术的主要目的是为现实生活中尚未创建的场景创建一个3D 环境,并确保每个元素都适合制作。利用虚拟现实,导演和摄制组可以 “站”在这个计算机生成的环境中,预先想象他们计划拍摄的镜头。这样,如果需要任何更改,可以在实际拍摄之前发现,并为生产节省时间和金钱。

拍摄预览和勘景是两个独立的事情,但本质上,它们在虚拟生产环境中使用相同的工具。它们都使用实时游戏引擎,通过虚幻引擎制作虚拟场景将真实世界环境引入游戏引擎,并与创意团队远程探索,以确定该场景是否适合制作。在虚幻引擎中,可以模拟不同的现实世界的照明风格,解决一些最复杂的后勤挑战,而无需踏足现场。显然,这可以节省整个创意团队带到远方所需的旅行机票、餐饮、酒店、交通、安保等巨大成本。如果需要拍摄的场景现实中还不存在,比如一些科幻场景,以及旧时的许多场景,可以在工作室中使用虚幻引擎从头开始构建。

影视作品实拍之前的拍摄预览可以在虚幻引擎中制作完成。在已完成的虚拟勘景基础上,将整部或部分作品在虚幻引擎中制作完成,在这个层面上,导演的创作意图可以在实拍之前在虚幻引擎软件中进行虚拟制片、编辑和导出整个电影序列或场景。这有助于创作团队确定当天在拍摄现场要做出哪些创造性选择,以避免重拍或代价高昂的延迟。虽然拍摄预览在电影和电视界并不新鲜,但在游戏引擎中实时创建拍摄预览的方式让不懂3D 软件的创作团队中的不同成员更能接受这种工作方式,这种方式确保主创团队中每个人都能通过观看拍摄预览,认可和确认最终要拍摄的视觉内容。

3 LED幕墙

在迪士尼的 《曼达洛人》取得巨大成功后,随着工业光魔公司 (ILM)发布该系列的幕后制作花絮,LED 幕墙技术开始为公众所知。这个特效制作公司主要展示了他们的LED 显示技术,LED 显示墙通过显示在软件中实时渲染好的虚拟场景,让演员和导演能够直接与虚拟的场景进行互动,以便他们能够拍出更好的作品。

LED 幕墙技术正在取代传统影视作品拍摄中使用的蓝色和绿色屏幕技术。早期和目前的影视特效中大量用到绿幕技术,绿幕技术是使用一个大的绿色背景,放置在拍摄的背景中,以便以后使用数字特效将被拍摄素材中的绿色部分用特效软件抠掉并保留其他被拍摄的部分。拍摄好的镜头需要交给特效制作部门以便利用软件合成到需要的其他场景中,对拍摄好的镜头还需要对镜头中的灯光、画面的色调等进行调整以匹配其他场景镜头的灯光、画面的色调,这种工作量巨大而且非常繁琐。现在通过LED 屏幕直接改变一切,被拍摄物体的反射、LED上显示的虚拟背景场景和道具都在一个灯光环境中,它们在同一个灯光环境中的光影变化可以实时表现出来,看上去非常真实自然。这样就无需特效制作部门进行不同镜头素材的合成匹配工作。

4 虚幻引擎

虚幻引擎是英佩游戏公司 (EPIC)开发的专有游戏引擎,于1998年首次与同名的第一人称射击游戏《虚幻》一起推出。自成立以来,虚幻引擎已扩展到三维游戏领域,并已发布最新的迭代版本虚幻引擎5(UE5)。虚幻引擎5通过在令人惊叹的视觉内容、基于节点结构的特效系统、高性能物理系统、世界建筑等方面引领行业,将互动体验提升到新的水平。

目前它不仅是一款优秀的游戏制作软件,而且许多电影制作人已经开始将虚幻引擎应用于电影拍摄、电视拍摄、视频制作和其他商业项目。作为一项高新技术,虚幻引擎仍处于视频专业人士开发和应用的阶段。它的全部用途尚未完全实现,但其为虚拟制片提供了一种强大的方法,可以将虚拟现实和增强现实与CGI和拍摄到的场景无缝地结合起来。工作室可以在舞台上拍摄并实时查看虚幻引擎生成的虚拟图形,改变拍摄位置就像换掉背景一样简单,导演、演员可以看到最终拍摄出的影视素材并立即在虚幻引擎中进行更改。虚幻引擎引领着跨行业的虚拟制作,为创意的拓展提供了丰富的可能性。

如果没有英佩游戏公司开发的虚幻引擎的帮助,这种LED 幕墙技术将难以实现。虚幻引擎既可以进行实时照片级真实感渲染和实时光线跟踪,而且还有一个额外的好处,即在拍摄过程中能够在相机和物体之间获得精确的视差。另一个不同寻常的特点是,通过虚幻引擎还可以制作逼真自然的虚拟三维角色和场景中的动画,并让演员与之进行一定程度的互动。目前,越来越多的工作室使用虚幻引擎进行虚拟制片。

使用虚幻引擎为虚拟制作创建数字文档有助于团队中的每个人从拍摄开始就理解最终的拍摄视觉效果。这是因为使用实时游戏引擎比其他三维动画软件可以做更多的工作。它可以帮助导演、场景设计师、演员和其他工作人员了解虚拟场景的“真实”物理性,从而创建高质量的视觉效果,跟上不断的拍摄调整和场景变化,避免长时间审查的瓶颈和重新拍摄的风险。现在,拍摄团队的每个人都可以快速做出决策并实时调整虚幻引擎中的数字文档。

假设拍摄团队正在创建一个将显示在LED 墙上的背景。在任何人进入片场之前,虚拟艺术团队可以使用虚幻引擎建造三维树木、山脉、城市、街景和其他组件。这些数字文档可以在拍摄整个电影中使用,而且可以反复使用以满足不同的拍摄要求。特效团队不需要在拍摄完成后进行后期特效处理,使用虚幻引擎进行虚拟制片可以将人物、道具等与虚拟物体和场景一次拍完,而不需要绿幕抠像技术的介入。

这些数字文档甚至可以用于其他拍摄项目。如果制作人员以正确的方法管理和存储这些数字文档。工作室可以对这些创建的内容稍加修改和调整,以便快速交付给其他项目使用。这使得整个创作过程更加高效和一致。

虚幻引擎的强大功能之一就是可以储存大文件和海量的数据,同时制作人员可以实时快速调用这些数据,这使得虚幻引擎成为一个高效稳定的系统。

在2022年发布的新版本虚幻引擎5中,有两个新增加的主要功能Nanite和Lumen,更新后的虚幻引擎功能得到了实质性的增强。

使用虚拟化微多边形几何体系统Nanite,可以供用户轻松创建拥有海量细节的游戏和其他极其复杂的三维模型。Nanite系统可以直接导入由数百万多边形组成的影视级高精度的数字模型以及相关的数字文档(包括通过Zbrush软件创作的任何雕塑以及摄影测量扫描资产),将它们在虚拟场景中反复布置数百万次之多,在其操作中始终保持实时帧率,同时没有任何明显的保真度损失。Nanite可智能流送并处理你能观察到的细节,在极大程度上解除了多边形数量和绘制调用的限制,并省去了一些极其费时的工作,让你专注于创意工作。使用Nanite的好处包括:

(1)可使用几何体的复杂程度增加了多个数量级,可视的三角形和物体数量比以前实时显示要多得多。

(2)帧预算不再受多边形数量、绘制调用顺序和网格内存使用的限制。

(3)现在可以直接导入电影质量的原始文件,例如ZBrush造型和摄影测绘扫描。

(4)使用高多边形细节而不是将细节烘焙到法线贴图纹理中。

(5)细节级别 (LOD)自动处理,不再需要手动设置单个物体的LOD。

(6)物体显示精度损失很少或不存在,尤其是LOD的转换。

Lumen是一套全动态全局光照解决方案,可以让你创造出动态、可信的场景——在这里,间接光照会根据直接光照或几何体的变动实时发生改变:例如根据天时改变太阳光角度、打开手电筒或打开一扇通向户外的门。有了Lumen,你再也无需编辑光照贴图UV,等待光照贴图生成完成或放置反射捕捉;Lumen 会自动生成附近场景表面的参数化,称为Surface Cache。它用于快速查找场景中光线命中点的照明。Lumen从多个角度捕获每个网格的材料属性。这些捕获位置 (称为卡片)是为每个网格离线生成的。你只需在虚幻编辑器中创建并编辑光源,就能看到和游戏在主机上运行时完全相同的最终光照效果。

5 运动跟踪摄像机

虚幻引擎能在摄像机拍摄中实时捕捉到摄像机在空间运动中的位置,并把捕捉到的位置信息传输回虚幻引擎。虚幻引擎将根据这些摄像机的位置信息实时调整虚幻引擎中的虚拟摄像机的位置,这样虚幻引擎中呈现的虚拟场景画面就会和真实的摄像机的拍摄视角完美地匹配。在虚幻引擎中可以使用工具捕捉物体、演员或相机的运动,是虚拟制作中一个重要的部分。事实上,真实的类人运动可以实时编码到3D 图形引擎中,以完成大量工作,包括:

(1) 捕捉人体的运动,将其应用到动画角色上。

(2) 捕捉道具的移动,将其应用到复杂动画上。

(3) 捕捉三维空间中虚拟摄像机的运动,以便保持摄像机运动和虚拟摄像机运动产生视觉扭曲的同时,改变虚拟场景中的背景。

6 总结

2019年新冠肺炎疫情后,由于人们的出行受到一定的限制,导致使用虚幻引擎进行虚拟制片技术的应用不断增加。在这段时间里,人们通过可以远程控制的虚拟环境,同时让导演、摄影导演和艺术家一起在室内工作。这些技术主要在大型影视作品的拍摄中进行了探索和完善,《曼达洛人》和《权力游戏》等节目是虚拟制片中一些技术的应用典范。现在,随着这些技术的不断传播,我们已经看到许多新的影视作品都在使用虚幻引擎进行虚拟制片。越来越多的影视制作团队之所以在虚拟制片中使用虚幻引擎是因为虚幻引擎可以制作出照片级逼真的全三维场景和虚拟角色,制作中使用的贴图根据需要可达到8K 的分辨率;不仅可制作静态的场景,而且可以制作丰富的三维动画;虚幻引擎中三维场景和虚拟人物在拍摄中随时可以根据创作团队的拍摄要求进行动态调整,调整后的视觉效果是实时输出的,这样就节省了大量渲染时间,从而降低了拍摄成本和时间。计算机硬件的不断完善和提升是虚拟制片得以发展的一项前提条件,特别是CPU 和GPU 每出现一个新版本,虚幻引擎的功能就更加强大,这意味着图像真实度会进一步提升。当然,专业公司将继续开发虚幻引擎,以利用诸如光线追踪这类全新实时技术,从而进一步提高图像质量。

根据特效部门的制片人、视觉特效艺术家和电影制片厂、制片人的介绍,好莱坞电影行业可能正在达到使用传统的电影制作方法的上限。而使用虚拟制片的思路和各种制作工具不仅让更好的创意得到实现,而且极大地降低了电影制作的时间和成本。

电影拍摄的实时可视化有助于加强整个制作流程的规划,提高拍摄效率并减少昂贵的重新拍摄的发生。以好莱坞电影行业为例,重拍行为是常见于高预算电影制作,其重拍费用比例占总成本的5%到20% (甚至有时更高)。虽然不是每个剧本或导演都非常适合使用演员直接在LED 幕墙前表演这种拍摄制作方式。但是,毋庸置疑虚拟拍摄节省了拍摄团队的旅行费用、拍摄设备的运输、和搭建实景的成本,从而大大降低了整个制作成本。一些高预算的影片如科幻片和魔幻片,其特效制作成本高达总预算的20%,利用LED 幕墙进行拍摄可以减少后期合成和抠像(Rotoscoping)的步骤,同时拍摄人员可以在拍摄前快速进行反复测试以确定其最终效果。

总之,虚拟拍摄具有迭代性和创造性。在整个制作中,虚幻引擎为虚拟制片而制作的各种数字资产可用于目前的拍摄策划和拍摄制作。由于其数字属性使得其容易在整个过程中不断完善修改最终的外观和感觉。同时,虚幻引擎制作的这些数字资产又可以被其他的拍摄项目重复使用并按照制片人、导演的意图进行修改,节省了大量制作时间和拍摄成本。计算硬件的不断完善和提升是虚拟制片得以发展的一项前提条件。特别是,CPU 和GPU 每出现一个新版本,虚幻引擎的功能就更加强大。这意味着图像真实度会进一步提升。当然,英佩游戏公司将继续开发虚幻引擎,以利用诸如光线追踪这类全新实时技术,从而进一步提高图像质量。

①引自https://www.unrealengine.com/zh-CN/unreal-engine-5。