游戏引擎在电影工业中的应用研究

焦垚楠

1.浙江传媒学院华策电影学院,浙江杭州 310018 2.北京师范大学艺术与传媒学院,北京 100091

游戏引擎 (Game Engine)是为视频游戏开发设计而提供的软件框架,其核心功能通常包括渲染引擎、物理引擎、声音系统、动画系统、脚本引擎、输入系统、人工智能及场景管理等,目的是让开发者、设计师及其他创作者能够不从零开始,利用现有工具便捷地构建出自己想要的游戏或相关项目。提及游戏引擎,如今已是Unreal和Unity二分天下的局面,而在电影工业生产中,Unreal则占据着不可逾越的位置,回顾游戏引擎的发展历史,便可看出游戏与电影的制作生产是如何产生交集的。

游戏引擎根本上是一种代码的重用,即借助别人已经开发的工具,来进一步完成自己的设想。自20世纪80 年代开始,大量的电子游戏涌现市场,这些游戏往往各自独立开发和发行,尽管某些游戏公司和开发者可能在自己的游戏中重用了部分代码,但不同游戏的代码不会相互公开,也没有人试图借助别人的代码来创建自己的游戏。直到20世纪90年代,受益于游戏开发共享需求,以及家庭计算机和游戏机的普及,游戏引擎的概念开始出现。

Id Software的Doom (《毁灭战士》,1993)和Quake(《雷神之锤》,1996)两款风靡一时的游戏发布后,其他开发者可以直接借助软件的核心部分来设计他们自己的图形、角色、武器和关卡,将特定的游戏规则与通用的游戏框架分开,极大优化了团队的分工和工作效率。

随后,Id Software的Quake III Arena和Epic Games的虚幻引擎(Unreal Engine)均采用该思路进行设计,引擎和内容分别进行开发,可重复使用的引擎使开发游戏续作更快更容易,这在竞争激烈的视频游戏行业显得尤为重要。2000年左右,Epic和Id Software之间还存在着激烈的竞争,但不久后,Epic的虚幻引擎取得了压倒性的优势,并在近些年延伸到了虚拟仿真、建筑、教育、装饰、主题乐园等各个领域。

电影作为现代高品质数字视听技术的应用综合体,不少游戏引擎都意愿涉足其中,例如德国Crytek公司的CryEngine 就试图基于该引擎开发出Film Engine,首次提出将电影制作流程嵌入游戏引擎,它声称将提供一套集成的工具,允许用户在电影制作中涉及的所有不同领域 (例如预演、动画、照明和剪辑)并行和实时地工作。除了这种实时电影制作流程外,Film Engine还利用了其它实时技术,尤其是在虚拟摄制中使用的技术,例如动作捕捉、摄像机跟踪、机器学习模型和绿屏合成。

然而,Film Engine却未能如愿发布,而虚幻引擎则在随后的几年内在电影领域得到应用。虚幻引擎4 (UE4)能够带来接近电影画面质量的实时渲染效果,而Epic最新推出的虚幻引擎5 (UE5)更是凭借虚拟化微多边形系统Nanite和Lumen实时动态全局照明系统两大核心功能,颠覆了传统电影制作,突破了电影与游戏生产的边界。

1 游戏引擎与电影工业

游戏引擎最初是作为视频游戏的一种底层管道开发的,近些年越来越成为电影制作人喜爱的工具,他们借助引擎将实时视觉效果添加到部分制作过程中。起初,好莱坞对游戏引擎的使用主要限于斯皮尔伯格和工业光魔(ILM)开创的前期可视化流程,但随着实时计算优化的图形处理芯片组变得越来越强大,游戏引擎在整个工作流程中发挥着越来越多的作用,从前期预演的参考影像逐步扩展至后期制作,甚至直接以最终影像出现在影院银幕上。

实际上,游戏引擎作为游戏开发工具,其特性与电影制作过程在诸多方面存在契合。

首先,游戏制作与电影内容制作本就使用大量相同的软件工具,诸如Maya、3Ds Max、Zbrush等三维内容制作软件,以及Photoshop、After Effects等视频图像处理软件,均广泛应用在电影视效制作流水线、CG 动画电影和预演当中,同时也是游戏引擎资产对接的重要工具。

第二,游戏引擎和电影虚拟摄制对于CG 类虚拟资产的需求是几乎一致的,主要包括虚拟角色数字资产、虚拟置景数字资产以及虚拟摄制设备数字资产三类,为满足电影虚拟摄制实时效果,三类资产往往依据具体资产对象的实际制作目的,将模型、材质、贴图、动画、灯光、流体与粒子特效 (如海浪、火山爆发、破碎、房屋倒塌、烟火)、数字绘景及渲染数据等内容和效果集合于一体。基于各类资产内容构建虚拟资产库,可为快速预演镜头的创建提供基础素材,同时,从前期概念设计到后期成片制作,整个工业流程都将受益于虚拟资产库所带来的高效性和实时化。

第三,电影制作中的一些非CG 数字资产,也可划归在游戏制作和电影制作的共同资产库中,例如影像素材、色彩查找表 (LUT)、剪辑决策表(EDL)等视觉资产,音乐、音响、语言等听觉资产,镜头畸变数据、运动轨迹数据、跟踪数据等其它数字资产。

最后,电影与游戏中均存在灯光、景深、物理交互等元素需求,随着电影创作者对虚拟角色、场景、光照、粒子特效等元素的实时交互的需求不断提升,无论是虚实布光匹配,还是虚拟角色与真人演员实时交互,都无法离开游戏引擎技术,在影棚里拍电影的过程,愈来愈像玩家玩游戏的过程。

游戏引擎使得摄影师在现场可以非常方便地对虚拟场景的灯光风格进行控制,实时GPU 渲染可以模拟光的颜色、亮度、阴影、范围、交叠等效果,并做出符合物理原则的视觉表现,通过组合不同的灯光以形成不同的布光方式,如三点照明法、人物轮廓光表现、静物、空间表现等方式,很多摄影的经典布光技巧和风格在模式整合下可以快速表现。此外,游戏引擎对摄影机焦点、景深、运动模糊等物理属性及虚拟角色动画、空间布局的实时调整,使得导演和摄影师可以任意调控虚拟环境中的任何元素,为其现场创作带来了极大的便利。

根本上来说,游戏行业借助游戏引擎已有的代码和工具来完成自己的项目,而虚拟摄制背景下的电影工业,则借助游戏引擎已有的资产和工具来完成内容生产,游戏引擎于游戏和电影有着几近等同的价值。

2 游戏引擎在电影工业生产中的应用案例分析

最初的游戏引擎往往不具备电影制作能力,虚幻引擎的虚拟相机没有焦距或靶面设置,仅有一个视场角,而如今它不仅有焦距、底片、景深、光圈、ISO 和快门速度等电影摄影机参数,甚至包含了ACES色彩工作流程。像第三楼(The Third Floor)这样的可视化预演工作室,在项目中利用虚幻引擎和其它实时引擎来进行前期预演、技术预演,以及在生产流程的各个阶段使用的各类型动画,其作品涵盖多部漫威电影、星战系列电影,以及 《曼达洛人》《权力的游戏》等流行剧集。

图1 《奇幻森林》中基于Unity引擎的现场实时预演

将游戏引擎首次引入影片虚拟拍摄现场的是2016年上映的影片《奇幻森林》()。这部由迪斯尼出品、Jon Favreau 执导的奇幻冒险片,改编自Rudyard Kipling的同名小说 《森林王子》(),以1967年迪斯尼同名动画电影作为参考,是一部利用CGI技术与真人实拍实现完美融合的精良之作,故事讲述了在狼群中长大的小男孩毛克利被迫逃离森林,在动物朋友的帮助下,不断对抗危机、探索自我的过程。负责影片视觉特效的两家主要公司是MPC (Moving Picture Company)和维塔数码 (Weta Digital)。影片中除男主角以外的所有动物角色、丛林场景均为全CGI制作,作为一部以动画片方式制作的真人电影,该片凭借逼真的特效与一流的视觉表现,赢得了第89届奥斯卡最佳视觉特效奖的荣誉。

《奇幻森林》的视效总监Legato表示,制作团队完全模糊了拍摄前后期的界限,没有严格的前期预演、现场拍摄、后期预演和后期视效制作的生产线之分。当然,这并不意味电影制作流程是随意的,MPC的Adam Valdez强调他们的拍摄计划和创作意图在制作过程中起着非常关键的作用,他们以一种创造性的、循环迭代的电影虚拟摄制新形式来制作《奇幻森林》,从而让主创能够像拍摄实景真人电影一样完成整部“动画”电影的制作。

这部影片的成功得益于商业游戏引擎在电影现场预演中的应用。《阿凡达》虚拟拍摄中使用的动画软件MotionBuilder,拥有较好的实时渲染效果,但照明效果与画面细节表现一般,《奇幻森林》采用了Unity来完成三维虚拟场景的实时可视化,Unity是一款免费的游戏引擎,许多PC 和移动端游戏都基于该引擎开发。借助该引擎,制作组可以在工作中随时控制虚拟世界的光照,如光线方向、强弱、色温等,并实时与现场光照进行匹配,以营造故事所需的环境效果,除了精心布置的灯光,现场还将LED 面板进行编程来创造大象或水牛经过时的特殊阴影。此外,Unity可对实拍所用的Alexa摄影机进行实时模拟,并能随时根据实际需求更换镜头,在虚拟空间呈现不同的景深和曝光效果。引擎还能实时添加烟尘、雨雾、火焰等粒子效果,对于气氛营造和视觉处理有着相当出色的表现。

《奇幻森林》对于电影虚拟化制作技术的充分利用,体现了新技术为电影艺术表达、故事创作带来的全新变革,正如影片导演Favreau所说,这不仅是对影视技术的应用和发展,更是一次重要尝试,让你能够在现场看到更多、想到更多,从而在成片之前就能对最终效果进行评判和决策。随后,他们在2019年上映的动画电影《狮子王》中利用VR 与游戏引擎开发出了一套全新的虚拟摄制流程。他们在虚幻引擎内构建好所需的虚拟制作工具,利用VR 设备在虚拟空间中模拟真人电影制作,所有的虚拟环境都是由MPC 的艺术家提前做好,每个角色都有相应的关键帧动画。主创可以像走进真实场景一样走入故事世界,将摄影机放在任何想要的位置,如同真实拍摄一般完成虚拟内容创作。

图2 《狮子王》结合VR 与虚幻引擎进行前期创作

哥本哈根信息技术大学计算机游戏研究中心助理教授保罗·布雷利在 《游戏摄影:从摄像机控制到玩家情绪》中指出,虚拟摄影机和真实摄影机之间最明显的区别在于虚拟摄影机是一个抽象的结构,它定义了虚拟世界呈现给用户的方式,旨在模拟真实世界摄影机的行为,在当前最先进的计算机图形技术中,通过虚拟摄影机生成的图像与真实镜头已经无法区分。然而,与现实世界的摄影机不同,虚拟摄影机在虚拟世界中没有物理存在,其属性可以随着时间的推移而改变,并适应拍摄的事件,这些优势让虚拟摄影机能够以更高的自由度和表现力拍摄场景。

游戏引擎配合摄影机跟踪,使其成为电影工业领域举足轻重的“预演”工具,直到2019年末开播的美剧《曼达洛人》,基于LED 背景显示墙和虚幻引擎的StageCraft系统,让团队在现场就完成了影片的最终镜头效果,从此,游戏引擎成为 “最终像素”的生产工具。《曼达洛人》中有超过一半的镜头借助该系统完成,极大减少了对外景地的依赖,该系统的“所拍即所得”根本上得益于虚幻引擎接近于电影级别的实时渲染能力。借助虚幻引擎创建跟踪对象和演员周围摄像机运动的虚拟场景,实时渲染到大型LED 背景显示墙和大气照明系统,同时实时合成镜头、即时编辑虚拟布景,能够在短时间内拍摄多个场景,最终呈现的效果比传统绿幕抠像效果看起来更自然。在StageCraft方案中,引擎内容不再只作为虚拟元素,而是成为实拍的一部分,影响了实拍现场的光线,实时渲染的影像真正成为现实中的环境。

图3 《曼达洛人》中基于LED和虚幻引擎的StageCraft虚拟拍摄系统

经过近两年的技术更新和推广,该方案已在《西部世界》第三季 (2020)、《新蝙蝠侠》 (2022)等剧集和影片中得到应用,国内特效公司、影视基地、研究机构以及大型互联网公司也开始积极探索基于LED 屏和虚幻引擎的虚拟制片流程,一方面顺应了影片制作 “后期前置化”的趋势,另一方面也适应了疫情环境下人员出行受限、团队合作模式分布化的现状。

在电影后期制作阶段,Autodesk 的Maya 和3Ds Max等传统3D 动画软件长期在视觉效果方面占据着重要位置,这些3D 软件追求最终图像质量,而牺牲了效率,图像渲染时间很容易延长到每帧数小时甚至数天,具体取决于镜头的复杂性和硬件的计算能力。游戏引擎相对于传统的计算机动画软件迭代时间要快得多,尽管在渲染质量上逊于传统离线渲染器,但某些镜头依然可根据故事需求、影像特征需求以及成本考量采用游戏引擎直接渲染。如2016年上映的《星球大战外传:侠盗一号》中,机器人K-2SO 的部分镜头便是由虚幻引擎进行渲染。虚幻引擎5的出现,为实时渲染进入电影工业后期环节进一步打开了大门,配合图形显卡的性能和软件算法的提升,未来的电影制作将不断突破时间与效果的限制。

3 疫情时代游戏引擎的应用价值

随着2020年新冠肺炎疫情的到来,电影制作逐渐向封闭式创作、远程交互协作的方向发展,游戏引擎给大团队协作与小规模创作带来极大便利,越来越多电影工作者使用游戏引擎提升电影制作效率。

在疫情发生之前,影片拍摄现场往往挤满了技术人员和工作人员,受限于疫情防控之下避免人员聚集的相关政策,原始方式制作电影变得极为困难,跨地区外出取景也因之受限,制片公司需要不断采取新的数字手段完成电影制作。如今,借助游戏引擎,电影人可以完全在数字环境下创作电影,通过现场LED 屏幕和游戏引擎来创建场景扩展,电影制作者可以将演员和工作人员带到世界任何地方。许多导演正在尝试使用这类工具来完成他们的制作,借助其它软件进行视频通信并记录游戏引擎内部所做的每一个更改,所有工具完美结合,让员工可以全程远程工作。

2021 年10 月发布的悬疑短片,是团队借助虚幻引擎5抢先体验版和Meta Human Creator在六周时间内完成的创作,影片讲述了星际维修工Valentina被派往一颗遥远星球修理无人机,在那里她遇到了一只充满敌意的外星生物和一股不让她离开的陌生势力。影片中的飞船和环境通过TurboSquid和Quixel Megascans在虚幻引擎内创建,团队试图将所有的创意都围绕着如何使用这些资产创作一个故事,这是一种与传统影像创作截然不同的思路和流程。故事中,原本由真人演员出镜的Valentina则由Meta Human Creator进行创建,他们在一小时内便制作出了一个逼真的数字人类。最终画面则在虚幻引擎5中进行渲染,同时使用了虚幻商城资产创造灰尘、颗粒、天空、云雾等环境效果。新的技术应用下,创作方式会变得极为不同,他们整个过程都没有使用剧本,而是直接录制了一些旁白文件,用于在引擎中探索叙事的可能性。

动画导演Neth Nom 与他的240人团队,则使用Unity引擎完成了他的动画短片,一切内容创建和处理流程都在引擎内完成,而不需要任何实体工作室来工作,因此他们可以远程工作,一些团队成员甚至在不同的国家。此外,Unity引擎的实时渲染特性使制作摆脱了昂贵的制作工具和巨大的渲染农场。一切都是实时的,他们可以立即检查并查看他们所做的每项更改的结果,同时,生产成本也大大降低。可见游戏引擎对独立电影制作团队来说是一个很好的选择,尽管大的制片公司并未打算抛弃他们现有的制作技术,例如工业光魔 (ILM)依然以传统制作软件作为核心,注重各种工具之间的合作互通,但在某些情况下他们也会依赖于虚幻引擎的一些定制版本。

4 总结与展望

如今,电影制作不断趋于虚拟化、实时化、沉浸式创作和生产,游戏引擎作为实时渲染工具,在电影、游戏、VR、AR、互动叙事等各个与影像相关的领域占据着不可替代的作用。

从诞生之初作为不同游戏的共享框架,到渲染质量逐步逼近电影工业水准,由于游戏本身对实时性和交互性有很高的要求,因而与电影虚拟化制作的方向高度契合,游戏引擎逐渐渗透在电影前期预演、现场拍摄、后期制作的各个阶段,从2017 年《奇幻森林》将Unity实时渲染引擎引入了影片的虚拟拍摄现场,到2019年《狮子王》利用VR 与游戏引擎进行全片的镜头设计与可视化预演,再到2019年底美剧《曼达洛人》以LED 背景显示墙让团队在现场就完成影片的最终镜头效果,游戏引擎不断以更多方式参与到整个电影工业当中。

2021年底,为宣传 《黑客帝国4:矩阵重启》而推出的交互叙事游戏 《黑客帝国觉醒》采用了虚幻引擎5进行制作,这是电影与游戏融合的又一标志性事件,游戏愈来愈注重电影级的质感、叙事和视听,而电影制作过程的实时交互、可视化反馈也愈来愈与游戏体验相近,游戏引擎作为二者的连结体,不仅对电影工业和游戏行业的发展至关重要,也对未来影像的表达、叙事形式的探索、新型媒介的创造有着不可估量的价值