《曼达洛人》与StageCraft影片虚拟制作技术分析

吴 悠

(北京电影学院中国电影高新技术研究院, 北京 100088)

《曼达洛人》 (The Mandalorian,2019,Jon Favreau)是于2019年11月12日登录Disney+平台的迪士尼原创剧集,目前已播出了第一季共八集的内容,每一集时长大约在30～45分钟左右。在制

作技术方面,为了得到尽可能真实的现场动态照明和环境光效果,制作团队为《曼达洛人》影片项目量身定制了StageCraft影片虚拟化制作平台。

图1 StageCraft虚拟化制作平台①

StageCraft虚拟化制作平台将传统的电影制作工具与LED 背景墙、虚拟现实和游戏引擎等新兴技术相结合,通过将游戏引擎实时渲染生成的画面显示在LED 背景墙上的方式,将演员表演和现场搭建的场景与实时渲染生成的画面相结合,得到近乎真实的场景动态照明和环境光效果,并且在拍摄现场直接得到摄影机机内合成的高质量画面。 《曼达洛人》影片中,有90%的镜头是在StageCraft平台内拍摄制作完成的,50%观众看到的最终影片画面是直接从摄影机内得到的机内合成画面。StageCraft制作平台这种“所见即所得”式的影片制作方式使得现场拍摄过程中,各部门间有了一种更直观、更高效的交流方式,极大地提高了影片的创作效率和影片质量,标志着现代数字电影技术在虚拟化制作方面的一次巨大进步。

1 LED背景墙和投影法机内合成技术的发展历程

1.1 传统的投影法机内合成技术

StageCraft虚拟化制作平台的技术理念可以追溯到1930年代使用投影法制作摄影机机内合成画面的光学特技技术。投影法合成技术也称“银幕合成”或“放映合成”,这种技术使用投影机将静态或动态背景投影在后景的幕布上,与前景中的人和物通过一次拍摄合成在一个画面中。

图2 背投法 (左)和前投法 (右)技术示意图②

投影法在节省了进行实景拍摄所需的人力和时间成本的同时,存在着一定局限性。由于投影内容一般为提前拍摄制作好的背景画面,很难与拍摄现场摄影机移动带来的透视变化相匹配,所以使用投影法时很难进行摄影机运动镜头的拍摄。此外,投影合成的影像质量较差、演员难以与背景内容进行互动等问题也很难得到妥善解决。

1.2 绿幕合成技术

随着电影技术的不断发展,人们逐渐转向了目前仍然在广泛使用的利用色差法制作蒙版进行画面合成的技术,即绿幕合成技术。相比于传统的投影法合成技术,绿幕合成有其优势,比如人们终于可以从透视变化的限制中解放出来,较为自由地设计摄影机的移动。但另一方面,绿幕技术的出现也带来了新的问题。首先是动态光效的配合问题,在现场拍摄前必须预先设想好后期特效制作中添加的特效会如何影响场景中演员和灯光的交互,然后再在现场为演员进行现场动态照明,之后的后期特效制作环节也必须配合前期动态照明效果制作特效,两者相互制约,为现场布光和后期特效制作都提出了不小的考验。其次是绿幕拍摄时的绿色溢出问题,当演员距离绿幕过近或者佩戴了反光材质的服饰道具时,绿幕的颜色很可能反射到演员身上,给后期合成过程造成很大的困难。此外,演员在周围绿色的布景中很难把握自身情绪,限制了演员的表现。因此,人们一直在探索一种能够替代绿幕合成的技术,像传统投影法一样可以进行摄影机机内合成并且创造动态照明效果的解决方案。

1.3 利用现代技术对LED 背景墙和背投技术的探索

2004年,当导演大卫·芬奇为影片 《本杰明·巴顿奇事》(TheCuriousCaseofBenjaminButton,2004,DavidFincher)进行前期准备时,为了得到尽可能逼真的人物眼神,他希望借助南加大创新技术研究院 (USC ICT)由保罗·德贝维奇 (Paul Debevec)博士领导的团队在2002年开发的早期型光台技术得到尽可能真实的眼神光。早期型光台是一套由156个离散的点光源构成的球形阵列,对于创造眼神光和模拟丰富多变的环境光而言过于分散。因此,保罗·德贝维奇提出使用LED 面板作为光源,创造一种布光更加连续和均匀的光台设计方案。

图3 使用LED面板的光台设计方案③

德贝维奇的团队使用Barco公司提供的LED 面板,将其放置在演员面前,通过播放预渲染画面的方式进行了实验。

2004年的实验取得了非常成功的结果,放置于演员面前的LED 面板可以在演员的眼睛中反射出生动的眼神光,并为演员的面部创造尽可能真实的实时照明效果。这个实验的结果虽然并没有被应用于《本杰明·巴顿奇事》的影片制作中,但其仍然为后续影片中使用LED 面板创造动态光效的技术奠定了技术基础。

图4 LED创造眼神光的实验环境 (左)和实验结果 (右)④

在2013年,LED 背景墙创造动态照明效果的技术在影片《地心引力》 (Gravity,2013,Alfonso Cuarón)中得到了初次成功的应用。为了模拟光源位置的变化,影片的技术团队使用196个LED 面板搭建了一个20英尺高、10英尺宽的空心立方体光箱(LightBox),通过将演员置于其中,并播放预先制作并渲染好的CG 画面的方式来制作现场动态光效。这种光箱技术在当时还处于一种较为粗糙、原始的状态,面板间的接缝明显,创造的背景也不够精细。此外,其使用的LED 面板像素间距较大,面板距离演员的位置较近,如果用摄影机拍摄会产生非常严重的摩尔纹现象。因此,在 《地心引力》影片中,LED 创建的背景画面仅有参考意义,在后期制作阶段需要被全部替换。

同年的另一部影片 《遗落战境》 (Oblivion,2013,Joseph Kosinski)探索了结合现代投影技术使用背投法进行摄影机机内合成和动态照明效果的技术。影片的制作团队拍摄了多段全景素材,在加入CG 元素后拼接成了一段横向分辨率为13K、纵向分辨率为2K 的影像片段,并由Lux Machina团队用21台PRG 投影机和42英尺高、500英尺周长的环绕银幕搭建了一个半环绕形的背投合成系统。通过对于背投合成系统的成功应用,《遗落战境》影片最终得到了可以用于机内合成的高质量投影背景,这是用现代技术结合传统背投法进行摄影机机内合成的一次成功尝试。

在2016年的《侠盗一号》(Rogue One,2016,Gareth Edwards)和2018年的《游侠索罗》(Solo:AStarWarsStory,2018,RonHoward)两部影片的制作中,LuxMachina团队使用了在预演播控、实时追踪投影技术方面有着丰富项目经验的Disguise系统探索了用投影法和LED 背景墙制作动态光效的技术。例如在影片 《游侠索罗》中,制作团队搭建了千年隼号飞船的驾驶舱,并且在驾驶舱的正面使用背投系统投影预先制作的超空间传送动画,获得了非常好的动态照明效果。但是通过总结项目经验,Lux Machina团队认为使用现代技术搭建的背投系统仍然很难满足对于亮度和色彩还原准确性的要求。在LED 背景墙的探索方面,Lux Machina团队将使用LED 背景墙进行动态照明的技术应用在了《游侠索罗》影片的飙车场景中,创造了车辆载具表面高速行驶时反射出的一闪而过的路灯光效。

图5 《游侠索罗》影片使用的背投系统⑤

在上述影片中使用的LED 背景墙和投影系统一般都可以获得非常好的动态照明效果,但是因为投影系统的亮度和色彩还原性无法满足要求,或因为LED 面板的像素间距较大,容易产生摩尔纹等诸多影像问题,使得其投影、显示的影像内容通常只能为后期合成和特效制作进行参考,在StageCraft虚拟制作平台出现之前,影片创作者们都很难得到用于摄影机机内合成的高质量影像。

2 StageCraft制作平台的系统搭建方案

以StageCraft 技术开发团队在2019 年SIGGRAPH 大会上展示的StageCraft平台的搭建方案为例,制作现场的StageCraft系统由八台计算机和一台多用户服务器 (Multiuser Server)组成。现场有一台计算机处理摄影机跟踪信息,并将处理后的摄影机跟踪数据共享给其他计算机;一台计算机作为虚幻4引擎主机,负责操控和调试整个虚拟环境;三台运行虚幻引擎的渲染机分别对应渲染生成三个LED 背景墙展示的画面内容;现场有一台主机负责处理在拍摄现场无法得到高质量摄影机机内合成镜头时使用的绿幕合成镜头,并且进行现场实时合成;另外还有两台主机负责拍摄现场的VR 场景探查工作。

在具体的StageCraft系统搭建方案方面,技术开发团队分别尝试了基于虚幻4引擎LiveLink功能的系统搭建方案和基于多用户服务器的系统搭建方案。

图6 基于LiveLink功能的系统搭建方案

基于Livelink功能的系统搭建方案使用虚幻4引擎的LiveLink功能提供一个通用接口,将外部来源的动画数据送入虚幻4引擎之中,便于用户在外部编辑动画的同时在虚幻4引擎中进行实时预览。该系统搭建方案使用LiveLink功能设计了一种多播工作流程,通过将摄影机跟踪数据同时发送给多台设备来尽可能减少系统延迟。此外,在画面渲染方面,为了保证画面渲染到LED 背景墙时可以保持同步,因此采用了一种主从机的关系,只有一台主机直接接收LiveLink传输的摄影机跟踪数据,两台渲染机从渲染机主机处获得跟踪数据。虽然基于LiveLink功能的系统搭建方案可以尽可能减少系统延迟,但是其不能满足多用户同时调用修改一个场景并且实时观察到其他用户修改结果的多用户协同创作需求。

在另一种系统搭建方案中,基于多用户服务器的系统搭建方案以多用户服务器为中间节点,所有运行虚幻4引擎的设备均与其相连,摄影机跟踪数据先传递给多用户服务器,再由其分发给其它设备中。该系统搭建方案通过使用虚幻4引擎的多用户编辑功能,使多个用户连接至同一实时会话中,使所有用户都可以共同创建并照常处理虚幻引擎项目,在现场的每个用户都可以实时观察到彼此对项目应用的更改。

图7 基于多用户服务器的系统搭建方案

此外,为了保证三台渲染机渲染画面同步,技术团队在系统设计时使用了Nvidia Quadro Sync功能作为Genlock同步信号发生器,并采用将同步信号同时传输给虚幻引擎主机和三台渲染机的方式来保证设备之间和渲染生成画面间的同步。实时合成和场景探查机在拍摄现场对于画面同步的需求不高,因此并没有接入Genlock信号进行画面同步。

图8 添加远程控制功能后的整体系统搭建方案

由于整套StageCraft系统由多台设备组成,需要占用一部分现场拍摄空间,所以整套系统和设备操作人员需要在LED 显示设备环绕区域以外进行搭建和工作,这不便于导演和摄影等现场创作人员与系统技术人员之间的沟通协作。为了使现场创作人员可以以更直观和便捷的方式在平台内部调试虚拟空间,技术开发团队为ipad设备开发了StageCraft平台远程控制应用软件,并将设备通过远程控制服务器与虚幻引擎主机相连,这样使得现场创作人员可以站在平台内部便捷、快速地对渲染生成的虚拟场景进行场景选取、亮度色彩改变和空间位置移动等细节调整,并将调整结果保存为预设,方便再次调用。

3 StageCraft制作平台的技术优势和代表性技术问题

3.1 StageCraft制作平台的技术优势

与背投法或绿幕法等传统影片制作方法相比,StageCraft制作平台是一种具有非常大优势和发展潜力的新兴影片虚拟化制作技术。StageCraft制作平台的出现为电影创作者们带来了一种真正的 “所见即所得”式的影片制作方式,让影片创作者可以通过在拍摄现场对游戏引擎实时渲染生成的场景进行调整并以实时反馈的方式得到尽可能真实、生动的可交互式拍摄环境和动态照明效果,避免了使用绿幕合成时容易产生的绿色溢出和匹配制作动态照明效果等问题,也可以减少工作人员在传统绿幕虚拟制作环境中长时间工作后容易产生的单调、疲劳感。其次,使用StageCraft制作平台可以在拍摄现场直接得到由摄影机机内合成所得的高质量影像画面,在减少后期制作环节工作量的同时,显著提高了在拍摄现场的拍摄制作效率。此外,StageCraft平台也让参与制作的各部门间有了一种更直观、更高效的交流方式,减少了各个制作部门间的沟通成本。后期视效工作者可以通过这种后期前置的工作流程,广泛参与到影片前期的创作工作中,更好地掌握导演、摄影和美术等创作者的创作意图,并使其在整个制作过程中可以得到更好的贯彻和执行,以得到更好的整体影片质量。

3.2 StageCraft制作平台尚存的代表性技术问题

尽管StageCraft技术具有巨大的技术优势和未来发展潜力,但是使用目前技术搭建的StageCraft制作平台在影片 《曼达洛人》的制作过程中也出现了一些值得探讨的具有代表性的技术问题。

图9 SIGGRAPH 大会上出现明显偏色和摩尔纹等问题的天幕部分LED面板⑥

图10 使用StageCraft系统显示绿幕进行合成替换⑦

首先,目前StageCraft平台所使用的LED 技术有其局限性。《曼达洛人》影片项目使用了洲明雷迪奥(ROE)系列的BlackPearlBP2型LED 面板搭建环幕、使用Carbon CB5 型 的LED 面板搭建天幕。受目前LED 技术的限制,LED 面板可视角度较窄,从极端角度观察会产生明显的偏色现象。此外,LED 光源是一种窄带光谱光源,这使其色彩还原性能较差,很难准确还原某些特定色彩。LED面板显示的高亮度画面内容也很容易在LED 面板间,特别是环绕形LED 面板和LED 天幕之间相互反射,造成光源污染。LED 面板像素间距较大也使其容易出现摩尔纹等影像问题,难以得到可供机内合成的高质量画面。 《曼达洛人》影片和SIGGRAPG 大会上搭建的LED 天幕所使用的CB5 型LED 面板在像素间距、像素密度和可视角度方面均不如搭建环幕所用的BP2 型面板,这使得StageCtaft天幕部分出现的画面问题尤为明显,所以影片拍摄过程中所有包含LED 天幕的画面均需在后期合成阶段进行替换。

当演员或摄影机调度过于接近LED 背景墙时,可能使背景墙清晰地处于摄影机焦内范围,使拍摄画面出现摩尔纹或者让观众发现LED 背景墙的存在。因此,在这种情况下仍然需要使用StageCraft系统显示出足以勾勒出演员轮廓的一部分绿幕画面,用传统绿幕抠像手段加以合成,使得StageCraft技术目前仍难以完全摆脱对传统绿幕合成手段的依赖。

其次,在场景布置方面,StageCraft制作平台在拍摄现场会产生实景与背景墙画面相匹配的问题。在《曼达洛人》影片项目中,美术部门制作了可能用到的道具和布景,并且经过摄影测量和照片建模后导入了虚幻4引擎中,但是经过虚幻4引擎的渲染后,呈现在LED 背景墙上的最终结果仍然和现场搭建的布景存在差异。特别是对于延伸入LED 背景画面中的布景和道具而言,在对比之下两者的差异将变得更为明显。在这种情况下,如果通过更改渲染设置或者调整虚拟资产的手段匹配现场布景,则可能进一步造成环境光效果的改变。因此在现场拍摄时往往需要美术组在现场重新喷涂调整布景,以匹配实时渲染结果。此外,LED 背景墙和前景地面的接缝处以及LED 面板间的接缝处也会存在难以忽视的拼接缝隙,这也需要美术组在现场配合显示背景用草、石头或其他道具加以掩盖。

图11 通过时码发生器和投影画面测量画面延迟⑧

此外,《曼达洛人》影片项目和SIGGRAPH 大会上的StageCraft平台使用了基于多用户服务器的系统搭建方案,这种系统搭建方案可以很好地满足多用户协同创作的需要,但是也会因为数据集中处理、统一分发以及实时渲染高分辨率影像等原因而产生8帧左右的系统延迟。为尽可能减少延迟和渲染工作量,系统会根据摄影机的实时位置和视角在整体LED 背景墙中有选择地渲染一部分画面,这部分画面是实时渲染并带有摄影机视差变化的高分辨率画面,用于摄影机机内合成,而其余部分画面则是预渲染好的低分辨率画面,用于创造动态照明效果。此外,系统还会为8帧延迟内摄影机的轻微移动预留多40%的渲染面积。但即使预留了一定摄影机移动空间,目前仍然无法在StageCraft制作平台内进行大范围的摄影机移动,这在一定程度上限制了该平台内的摄影机调度。

4 结语

综上所述,StageCraft影片虚拟化制作平台一方面有着巨大的技术优势,它的出现为数字时代进一步提高影片虚拟化制作效率打开了一扇新的大门;另一方面,作为一种结合了LED、虚拟现实和游戏引擎的新兴技术,StageCraft制作平台在实际应用过程中,在LED 显示系统、游戏引擎的实时渲染、数据实时处理和传输等方面,还存在诸多亟待解决的问题。总体而言,StageCraft是一种属于未来的影片创作方式,倘若假以时日,随着LED 或其它影像显示系统的不断发展,计算机图像渲染和生成手段进一步革新,能够以更小延迟传送更多数据的数据传输方式继续涌现,那么未来某一天,Stage-Craft制作平台和以其为代表的虚拟化制作技术必然可以摆脱目前的重重技术枷锁,成为一种新的能够得到广泛使用的影片制作技术。

注释

①图1来源于American Cinematographer网站相关图片。

②图2来源于Wiki网站相关图片。

③图3来源于fxguide网站相关图片。

④图4来源于fxguide网站相关图片。

⑤图5来源于IndustrialLight&Magic网站相关图片。

⑥图9来源于fxguide网站相关图片。

⑦图10来源于fxguide网站相关图片。

⑧图11来源于SIGGRAPH2019相关图片。