基于LED背景墙的电影虚拟化制作中的照明技术研究

卢柏宏 陈 军 赵建军

(1.北京电影学院中国电影高新技术研究院,北京 100088)

(2.北京电影学院影视技术系,北京 100088)

1 前言

2019年,美剧 《曼达洛人》使用基于LED 背景墙的电影虚拟化制作 (以下简称“LED 虚拟化制作”)技术进行了拍摄,使得该技术进入人们的视野并成为影视制作领域的热点。该技术通过摄影机拍摄前景的演员以及LED 背景墙上同步显示的画面,直接获取以往需要抠像合成才能得到的视效画面,从而快速高效地完成视效制作。除此之外,LED 背景墙还具有照明功能,LED 背景墙上的每一颗灯珠都是独立可控的光源,利用基于图像的照明(Image Based Lighting,IBL)技术原理,通过显示虚拟场景,还原出真实的光照效果。这种革新的照明方式能快速高效地实现较为真实的光照效果,但也存在一定的不足,如何扬长避短,实现更好的照明效果,是电影制作人非常关心的问题,也关系到LED 虚拟化制作技术进一步的发展和应用。

2 研究背景

照明是电影拍摄现场非常重要的工作。随着技术的发展,越来越多的照明方式引入到电影拍摄中,而LED 虚拟化制作更是为照明提供了全新的思路。

2.1 基于图像的照明技术与光照重现

为了实现虚实场景的照明匹配,尤其是将真实世界的光照重现到虚拟的三维场景中,基于图像的照明技术应运而生并在影视视效制作中大量应用,在影片拍摄的同时拍摄记录铬球、灰球以及色卡,或者使用全景相机直接拍摄HDR 影像 (HDRI),将所记录的图像导入到三维软件中,从而快速地在虚拟的三维场景中重现真实世界的光照效果。基于图像的照明能满足许多情况下的视效制作,但由于本身的原理导致其无法实现一些特殊的光照效果,如平行光、阴影等,因此在视效后期制作中,一般需要在基于图像的照明基础上,为虚拟场景添加额外的光源从而实现真实的光照匹配。

一直以来,基于图像的照明更多的是“从实到虚”的应用,即采集真实环境的光照,并还原在三维软件的虚拟场景中,而如果利用光台 (Light-Stage)或是LED 背景墙,基于图像的照明就可实现光照“从实到实”以及“从虚到实”的应用,将会开拓更为广阔的应用天地。创作者可以通过HDRI记录某地的光照,在搭建有光台或LED 背景墙的摄影棚中完成接近真实光照的拍摄,常见的应用有影片的补拍、角色替换等;创作者也可以直接改变三维实时引擎中虚拟场景的光照效果,利用三维实时引擎的虚拟摄影机在虚拟场景中实时“采集HDRI”,并利用光台、LED 背景墙等照明设备重现光照,从而让三维实时引擎中的光照效果呈现在拍摄现场。

2.2 光台对照明的重现

典型的光台是一种将众多LED 灯呈网状规律均匀安装在球形支架上的照明设备,每盏LED 灯均可被计算机独立控制,从而改变其亮度和色彩,所有LED 灯的光照投射到位于光台中心的人物身上,呈现不同的光照效果。光台的光照重现,就是利用基于图像的照明原理实现,通过获取真实环境图像上不同位置像素的亮度与色彩,映射并控制对应位置的LED 灯,从而实现真实的照明效果。

以南加州大学创意技术学院 (ICT)的Light Stage 3为例,见图1,光台已经能实现较为真实的动态照明,以表现演员在排列有柱子的走廊中行走,太阳光间歇地照射在演员身上。光台技术在影视制作中的应用,证明了基于图像的照明技术在真实世界中进行照明匹配的可行性,也为LED 虚拟化制作中的照明奠定了基础。

图1 Light Stage 3实景合成的灯光再现方法①

2.3 LED虚拟化制作中的照明应用

利用LED 屏幕进行照明的方式,早在2013年电影《地心引力》(Gravity)制作时就已经开始应用,剧组利用环绕演员的196块LED 屏幕 (Light Box)播放视频的方式实现了快速移动旋转的光照效果,如图2所示。在影片中,LED 屏幕主要作为照明使用,LED 屏幕所显示的画面并没有被直接作为背景使用,现场拍摄的画面依然需要进行后期制作。

图2 《地心引力》中使用LED屏幕进行照明

2018年制作的美剧 《曼达洛人》使用了基于LED 背景墙的虚拟化制作技术,剧组搭建了大型LED 背景墙用于影片拍摄,LED 背景墙解决了演员盔甲上的反射问题,并为演员提供真实的环境光照。影片《西部世界》同样使用LED 虚拟化制作技术进行拍摄,影片甚至使用几块吊装的LED 屏幕贴近飞船以提高照明效果,如图3所示。

图3 《西部世界》使用LED虚拟化制作进行拍摄②

2019年8月,在SIGGRAPH 2019上,Unreal Engine(UE)官方推出了LED 虚拟化制作拍摄解决方案(图4),其中包含照明相关功能。得益于环绕的LED 背景墙,场景内的摩托车与人物的光照可以随时进行调整,并且能和虚拟画面进行高度匹配。内视锥用于背景画面的显示,而外视锥为环境提供照明,两者的亮度、色彩有所不同以满足各自的功能需求。此外,摩托车上的反光表面也能正确还原,这使得虚拟化制作中虚实结合后的真实感大大提升。

图4 UE提出的LED虚拟化制作方案

2021年,奈飞公司制作的美剧 《1899》使用了LED 虚拟化制作技术 (图5),该LED 虚拟化制作环境的背景墙为C 型的环幕,C 型开口方向还有一个可以上下活动的背屏,顶部中心位置架设太空灯灯光阵列,当背屏降下后,所有屏幕共同组成全包围的拍摄环境。此外,场景内的置景可以随转盘旋转,以满足不同拍摄方向下的拍摄需求。

图5 美剧 《1899》的LED虚拟化制作环境③

3 LED虚拟化制作中的LED 屏幕照明特性分析

在LED 虚拟化制作中,LED 屏幕可以显示三维实时引擎中的虚拟画面,也可以显示事先拍摄的HDRI全景图像,与虚拟环境的位置、大小、形状、亮度和色彩一致的光线从不同方向照射而来,能够模拟比较真实的基础光照效果。

3.1 LED屏幕照明的优势

LED 屏幕配合三维实时引擎,除了显示动态背景画面外,动态的照明也是重要的作用之一。图6为研究团队进行的测试短片拍摄场景之一,演员驾驶摩托车在路上行驶,两侧路灯的灯光间歇照射在演员身上,在LED 虚拟化制作中,我们使用两侧的LED 屏幕所显示的圆形“光卡”(特定形状和面积的亮斑)将演员照亮,LED 屏幕上的光源从前往后平移,以模拟路灯间歇照射的效果。传统的方式是旋转灯具或使用旋转的反光镜来营造运动的路灯效果,相比之下,由三维实时引擎驱动的LED 屏幕动态照明能够实现更丰富多样的效果,同时修改的自由度更高、修改速度更快,因此LED 虚拟化制作十分适合拍摄光影变化复杂的场景。

图6 车戏内容测试短片拍摄时LED背景墙实现动态照明

创作者利用“光卡”在LED 屏幕上显示额外的亮斑和色块,为场景提供照明是LED 虚拟化制作的突出特色之一,如图7所示。“光卡”的位置、亮度、色彩、大小以及形状可以任意改变,创作者只需要操作平板电脑或是手机中的交互界面,即可在LED 背景墙的任意位置进行布光,所有的操作均为实时,创作者可以立即看到光源修改后的结果。“光卡”的亮度、色彩调整使用是与影视调色软件相似的色盘,相比于传统调光台,能更直观地进行操作。同时,“光卡”大小与形状的改变能实现不同的照明效果,极大丰富了照明手段,例如:长条形的线型“光卡”能让不同方向的阴影具有不同的软硬效果,不同大小的圆形“光卡”能迅速为演员提供效果更佳的眼神光。

图7 虚拟化制作中的“光卡”

LED 屏幕上的虚拟画面不仅可以直接被摄影机拍摄,还可以通过折射、透射的方式在玻璃、镜面等材质的表面展现。传统灯光很容易在玻璃、镜面等材质中穿帮,而LED 屏幕照明可有效地解决这一问题。如图8所示,因为后方使用LED 屏幕显示虚拟画面,透过杯子和酒瓶能观察到环境,但正面反射的影视灯具则造成了穿帮,如果在正面架设LED屏幕,能有效解决这一问题。

图8 测试短片拍摄时LED背景墙透射与折射效果

LED 屏幕通过显示环境图像的方式,实现基于图像的照明。在一些情况下其光照效果可以直接使用,但在许多情况下创作者需要对其进行主观的创作调整,对于这类情况,可以使用区域调色 (Color Correct Regions)组件对部分区域进行调色,这样就可以在不改变环境画面内容的同时,对LED 屏幕上显示的环境画面中部分区域进行色彩调整,从而对照明效果进行微调,如图9所示。

图9 区域色彩校正

3.2 LED屏幕照明的不足

首先,LED 屏幕作为显示设备,其单位面积亮度与影视灯具存在很大差距。目前业内用于虚拟化制作的LED屏幕亮度一般只能达到6000nit,但影视照明的LED平板灯能够达到100000nit甚至更高,对于单位面积亮度更高的聚光灯,LED 屏幕更是无法比拟。因此在多数情况下,虚拟制作中的LED 屏幕无法独立完成照明工作,需要配合其他灯具进行。

其次,LED 屏幕作为显示设备,其设计初衷是为更好地显示影像。如图10所示,使用RGB 贴片灯珠,其可视角度较大,这有利于摄影机从多角度进行拍摄,但可视角度较大同样意味着照射角度较大,这样会导致屏幕间更容易产生干扰,使场景光照对比度降低。如图11、图12所示,某型号LED屏幕在发红、绿、蓝以及白光时,在不同角度下的衰减情况,可见即便在偏移60度后,照度只衰减到正对屏幕时的80%左右,说明其光线较为发散。

图10 LED屏幕表面

图11 实验测量某型号LED屏幕垂直角度下白、红、绿、蓝的亮度衰减

图12 实验测量某型号LED屏幕垂直角度下白、红、绿、蓝的亮度衰减

再次,从图12的数据还可以得出,在不同角度下红、绿、蓝三色的衰减程度并不一致,即在不同的方向下出现偏色的问题,这是由于LED 灯珠贴片的物理结构所导致的。如图13所示,从摄影棚中心观察,左侧屏幕偏红,右侧屏幕偏蓝,这会对演员的照明产生一定影响。LED 屏幕出现大面积白光时这一问题较为严重,但在较暗或较为风格化的场景中并不明显。

图13 LED屏幕不同角度偏色的问题 (左)及偏色原理示意图 (右)

另外,如图14所示,影视灯具发出的白光光谱分布较为连续,但LED 屏幕的RGB 灯珠所发出的光线光谱分布不均匀,因此LED 屏幕的照明显色性较差。如图15所示,由于LED 屏幕所发出光谱较窄的R、G、B光照,导致场景中人物、道具以及色卡中的某些色彩饱和度增加,并且对于人脸肤色会出现偏红的现象,这些偏色可以依靠调节LED 屏幕色彩进行部分补偿校正,但由于光谱缺失,往往无法通过简单的色彩校正彻底解决。使用照明显色性更好的多基色的灯光阵列替代LED 顶屏能在一定程度上弥补这一缺陷。另外,使用额外的影视灯具进行补光,令拍摄环境中混入更多光谱均匀的光照,可以改善LED 屏幕光谱不均匀所导致的偏色问题。

图14 LED屏与LED面板灯光谱分布对比图

图15 LED屏幕和白光LED灯的光谱与照明效果对比

3.3 LED屏幕照明的注意事项

在LED 虚拟化制作中,使用LED 屏幕作为照明工具时,我们总结出了一些注意事项供大家参考。

在LED 虚拟化制作中,LED 屏幕的型号参数选择存在一些矛盾,用户需要根据自己的需求抉择。LED 屏幕在作为剧组人员虚拟环境参考,以及作为摄影机拍摄背景时,分辨率、色域指标更为重要;而LED 屏幕在作为照明时,亮度与显色指数更为重要。但LED 屏幕在设计生产时,分辨率和亮度往往存在一定冲突,点距较大,单位面积下分辨率较低的LED 屏幕亮度通常更大,这就是为什么目前主流LED 虚拟化制作时,使用高分辨率低亮度的LED屏幕作为摄影机拍摄的背景,而不需要入画的顶屏,往往使用低分辨率大亮度的LED 屏幕。此外,色域和光谱均匀度也存在冲突,色域广的LED 屏幕要求RGB灯珠色彩具有更高的纯度、更窄的光谱宽度,就使得其光谱均匀度降低,最终导致照明显色性较差。为此,一些解决方案中考虑将不入画的LED 屏幕替换成照明显色性更好的多基色的灯光阵列。

在LED 虚拟化制作的照明应用中,LED 屏幕的空间构成十分重要,对于拍摄和照明而言,最为理想的屏幕形状为半球形,但是由于技术和成本的原因,球幕LED 虚拟拍摄方案还未商业应用。目前较为常见的为半圆形或马蹄形环幕的LED 背景墙设计方案,这种设计避免了方形方案的折角,在拍摄角度选择时更为自由,并且屏幕距离处于中心的演员距离较为一致,不同方向的光照强度较为均匀。另外,为了方便工作人员、道具和设备进出,常见的LED 虚拟化制作环境均不会360度全封闭,这导致缺少正面的照明,此时需要在LED 背景墙开口处架设额外的灯光,或设置可移动的LED 屏幕照明。如图16所示,美剧 《1899》的LED 虚拟化制作环境,半圆形固定的LED 背景墙,开口处搭建了可升降的LED 屏幕 (图中标识5),即可让场景尽可能被LED 背景墙环绕。图17所示是北京电影学院搭建的U 型的LED 背景墙,后方安装由104条像素灯管组成的灯光阵列,能够提供全方位的照明。

图16 《1899》拍摄使用的LED虚拟化制作环境④

图17 北京电影学院影视技术系搭建的LED虚拟化制作环境

此外,LED 背景墙为位置固定的光源,根据光照的平方反比定律,不同方向的光照强度,会根据演员所处位置产生一定的差异,尤其在面积较小的LED 虚拟化制作环境中,演员的移动可能会导致人眼可见的光照变化。这个问题在拍摄室外虚拟场景时较为明显,因为在正常情况下,由于太阳距离非常远,室外的太阳光照效果随演员移动的变化可以忽略,但在面积较小的LED 虚拟化制作环境中,人物的移动很容易产生光照效果的改变。当然,这一现象在拍摄室内题材时会变得比较合理,因为室内的光源本身距离演员较近,随着演员的移动而出现光照强度改变是符合实际情况的。

在系统使用过程中,亮度映射也十分重要。对于基于图像的照明而言,要求LED 屏幕显示的画面尽可能还原真实世界的光照,即与真实世界的光强保持线性关系。从三维实时引擎到LED 显示控制器再到LED 屏幕显示,中间的每个环节都存在影响色彩管理的因素,如三维实时引擎的输出伽马值、LED 显示控制器对屏幕亮度和伽马值的标定以及LED 屏幕本身的亮度和伽马特性,用户需要保证系统中的每一步色彩设置准确。用户可以利用UE 官方提供的OpenColorIO 进行色彩管理,一些LED显示控制器也具有色彩管理、色彩调节功能。

当然,对于背景影像的输出和显示,更为科学的方式是使用HDR 的方式,如图18 所示,使用PQ 以绝对亮度的方式输出画面,将UE 中HDR 显示设置亮度调节至与LED 屏幕的亮度一致,可保证不同屏幕在利用到其自身最大亮度的同时正确显示。

图18 在UE中输出PQ 曲线HDR 信号⑤

4 LED虚拟化制作中的其它照明手段探索与实践

由于仅仅通过LED 屏幕照明无法满足电影拍摄的需要,还需要配合其它照明手段。研究团队通过需求调研、研发测试以及短片拍摄实践,总结出了下面几种照明手段,能够配合LED 屏幕本身的照明,共同完成创作的需要。

4.1 灯光阵列

由于LED 屏幕照明显色性较差,为了解决这一问题,可以将一部分不会被摄影机所拍摄到的LED屏幕替换为灯光阵列。灯光阵列由数量众多的数控灯光组成,一般以网状较为规律且均匀地排布在摄影棚内的部分区域,灯光阵列中的每一盏数控灯光都会被三维实时引擎集中控制,从而使灯光阵列匹配还原出虚拟世界的光照情况。灯光阵列和LED 屏幕一样同样具备易于调节的优势,且亮度更高、照明显色性更好。灯光阵列一般由众多的LED平板灯、硬光灯加柔光装置(图19)或管灯(图20)组成。

图19 测试实验使用六基色灯光加柔光布组成的灯光阵列

图20 测试实验使用灯管组成的灯光阵列

灯光阵列所呈现内容为虚拟画面通过像素映射并驱动灯光形成,我们可以将灯光阵列理解成由灯具组成的低分辨率LED 屏幕。在UE中,实时渲染的虚拟环境画面直接通过其像素映射 (Pixel Mapping)插件,将画面中不同位置的图像亮度与色彩值转换成不同类型的DMX 信号,再利用UE 官方插件即可直接输出Art-net或s ACN 信号,分别控制对应位置的灯具,从而实现大规模灯光阵列的控制。

灯光阵列的安装是一项较为庞杂的工程,涉及接线顺序、地址分配、灯具物理位置分配等。如图21所示,在UE的像素映射界面中具有S形、Z形等排列方案,灯光阵列设计师需要根据实际情况进行设计安装。灯具的物理位置分布要尽可能均匀,灯具排布疏密会影响光照强度,不同区域的灯具排布密度不均匀会导致不同方向上照度不均匀的问题。灯光阵列与LED 背景墙要尽可能包裹整个场景,尽可能减少不同LED 背景墙和灯光阵列之间的缝隙,以保证更全面的光照。

图21 测试时在UE中的像素映射界面

另外,由于目前灯光设计主要考虑照明,并没有考虑为图像输出设计,因此在亮度和色彩映射方面还需进行测量标定,编写相应程序才能实现,技术复杂度较高。

4.2 影视灯具

无论是LED 屏幕还是灯光阵列,由于单位面积发光强度较低,均难以实现强点光源的效果,为此需要使用影视灯具作为补充,尤其需要大功率聚光灯作为强点光源的补充。钨丝灯、镝灯等传统灯具依然是一种可靠的选择,但在LED 虚拟化制作的环境中,灯光架设受到了更多的限制,可以快速调节亮度甚至色彩的新型LED 数控影视灯具是更好的选择。LED 数控影视灯具能够通过DMX、Art-net、s ACN 等灯光控制协议快速调节灯光的参数,除了能快速调节灯光亮度色彩外,还可以实现动态的光照效果,更适合于LED 虚拟化制作。

影视灯具尤其是聚光灯,能解决LED 屏幕无法发出硬光的问题,如图22所示,使用影视灯具在太阳照射的角度模拟太阳光照。影视灯具较大的发光功率,容易对LED 屏幕产生影响,降低背景画面的对比度从而影响真实感。因此,应使用遮光罩、菲涅尔透镜、成像镜头、黑旗等配件或工具对光照进行控制。

图22 使用影视灯具模拟太阳光

数控影视灯具可以依靠DMX 以及Art-net或者s ACN 的连接与UE 的虚拟场景虚实联动,实现动态光照。例如我们的拍摄测试片设计了一处战场中爆炸的效果 (图23),为营造更强的视觉冲击力,使用一盏大功率面板灯对爆炸产生的光照进行补充,虚拟画面中的爆炸效果与面板灯可以虚实联动同时触发,从而营造强烈的爆炸效果。支持数控的影视灯具可以被UE 直接控制而非人手动调节,因此易于实现更为复杂的效果。

图23 测试短片拍摄时数控影视灯具与虚拟场景联动

在LED 虚拟化制作的环境中,LED 屏幕通常环绕整个场景,影视灯具可以架设在LED 屏幕包围内,或是透过屏幕之间的缝隙照射至演员身上,条件允许的情况下还可以拆除LED 屏幕上的部分屏幕进行打光。

4.3 舞台灯光

相较于影视灯具,舞台灯光功能更为丰富,不仅能实时改变亮度、色彩,一些舞台灯光还具备横摇、俯仰、变焦、对焦、雾化、图案、自转、棱镜、频闪等功能。如图24所示,在一个LED 虚拟化制作环境中,剧组使用舞台灯光的图案、棱镜以及自转功能,实现旋转及明暗变化的照明效果,两盏舞台灯光的效果加以混合最终呈现出生动的动态阴影照明,灯光师可以调节舞台灯光光质的软硬、光斑的大小、光斑移动的速度。与影视灯具相比,舞台灯光能够实现更为复杂的动态照明效果。

图24 利用两盏舞台灯光图案、棱镜、自转功能组合模拟成的动态阴影的效果

舞台灯光是一种能实现高度自动化布光的灯具,在LED 虚拟化制作中,使用三维实时引擎,通过DMX 等灯光控制协议,可以实时高效地将虚拟与真实灯光联动,利用舞台灯光的俯仰、横摇等丰富的功能,可以更自由、高效地实现丰富的照明效果。虽然舞台灯光功能多,但舞台灯光的设计大多没有针对影视拍摄进行优化,例如一部分舞台灯光在设计时只考虑舞台色彩效果,并没有考虑照明显色性的问题,这导致一部分舞台灯光的照明显色性较差,因此在LED 虚拟化制作中,应根据实际拍摄的需要进行灯光设备的选择。

4.4 投影设备

对一些特殊的照明效果,例如太阳光透过晃动树叶的缝隙打在被摄体表面形成的树影效果,或是夕阳透过百叶窗照射在桌上形成影子的光照效果,传统的方式需要在聚光灯前使用树枝、百叶窗等遮挡产生阴影。这种传统的方式虽然可行,但效果单一,无法实现一些复杂的照明效果,而使用投影设备,通过三维实时引擎即可快速调整光照所产生阴影的色彩、大小、位置、形状,如图25所示,森林场景的测试短片拍摄时,投影设备将动态的光影直接打在演员身上。与LED 背景墙相类似,投影设备也是利用基于图像的照明,这些图像可以由三维实时引擎所控制生成,从而实现更丰富多样的照明效果。

图25 测试短片拍摄时使用投影设备实现树影效果

但在照明方面,投影设备与LED 背景墙一样存在照明显色性较差的问题,目前的投影设备体积较大、照度较低、价格昂贵,工作环境要求高,并且没有针对照明进行优化,因此实际应用有一定限制。但在工作环境较为稳定的LED 虚拟摄影棚中进行拍摄,利用投影设备完成一些特殊光照效果未尝不是一种好的解决方案。

5 总结与展望

LED 屏幕、灯光阵列、数控影视灯具、舞台灯光、投影设备等可以解决LED 虚拟化制作中的多数照明问题。LED 屏幕或灯光阵列通过基于图像的照明为拍摄现场提供漫射光的照明,硬光则通过数控影视灯具或舞台灯光完成,而一些特殊的照明效果则通过投影设备等来实现。

目前LED 屏幕在照明领域依然存在一些问题,如为了从屏幕后照明临时拆装LED 背景墙中间某部分屏幕不够便捷、屏幕显色性较差等问题,而这些问题都将在不久的将来解决。另外,随着设备数字化、智能化发展,今后的摄影灯具不仅是发光器件,它还会拥有传感器模块、运动跟踪模块、无线物联网模块以及与之相匹配的远程控制软件;一些灯具还会配备运动控制系统,使灯具实时地根据拍摄需求按照设定轨迹运动。在此基础上,未来摄影棚的照明系统更多的是通过程序指令控制,配合多种照明工具和照明手段,高效、准确、便捷地完成光影的创作。

①图片来源:A Lighting Reproduction Approach to Live-Action Compositing https://vgl.ict.usc.edu/Research/LS3/.

②图片来源:HBO’s Westworld turns to Unreal Engine for incamera visual effects https://www.unrealengine.com/en-US/spotlights/hbo-s-westworld-turns-to-unreal-engine-for-in-camera-visualeffects.

③图片来源:1899 Wraps Innovative Virtual Production https://ascmag.com/articles/1899-wraps-virtual-production.

④图片来源:Dark-bay https://www.dark-bay.com/.

⑤图片来源:虚幻引擎官方文档https://docs.unrealengine.com/5.0/zh-CN/.