基于LED背景墙的电影虚拟化制作实践探索与未来展望

赵建军 陈 军 肖 翱

(北京电影学院影视技术系,北京 100088)

1 前言

基于LED 背景墙的电影虚拟化制作 (下称“LED 虚拟化制作”)是指:利用高显示性能、小点距的LED 显示屏作为背景墙,通过实时渲染引擎,采用多屏同步的实时渲染方法,利用摄影机内外参跟踪同步系统,将高画面质量的三维场景渲染到LED 背景墙上,并通过实时渲染引擎调整,同步现场的灯光、场景机械装置等拍摄用具,由摄影机直接拍摄,将真实的演员表演、道具陈设与LED 背景墙实时合成,从而达到 “所见即所得”的新型电影制作方法。

与传统电影制作方法不同,电影虚拟化制作是将传统视效影片中的三维资产制作等环节移至影片实际拍摄之前,将渲染、合成环节在拍摄现场实时完成,给电影制作流程带来了革命性改变。而相较于实时交互预演中前期制作内容仅供现场预览参考的情况,LED 虚拟化制作中,前期制作的内容则是直接用于最终合成画面,即 “摄影机内视效拍摄”。

2 研发测试总结

图1 北京电影学院影视技术系LED虚拟化制作棚

北京电影学院影视技术系针对LED 虚拟化制作技术展开了详细的研究测试工作,联合青年电影制片厂完成搭建并开发了一套完整的基于LED 背景墙的电影虚拟化制作系统。其中包括:多款LED 屏的搭建施工方案和LED屏幕显示分发控制器、视频信号处理器的各项参数滚动测试;摄影机内外参跟踪同步系统的测试与研发;基于实时渲染引擎的“摄影机内视效”虚拟化制作系统的研发;依托实时渲染引擎的交互灯光控制与数字灯光矩阵研发;多机同步渲染方案的对比测试;系统色彩管理方案研究;不同虚拟场景的镜头拍摄实践测试等。分阶段完成了共四轮研发测试工作。

表1 多轮测试硬件方案

摄影机跟踪设备方案HTC Vive(Steam VR Station 2.0*4+Vive Tracker 2.0);NCAM;LightCraft Optitrack(Optitrack PrimeX22*12+被动跟踪设备)Optitrack(Optitrack PrimeX22*12+红外主动跟踪设备);RedSpy Optitrack(Optitrack PrimeX22*12+自主定制红外主动跟踪设备)摄影机焦点焦距同步设备基于UDP协议的镜头内参同步系统基于OSC协议的镜头内参同步系统基于OSC协议的镜头内参同步系统(增加了交互控制调整功能)渲染服务器配置(Core i7 8700K+RTX2080+32G)*4(Ryzen 5950X+RTX3090+128G)*4网络配置私有千兆局域网络私有万兆局域网络

2.1 LED背景墙的硬件搭建

在长达一年多的测试过程中,课题组分别针对拍摄用背景墙、侧面照明用背景墙、顶部照明用背景墙进行了多批屏幕的滚动测试,并对弧形屏和多面背景墙之间的衔接进行了测试。

其中对于拍摄用背景墙,课题组分别测试了雷迪奥视觉(ROE)的BP2、DM2两款型号的LED屏,其点间距分别为2.8mm、2.6mm。对比测试得出,在点间距相近的情况下,面板吸光度、屏幕亮度色域等显示指标是相对重要的参考指标。如BP2屏体组成的背景墙,显示的动态范围较DM2有明显提升,摄影机内视效拍摄时前后景的动态范围更加匹配。针对照明用背景墙,则测试了ROE的CB5、CB8两款型号,作为环境照明使用的背景墙,点间距不再是重要参数,面板亮度和显色能力则更为重要。经过不同屏体的性能测试和交叉对比,摄影机内视效拍摄对点间距的要求与拍摄距离强相关,拍摄距离越远,点间距就可以越大。但是LED屏的点间距越小,其生产制造难度越大,能达到的亮度、色彩等显示性能也越差。因此不应盲目追求更小的点间距,而应根据拍摄环境综合考虑,选取适合的LED显示屏搭建背景墙。

在大面积的LED虚拟化制作摄影棚中,针对组成拍摄环境的多面背景墙之间的衔接问题研究,课题组分别测试了多块5°至10°固定件组接的连续弧面、27.5°定制固定件组接的夹角、无固定件有接缝夹角。经跨屏拍摄测试,当使用面板吸光能力达到一定程度,且夹角大于90°时,LED 背景墙之间的相互光照影响较小,只要内视锥映射关系正确,摄影机内视效拍摄时不会出现太明显的夹缝现象。但当没有固定件固定产生屏幕接缝或内视锥渲染位置有偏移时,背景墙之间的接缝非常明显,不能满足拍摄需求。

2.2 LED背景墙的视频同步与多机渲染同步

多面LED 背景墙之间可以利用时间码同步。课题组的研究工作中,使用邦腾科技的视频处理器和分发器直接处理来自渲染节点的视频信号,视频处理器可以接收时间码发生信号来完成背景墙之间的同步,并且可以与摄影机的时间码完成拍摄时同步,以避免滚动快门摄影机拍摄时的画面撕裂问题。

在测试中发现,相比LED 背景墙和摄影机的同步,对拍摄影响更大的是多机渲染的同步。在课题组通过n Display系统完成的多屏映射渲染中,默认状态即可通过网络信号同步,但这一同步方式精度低,仅能满足静态场景下基本的跨屏拍摄需求。nDisplay系统还可以借助Quadro显示计算处理单元和同步单元的同步功能,接收外部同步锁相(Genlock)信号达到精准同步以实现更苛刻的摄影机内视效拍摄。

2.3 数字灯光与数字灯光矩阵

LED 背景墙提供基础光照的情况下,仍需要利用灯光设备补充光照,以弥补背景墙照明窄光谱低显色、无方向性、无硬光的问题。

课题组利用南光的Dyno 650C、Dyno 1200C 等LED 照明灯具,通过DMX 或Art-Net数字灯光控制协议,可以将数字灯光和虚拟场景联动;通过实时渲染引擎直接控制灯光,可以高效率地完成照明环境的搭建。

此外,借助于诺华视创的六基色LED 灯光矩阵,测试了宽光谱的灯光矩阵和大面积柔光布作为顶面照明的方案,有效补充了照明。但该方案对具有反射、透射材质的道具照明效果欠佳,还需进一步完善。

2.4 摄影机跟踪设备

作为摄影机内视效拍摄的核心技术之一,摄影机跟踪主要有由外而内 (Outside-In)的光学动捕、由内而外(Inside-Out)的主动视觉定位等方案。

由外而内 (Outside-In)的光学动捕方案中,课题组主要测试了HTC Vive、Optitrack两种跟踪解决方案。在HTC Vive 方案中,课题组架设了四个扫射红外激光的定位基站,由摄影机上的跟踪器接收激光来实时计算摄影机位置。这一跟踪方案不受环境干扰,成本低、架设难度小、操作容易,但由于本身定位是游戏设备,标定等环节专业的可操作方式少,二次开发难度大,因此较适合可移动的低成本制作需求。而在Optitrack 方案中,课题组在10.5 米×11 米的拍摄空间中,吊装了12 台Prime 22X 相机,通过在摄影机上安装自己定制的红外发光点固定支架来跟踪摄影机。这一方案精度极高,不易受环境干扰,而且可以通过控制端软件Motive便捷地完成标定、位置信息广播等工作,具有较强的专业操作性,只是经济和施工成本都较高,适合用于相对固定的摄影棚。

由内而外 (Inside-Out)的主动视觉定位方案则主要测试了NCAM、LightCraft和RedSpy三款设备。NCAM 通过安装在摄影机结构上的两个鱼眼相机拍摄现场环境,实时解算自己位置完成跟踪,避开LED 背景墙显示画面,主要采集前景铺设的美术置景画面。这种方案受到环境干扰也较小,但大范围移动会导致跟踪点减少、积累误差等情况。LightCraft和RedSpy均是通过专有的跟踪目标布设作为跟踪点,前者需要在拍摄环境中铺设专用的定位图案,后者则是在摄影机上方或下方随机撒反射材质跟踪点,但这两种跟踪点方案都会影响顶面LED 背景墙、前景美术置景的工作。

2.5 焦点焦距同步

摄影机内参同步是虚拟摄影机和真实摄影机同步的另一关键环节,其中焦点、焦距的实时同步尤为重要:虚拟摄影机的焦距影响内视锥的画面大小,从而影响内视锥是否能完全覆盖真实摄影机画面;焦点则会影响内视锥的画面景深,从而影响拍摄画面的景深匹配。

课题组研发了一套基于OSC (Open Sound Control)控制协议的焦点焦距同步设备,通过旋转编码器实时获取镜头焦点环、焦距环的位置信息,并利用镜头标定数据映射当前摄影机的焦点、焦距值,通过OSC协议实时传输至引擎完成同步。但是由于LED 背景墙上显示带有景深的内视锥画面,会被真实摄影机的光学镜头再次虚化,仍会导致景深不匹配的问题,这一问题需要通过改进渲染的景深映射计算方法来解决。因此目前通过OSC协议公开了偏移量调整接口,并设计了相应交互控制界面,由摄影部门主观调整内视锥景深关系来缓解这一问题。

3 制作流程中存在的优势与局限性

图2 LED虚拟化制作流程示意图

电影虚拟化制作中最重要的特征是 “后期前置化”,即现场拍摄之前,就需要完成大量的数字资产和虚拟场景制作任务,因此将整个流程大致分为前期筹备、前期制作、现场制作、后期制作四个部分。在LED 虚拟化制作中,前期制作的虚拟内容直接用于现场制作的摄影机内视效拍摄,得到合成后的画面,大大减少了后期制作的视效工作量,提高了制作效率,但同时也存在一些亟待解决的问题。前期筹备的环节与传统制作流程相似,下面则从前期、现场、后期三个制作环节出发,分析LED 虚拟化制作的优势和局限性。

3.1 前期制作的优势与局限性

将传统后期制作阶段的数字资产制作环节前置,数字资产的制作可以更加贴近美术概念设计和影片画面内容的构思,不受到现场拍摄内容的限制。

在传统制作流程中,常常会因为现场拍摄的环境等限制,拍摄内容一定程度上偏离了创作者的最初意图,为了匹配现场拍摄的画面,后期制作数字资产时也会与创作者想法产生偏差。在基于LED 背景墙的电影虚拟化制作中,数字资产是组成拍摄环境的重要部分,因此在数字资产制作环节,创作者可以拥有更大的表达空间,也可以通过动态预演的方式更加直观地看到预期结果并进一步迭代调整创作。

但同时,实时渲染的特点也为前期制作数字资产带来了一些挑战。实时渲染的画面直接作为成片背景使用,对背景墙显示内容观感要求接近于离线渲染,需要极高的画面质量与精度,而实时渲染本身建立在降低计算精度的基础上,这对数字资产的“性能”也提出了更高的要求。如需要在满足渲染画面精度要求的情况下对不同的资产做层次细节(LOD)处理,对材质做贴图烘焙、纹理映射(Mipmap),对静态光照预烘焙等。这要求制作人员在关注美术观感与精细程度的基础上,还要更进一步地了解实时渲染的处理管线和优化方法。

3.2 现场制作的优势与局限性

现场制作中,各部门创作者都能从LED 虚拟化制作中受益。

对导演和美术而言,虚拟场景不再是一个固定的陈设,移动一张桌子、一棵树、甚至一栋楼都只需要简单拖动物体坐标轴。在正式拍摄之前,根据摄影机取景内容,再进一步调整场景,这带来了极大的创作自由。导演还可以利用虚拟现实勘景设备沉浸式地进入虚拟场景,观察场景细节,选取表演区域,拍摄位置角度,从而提高创作效率。

灯光、机械组也可以通过这种方式,根据LED背景墙显示效果和现场环境,调整现场灯光、机械的位置或参数,使得现场照明、器械运动、特殊效果与虚拟场景相匹配,带来更加沉浸式的拍摄制作体验。借助LED 背景墙上的环境照明和数字灯光照明,可以直接为现场道具提供丰富的环境光照,甚至为具有反射、透射材质的道具提供正确的反射、透射图像。还可以通过实时渲染引擎设计动态光照、互动光照,为前景带来更加丰富、更加逼真的照明效果。

摄影部门则可以真正实现“所见即所得”。摄影机的内外参数均能够实时反馈到实时渲染引擎,使得内视锥的背景画面以正确的透视关系显示在背景墙上,与前景运动相匹配,因此摄影机可以直接拍摄到前后景合成后的画面,即所谓的 “摄影机内视效拍摄”。如此,摄影师就可以通过取景器内的画面效果来选取构图、光照关系,甚至自由选择摄影机内视效拍摄或是内视锥绿幕拍摄,得到符合创作意图的画面。

而对在LED 背景墙环境中的演员而言,表演时不再需要对着绿幕凭空想象,而是直接面对背景墙上的虚拟画面表演。场景中的参考物、环境变化都可以直观地在LED 背景墙上呈现,演员可以直接看到不存在于真实场景中的太阳、飞船、爆炸、外星人等,通过“身临其境”的真实体验,使表演更加真实自然。

但与此同时,LED 背景墙的拍摄环境也带来了一些问题。其局限性在于拍摄环境、照明环境、背景真实感、虚实匹配等多个方面。

一是LED 屏要求拍摄距离距屏体3米以上(对点间距2～3mm 的LED 屏),且焦点不能在屏上,否则会出现摩尔纹,因此对拍摄区域带来了一定限制;二是当摄影机运动过快时,也会因为系统延迟产生内视锥位置未覆盖摄影机、内视锥视角有所偏差的情况;同时由于LED 屏体的特点,LED 背景墙围绕的环境中的温度相对较高,且拍摄期间不能使用大功率噪声电器,演员的表演环境相对受限。

LED 窄光谱等特征则会带来现场光照环境的问题,窄光谱照明内容在摄影机中的颜色可能与LED背景墙上的显示效果不一致,尤其是在人体皮肤上呈现的光照效果不自然等问题较为显著。此外,LED 背景墙仅能作为基础环境光照,光源不具备方向性,无法满足硬光等光线塑造手段的创作需求。因此LED 虚拟化制作现场会大量利用数字灯光或数字灯光阵列补充照明,但这也会产生数字灯光、LED 背景墙、摄影机画面之间的色彩管理与匹配问题。

由于背景需要实时渲染并映射投影到LED 背景墙上,背景画面的真实感距离传统视效制作中的离线渲染画面还存在一定差距。常见的实时渲染引擎提供了大量针对渲染效率的优化方法,但同时也牺牲了画面内容的真实感,如渲染优化导致的远景存在闪烁,材质渲染精度不足导致的画面游戏感重、动画播放不够流畅、特效模拟缺乏细节等问题。

最后一点则是LED 背景墙作为背景可能存在显示效果与前景不匹配、景深与前景不匹配等问题。由于LED 屏的显示性能和面板吸光能力上仍存在不足,LED 背景墙上显示的背景画面往往很难达到前景真实场景的效果,如动态范围不足、色彩过渡不平滑等问题都很难与前景完全匹配。尤其是后者,实时渲染引擎对景深的模拟是基于对焦距离的,没有对LED 屏体的物理空间关系进行映射,前后景经过真实镜头拍摄后,以镜头主节点距前景物和真实屏体的距离形成景深效果,而背景墙上显示的内容又仅能以镜头到虚拟场景中被摄物的距离来计算,因此真实成像的背景画面是两次景深效果的叠加,而真实的景深效果并不能通过这种简单叠加来抵消。目前实时渲染引擎也无法通过简单的偏移量来消除这种叠加效果,且由于对焦到屏体上又会带来摩尔纹的问题,不能通过真实摄影机选取大景深来消除影响,因此出现了前后景景深难以匹配的问题。在纵深明显的制作内容中,就会产生背景看起来像“贴片”的虚假感。

3.3 后期制作的优势与局限性

基于LED 背景墙的虚拟化制作方式的确大大减轻了后期制作的压力。后期制作阶段,视效部门获得摄影机内视效拍摄画面,不再需要传统视效制作中耗费时力的抠像、光照匹配等环节,仅需要对部分镜头进行前景视效内容的合成;对内视锥绿幕方式拍摄的镜头,也可以得到非常纯净均匀的绿色背景,同时外视锥的虚拟场景还保障了光照的匹配,因此抠像工作相对简单,无需处理复杂的溢色等问题。

色彩、光照匹配和景深匹配上存在的问题,目前来说尚无较完善的解决方案,需要通过多种特殊的后期来减缓观感上的不适,如风格化的调色、适度的画面模糊等处理。

4 未来发展方向

基于LED 背景墙的电影虚拟化制作作为新兴的制作技术,尚存在诸多限制与不足,未来发展的方向需要从软硬件系统多方面进行探索研究。

4.1 LED显示技术的发展

LED 显示技术作为推动虚拟化制作发展的重要因素,也是支撑内容质量的关键要素,进一步研发主要需从显示效果和照明效果两方面出发。

显示效果反映了摄影机直接拍摄到的背景画面的质量,其发展方向主要是显示能力的提升,如高分辨率、高帧率、高动态范围、广色域。高分辨率要求LED 点间距进一步减少,开口率进一步提升,从而可以减缓拍摄画面中摩尔纹的出现;高帧率则要求屏幕刷新速度的提升;高动态范围要求LED 显示亮度足够高、黑位足够低,因此灯珠的亮度、面板的吸光能力都要进一步提高;而广色域则对不同颜色灯珠的荧光粉技术提出更高要求。同时,为了达到较高的显示性能,也需要具备处理高技术格式图像的视频处理器、LED 显示分发器及高速输入输出设备来支持。

另外,LED 背景墙还需要提供现场的光照环境,因此可以向高照度、宽光谱等现代灯光研发方向发展,例如使用多基色发光等技术,尤其是不作为拍摄内容的照明用背景墙,甚至可以适当牺牲点距来提升照明效果。除此,LED 视频处理分发设备也应具备更加高效、易用的局部调光功能来帮助现场光照环境的搭建。

4.2 实时渲染引擎与计算载体的发展

目前在影视制作中使用的实时渲染引擎多为游戏引擎,尚不能很好地满足影视制作的不同需求。在继续提升渲染算法效率、真实感渲染效果的同时,可以适当提供多机并行高质量渲染、景深映射计算、针对单个资产的色彩调整等面向影视制作的功能。可以在这些方面继续开发,甚至形成专门针对影视制作的版本,以期更进一步提高制作效率。

对于承担渲染计算的服务器或计算中心,则需要更加强劲的图形计算处理能力和更加方便的并行同步计算搭建方法,来处理影视级可用的实时渲染任务。

4.3 摄影机内外参跟踪同步系统的发展

对于摄影机的外参同步即摄影机跟踪系统,LED 虚拟化制作在要求更高的精度、更低的成本的同时,还要求:更低的传输计算延迟,不受复杂光环境变化影响的稳定性,现场搭建不影响背景墙等其他设施架设的采集硬件,更加易用于后期的跟踪数据记录方式等。

内参同步则主要通过镜头编码器和镜头校正系统来实现,由于实时渲染引擎对摄影机内参的模拟没有偏移映射处理,当前摄影机内参在前后景并不能很好地匹配,尤其是景深等效果。故而摄影机内参同步系统需要提供更加易用的交互调整功能,让摄影师能够手动调整背景画面来尽可能地完成匹配。该部分功能另一种可能的解决方式是通过实时渲染引擎来完成。

4.4 数控灯光、机械、道具的发展

为了进一步减少现场制作人员的重复性体力工作,提高影片拍摄制作效率,与引擎联动的数控灯光、数控道具、数控拍摄辅助设备也是虚拟化制作的重要发展方向。如此,现场的数控灯光、数控道具、数控拍摄辅助设备均可以通过不同的通信协议被引擎直接驱动,并根据虚拟场景情况做出相关的响应,更好地完成虚拟场景与真实环境的匹配,如灯光的位姿、照明效果控制、运动控制系统等机械系统的同步,拍摄道具的效果触发等。

4.5 信号传输与现场制作的发展

由于虚拟化制作的协同工作需求更加迫切,因此需要更加高效的信号传输与现场制作系统,如引入基于IP的架构等新兴信号制作方式,能够根据现场的需要传输更多数据,并以更加方便的方式传输到各个部门。此外也能够为后期制作记录更多数据,为制作提供更多的帮助。

5 总结

基于LED 背景墙的电影虚拟化制作是当下最前沿的影视制作新技术,也是影视制作流程的一次革命性的探索。该技术在影视拍摄中已经进行了初步的应用,但仍然存在一些不足,也有诸多需要进一步完善和改进的空间。相信在从业者的共同努力下,它能给创作者提供更加自由、直观的创作环境,推动影视技术发展,带动影视产业升级,助力中国电影工业体系建设再上新台阶。❖