LED 虚拟摄制技术的流程突破与变革

程 樯 陈 晨 武思语

北京电影学院视听传媒学院，北京 100088

1 虚拟摄制的发展历程

LED 虚拟摄制依托于渲染引擎创建仿真场景，使用渲染引擎的实时渲染功能，将画面呈现于大型LED 显示屏上，利用摄影机和渲染引擎的同步，还原现场立体感和图像透视关系。这项技术的发展与数字技术的不断进步和创新密切相关，极大程度改变了影视的创作方式、视觉效果和叙事表达。虚拟摄制技术的起源可以追溯至计算机图形学（Computer Graphics，CG）早期发展，在20 世纪60-70 年代，计算机工程师开始研究如何利用计算机生成图形和动画。伴随计算机性能的提升，相关研究人员逐渐发觉其在影视领域的巨大潜力。数字技术是虚拟摄制技术兴起和实践使用的关键因素之一，使得电影制作更加灵活、高效、丰富。

20 世纪80-90 年代，电影制作开始采用计算机生成特效和合成图像，实现实景拍摄难以达成的影像效果。1986 年皮克斯动画工作室（Pixar Animation Studio）发布了第一部计算机生成的动画短片《安德鲁和威利冒险记》（André and Wally B.），该短片制作出细节详尽的角色模型，逼真地还原角色的表情与行动，成为CG 动画的重大里程碑。90 年代末数字后期制作技术初露锋芒，制作人使用数字合成增强视觉效果，例如《指环王：护戒使者》极大程度展现了数字化人物和特效场景的新水平。随后皮克斯动画工作室制作了一系列成功的CG 动画电影，如《玩具总动员》系列等，为虚拟摄制技术的发展打下坚实基础。21 世纪初，虚拟摄制技术崭露头角，拍摄团队将演员置身于蓝幕/绿幕中，用数字技术捕捉创建逼真的模拟角色。如《阿凡达》《星球大战》系列作为成功的科幻商业片，彰显出虚拟摄制技术的巨大潜力。

2010 年后，虚拟摄制技术迎来一次重大革命。伴随虚拟现实（VR）、增强现实（AR）、混合现实（MR）等扩展现实（XR）技术的兴起，虚拟摄制迎来崭新机遇。Disney+制作《曼达洛人》在虚拟摄制技术方面取得了巨大成功，制作团队采用大型高分辨率LED 虚拟片场The Volume。The Volume 技术能够支撑在片场实时预览虚拟环境，确保视觉一致性，使虚拟背景和实景环境良好衔接和完美契合。通过实时渲染技术，在片场预览虚拟场景，提供即时的实时交互反馈。

在国内，得益于科技领域基础设施的整体提升，虚拟摄制技术的研发与应用近年来也陆续取得突破性成果。以浙江博采传媒有限公司（以下简称“博采传媒”）为例，该公司自主研发了多项虚拟摄制工具，提出从视觉预演（PreViz）到LED 环幕拍摄“全流程数据贯通”的概念，建立了虚拟摄制体系。基于高效的预览工作流程，博采传媒提出“剧本视觉化”的理念，即由创作人员通过虚拟拍摄系统，实时记录动作捕捉演员所驱动数字角色在虚拟场景中的表演，将剧本内容进行快速视觉化呈现，确保每个场景、镜头与角色表演的视觉效果良好还原主创团队的创作意图。在2023 年国产科幻影片《流浪地球2》正式开拍前，创作组就基于上述逻辑，利用动作捕捉技术和LED 显示屏为影片制作预览片，让团队提前发现潜在的问题与挑战，从而节省实景拍摄的时间与成本，减少非必要的延误。

如今，虚拟摄制技术已经有了更大范围的应用，除电影创作外，还广泛应用于电视剧、短片、广告等多种媒体形式制作中，为媒体创作者提供了崭新的诠释机会，如科幻短片《诞辰》《途锐》汽车广告、电视剧《风起洛阳》片尾曲《心念》MV 等。虚拟摄制与实景拍摄相比，极大缩短制作周期与成本，提升在极端环境中拍摄环境的安全性。

2 虚拟摄制的创作流程

虚拟摄制作为一个全流程的实时可视化制作体系，包括了数字资产、实时渲染引擎、LED 虚实环境置景、实时预演、摄影机定位跟踪系统、LED 虚实光源交互等技术环节，通过结合传统的电影制作方式和先进的数字技术，为创作者提供了实时可视化的视觉反馈和即时的创造性决策。相较于传统电影以剧本为中心的线性制作流程，当下的虚拟摄制体系更强调实时交互性、动态空间扩展、工作流程迭代和跨工种创意协同。其中最具革命性的改变就是重新划分了前后期的界限，将大量的后期视效工作前置。在初期筹备阶段，从剧本开始就需要提前对虚拟数字资产即大量的场景、角色、道具进行拆解与制作，然后进入故事板的预演环节、LED 虚实拍摄，最后才进入剪辑等收尾工作，其中各部门不同环节相互合作。这并非单一的线性创作流程，而是多线并行的流程。虚拟摄制强调数据化和实时互动，使剧本到拍摄至后期影视制作的各个环节都产生了显著变化。

2.1 前期筹备阶段

在全新的虚拟摄制流程中，前置数字资产是虚拟制作的一个关键环节。传统的后期制作工作流程需要在现场实景拍摄完成后再创建数字资产，而这一环节会受到拍摄现场不可预测的诸多限制的影响，诸如照明、天气条件、演员表演等因素。为了确保成片的镜头与预期效果一致，后期制作要对数字资产进行更改或修订。除耗时的后期制作与昂贵的制作成本外，实际拍摄过程中所捕获的内容也有可能偏离创作团队最初的预期。相比之下，采用“后期前置”的摄制方式，基于LED Volume Stage 现场实时投射虚拟置景，不仅简化了工作流程，减少大量后期制作，同时也让创作者对电影的视觉元素有了更大的创意控制。从剧本设计初期，创作者通过概述对数字资产的构建需求，前置设计和完善数字资产，可以更自由地控制虚拟场景和元素，且较少受现实世界物理限制的束缚，这种创意控制有效减少了后期制作中不必要的修改和调整。

虚拟摄制制作的数字资产主要分为两类：视觉资产与声音资产。视觉资产主要是通过照相法扫描、激光扫描和4D 扫描等技术将现实世界中的场景、道具和角色等物理资源转化为数字资产。不仅可以按需存档和检索，还可以在多个项目中重复利用。对于数字资产的复用流程，爱奇艺基于LED 虚拟背景摄制的4K 影视级虚拟测试片《不良井之风云再起》，借助《风起洛阳》通过实景扫描留存的数字资产“不良井”作为虚拟场景，实现摄制复用。生产过程涉及到结构化的资产构建和复用过程，包括实景扫描、资产重建、虚拟拍摄、微调和存储等步骤，这些步骤都以多服务复用为目标。此外，虚拟摄制技术不仅被大型影视剧和广告公司采纳，还能应用于专业用户生产内容（Professional User Generated Content，PUGC）的生产模式中，为PUGC 降低创作成本、提升创作效率，形成良性的创作循环周期。例如，影视飓风（MediaStorm）在其棚内横向拼接两块三星MicroLED 电视作为显示屏。受限于昂贵的屏幕造价与有限的取景范围，影视飓风将工作室的虚拟摄制定位于拍摄产品特写，如电脑、相机等，这极大缩短为产品置景的时间与成本，在切换产品拍摄时，仅需在虚幻引擎（UE）中调试更替预设。

2.2 创作预演阶段

继制作数字资产之后，视觉预演也是虚拟生态中非常重要的一个技术环节。传统电影制作和虚拟制作的视觉预演在流程和制作上有着很大不同，视觉预演的前身可以追溯至传统制作流程中的分镜头故事板。分镜师将关键情节和场景逐帧绘制，通过附有注释或描述的二维单帧面板呈现导演设想的画面、氛围、表演情绪、场面调度等视觉元素，该环节通常需要在拍摄期间或之后完成。而随着电影产业的发展，角色的专业化、制作的复杂性和创作标准的提升，传统的二维单帧故事板显得稍逊于更丰富的三维动画预览。制作团队应用Maya、3ds Max 等软件创建三维模型，利用基本的动画形式，提出场景、相机角度、演员位置以及拍摄期间可能出现的技术复杂性和生产成本的预期，为制作人和关键部门提供全面的视觉参考。在虚拟摄制流程中，视觉预演能够与实拍相结合，使制作人员不再局限于用鼠标和键盘制作，而是能够使用虚拟相机，在动作捕捉棚内的虚拟场景中进行拍摄，以实现更自由准确的预演创作。通过提前预览，电影制作团队更容易获取清晰、可靠的参考结果。

视觉预演和技术预演（TechViz）为重视效电影《流浪地球2》的“视觉化剧本”提前验证了后续拍摄的可行性。在电影创作前期，有关团队分镜绘制9989 张图文、动态预演832 个镜头、虚拟拍摄2114 个镜头，制作团队推进一套虚拟摄制流程，包括虚拟场景资产、摄影机运动数据、演员动作表情、CG 动画数据等，每个环节的数据都纳入虚幻引擎平台，搭建起数据库，与视效团队掌握的软件进行匹配、兼容，同时进行工具开发和功能实现，通过预拍摄确定全片拍摄方案，视觉预演促进了各种创意和技术团队之间的无缝协作[1]。

视觉预演作为虚拟摄制体系中重要的一环，不仅可以为实拍提供精确参考，还可被当作是可继承、可执行的数据。博采传媒创始人、CEO 李炼曾谈到，虚拟摄制的核心在于将电影制作的各个环节实现数据化，使整个创作过程更加量化和可控。该公司制作的科幻短片《诞辰》从预演到实拍全部由数据继承与迭代，数字资产的制作总周期仅占用7 天时间，创作过程可控且简洁。在该公司另外一个“悬崖翻车虚拟摄制项目”中（图1），项目拍摄在预演内完成场景、人物、机器的调度。通过预演与路面建模计算出汽车行驶时的震动幅度数据，以支撑轮胎的四个悬架连接电脑数控实现运动。因此翻车戏份实际上车是停在原地，通过场景与机械臂之间产生联动实现（图2）。车的震动包括翻车撞地的触感都是通过底部的传感器、机械臂及镜头几个装置之间的联动实现。

图1 视觉预演画面与实拍画面对比

图2 汽车广告棚内拍摄现场

2.3 LED 摄制阶段

有别于传统影视摄制的创作，虚拟摄制基于实时驱动的LED Volume Stage 现场实时摄制代替了使用蓝幕/绿幕抠像后期合成技术。在过去的几十年中，演员必须在蓝幕/绿幕背景的虚拟场景中表演，致使实际场景与特效画面之间的互动和协作受到限制。对导演和摄制团队而言，因在片场无法及时看到最终制作效果，也容易忽略拍摄中出现的细微问题。再加上各部门之间的协作受限，实际拍摄与虚拟场景之间存在互动障碍，因此最终的视觉效果与创作者的预期很难保证一致。而进入LED 现场实时虚拟摄制环节，真正实现了在拍摄现场中的实时互动，即“所见即所得”。通过LED 显示屏投射的图像，演员不再是凭空想象，可以进入LED 舞台或投影环绕中沉浸式表演。置身于能看到和听到的互动现场环境中，演员能够实时感知周围环境，更能激发演员对事件做出更自然的反应。同时，导演、摄影、视效、置景团队也可以在实时拍摄中看到虚拟场景的实时呈现，随时预览和调整视觉元素，确保最终的视觉效果符合创意与预期。这种互动可以更好地协调各部门工作，从而提高整体制作质量。

基于LED 虚拟摄制技术进行画面拍摄，通过采用渲染引擎的虚拟摄影机和现场物理摄影机的同步功能，LED 显示画面可以根据摄影机运动轨迹进行调整，使画面始终保持正常透视关系。传递至监视器的影像为最终呈现结果，所有部门都可以随时根据现场拍摄情况进行及时调整。

使用LED 虚拟摄制的优势不仅在于摄制实时可视化，还在于LED 虚拟摄制生产流程提供了一种迭代式的并行生产方式。它融合多种技术和系统，包括摄影镜头跟踪系统、虚幻引擎实时渲染系统、数据流程传输、虚实跟焦系统等，涉及到很多硬件和软件的并行配合处理。其中摄影机实时跟踪系统是LED虚拟摄制技术的关键组成部分之一，它不仅提高了从多个角度捕捉演员动作与虚拟场景匹配的精准度，而且还与虚幻引擎无缝协同。该协同关系使LED 显示屏的内容呈现与物理摄影机视角吻合，确保虚拟元素与现实元素相融合。渲染引擎实时渲染系统提供并整合了CG 图像，三维雷达扫描或摄影测量还原的真实图像位置，通过丰富复杂的资产细节来强化LED 显示屏背景的丰富性。虚实跟焦系统在提升LED 显示屏的真实能力方面也发挥了关键作用，该技术不仅可以调整显示屏上的焦点，还能实现对虚拟场景内部延伸，使得屏内和屏外场景的镜头焦段实现无缝转换调整。让前后景物都有正确的景深关系，拍摄出虚拟场景中的景深效果，这极大地促进了整体视觉叙事，提升了观众的观影体验。

3 虚拟摄制的创作挑战

虚拟摄制作为一种正在改变电影摄制流程的新方式，它利用新的工具使影视制作更加高效和创新。与传统的影视制作方法相比，虚拟摄制通过数据化和数字化的技术手段，让影视制作的各个环节更加紧密相连，更加高效可控。这种良性升级推动了影视制作的后工业化，为影视创作者提供了更多创作自由和创新机会。然而，现阶段虚拟摄制的应用和推广还存在一些挑战和需要解决的问题。

3.1 虚拟摄制体系的门槛和技术挑战

建立高水准虚拟摄制体系需要较高的资金和技术门槛，对于传统影视企业来说很难进行大规模技术研发和投入。虚拟摄制涉及一系列复杂的技术工具和软硬件系统，包括实时渲染技术、摄影机追踪技术、灯光模拟技术等组件，这些研发成本对于部分企业来说可能难以承受。此外，虚拟摄制的价值不仅在于显示屏与机械臂等设备。首先，虚拟摄制的关键在于各种组件的协同工作。例如，实时渲染引擎需要与摄影机系统、LED 显示屏、灯光系统和其他硬件设备协同工作、无缝配合，才能创造出逼真的影像。其次，持续的升级和研发能力至关重要。服务提供商须不断进行系统升级优化，并具备解决各种实际拍摄问题的技术整合能力，这包括模拟不同地点、天气条件和光线情况以及与实际拍摄场地的互动，这种综合能力需要丰富的实践经验和创造力。

3.2 传统制作公司需转变创作方式

传统制作团队与虚拟摄制项目在工作方式、流程及经验积累方面存在着明显差异。新制片技术的引入可能需要传统制作团队转变工作模式，学习并适应全新的操作流程，这是在沟通与合作方面的重大挑战。例如，在传统制作团队与虚拟摄制项目合作时，需要适应虚拟摄制管理对项目周期、前期准备以及资金配置方面的不同需求。此外，制作人员和主创人员如果对新技术逻辑和虚拟摄制管理方式缺乏了解，可能导致跨团队协作问题和技术误解，从而影响项目的推进进程。为了解决这些挑战，建议将传统制作团队与虚拟摄制项目有机结合，并建立起相互支持的虚拟拍摄生态系统以助于传统团队逐步适应虚拟摄制的需求。

3.3 待解决的技术难题和发展挑战

虚拟摄制仍面临着一系列技术挑战和需要不断迭代解决的问题，比如更高质量的实时渲染、更精确的焦点跟踪等。问题的存在激励着相关技术人员不断寻找解决方案，促使技术创新和改进，从而推动虚拟摄制技术发展进步。如焦点跟踪准确度、大范围调度、虚拟场景的结合问题，已经有了众多解决方案。即使演员现场表演受制于物理空间限制，但很多大范围调度的场景能通过精准的内容和技术预览，落实到可执行的棚内解决方案。伴随引擎算力的不断提升，虚拟摄制的水平在逐渐提升。然而在未来，当一些技术难点被解决时，还会有新问题出现等待被攻克。这种螺旋上升的过程将推动虚拟摄制技术走向更成熟、更广泛应用的阶段。

4 展望

虚拟摄制是一种数字化制作过程，通过使用计算机生成图像（CGI）、视效、虚拟场景和虚拟角色等技术，创造各种数字资产。这些数字资产包括虚拟道具、虚拟环境、数字化角色模型等，具备极其重要的价值和潜力，为电影、电视、游戏和虚拟现实创作者提供了无限的创作可能性。虚拟摄制作为影视制作的新模式，资产的可重复使用性为影视制作生产赋能，这样的变化使影视产业随着虚拟摄制体系的建立和应用发生新的变化。

首先，虚拟摄制需要更多的专业技术知识，包括计算机图形学（CG）、虚拟现实、增强现实和特效制作。因此，一些传统劳动密集型的工种会减少，如布景搭建、道具制作等。技术密集型岗位可能会增加，包括3D 建模师、特效师、编程师等。现有从业者可能需要转型更新自己的技能，以适应这种技术革新。

其次，新摄制理念和传统制作理念会达到更好的融合，让未来影视内容制作生产变得更加高效、经济和可控。虚拟摄制作为一种新模式，其最显著的特点之一是资产的可重复使用性。这意味着影视制作人员能够在不同项目中复用数字资产，例如虚拟道具、场景和角色模型等。这些数字资产的长期价值在于可被反复利用和重新应用于不同的创意项目中，节省了制作成本，并促进了数字资产的交流和共享。例如爱奇艺已经实现通过制作回收数字扫描建立“爱奇艺数字资产库”，包含3D 模型、动作与全景视频等多类型资产，自研拍摄预演软件iViz 系统，将资产复用于影视、动漫、综艺制作中，为版权方、制作方供给新的运营机会。除资产复用有效降低制作成本外，随着非同质化通证（NFT）技术的崭露头角，数字资产也成为数字艺术市场和收藏品市场的一部分，作为影视剧衍生品进行二次创收。爱奇艺多次复用《风起洛阳》高精度数字藏品，推出云演出、游戏、剧本杀、元宇宙等剧集衍生品，推出六千余件国风数字藏品盲盒。这些独特的数字艺术品和虚拟珍藏品吸引着收藏家和关注者，为个人创作者和平台的收入来源开辟新路径，推动了数字文化和创意产业的发展，为年轻的数字艺术创造者提供了更多机会。

虚拟摄制带来的灵活性与高效性正在重塑整个影视产业的生态系统。从预算规划到实际制作，从内容创作到后期制作，虚拟摄制技术都为各个环节带来了全新的可能性。这样的变革并非局限于制作过程中的某一环节，而是涉及整个影视产业价值链的变革和提升，更是对创作方式、生产效率和产业模式的全面革新，为影视作品带来了更为广阔和令人期待的未来。