实时交互预演系统在真人动画电影中的技术应用——以影片《飞向月球》为例

单传蓬 曾 义

1.北京电影学院数字影视动画创作教育部工程研究中心，北京 100088 2.北京元客视界科技有限公司，北京 100041

1 引言

电影自诞生之日起即与奇幻、把戏和魔术等杂耍方式密不可分。真人动画电影是利用现代电影制作技术和特殊拍摄方式将真人演员角色和动画虚拟角色合成到同一叙事画面中的电影。作为特效电影的重要呈现，真人与动画的合成效果往往包含着大量特技镜头，其中又以实拍场景人物与动画场景人物的交互合成画面最为普遍，也最难处理。将真人角色和虚拟角色相互融合无疑对电影创作者的技术能力和艺术水平提出了挑战[1]。既要求塑造出真实可信的虚拟角色，又需在合成视觉效果上让人认可，是真人动画合拍电影成功与否的关键。实时交互预演以全数字环境为基础，对制作内容进行实时可视化呈现，在电影制作的每个实际生产环节之前进行，使得创作人员在提高艺术创造力的同时，节省拍摄时间，提高拍摄效率。实时交互预演技术将实时动作捕捉、实时渲染合成和实时拍摄剪辑三大技术手段集成应用，推动了摄制流程的实时化、高效性，而后期前置使得动画表演和镜头合成更加便捷且直接。

在数字时代，智能化、信息化的深入为电影技术的迭代提供了动力，如何进一步优化真人动画电影的制作流程，减少合成师、动画师和剪辑师的工作任务，释放导演、摄影和演员等主创人员的创作力与想象力，是生产高品质特效电影亟需解决的核心问题。本文结合影片《飞向月球》的实际拍摄过程，对实时交互预演系统的具体技术、流程和规范进行研究，通过分析实时交互技术对真人动画电影的作用和影响，梳理出拍摄该类电影的可行性技术方案，以期促进同类型特效电影制作的标准化流程建立和示范应用落地。

2 真人动画电影发展脉络中的交互预演演变

真人动画电影自诞生至今已有一百多年的历史，其作为一种重要的电影类型不断发展演进。当今，实时交互预演技术作为真人动画电影的重要特摄技术之一被广泛应用，为电影创作者带来了前所未有的交互性与实时性体验，为特效镜头的高质量实现提供了一定便捷性。随着真人动画电影的发展，交互预演技术经历了从无到有、从模拟到虚拟的发展演变过程。从实现手段来看，真人动画电影可分为传统摄影技法、传统二维手绘、特效物理化妆和电脑动画技术四种类型。

2.1 传统摄影技法

二十世纪初，爱迪生、卢米埃尔兄弟、梅里爱等早期电影家拉开了电影技术与艺术的发展序幕。布莱克顿(J.Stuart Blackton)先后创作了《奇幻的图画》(The Enchanted Drawing)和《滑稽脸的幽默相》(Humorous Phases of Funny Faces)。这两部影片没有明确的故事情节，均采用动画角色结合真人表演方式，通过魔术式的画面效果戏谑观众，吸引人们眼球。原本工作于爱迪生实验室的布雷克顿通过停机再拍的早期特技手段，实现了真实人物、动画人物及动画道具互动表演的奇幻效果，这类作品后被称为“把戏电影”（Trick Film）[2]。此阶段只能通过服化道和摄影技巧来实现动画效果，借助演员排练预演以接近导演要求，并通过拍摄后的放映来判断特效完成效果。

2.2 传统二维手绘

随着美国动画电影的发展，一类二维手绘与真实拍摄相结合的电影开始登场。华特·迪士尼影片公司（Walt Disney Productions）第一部长篇真人动画电影《南方之歌》（Song of the South）于1946 年上映，影片动画角色和真人演员结合巧妙。《南方之歌》的出现，标志着真人动画电影从实验动画阶段逐步发展到剧情动画阶段。之后相继推出《欢乐满人间》（Mary Poppins，1963）、《飞天万能床》（Bedknobs and Broomsticks，1971）等多部类似影片。中国动画的发展始于二十世纪二十年代，在经历了战乱、萌芽时期，达到过两次民族文化的高潮，并取得了较为丰硕的成果。早期我国动画作品类型多样且充满活力，在国际上获得了很高的评价，奠定了结合自身民族风格的发展之路[3]。上海美术电影制片厂先后制作出品了真人动画《瓷娃娃》（1982）和《三十六个字》（1984）。两部影片均采用先实拍再手绘的制片方式，优势在于成熟的二维动画技术和相对简单的制作流程；劣势则在于逐帧绘制方式的工作量较大，且实景与二维动画合成效果的代入感较低。这个阶段依旧没有特别好的预演预判方法，多通过创作前期的故事版和视觉草图给出特效预期效果。

2.3 特效物理化妆

相较于传统二维手绘的扁平化效果，基于特效物理化妆术的第三种类型，则拥有更加逼真立体和强代入感的真实质感。“特效化妆”一词对应英文中的“Prosthetic Makeup”，是指通过特定材料和机械驱动的物理技术改变演员体貌特征或创造全新模型，重塑一个全新的虚构角色。1895 年《苏格兰女王玛丽的行刑》（The Execution of Mary，Queen of Scots）被认为是面部特效造型技术的真正滥觞；1902 年，科幻电影鼻祖乔治·梅里爱在《月球旅行记》（Le voyage dans la lune）中通过特效化妆塑造了奇特的“月球人”形象；而1977年起上映的《星球大战》三部曲，则是特效化妆技术的集大成者，其通过使用特制道具和化妆技术，塑造了经典的达斯·维德、楚巴卡、格里多以及“布偶感”十足的尤达大师（正传三部曲中均为手工制作布偶）等特异形象[4]。特效效果达标与否，多由导演通过监视器实时监看进行判断。

2.4 计算机动画技术

二十世纪九十年代末，计算机动画（Computer Animation）技术逐步成熟并被广泛应用于电影制作中，由此，特效电影中的虚拟角色和奇观场景开始闪亮登场，并冲击着传统的特效化妆行业。特效化妆师尼克·达德曼（Nick Dudman）曾说：“以前我们只用传统的化妆方法和假肢道具来处理特效，然而当复杂的怪物特效盛行时，我们就必须学会如何运用无线电控制、装备以及其他相关的技术。当电脑开始为电影制作出神奇的怪物——如侏罗纪公园——我们开始担心化妆师的实际化妆技术还能维持多长时间。事实上，尽管看起来电脑可能会占领所有传统的实际化妆领域，但是我们现在发现这两者之间有合作的空间——电脑特技和实际化妆技术两者可以相辅相成。”[5]事实确实如此。

动作捕捉在二十一世纪才在影视领域大规模应用，并成为特效电影的核心技术之一，动作捕捉技术的出现，使后续特效电影中的动画效果与制作效率较传统特技都有了质的提升。第一部应用动作捕捉技术制作的动画影片《Brilliance》于1985 年上映，当时的制作过程依旧使用后期特技合成手段，在真人动画合成的数据匹配上，往往会出现不确定性和反复性。1990 年上映的科幻电影《全面回忆》（Total Recall）就出现过类似问题。其制作公司Metrolight 工作室在一家光学动作捕捉设备运营商的协助下，尝试使用动作捕捉技术完成机场安检X 光机器显示人体骨架运动的动画特效镜头[6]。但由于当时没有实时预演技术，导演无法实时观看动作演示及合成效果，后期发现动作捕捉数据问题时为时已晚。当此类问题在真人动画电影拍摄中频繁出现时，实时交互预演技术应运而生。

2.5 实时交互预演技术

电影实时交互预演技术是当前国际上电影制作流程的最新发展趋势之一，由于它是连接导演、摄像、美术、灯光、特效和后期制作等技术流程的桥梁[7]，被业界称为是“下一代电影工业技术流程”中的重要一环。在国外，高精度的动作捕捉技术与实时交互预演技术已然成为真人动画电影《阿丽塔：战斗天使》《失控玩家》等影片制作过程中不可或缺的特摄技术手段，并拥有完善的实时交互预演制片流程体系。影片《阿凡达》（2009）正式开拓了虚拟摄制领域，通过使用光学捕捉系统对演员进行精准的表演捕捉；运用Autodesk MotionBuilder 软件对虚拟场景进行实时渲染，实现了“所见即所得”的实时监看效果。高精度的动作捕捉技术与实时交互预演技术最终成就了《阿凡达》的技术传奇。

二十世纪九十年代末，随着国内电影业市场化改革和好莱坞大片引入中国，国内导演也开始模仿好莱坞模式，拍起了中国式大片，如2002年张艺谋导演的《英雄》、陈凯歌的《无极》等国产大片，不仅使用好莱坞运用的技术，还请来好莱坞团队参与摄制，好莱坞电影制作流程也被部分引进，其中，虚拟预演（PreViz）便是其中一个[8]。2015 年起，《捉妖记》《疯狂的外星人》《刺杀小说家》《流浪地球》等优秀作品纷纷面世，国产真人动画电影在技术工业化、制片规范化上日趋成熟。

3 《飞向月球》对实时交互预演技术的实际应用

真人动画电影的真人拍摄与动作捕捉拍摄就像太极图中的黑白两极，只有无缝衔接、互相配合才能组成一个完美的圆。真人动画电影《飞向月球》于2018 年策划启动，并在前期策划和筹备阶段，主创团队根据影片特点，制定了严密的拍摄方案和技术实现手段。在电影筹备期，制片团队根据实现方式不同，将镜头划分为纯实拍镜头、纯虚拟镜头、虚实结合镜头三种类型。而实时交互预演技术一直贯穿整个拍摄周期，其中包含了动作捕捉技术、实时监看技术、真实与虚拟交互的代理物体应用、同步触发打板系统研发等四大技术应用点。

3.1 动作捕捉技术：光学与惯性的融合使用

动作捕捉技术是实时交互预演技术中非常重要的一环，它在完成虚拟角色动画预演功能的同时，同步采集角色骨骼运动的动作捕捉数据，并传输给后期制作公司完成后续的动画数据修复和镜头合成。影片《飞向月球》中有大量必须在绿幕环境下摄制的镜头，因此选择了对场地没有限制的惯性动作捕捉完成（图1）；也有在真实场景或虚拟场景下的动画角色镜头，出于拍摄精准度和抗干扰性考虑，部分镜头选用通过光学动作捕捉设备完成（图2）。

图1 《飞向月球》惯性动作捕捉技术在绿幕拍摄中的应用

图2 《飞向月球》光学动作捕捉设备

光学动作捕捉是一种较为常用的影视级动作捕捉技术，是指在搭建好的特定空间内，在演员身体关节指定部位贴上反光标记点，当演员运动时，摄影机阵列就能够捕捉到这些标记点，并通过将它的位置变化投影到多个摄影机的成像平面上进行三角分割，从而推断出时间到空间的位移[9]。《飞向月球》剧组从数据捕捉度、排练场地容量、制片成熟度等方面综合考虑，选用OptiTrack 系统在约1000 平方米的动作捕捉棚内完成了光学动作捕捉板块的摄制；而惯性动作捕捉技术是基于传感器技术与人体动力学、无线传输技术和计算机技术的高度融合而研发的具有综合性的动作捕捉技术[10]。摆脱了光学动作捕捉技术对于摄像机硬件设施与动作捕捉拍摄场地的限制，符合影片《飞向月球》中部分绿幕和实景动画镜头摄制的动作捕捉需求，之所以选择Xsens 惯性动作捕捉系统，是因为它是为数不多可以达到影视级动画效果的惯性动作捕捉设备。实际拍摄过程中，动作捕捉方案的具体选用取决于相应特效镜头的属性分类。对电影特效属性的分类和分级是一项非常重要的工作。制片部门在拿到剧本的特效分析数据后，需要与技术团队一起对这些数据和资料展开分类工作，同时根据特效制作周期和制作难度对特效镜头进行难度分级，最终整理成特效分类及难度列表[11]。

3.2 实时监看技术：所见即所得的拍摄现场

电影虚拟制作中实时监看系统，可以让导演实时监看合成画面，以保证最终拍摄的镜头真实而准确。影片《飞向月球》主要体现在动作捕捉数据传输预览的实时性、虚拟角色调度与空间匹配的实时性，以及虚拟场景渲染的实时性。

3.2.1 动作捕捉数据传输的实时性

动作捕捉数据的实时传输解决了以往特效电影表演问题后置化的弊端，具体体现在三个方面：第一，因为动画表演特别是微表情数据传递会出现不同程度的衰减，需要实时监看表演的准确性，并现场做出决策；第二，动画角色的造型与动作捕捉演员往往差距很大，甚至是生物类、机械类角色，在形体结构、骨骼比例上差距大，需要实时看到动画角色的动画效果以便判断；第三，镜头内往往同时有多个实拍角色和动画角色，他们需要视线对位甚至肢体发生交互，此时，演员和导演需要实时监看角色之间视线和动作的匹配度。

《飞向月球》动作捕捉数据的实时传输画面，演员表演〔图3（a）〕的数据记录借助动作捕捉数据实时传输到操作工作站〔图3（b）〕中。而动作捕捉数据监看功能的实现使用了切换台预览总线技术（图4），动作捕捉现场软件内置画面、MotionBuiler 角色语言画面、UE 场景预演画面、现场表演场监画面等四个通道的视频输入现场切换总控台（图5），根据项目需求切换输出至动作捕捉指导、动画指导、表演指导等大屏实时监看。这一操作顺序旨在方便导演及特效指导在动作捕捉有效区域指导演员表演的同时，实时对比核实动作捕捉数据的有效性和准确性，做到在现场及时发现问题并解决问题。其中，实时监看所使用的虚拟摄影机从功能上看，它是一个配有监视器的交互接口。一方面，CG 场景与虚拟角色的动作捕捉数据实时呈现在监视器上，使得导演能够实时监控虚拟环境下的演员表演；另一方面，虚拟摄影机与现场摄影机同步捆绑，操作数据同步传输，摄影师就能在虚拟环境中模拟任何实拍摄影机的运动效果，如变焦、轨道运动、稳定器等[12]。

图3 《飞向月球》动作捕捉数据的实时传输过程

图5 现场视频切换总控制台架构图

3.2.2 虚拟角色调度与空间匹配的实时性

电影的角色塑造通常要求演员在有限空间内通过表演调度来完成。这种常见的演员演绎方式在真人动画电影拍摄时却变得没那么容易，虚拟角色的表演调度与真实空间位置匹配、现场动作捕捉演员的表演调度与虚拟空间位置的匹配是摄制团队必须要面对的拍摄问题。

影片《飞向月球》在这一问题上采用了实体测量、等量缩放作为解决方案。影片主角董小宝是数字虚拟角色，在影片的实拍场景和虚拟场景中出现近70 分钟，制作团队首先需要解决其空间走位和交互的问题。在实拍现场最初的待机走位环节，由技术人员对实拍场景进行尺寸测量〔图6（a）〕，之后按照一定的比例计算方式对其进行等比建模，最后导入UE 软件中，与绑定好的董小宝模型进行实时渲染合成和动作捕捉数据录制。

图6 《飞向月球》的实景测量及其虚拟场景的等比例搭建

根据笔者调研了解，在真人动画电影中应用空间匹配计算方式的文献并不多见。在进行实际场景的虚拟化建模时，剧组遵循了等比例缩放的计算公式，此处以餐桌前董小宝过生日的镜头为例。在实拍现场，通过米尺测量记录实拍场景的固定尺寸，如a 米高的桌子，并绘制顶视图和前视图。下一步明确数字角色在故事中的约定身高，即董小宝b 米高，最后通过使用UE 内置的米尺工具获得数字角色在虚拟场景中的绝对尺寸，影片中为10 个单位并等比例计算出实拍场景在软件中的尺寸X。

具体的计算公式如式（1）（2）所示：

根据式（1）（2）计算结果，创作者们在UE 软件中，通过建模方式将实景中a 米高的桌子生成为X 单位高的虚拟桌子，再通过计算获得虚拟桌子的宽和长，最终得到桌子〔图6（b）〕乃至整个场景的虚拟尺寸。

3.2.3 虚拟场景渲染的实时性

在实时虚拟预演系统中，实时性是系统进行及时交互的关键，而实时渲染技术解决了画面实时渲染的问题。动作捕捉数据传输的实时性旨在及时预判表演的精准度和空间的匹配度，这要求画面的实时渲染实时合成，以便动画效果及时反馈。对于传统的渲染引擎RenderMan、V-Ray 和Arnold 这类离线渲染器而言，使用光线追踪算法进行单机位渲染的效率极低，虽然渲染出的画面效果十分逼真，但渲染速度决定了其无法应用在实时预演系统中[13]，因此我们选择了最有代表性的UE。

3.3 代理物体：真实与虚拟的纽扣

同样作为真人动画电影，《谁陷害了兔子罗杰》（Who Framed Roger Rabbit，1988）在制作时首先对实景与真人演员进行了拍摄，演员以兔子玩偶或其他道具作为视线和表演参考[14]。这类辅助真人匹配拍摄的道具我们可以称之为代理物体。代理物体最早出现在特效电影的实景蓝幕/绿幕拍摄中，由于动画角色的表演拍摄同样需要匹配对手搭档的视线和空间尺寸，代理物体在动作捕捉出现后被应用其中。

在《飞向月球》的绿幕和动作捕捉拍摄现场，经常会看到大小不一、形状各样的代理物体。代理物体的模型主要是用来模拟场景或角色的位置、高度、比例等，通过使用代理物体快速解决真实演员与虚拟角色之间的比例匹配与交互难题。《飞向月球》拍摄现场，根据应用对象的不同分成了场景代理和角色代理。

场景代理是为了实现虚拟角色调度与空间匹配的实时性，需要通过计算得出虚拟物体的尺寸，现场在进行演员动作数据捕捉时同样需要1:1 复原原实拍现场的物体并使用场景代理做好标记，创作团队对代理物体进行精准的定位和摆放，就是对演员表演范围区域的捕捉（图7）。

角色代理根据功能还可以分为角色代理物体、角色代理兼动作捕捉演员。《飞向月球》的创作团队对动画角色董小宝制作了两类代理物体：一类是角色代理物体〔（图8（a）〕，该模型的固定高度起到引导视线的作用，同时其下方的滑轮装置可以在工作人员的推动下，同步模拟动画角色的运动路径，以便后续动作捕捉演员的表演定位；另一类代理物体是由真人扮演的代理物体〔图8（b）〕，演员外部套的绿色服装可以为后期抠像所使用，其胸前红色十字用于标记董小宝的眼睛高度，便于引导董大宝的视线，此时的代理物体在起到视线引导、路径模拟作用的同时，还具备获取惯性动作捕捉数据的功能。

图8 《飞向月球》角色代理物体

3.4 同步触发打板系统：多源信息的触发者

在传统实拍电影的拍摄现场，打板是场记的主要工作之一，目的是为了记录每个镜头的信息和始末，方便后期剪辑处理。而在动作捕捉现场，我们同样需要打板环节，并且难度会更大，因为除了录制表演视频外，还要考虑演员肢体、手指和面部动作捕捉数据录制、现场收音同步的问题，而多源异构信息采集一旦出现延迟就会造成动作捕捉数据丢失或声画不同步的问题。因此，同步触发打板系统应运而生。

同步触发打板系统是根据电影拍摄自主研发的拍摄系统，包括电子打板器与信号同步器两个主要模块。电子打板器以传统场记板〔图9（a）〕为基础，装配电子按键器〔图9（b）〕，其中的无线传输模块以单片机为基础开发逻辑电路。场记板在拍下瞬间触发电子按键器响应，由主控芯片将生成的模拟信号转换成数字信号，通过无线网络发送至动作捕捉片场的主控单元；而信号同步器则以电子电路技术为基础，用来接收片场主控信号，通过数字信号转换为模拟信号，经过滤波、功放等处理后以多通道方式同步输出至片场表情捕捉、录音和摄影等设备作为启动控制，确保片场数据录制信息同步开始，解决多源信号同步问题（图10）。

图9 《飞向月球》同步触发打板系统

图10 《飞向月球》同步触发打板系统使用流程图

4 结语

实时交互预演通常指在能够满足实时可视化、反馈、编辑的环境下，采用多种交互方式来辅助完成镜头画面预演的技术，是电影虚拟摄制体系的重要组成部分[15]，也几乎成为真人动画电影虚拟化制作体系中的标配。制片组根据需求选择合适的拍摄方案尤其重要。在电影《飞向月球》正片拍摄之初，团队进行了8 分钟的样片拍摄，测试了影像合成效果、核心拍摄技术，并梳理了拍摄方案、团队架构和制片流程等，为后面整部影片的顺利进行奠定了基础。

在艺术与技术融合的创作需求下，《飞向月球》的创作者们同样感受到了中国电影技术研发环节提质升级、科技人才储备面临扩充的迫切需求。《飞向月球》在多项虚拟摄制新技术上进行探索应用，这些实践经验也逐渐应用于北京电影学院的日常教学中，反哺学生创作及人才培养。本次拍摄在实时交互预演技术制片流程、引擎技术与传统三维动画兼容性等方面还存有若干技术难点，我们会在后续的真人动画电影创作中逐步完善，梳理出中国本土化的实时交互预演系统及相关摄制方案。