人机交互在虚拟制作中的应用研究

刘 硕 龚雨楠

(1.北京尼诺时空文化科技有限公司,北京 102400)

(2.北京电影学院美术学院,北京 100088)

近年来,计算机图形图像技术的快速发展,以及AMD 和NVIDIA 等硬件设备的进步,为影视制作提供了新的工作方式的可行性,即虚拟制作。在影视制作领域,虚拟制作早已不是一个新鲜的概念,它可以指代一系列计算机辅助电影制作的方法。维塔数码团队对虚拟制作的定义是:“虚拟制作是现实世界和数字世界交融的区域。”虚拟制作中的技术预览、后期预览已经过多年发展,应用到了不同的影视项目中,高质量的渲染结果和更快的渲染速度让预览的视觉效果持续进步。同时,现场的实时视觉特效也有了新的突破,美剧 《曼达洛人》的制作幕后让实拍LED 背景墙的虚拟制作方式受到了极大关注,引起影视行业的广泛讨论。

由此可见,虚拟制作的理念和方式正在深刻影响着影视行业,从筹备阶段的动态故事板,到拍摄现场的实时交互预演,到演员的动作捕捉、面部捕捉,再到实拍LED 背景墙的虚拟制作方式,这些工作将视觉化效果在更早的阶段呈现出来,提高了制作效率,缩短了制作周期。在国内,已经有团队在尝试采用工业化的虚拟制作流程,并且制作出优秀的商业化电影的案例,如2019年的科幻电影《流浪地球》。但是对于仍在采用传统制作方式的团队而言,如何快速将虚拟制作的技术应用到影视制作流程中,灵活应用虚拟制作技术,为创作带来便利,这是一个必须面临的新挑战。

1 虚拟制作带来的挑战

1.1 虚拟制作和传统制作的区别

虚拟制作和传统制作可以从制作流程进行区分。从制作流程来看,传统制作的流程通常为线性流程,分为拍摄前期、拍摄中期和拍摄后期,而采用虚拟制作的方法后,这三个阶段的界限不再有明确的界线区分,许多后期的工作会前置,前移到拍摄过程中甚至是前期筹备阶段。流程结构的变化带来最直接的影响,是改变了项目迭代的方式,让虚拟制作比传统制作具有更高的容错率和更快的迭代速度。由于后期工作前置,许多问题可以在更早的阶段被提出和解决,提高沟通与拍摄效率,保证了拍摄的效果。

在传统的制作流程中,可能会遇到的问题有:现场置景时才发现前期数据不准确,由于空间限制等原因难以实现原定计划,需要重新布置机位和道具,调整过后还可能连环引起其他部门的问题,需要在现场耗费大量时间去调整机位、灯光、布景,协调各部门工作。而在虚拟制作的工作流程中,可以利用设计的3D 模型、具有确切参数的虚拟摄像机,在虚拟场景中通过准确的技术预演规避这些问题。

虚拟制作给创作者提供更加广阔的创作空间,创作者可以在前期设计虚拟场景,用计算机模拟出拍摄现场,对场景设计、分镜设计进行不同的尝试,不受现实的限制,充分发挥自己的创意。在计算机中模拟出的现实场景为创作者提供了视觉化的反馈,让创作者对可以拍摄出怎样的画面有更加直观的感受,对现场的拍摄也会有更多的把握。

1.2 制作团队的需求

对于影视团队中的创作组和制作组而言,他们有各自关心及需要解决的问题。创作组主要包含导演、灯光、美术等部门,创作组成员关注自由的创作空间、整体消耗成本和最终成片效果,在意如何设计剧本、分镜,以及采用虚拟制作的方式后,制作成本是否减少,成片效果是否和以前一样甚至更好。制作组主要包含视效、剪辑、音效等部门。制作组成员关注的是明确的制作需求、准确有效的拍摄计划和良好的拍摄质量。由此可见,如何创作或制作才是影视团队需要花费精力去思考和解决的问题,而不是如何掌握一门新技术。

通过分析影视团队的需求,不难得出,在面对虚拟制作时,制作团队所需要的是低学习成本的、能高效解决问题的技术方案,以助于集中精力在创作本身,如果虚拟制作的相关技术因操作难度和复杂程度,需要团队成员花费大量精力、时间去学习和使用,反而本末倒置了。针对这个需求,本文提出一个解决方案,即良好的用户交互。良好的交互方案可以降低不同部门的学习成本,让技术的参与尽量符合创作者原有的创作习惯,降低新技术的“存在感”,让虚拟制作自然融入原有创作流程,让影视团队快速使用成熟的技术方案解决问题,获得更加高效的制作流程,更好的制作效果。

2 用于展示及拍摄的交互应用

针对虚拟制作相关的新兴技术,研发团队根据不同场景设计出最合适的用户交互方案,在各个行业做了不同的尝试,包括但不限于电影、广告、综艺、展览展示等行业。不同的实践都得到了良好的结果,证明了用户友好的交互设计方案可以降低学习成本,大幅提高工作效率。

2.1 面部捕捉控制机械生物

电子机械生物是影视制作中常见的实体特效类型。由于电子机械生物的面部肌肉块数多且复杂,因此实现表情控制是较有难度的一项工作,需要多位电子玩偶艺术家相互配合操作,用摇杆、按钮、旋钮等机械装置去控制电子机械生物的面部肌肉变化,艺术家们需经过较长一段时间的训练和协作才能完成一个自然的表情变化。

研发团队选择采用面部捕捉技术解决这个问题。具体方案是,首先建立一个和机械生物一致的虚拟模型,然后采用面部捕捉技术,通过面部识别采集演员的面部表情变化数据及头部转动数据,用演员面部变化数据控制虚拟模型的变化,再通过网络传输机械生物面部肌肉的控制指令,同步虚拟模型和实体模型,使机械生物做出与演员相同的表情变化。

运用面部捕捉实现电子机械生物的表情控制,降低了对使用者的要求,无需受过专业训练的艺术家操作,只需要使用者在摄像头前做出相应的面部肌肉变化或情绪变化,就能够快速得到想要的结果,实现对电子机械生物的面部表情控制,大大缩短排练周期。

图1 面部捕捉控制机械生物

2.2 手势交互展示

在汽车展会上,研发团队采用手势识别技术,根据观众的手势来控制屏幕上的汽车底盘模型展示。观众无需通过键盘或者鼠标来操作,而是可以采用更符合日常生活的交互习惯,直接用手势动作来对屏幕上的模型进行放大、缩小、旋转的操作,更加直观地操控屏幕上的模型,获取模型分解成零件的详细信息,这是一个低学习成本的展示方式。

2.3 有三维仿真功能的六轴微缩控制器

六自由度平台,是为了负载汽车等载具或道具,模拟运动中的效果。原先对六自由度平台的控制方案是通过软件界面和一个摇杆进行控制,技术性参数多且复杂,再加上需要实现的运动状态较多,比如转弯、不同的颠簸效果等,而且摇杆的操作并不直观,操作者需要及时观察平台的运动状态反馈,再调整对摇杆和软件参数的操作,训练和操作难度较大,花费时间成本和人力成本高。

本人所在研发团队针对此问题设计的解决方案是,采用一个等比缩小的微缩模型作为控制器,使用者手动改变微缩控制器的状态时,控制器的数据会实时同步给六自由度平台,从而改变平台状态,两个模型的运动变化完全一致。这种控制方法非常直观易懂,所见即所得。

由于两个硬件设备利用软件进行数据传输,因此这个六自由度平台的机械运动数据还可以通过软件便捷地转发到其他部门,为其他部门的机械控制工作提供便利。当灯光部门需要实现动态灯光效果时,机械运动数据可以帮助他们更加顺利地实现数字控制或机械控制;当拍摄团队采用基于LED 背景墙的虚拟拍摄方式时,物体的运动数据也是必需的。数据在不同部门间的复用可以提高现场整体的效率。

图2 六自由度平台微缩控制器

为了呈现最后拍摄能达到的视觉效果,本团队创建了三维仿真画面,添加载具的虚拟三维模型,微缩控制器的运动数据同步传递给载具虚拟模型,使其在虚拟空间中进行和微缩控制器一致的运动。屏幕上的画面会实时传送到iPad上。在现场搭建完成之前,使用者可以将iPad 的镜头作为虚拟摄像机,调整虚拟摄像机的拍摄位置、角度,捕捉三维图像的空间位置,预览最终可以实现的拍摄效果。

图3 三维仿真画面

2.4 六自由度平台控制器

得益于对交互与技术的综合理解,本研发团队在六轴微缩控制器的基础上,进一步迭代,将软件、算法、通讯技术、结构设计、工业设计融入了六自由度平台的控制中,将其完善成一个更为成熟的产品,实现了从人力到工业化的转变。

本团队对六自由度平台控制器做了以下几方面的改进:加入自动化的录制功能,在操作师演示完成一次机械控制之后,如果确认此次控制没有问题,则可以通过自动录制功能,多次重复此次运动变化,在需要多次摄制的情况下,可以保证平台运动状态的一致,重复精度远高于人力手动控制;添加了常规预设运动数据,通过调整摇动的频率、幅度等参数模拟颠簸、水海、空中等运动状态,以前需要人手动完成的运功,现在可以由六自由度平台自动化实现,相比手动控制更加稳定可控,根据计算机数据完成细微、精确的运动变化,大大节省了人力成本和时间;添加了滤波、平滑度参数,平滑六自由度平台的运动状态,在人力控制的情况下,避免人力失误造成的突然颠簸或倾斜,实现更好的运动效果;支持导入第三方软件运动数据,有助于与其他部门的协作和数据的复用。

产品化的改进设计使得六自由度平台可适应更多拍摄实践情境,在面对不同的用户需求时,可快速投入使用。

3 数字化控制平台

影视制作的过程中会产生也会需要大量数据,高效利用数据、管理数据可以为影视制作带来更高效的流程。在总结了一些实践经验和思考后,本研究提出了未来现场拍摄的新方案,即以物联网为理念的数字化控制平台,旨在设计控制各种数据的集成式系统,把艺术家过去习惯的交互方式代入到新的工作流中,艺术家无需付出新的学习成本,就可以继续发挥自己固有的创作能力。

数字化控制平台集成各类数据,能够充分利用在拍摄现场收集到的数据,避免不同部门的重复工作;再者,当所有数据通过一个平台进行管理时,可以更加清晰地展现已有数据,对于操作者而言,只需一个部门甚至一两个人来完成所有的设备数据的控制和协作管理,大幅提升工作效率,节省人力成本,管理工作更加便利。

3.1 数字化控制平台的设计流程

根据以往的实践经验,本研究对数字化控制平台的大致设计流程作了如下总结。首先,当面临新的拍摄需求时,先深入分析对应最高效的交互方案是什么,尽可能减少使用障碍,降低使用难度,让设计出的产品能够快速投入实际使用。其次,根据提出的交互方案设计开发所需软件,并定制改装硬件设备。再次,由于软件和硬件都是经由一方开发,因此可以通过软件使用、分享收集到的硬件数据,实现软硬件协同的效果。从硬件设备收集的数据按照既有协议进行转化,可以在不同的平台复用,联结各个部门的工作。将传输协议进行统一后,数据以网络协议进行管理,再按照各设备的不同协议转化并进行分发,实现一个互通的数据平台,实现集成式中央控制。

3.2 数字化控制平台的特点和优势

数字化控制平台的特点和优势可以从以下四个方面进行阐释:协议统一、功能开放、数据开放及简化部署。

3.2.1 协议统一

设计数字化控制平台的灵感来源于控制灯光的协议变迁。DMX 512控制协议是美国舞台灯光协会于1990年发布的数字灯光信号传输的工业标准,由于管理设备少、控制距离短等局限性,后来发展成了基于以太网的Art-Net传输协议,即利用以太网传输DMX 数据。采用网络协议传输、管理不同设备的数据,实现集成式中央控制,这是数字化控制平台理念的基础。以灯光控制为例,虚拟三维模拟的灯光数据可以转换成一个个的数字,这些数字能够以Art-Net协议被打包发送到网络中,网络的另一端使用一台Art-Net转DMX 512的转换器,即可将网络信号转换为灯光设备需要的控制信号。

拍摄现场可能会用到控制灯光的DMX 协议、Art-Net协议、摄像机采用的RS 232、RS 485的通讯接口、控制云台设备的SBUS协议等,无论设备采用什么接口,以什么协议传输数字信号,都可以通过程序对数字信号进行编码、解码转化为统一传输协议,并且通过网络节点传输数据,对数据进行统一管理。基于以太网的高吞吐能力以及IP地址机制,一条网线能够负载几百甚至上千条DMX 512数据,传输速度非常可观,并且可同时负载多台设备,在数据更加方便统一管理的同时,拍摄现场的部署成本、维护成本也会降低。

3.2.2 功能开放

将硬件设备中的传感器数据做暴露性的处理,使得数据在不同的设备和软件平台上都没有使用限制。无论在Unity、Unreal Engine、Maya,甚至是移动端等不同平台,部门工作人员都可以根据具体情况选择需要的平台和设备,暴露后的数据可以满足不同需求,顺利投入使用。

3.2.3 数据开放

将硬件设备的数据进行开放处理,包括但不限于数字、坐标、灯光亮度、音量等。例如,摇轮在现场主要是用来控制云台、轨道或滑索的,摇轮的参数调整、转动数据可以收集到软件中并广播到其他部门,控制灯光角度、亮度、位置,或者是用来协助演员调度设计。数据的利用不再局限于某个部门内、某个特定的功能,将拍摄现场作为一个整体的系统来看待,充分利用数据支持拍摄工作,让拍摄现场的工作更加灵活自由,一些创作灵感在得到数据的支持后也能够更快更好地实现。

3.2.4 简化部署

网络协议非常开放且成熟,它的灵活性和高性能使得一根网线可以负载大量设备的数据,甚至可以灵活地使用无线网络传输的方式,利用无线接收器,减少部署时的大量连线工作,使得部署工作更加简便。同时,减少连线也可以降低管理难度,当传输出现错误时,排除连线错误的难度降低,现场的部署与管理的工作效率都得到提高。

4 结语

电影是技术与艺术的融合体,从黑白到彩色,从无声到有声,从胶片到数字,从2D 到3D,电影在历史上每一次飞跃都伴随着科技的进步和发展。影视行业迎来了虚拟制作时代,技术不是牵绊影视制作的阻力,如何将技术融合进影视制作流程中则成为了虚拟制作发展的一个关键步骤,这是一个需要不断完善的过程。

无论是已经成功的实践结果,还是设想以物联网为基础的数字化平台,呈现给用户的都是简单直观的用户交互方案,隐藏了背后复杂的技术原理和逻辑思考,让创作者仍然可以继续专注于创作本身。将技术经过设计包装,采用合理的交互方案,成为可以应用于多个不同场景的产品,会让影视行业更快地拥抱技术变革带来的优势。在解决问题时,不再以技术为起点,而是从用户需求的角度去思考,解决这个问题最高效的方案是什么,利用产品设计思维,更加开放的方式发挥技术的作用,以此辅助电影艺术家的创作。新兴技术不应成为创作的阻碍,而应该是辅助创作的重要力量。