基于虚拟摄制技术原理的三维全息图像人机交互

在科幻电影中,人物角色与显示屏或手持终端等人机交互场景一直是营造电影科技感不可或缺的重要组成部分。这些显示屏或手持终端显示的图形和动画,即终端显示屏用户界面 (User Interface,UI),特别是三维全息图形,通常在Adobe Illustrator、Adobe After Effects和Maxon Cinema 4D 等后期制作软件中设计完成。在影视常规拍摄中,如果画面情节涉及人物角色与终端显示屏画面的交互,演员则需要依靠想象来完成动作设计。

在英国和美国均开展业务的领地工作室 (Territory Studio)是一家成立于2010年的独立设计公司,以其在大制作电影中的显示屏用户界面设计而闻名,同时也从事数字视效和标题设计等工作,其参与制作的影片包括《蝙蝠侠》《沙丘》《007:无暇赴死》《蜘蛛侠:英雄无归》《复仇者联盟:无限战争》《复仇者联盟:终局之战》《火星救援》等。该公司近期受影视虚拟摄制启发,使用虚幻引擎(UE)在拍摄现场为画面内的设备显示屏实时提供三维交互界面。以往制作中,画面内具备科技感的设备显示内容通常在后期制作环节才通过抠像(Roto)等方式补充至显示屏幕。领地工作室的自研技术则是利用UE来定位场景中的用户界面位置,并实时构建显示角度正确的三维显示图像,在片场,摄影机可以实时拍摄,并且利用摄影机跟踪技术来匹配摄影机拍摄的不同角度与焦距变化。

与LED 虚拟摄制类似,领地工作室将场景中的显示屏或手持终端作为虚拟画面呈现终端,并通过跟踪实时显示正确视角的图像,以在拍摄现场营造出超高科技全息设备的假象。类似LED 虚拟摄制中,以正确视角渲染LED 显示墙图像进而模拟真实广阔空间拍摄一样,该方法可通过渲染显示画面,实现屏幕画面以3D 全息方式漂浮的场景。这种动态跟踪显示角度、实时渲染画面的方法有两种模式:(1)显示屏固定,例如中控室场景,此类场景中显示器是静态的,在最初校准显示画面位置后,只需跟踪摄影机运动;(2)显示屏可移动,例如平板电脑等终端。由于设备可能随着演员的动作而移动,因此需同时跟踪显示屏与摄影机的运动,从而在拍摄现场无论是演员还是摄影机画面都会显示出正确的三维全息图像。

针对电影场景中同一画面具有多个固定显示屏的场景,引擎渲染方式与LED 显示墙摄影机内视效处理技术类似。虽然在同一场景中有多个显示屏,但系统只需在定位校准显示屏位置后,将所有显示屏作为UE的一个渲染目标,仅根据摄影机拍摄角度渲染摄影机视角内的屏幕显示内容,无需单独渲染每一屏画面,因此多个固定显示屏并不会给游戏引擎带来额外的算力压力。理论上讲,充满摄影机拍摄画面的单个显示屏和多个显示屏,渲染算力并无差别。

屏幕显示的三维图形可与摄影机设置同步,以匹配帧速率、分辨率数据和镜头。这种方法取代了以往后期合成工作流程,也为制作团队节省了时间、成本,并提供了更大的创意空间。显示屏上的虚拟图形也可实现与演员交互。在现场,演员通过动作来触发屏幕图形提示,以真实传达重要的情节点。这种方法意味着摄影机可直接拍摄复杂图形成为最终画面,而无需抠像或使用绿幕拍摄。即使屏幕显示内容在后期需要调整,演员也会得到大致正确的接触照明和视觉表现线索来帮助表演。

屏幕UI图形的虚拟制作方法使现场摄制团队可即时访问实时播放的CG 画面,以便为导演、摄影指导、摄影师和布景团队提供更多的创意空间。领地工作室已使用专业摄影机和消费级手机等各类设备测试了该项技术。总之,制作科学、合理的屏幕UI图形是一项极具挑战的设计任务,这种新形式的虚拟摄制屏幕全息图为影片摄制团队提供了一种新的设计语言元素,其优势在于提供了一个更加活跃的三维画面,以便更好地表达故事。