虚拟预演在主题公园沉浸式体验项目设计中的应用——以黑暗骑乘《公元一万年》为例

陈启明 骆駪駪

1.北京电影学院中国电影高新技术研究院,北京 100088

2.北京电影学院影视技术系,北京 100088

1 引言

预演(Previsualization)即预先可视化,也被称为Previz,在电影行业中已广泛应用,并且在电影进入虚拟化制作时代以来,虚拟预演已经融入了电影制作的全流程中。

目前,沉浸式体验项目作为一种新的文化娱乐体验方式,引起大众广泛关注,特别是以迪士尼乐园和环球影城为代表的黑暗骑乘类项目,这类项目往往伴随着高投资和高风险,影像及装置设计一旦定型,很难改动。因此,前期预演的参与显得十分重要,本文讨论的内容也限定在主题公园中沉浸式黑暗骑乘项目这一范围内。

2 沉浸式体验的定义

Lukas[1]描述了沉浸空间的特点:(1)这个空间为人带来了复杂的情绪体验以至于人想要留在其中;(2)人沉溺于处在这个空间中,与空间建立联系并体验到愉悦的情绪。Slater和Wilbur[2]将沉浸定义为计算机系统能够同时向用户提供现实错觉的程度:(1)感官与虚拟世界完全接触,来自现实的信息被完全切断、暂停或隔离;(2)虚拟世界能模拟、容纳和适应整个感官库;(3)系统提供的虚拟环境是全景的,而不局限于狭窄的视野;(4)刺激的可信度是良好和丰富的,以提供高质量的信息、内容和界面;(5)刺激的每种感觉模式彼此一致,并共同提供与真实生活场景一致的体验。为了创造这种错觉,系统需要能够获得足够的 “感知真实感”。Mitchell[3]将沉浸式体验概况为两种类型:有障碍的与无障碍的。有障碍的沉浸式体验指用头戴显示设备覆盖人眼带来的全包裹环境体验,而无障碍的沉浸体验则是基于空间增强现实(Spatial Augmented Reality)而构造的封闭物理空间所带来的体验。由上可知,沉浸式的体验来源于相对封闭的空间,这个空间是纯虚拟的空间,或者是用虚拟影像来改造物理空间而形成的虚实结合的物理环境[4]。

黑暗骑乘(Dark Ride)是指游客乘坐载具,沿着既定故事路线,在虚实景结合的主题故事环境中穿行体验的大型室内娱乐项目,主要采用无障碍的方式来实现沉浸式的体验。黑暗骑乘的历史最早可以追溯到十九世纪末,当时被称为磨坊骑乘 (Mill ride)[5]。磨坊骑乘会设置一个奇幻故事背景,游客乘坐载具穿过昏暗建筑物包围下的隧道,沿途布置各种故事相关美术道具,以此带来沉浸感。如今,黑暗骑乘保留了早期的骑乘特色,结合最新的运动控制与光雕投影和声光特效技术,给游客带来好莱坞电影式的沉浸体验。

3 电影预演与沉浸式体验项目预演的比较

早期,沉浸式体验项目主要集中在主题公园领域,随着数字技术的进步,线上虚拟空间的文化娱乐活动空前繁荣,这为线下实景沉浸式体验项目带来新的可能性,沉浸式体验项目也逐渐向影视、戏剧、展览等多方向延伸。目前,以迪士尼与环球为首的公司仍保有最初的形式,从好莱坞电影制作中吸收技术与IP,在全球各地建设了多个融合科技、艺术、IP 内容的主题公园,而在国内,陕旅、万达、融创等公司团队则结合本土优秀传统文化,带来实景演艺类项目《傣秀》《长恨歌》《只有河南·戏剧幻城》等。此外,team Lab、黑弓、水晶石等团队从艺术体验出发,融合沉浸式投影、人机交互、实时渲染等技术,将沉浸式新媒体艺术展这种形式带入大众视野。

从卢米埃尔兄弟公开放映电影以来,电影诞生已有一百余年,其进行已有固定的范式。当明确预演对象是电影时,我们知道影像是以固定的画幅比、固定的镜头组接方式呈现,并且在放映时,影院的构造也相当标准化,画幅大小与比例、声音的呈现方式、观众的观看视角等都是固定的。由于观众与影片无交互关系,最终运动的只是画面的内容,因此电影预演实际是对摄影机视点的模拟,与后续制作流程相关联[6]。

对于黑暗骑乘类项目来说,唯一能确定的是游客会在这片空间中行进,其他方面则根据具体项目而各有不同。因此,黑暗骑乘类体验项目预演对象是整个项目的物理环境以及游客在其中的运动,预演效果能直接反映游客体验。

4 虚拟预演在黑暗骑乘类体验项目设计中的作用

由于黑暗骑乘类体验项目本身的特殊性,预演在其中显得十分重要。Libby[7]在其对体验型预演项目的设计研究中将预演的作用分为三种:创作工具、内部展示工具以及市场展示工具。

(1)创作工具:在项目实际投入建设之前,先在低成本的环境下呈现整体的功能架构和视觉效果,便于创作团队的沟通和调整,减少不确定性,从而达到辅助创作和降低风险的作用。

(2)内部展示工具:对于非创作人员特别是投资人来说,理解特定视听概念或工作模式并不容易,因此,通过预演将完整结构和效果整合,并以非专业人士也能理解的方式展示出来,十分有利于创作团队与投资人之间的沟通。

(3)市场展示工具:在项目实际投建之前,先将低成本预演内容投入市场,测试消费者反应,以判断是否需要更改或进行下一步投资。

作为全球规模最大的主题公园制作公司,预演在迪士尼的沉浸式体验设计过程中已成为不可或缺的一部分。在早期的设计中,迪士尼主要使用微缩模型来辅助设计,数字时代以来,他们则广泛利用数字影像进行预演。目前,迪士尼开发了数字沉浸空间系统 (Digital Immersive Showroom,DISH)系统[8](图1)来进行预演,上海迪士尼乐园的设计工作便在其中进行。此系统基于VR-CAVE 技术打造,使用沉浸式数字投影配合动作捕捉技术,让幻想工程师 (Imagineers)在实际建设之前便能在此CAVE空间中以游客角度感受项目的效果,同时能邀请游客与投资人进行试体验以收集其对项目的意见,在投入建设之前进行相应改动。此外,DISH系统还能配合Motion Base等运动系统还原载具运动,在现实空间中实现多维度的预演,极大增强观看者的沉浸感,为项目设计保驾护航。

图1 迪士尼数字沉浸空间系统

5 预演工作流

5.1 项目背景

《公元一万年》①位于陕西西安郊外白鹿原影视城,是以沉浸式影像体验为主的黑暗骑乘类项目,讲述穿越时空拯救未来地球的故事。整体项目以国内首创无轨道黑暗骑乘这一形式呈现,采用移步换景的原则,让游客每行进一步都能看到不同景色与影像内容。场景之间采用虚实结合的手段,融合置景、灯光和影像,让游客沉浸在人造的奇幻故事空间中。项目整体分为七幕 (图2),分别通过不同手段来实现沉浸效果,索引图如图3所示。

图2 《公元一万年》整体结构与分幕效果

图3 《公元一万年》平面索引图

5.2 需求分析

此项目整体比较复杂,涉及载具运动、置景、灯光、显示设备、机械装置等多方配合,且团队成员来自不同专业领域,多部门间的协调沟通也十分重要,因此,团队要求前期预演将细节编排好,尽可能让多部门顺畅地协同工作。此外,此项目在疫情期间开始建设,工作流程充分考虑到远程工作的可能性,提高了预演的优先级,将其作为项目的枢纽。因此,除了发挥原有的作用外,预演还承担着各部门之间的部分交接工作。项目运行机制是游客乘坐载具在固定时间内漫游场馆一周,预演团队需根据该视角和时间制作预演动画短片,精确体现场馆中各物体间的空间关系以及载具运动的各个时间节点。

5.3 工作流程

整体流程如图4所示,虚拟预演在整体流程中承担着各部门之间沟通的桥梁作用。在建筑设计完成之后,虚拟预演便开始制作。根据建筑设计的图纸和前期的概念图,预演团队在总导演的指导下配合美术部门搭建出场景,随后在其中完成载具路线规划与运动调试,影像部门完成的测试片也会随时置于预演环境中测试,整体成形并且效果达到导演要求后,将预演内容交付现场团队进行施工。

图4 《公元一万年》整体工作流程

预演片的内容经确认后作为所有部门的参考,后续存在的问题及相应调整也会先在视频预演中更改,完成修改后再对接其他部门,保证导演对整体流程的把控和各部门间沟通的效率。

内容团队的对接流程如图5所示。从中也可以看出,预演处于核心地位。导演直接对接预演团队进行制作,影像部门、美术部门、灯光部门也会先参与其中提出自身需求与意见,共同完成前期预演制作,在此基础上,声音部门根据预演片内容与时间制作配音与音效,载具及机械装置部门则配合团队实现所需要的功能,随后,播控部门根据预演片中的时间节点完成各阶段影像、声音、灯光、机械装置等的控制。在现场施工完成后,多方进场进行最终集成调试。

图5 《公元一万年》内容团队对接流程

5.4 预演制作

对于大投资、预算充足的项目来说,迪士尼所采用的VR-CAVE技术能很好地完成任务,但这套系统本身的开发维护成本很高,并不具备普适性。目前业内主要还是使用3Ds max、Maya等传统三维软件制作虚拟预演内容,这类软件往往在制作简单的粗模Layout动画上效率很高,但却无法在制作写实大场景的同时保证效率和成本,而且不易与其他部门交接。游戏引擎在这方面有着很大的优势,UE4默认渲染器采用基于物理的渲染 (Physical-Based Rendering,PBR)方式,能高效得到写实效果;另外由于游戏引擎本身的特性,各种媒体资源能轻松导入与导出,便于影像测试,因此预演团队最终选择使用UE4制作预演。

虚幻引擎十分契合此类项目的工作流。在与建筑设计团队对接时,引擎中集成的Datasmith 工具[9]能直接导入在Sketchup 中构建的建筑模型,并且具备原始模型的分块信息,此外,Sketchup中的材质也能无缝导入到UE4中并自动生成材质球,只需在此基础上修改与补充即可。这减少了很多重复性劳动,很大程度上提高了制作效率。另外,非线性编辑工具Sequencer使用户能用多轨迹编辑器创建动画,通过创建关卡序列和添加轨迹,用户可以定义各个轨迹的组成,轨迹可以包含动画、运动变形、音频等,而且序列中控制的内容只在此序列中生效,不会影响源,整体使用逻辑与传统非线性编辑软件类似。投影影像、灯光、载具运动、摄影机运动等都能很便捷地使用Sequencer工具精确控制,这使得影像部门、灯光部门在项目前期便能初步完成效果调试。

在工作流与工具均确定后,预演内容制作分解为四个部分:美术效果、载具运动、定点触发、镜头跟随。

5.4.1 美术效果

经过前期多方沟通,明确预演需要完整体现整个项目中的视觉效果,包括投影、LED 屏、激光等,并且以此为基准进行现场施工与置景。经过Datasmith流程,完整精确的建筑框架能直接导入UE4中,实际需要重点注意的只有局部美术置景及光影效果。

美术置景上,美术部门在三维软件中根据建筑尺寸制作好对应置景模型,烘焙好法线贴图等后导入引擎,再在UE4的材质系统中调整材质即可,此外,UE4还接入了Megascan的资源库,提供了多种山体、岩石、植被等自然场景的高质量写实材质纹理贴图,这在很大程度上提高了项目的制作效率。

光影效果上,本次预演中无需体现投影安装位置、融合带控制等技术特征,因此只需在载具运行到幕墙位置改变幕墙墙体材质,将其替换成影像内容并附上自发光属性即可。

5.4.2 载具运动

载具运动是预演的核心,所有变化都围绕载具运动时间节点进行。这涉及到两个部分,一是整体时长,项目整体运行时间固定,因此首先根据项目设定,通过关键帧控制整体时长与运动速度,再依据各个时间节点需触发的效果精细调整;二是运动数据,第六幕希望之星飞行影院部分通过多地合作的方式完成动感平台的运动数据调试。动感平台使用3自由度Stewart平台,如图6所示,平台运动需要与球幕影像内容匹配。传统流程需要全线下完成,在现场根据影片情况实机调试。由于疫情影响多地成员无法同时到达现场,因此此项目中尝试了线上方式。

图6 第六幕飞行影院动感平台

北京的预演团队配合导演要求,在游戏引擎中定性调试动感平台的运动,输出平台运动数据到引擎外,如图7所示,再定量处理数据使其满足动感平台的运动幅度与加速度物理阈值,随后将数据传输给广州的团队,在其实验室中进行运行稳定性测试,最后再传回现场使用。最终,动感平台的调试通过这种方式顺利完成,并且设备运行良好。

图7 动感平台运动数据示意

5.4.3 定点触发

影像的播放、机械装置的运动和光影效果等需要配合载具运动的时间节点定点触发,在摄影机视角中无缝衔接,因此有两种方式实现两者的配合,一是关键帧动画,二是通过程序自动控制。

对于关键帧动画来说,Sequencer中直接根据载具位置设定触发切换时间。以材质切换为例,幕墙在未触发时会显示默认材质,而Sequencer时间线上在播放影像时,媒体源会触发播放器,播放器关联的媒体纹理会给到对应的材质实例,通过Material Element Switcher就能将材质附到幕墙上,而影像播放完毕后就会切回原先的材质,运行逻辑如图8所示。程序方法则是通过在银幕模型一定区域内设置碰撞体实现,当载具运动到此区域时触发材质切换,播放影像。

图8 UE4媒体材质运行逻辑

图9 《公元一万年》时间线局部

本项目中两种方法都曾尝试,最终完全采用了关键帧方法,项目场景中只有单一主体、单一路线,在路线改动时,虽然关键帧方法每次需要手动调整时间节点,但其准确度高,在载具运行视角有改动时更易修改。程序方法采用自动触发,效率高,但调整不够灵活,若是针对每个影像播放场景单独制作蓝图组件,则工作量比关键帧方法更大。

另外,整个载具运动过程中,场景里需要触发的效果数量较多,若将所有需要处理的模型都放到同一时间线上,则时间线会过于复杂,因此利用传统非线性编辑中嵌套的概念,将各个需要触发的效果先做成独立的时间线,在整体时间线中各个节点再调用这些时间线,这样时间线逻辑清晰,便于协同工作与后期改动。

5.4.4 镜头跟随

经过前期讨论,团队确定预演最终需输出三个视角:主观视角、客观视角、全景视角,如图10(a)(b)(c)。主观视角即模拟游客乘坐载具时的视角,直接用来判断游客的体验;客观视角环绕于载具周围,用于观察载具与场馆的空间关系;全景视角则是输出360度全景影像,用于在VR 头显环境中判断影像部门输出的影片与美术部门的场景设计在场馆中的效果,作为现场施工参考。主观视角与客观视角直接通过摄影机关键帧动画完成,而全景视角则通过虚幻引擎官方提供的Panoramic Capture工具获取。

图10 《公元一万年》预演视角示意图

值得注意的是,球幕、环幕等影片均根据现场硬件环境定制,这类影片分辨率等技术指标都要求很高,需要耗费较高渲染成本,必须在最终渲染之前完成所有效果调试,常用的电脑或投影屏幕尺寸较小且均为平面,无法反映影片的实际体验,因此一般只能等施工完成后在现场测试,这也是传统制作流程中的难点。在预演环境中测试就能避免这些问题,影像部门制作低分辨率测试片后先置于预演环境中测试,通过主观、客观、全景多个视角的观察,能发现其中问题,如视点偏移、图像畸变。

主观视角可以体现游客与影片的透视关系,能体现影片视点是否设置在游客行进路线上,若影片视点有误,则会让游客感觉自己并不在场景中央,削弱项目整体沉浸感。图像畸变也类似。影像制作按照硬件环境定制,需与银幕变形相匹配,预演中银幕的模型根据前期规划1∶1制作,在预演环境中能完整体现影像与银幕映射关系,观察图像畸变是否与银幕匹配。预演团队观察到问题后,与影像部门沟通协调,经过多次调整后能保证视点、畸变等基本无误。这能与现场施工同步进行,在现场施工完成后,影片调整也基本结束,现场验证后进行少量修改就能输出最终成片,缩减了工作周期。

预演画面与现场对比,如图11所示,可以看出预演视频整体效果与现场基本一致。

图11 《公元一万年》预演环幕场景与现场画面对比

6 总结

目前,我国人民对美好视听生活的需求日益增长,很多新媒体展示方式越来越受到民众喜爱,黑暗骑乘类沉浸式体验项目作为一种新兴的科技与文化融合的体验形式,受到广泛关注。本文基于实际项目背景,总结了以虚拟预演为中枢的工作流程,并且实践验证了游戏引擎在其中使用的可行性,为后续工作积累了一定经验。

以预演为中枢的工作流使主题公园中黑暗骑乘类项目的制作效率会有一定程度上的提升。在虚拟空间中完成整体项目设计,这种后期前置化的制作流程降低了沟通成本。依托于游戏引擎进行的预演,无需高昂的研发与制作成本,为预演制作的高效完成保驾护航,也为沉浸式体验项目制作方式带来了新的可能性。

注释

①《公元一万年》项目已在陕西西安白鹿原影视城投入运营,骆駪駪为该项目的总导演,影像制作为北京上造影视文化有限公司,设备集成为北京赢康科技股份有限公司,灯光设计及安装为广州市弘裕电子有限公司,声音设计及制作为北京蜂巢音悦文化传播有限公司,载具及机械装置生产为广东金马游乐股份有限公司,笔者全程参与虚拟预演制作工作当中,本论文相关引用已获得授权。