基于VR 技术的明长城文化遗产沉浸式交互影像设计与制作研究

徐小棠

(北京师范大学艺术与传媒学院,北京 100875)

本文关注基于VR 技术的明长城文化遗产沉浸式交互影像的设计与制作问题,以明长城板厂峪段杨来楼空心敌楼为例,从视点设计、沉浸场景、视线引导与交互动作设计角度,思考沉浸式交互虚拟现实影像的开发。与纪录式VR 影像不同,沉浸式交互VR 影像的开发,设计重点需要由空间场景的真实性,向空间场景的沉浸性与可交互性进行转移,并需要将空间与情绪、动作进行有机结合,以完成叙事性体验与交互性体验的需求。以文化遗产为空间场景的沉浸式交互VR 影像作品,是当下文化遗产VR 数字化呈现与设计的研究热点,也是文化遗产数字化展示与传播的新方式。

1 基于文化遗产开发沉浸式交互虚拟现实影像的技术基础

基于文化遗产开发沉浸式交互虚拟现实影像的基本技术流程,可以简要概括为“知识与信息调研——数据采集——三维建模——交互设计——场景渲染——系统优化”,主要包括对实地空间数据进行图像采集的摄影技术与测量技术,如全景拍摄、摄影测量;对物理空间进行数字化呈现的3D 建模技术,如利用3Ds Max、3D Maya、Cinema 4D 等进行三维场景建模、材质贴图与虚拟环境搭建;基于游戏引擎对数字空间交互设计,如利用Unity 3D、Unreal等进行信息可视化设计与交互设计。以上技术的协作能够共同实现沉浸式交互虚拟现实影像的开发。

事实上,早在20 世纪80 年代以来,VR 技术就已经被应用于文化遗产的数字化领域,内容包括数字化修复与数字化呈现等,其中,数字化修复更侧重“从零到有”地对已不存在的历史文化遗产、资料等进行数字化再现与复原,而数字化呈现更侧重于对现存历史遗产的数字化转录、保护等。文化遗产VR 形式的数字化呈现主要有两种途径:一种是360度全景影像,通过对建筑、场景、环境、实物等进行全景拍摄或摄影测量的方式,进行宏大场景的全景展示,重点是使观者能够通过远程访问,既能查看历史遗产与文物等的宏观整体样貌,又可自主拉近特写镜头查看其细节;一种是虚拟仿真的沉浸式交互虚拟现实影像,通过三维建模与后期处理,重点打造沉浸场景与交互体验,并融合游戏形式及内容,赋予观者沉浸漫游与多感官体验。

无论是360度全景影像还是沉浸式交互VR 影像,现阶段重要的应用场景之一是博物馆、美术馆等科教场所,VR 技术也成为各大博物馆在探索数字展陈方面的研究重点,而基于文化遗产场景生成的沉浸式交互虚拟现实场景也成为虚拟现实影像开发过程中的重点。从目前来看,360 度VR 全景影像主要被应用于PC 端或移动端的藏品观看,虚拟仿真沉浸式交互VR 作品主要被用于特展或主题展览,以期使观者在漫游场景中获得更强的时空体验与在场感。

基于文化遗产开发沉浸式交互虚拟现实影像的典型案例,如英国大英博物馆与三星、Oculus合作开发的“Micropasts”“Two Million Years of History and Humanity”等交互式VR 展陈项目。其中“Micropasts”项目为“青铜时代”虚拟现实环境,数字模型内容包括以波顿岛 (Burren)上的圆屋与相关历史档案资料为蓝本重建的虚拟青铜时代圆形房屋及可视化环境,苏塞克斯青铜环 (Bronze Sussex Loop)、博讷(Beaune)大型短剑与乌拉斯顿金(Woolaston Gold)三件藏品模型,观者戴上三星Gear VR 头盔后,可在青铜时代虚拟现实场景中进行漫步体验,与藏品进行多种交互。2000年故宫博物院与日本凸版印刷株式会社合作“数字故宫”项目,探索了三维可视化技术在文物展示中的应用,自2003年起陆续推出 《紫禁城·天子的宫殿》《三大殿》《养心殿》《倦勤斋》《灵沼轩》《角楼》《御花园》 《地下寻真》等多部360度全景VR作品,实现用户在数字化故宫空间中的漫游探索。

基于文化遗产开发沉浸式交互虚拟现实影像的技术关键问题,已有学者进行了总结分析。其中,蔺国梁、曹宇佳、包亚飞团队通过3Ds Max与Unity 3D 对甘肃嘉峪关关城进行数字建模、贴图处理与实现三维场景下虚拟交互漫游的案例中,提出数字资产在不同软件迁移衔接过程中贴图丢失的处理办法、采用第一人称视角进行VR 漫游的示例代码、在Unity 3D 中碰撞检测的办法等;张璐总结了菏泽古城区VR 数字化项目的游戏式浏览要点,从设计背景、复原内容、游戏任务设置三方面,为相似项目的数字化复原方案提供设计思路;闻婧、张乃中在运用VR 技术复原大连关东街建筑遗迹中,总结了优化模型与解决大场景虚拟仿真中有限系统资源与模型精细度之间矛盾的技术方法,如LOD三级建模方法、广告牌技术 (Billboard)建立树木模型方法、贴图置换代替实体模型方法、LOD分级模型优化显示方法、场景烘焙代替实时渲染方法等,有效减少数据量,提高系统运行效率。

2 基于明长城文化遗产的沉浸式交互虚拟现实影像设计要点

明长城板厂峪段位于河北省秦皇岛市,由明早期长城(最早修建于洪武、永乐年间,由徐达主持修建)、明晚期长城(最早修建于明嘉靖年间,由戚继光主持修建)与北齐长城三部分组成。2019年10月7 日,在第八批全国重点文物保护单位名单中,长城板厂峪段被并入第五批全国重点文物保护单位长城。

板厂峪长城分为南线、东线、北线、西线四段,构成旗帜型,累计总长度约18公里,具有完备的防御体系。其中,物质文化遗产主要包括遗址景观建筑,如长城城墙、空心敌楼、实心烽火台、砖窑遗址等;景区博物馆还展陈有明代官兵修建与守卫长城过程中使用的军事器械与日常设施,如石炮、佛郎机、火铳等。非物质文化内容方面,主要包括长城铭记碑文、长城沿线民间传说、匾额及其图案纹样与文字样式等。由此可见,基于文化遗产场景开发沉浸式交互虚拟现实影像的设计,可以围绕物质文化与非物质文化两方面内容展开。

基于明长城板厂峪段文化遗产设计制作沉浸式交互虚拟现实影像的目的,在于向公众传播文化遗产相关历史知识,提供特定历史时空的沉浸性与交互性体验。本项目在设计过程中,参考电影化虚拟现实设计方法,主要从视点设计、沉浸场景、视线引导与交互体验四方面,挖掘基于文化遗产场景生成的虚拟现实场景叙事与交互可能性,以创造明长城敌楼空间与明墩军守卫生活的沉浸式漫游与交互体验。

2.1 设计视点

传统2D 电影通常以第三人称视点的全知全能视角或旁观者的受限视角展开叙述,优势在于全知全能视角可以顺畅推动情节向下发展,旁观者视角可以更好地进行外部旁观视角与内部主观视角的转化。有些传统2D 电影中也会部分地使用主观视点,增强叙事的悬念性,但很少会在一部电影中全程采用主观视点,电影史上也只有少数电影如 《湖上艳尸》 (Lady in the Lake,1947)全程采用了第一人称主观视点进行叙述。如果全程采用第一人称主观视点,观者需要一直借助片中主角的视角进行观察,很难对影片中的人物关系、事件因果产生全局性、客观性的把握,因而只有在少数恐怖、惊悚、悬疑类型中部分性地使用。

但对于注重漫游与交互的VR 影像来说,第一人称视点可以有效帮助观者在体验中更有带入感、在场感与沉浸感,尤其对于空间探索、游戏式交互体验与空间叙事而言,第一人称主观视点的设计是很合适的。

因此,本项目主要采用第一人称视点的方式,以使用户自主探索敌楼内部空间,强调用户的主观参与。同时在结尾处的最后一个镜头转换为第三人称外部视点,以使用户以全知视角的方式全景式观览所在的长城空间。

2.2 打造沉浸场景

基于板厂峪长城设计的沉浸式交互虚拟现实影像,重点在于打造杨来楼敌楼的VR 全景体验空间,通过用户的自主探索与交互动作,产生沉浸体验,从而更好地想象明代长城守卫者的日常生活。在VR 影像中,之所以重视沉浸空间的打造,是因为空间的沉浸能够“有效将观众带入叙事空间并参与叙事”,这是一切VR 叙事与体验的基础。

打造沉浸场景的要点在于,第一,模型的空间体验要类似真实的空间体验,在Unity 3D 链接VR设备对模型进行操作的过程中需注意,模型空间相比VR 体验空间而言不宜过小,否则容易导致观者穿过边界,也不应过大,否则容易导致无法充分交互;第二,模型及其贴图的精度要符合标准,以减少观者在体验过程中与环境产生间离效果;第三,开场叙事中,需要降低叙事节奏,在对观者进行视线引导与推动情节发展之前,要使用户有足够丰富的时间对空间环境进行探索,如VR 叙事作品 《亨利》(Henry,2015)中,开场镜头对主角亨利所处的房屋环境进行了较长时间的展示,使观者能够熟悉空间中的布景、道具、相关信息及美术风格;第四,要提供丰富的信息细节,本项目的沉浸场景内还设计有诸多物品道具,包含丰富的信息,同时这些物品的形制基本符合历史,以满足观者的沉浸漫游与观察体验需求。

总体而言,增强空间信息密度与细节,减慢叙事速度与运动速度,减慢叙事节奏的方式,可以更好地创造空间沉浸乃至叙事沉浸。

2.3 视线引导方式

VR 影像中,对观者的视线与注意力产生引导的有效方式包括运动引导、光线与色彩对比引导、声音引导、场景虚化引导等,本项目主要采用光线引导与声音引导的方式,推动观者的自由漫游与交互。

光线引导主要应用于关键物品的呈现。在本项目中,光线引导主要应用于提醒观者完成对窗外发射火炮的交互动作触发。敌楼沉浸空间中设置多种生活物品道具,但只有窗口火炮处设计有特殊光线,这种处理可以将火炮道具与其他道具区别开,从而引导观者触碰交互按钮,体验长城守军生活。

声音引导主要应用于引导参观者走向二层空间的风声设计,在一层空间中,当观者漫游到阶梯处时,会听到从二楼空间传出的风声,好奇心将推动观者循着预设的台阶路径,从一楼空间进入二层空间。在VR 场景中,声音引导的难点在于,声音的方位、强度、距离及其变化都会帮助观者进行空间定位,引起观者注意力与视线的转移,因此声音不仅仅是声音,也包含重要的信息,同时也需要将声音与位置进行绑定。本项目中,重要的声音是二层传来的风声和火炮发射的爆炸声,需要将声音素材与空间方位通过C#脚本进行绑定设计。

2.4 交互动作设计

交互是目前VR 影像实践与研究的重点,也是未来VR 影像发展的关键。VR 影像中的交互设计主要包含两类,一类是叙事结构层面的交互,类似互动电影,观者可以主动选择或触发情节点,推动故事向下发展;一类是行为层面的交互,通过多感官体验的交互设计,增强观者的沉浸体验。同时,交互也可能与VR 影像的沉浸和叙事产生矛盾,如在叙事性内容中设计交互任务或交互动作时,由于过于任务导向,或交互设计得过于复杂或突兀,有可能会使观者不知道要做什么、怎么做,从而在交互环节中被卡住,形成间离效果,打断观者的沉浸体验与对叙事内容的理解。因此在沉浸式交互虚拟现实影像的设计实践中,需要思考交互设计的效果,可以通过眼动数据设计视线交互等隐藏的触发交互的方式,或给交互环节限制一定的触发时间,若观者没有触发交互,也可以其他方式推动情节向下发展。

在本项目中,考虑到技术与资金的限制,在界面UI交互、自由式漫游交互之外,实际设计的交互事件有限,核心交互事件为观者与火炮的交互,观者主要通过点选的方式完成火炮射击,以此感受历史上长城墩军的日常生活,强化观者在虚拟现实场景中的沉浸体验。在设计上,将其处理为任务式与隐藏式交互相结合的方式,通过提醒观者注意任务来完成交互动作的同时,即使观者未能触发交互,也不影响其在敌楼沉浸空间中的自由漫游。

综上所述,基于板厂峪长城文化遗产设计的沉浸式交互虚拟现实影像,主要以杨来楼空心敌楼的上下两层空间为沉浸场景,以用户为中心设计主观视点,通过光线引导与声音引导,引导观者以自由式漫游的方式对沉浸场景进行开放探索,并完成简单的发射火炮交互动作。通过沉浸与交互,观者可以更加具身性地认识与体验明长城守卫军的历史生活情境,从而把理解历史文化遗产过程变得具象、可感,更具趣味性。

3 基于明长城文化遗产的沉浸式交互虚拟现实影像具体制作

基于板厂峪长城文化遗产设计沉浸式交互虚拟现实影像的流程,可简要概括为知识信息构建、数据信息采集、三维建模与贴图处理、漫游与交互设计(图1)。其中,除了电影化虚拟现实叙事的设计思路外,在具体实现方面,关键技术为基于Cinema 4D 与3Ds Max的三维建模,以及基于Unity 3D 的界面UI、场景漫游与交互设计。

图1 板厂峪长城VR 影像设计方案及基本步骤

3.1 知识信息构建与数据信息采集

知识信息主要通过文献资料收集整理、景区相关负责人调研等方式获取,内容包括:(1)板厂峪段长城修建年代、修建原因、墩军守城情况等历史知识;(2)板厂峪段长城地理位置、边界、走向等分布特征与地理知识;(3)板厂峪段长城城墙、空心敌楼、砖窑遗址的主要形制、结构、图样纹饰、材质等建筑形制方面知识;(4)关于修建长城、守卫长城等故事传说类非物质文化知识。

数据信息采集主要涉及形制、图样、材质、尺寸等中观与微观层面二维与三维数据信息的获取,通过无人机、单反相机、全景摄影机等设备进行实地调研完成,内容包括:(1)板厂峪段长城地形、植被覆盖情况等环境信息数据收集;(2)板厂峪段长城城墙、空心敌楼、烽火台、拱券门、楼梯等建筑形制、结构、主要材质,及相关数据如敌楼长度、宽度、高度、深度、直径的信息收集 (图2);(3)军事器械与生活器具的类别、形制、结构、材质、颜色、尺寸等信息收集;(4)装饰纹样的形式、字体、图样、内容、位置等信息收集。

图2 左:杨来楼远景图;中:杨来楼侧面图;右:修复后的杨来楼局部内部空间

3.2 基于Cinema 4D与3Ds Max的建模

模型与场景的搭建主要借助Cinema 4D 与3Ds Max。主要的建模任务包括:(1)敌楼与城墙组合的远景模型;(2)二层敌楼的内部空间模型,作为用户漫游与交互的场景基础,其中下层空间主要用于用户的空间漫游探索、瞭望体验与火炮交互,上层空间模拟板厂峪长城敌楼的硬山式屋顶建筑形制,主要用于用户对长城守军日常生活的体验,同时拓展敌楼空间探索体验的复杂性;(3)军事器械与日常生活器具模型,包括火炮、盆碗、石臼等。

在制作的过程中,首先搭建模型,再通过展UV 贴图、渲染烘焙等方式完成材质纹理贴图,并将建筑模型与地形、树木、天空等虚拟环境进行整合。敌楼内部空间虚拟场景模型的搭建较为复杂,通过前期获取的图像、视频资料,结合实际调研情况,形成平面图、剖面图,以真实还原内部空间构造,模仿真实的一层空间与二层空间的空间关系。模型搭建与材质贴图完成后,还需要对虚拟场景模型添加光效与对模型进行优化处理,通过调整环境光、漫反射等参数,结合烘焙材质方式,使三维模型更具现实质感的同时减少实时数据渲染,提高场景显示流畅性(图3)。

图3 基于板厂峪长城杨来楼的交互式虚拟现实场景三维建模渲染示意图

完成三维模型的搭建后,导出fbx 格式文件,将资源包导入Unity 3D 中进行漫游与交互制作。实际的工作流程中,在初步模型框架搭建完成后,即可将fbx文件导入Unity 3D 中进行交互设计及测试,同步在建模软件中细化模型及模型效果,逐步对粗制模型进行替换。

在软件衔接过程中可能出现贴图丢失问题,解决方法之一是在导出fbx 文件时,勾选“嵌入媒体”;导入Unity时,先点击Assets中的fbx文件,在Inspector面板中的Materials一项中进行更改,把Location 改 为“Use External Materials (Legacy)”,把Naming 改 为“From Model’s Materials”,点击Apply,再把fbx 文件拖入场景中即可(图4)。

图4 三维模型导入Unity 3D中贴图丢失的解决方案

3.3 基于Unity 3D的界面UI、场景漫游与动作交互设计

交互设计的制作需要借助Unity 3D,主要任务包括:(1)界面UI设计,在VR 交互影像中,文字信息可有效引导参观者的视线与动作,因此需要将文字与图标、光标等结合,并为界面UI设计合适的图形、色彩、动态效果与交互方式,本项目中,参观者通过点选或按住手柄按钮的方式,与界面进行人机交互,以获取杨来楼的相关历史信息;(2)场景漫游设计,虚拟场景中的漫游一般包括自由交互漫游与预设路径漫游两种方式,自由交互漫游中,用户可以根据设计好的交互控制命令,通过对虚拟场景内视点位置和方向的改变与实时显示,观察与体验虚拟场景,而预设路径漫游,指的是漫游路径已预先设定好,用户只需要跟踪观察即可;本项目中,用户以第一人称视角,采取自由交互漫游与预设路径漫游相结合的方式进行探索——在一层空间与二层空间中,进行自由交互漫游,连接两层空间的阶梯处则采用预设路径的方式,用户通过点选式的交互动作,完成空间场景的转换,由于敌楼空间相对较小,因此以用户的自由交互漫游为主;(3)为实现用户对长城守卫军生活的沉浸式体验,本项目设计点击火炮进行发射的交互动作,同时处理火炮发射后声音的空间定位,主要利用C#语言实现交互动作效果。

完成三维场景搭建后,需要将Unity 3D 与VR头显设备进行连接,以在Unity 3D中进行VR漫游交互设计与制作。具体步骤包括下载安装Steam VR 软件,在Unity 3D Asset Store中下载Steam VR Plugin,在Unity 3D 的Window 窗 口Package Manager下选择Steam VR 文件夹,将Prefabs文件中的CameraRig与Steam VR 拖入场景中进行调试。其中,Steam VR 能够实现空间定位,CameraRig能够控制HTC Vive头显与手柄。接着,通过代码控制虚拟摄影机视角,进行漫游交互设计。另外,Unity 3D 中集成了碰撞检测模块,在项目测试过程中可进行碰撞检测,以使用户在碰到敌楼墙壁、炕铺等建筑时不能继续前进,从而满足用户体验敌楼空间过程中的真实感。所有设计内容完成后,打包生成exe文件,完成最终的沉浸式交互VR 影像制作。

4 结语

基于文化遗产生成沉浸式交互虚拟现实影像,对于虚拟现实影像创作、历史文化遗产资源开发与保护均具有重要的意义。本文以明长城板厂峪段杨来楼文化遗产沉浸式交互虚拟现实影像的设计与制作为例,探索了基于VR 技术的文化遗产沉浸式交互影像设计与制作的一般流程、设计要点与制作方法,实现了融入明长城墩军文化的沉浸式交互虚拟现实体验开发,也探讨了板厂峪长城历史文化遗产数字化展示、远程在场式访问与“以用户为中心”的虚拟现实影像创作路径。对于历史文化遗产的数字化开发与呈现,沉浸式交互虚拟现实影像是一条新颖且有效的路径,有助于推动历史文化遗产资源保护。