数字媒体展示手段及其叙事特征研究

2023-06-03章洁

艺术研究 2023年2期

章洁

摘要：数字媒体展示技术复杂多样，探讨数字媒体展示技术在展示应用中的特性。本文对目前的各类数字媒体展示技术进行总结，分析“真实世界”与“虚拟世界”之间的关系，并利用叙事学中图像文字研究方法的特性对各个展示技术进行分析。通过数字媒体技术的三大维度，即交互性、时间性和空间性进行分析，可以得出一些技术手段，并综合考虑它们的整体效果，提炼出提升展示效果的互动性、多维度以及沉浸性策略。其中多维度是沉浸的前提，互动性加深了沉浸性的体验。沉浸性也让互动更加真实，以确保不同感官对于刺激感受的统一性。

关键词：叙事数字媒体虚拟世界空间性时间性

20 世纪90 年代“新叙事理论”重新兴起。叙事学从“经典叙事学”转向“后经典叙事学”，叙事从文字向图像过渡。龙迪勇认为，虽然缺乏对图像叙事的研究，但国外自18 世纪温克尔曼以来已经累计了丰富的图像学研究传统。贡布里希认为图像的正确解读需要代码、文字说明以及上下文的共同支配，图像与其他组分共同组合才能传达明确的信息。①米歇尔认为图像与语言一样能进行自我呈现，从而找到图像摆脱语言控制的可能性。影像的出现让叙事方式进一步变革，雅各布·卢特《小说与电影中的叙事》对小说电影两大叙事进行分析，树立起跨媒介叙事研究的典范。

超文本小说、影像、动画、游戏及其他多媒体形式出现，媒介间的交叉融合促使跨媒介叙述发展。孙为在《交互式媒体叙事》中根据新媒体艺术的叙事方式，系统分析叙事模式与特点。玛丽·劳尔·瑞安主编的《跨媒介叙述》一书考察媒介的内在属性如何塑造叙事形式并影响叙事体验。国内张新军将瑞安的叙事学概括为一条叙事性情节演化线路，试图呈现瑞安叙事理论的总体状况。赵毅衡整理并分析媒介与展示体裁之间的关系，将媒介分为了记录、记录演示、演示、类演示以及意动几种类型。以上研究均说明了叙事在媒介中的重要作用。新媒体艺术中的展示技术同样具有对应的叙事学特性。

未来展示将会进一步破除空间以及传统媒介的限制，呈现更加开放的“混合型”叙事空间。②数字媒体展示技术成为展品与观展者之间的新媒介向观展者“叙事”。人们不再满足于文字和静态图像带来的刺激，开始研究各展示技术中空间与时间的关系以及在展示中的应用方法。本文以叙事学视角分析各类展示技术，在各类技术叙事特性的基础上探讨其应用策略。

一、数字媒体展示技术基本特征：虚拟世界与真实世界的关系

（一）虚拟现实类

数字媒体展示技术在真实世界的基础上不断向虚拟空间拓展，最终在虚拟空间和真实空间中形成对应的叙事关系。VR设备封闭体验者的视觉，因此在封闭环境中体验者能够沉浸于虚拟世界中，其模仿真实世界的光线、质感帮助形成沉浸化的叙事特性，而交互叙事特性增强了虚拟世界中的真实感。在虚拟世界中可以将人们想象中的物体变为现实，体现了VR 技术的想象叙事特性。感官封闭带来的真实感为体验者的想象性提供了重要保障。

增强现实在获取真实世界影像的同时结合增强信息，按照时间、位置、内容等关系进行匹配，例如AR 导航中箭头指向体现位置间的关联，扫描图案出现的模型动画体现内容的关联。AR 技术的实现需要理解真实世界与增强信息，展现了虚实世界叙事的相关性。

混合现实在匹配信息的基础上让真实与虚拟部分发生碰撞遮挡等行为。在AR 中体验者可轻松分辨实与虚。而MR 中虚拟与真实无明显界限，虚拟事物与真实事物交融，甚至会“妄图”替代真实事物展开叙事，虚拟事物对真实“产生影响”。

图1 总结了3R 技术的特性及对于计算机的要求。虚拟现实通过隔绝外界信息让体验者产生沉浸感，交互的产生关联体验者与虚拟世界。增强现实在外部世界的基础上做自身信息的整合，给体验者带来现场感，体现了真实世界与虚拟世界的相关性。混合现实中虚拟事物的逼真性使虚实融合的新世界大有替代真实世界的意图。计算机通过运算理解场景并生成虚拟事物，对计算机的CPU 和GPU 的性能要求极高。

三种技術之间的关系可概括为图2（a）：VR 隔绝外界，AR 则包含外界，MR 则需要在外界的基础上与虚拟发生关系。从功能叠加的角度上看三者的关系为图3（b）： VR 叠加真实世界成为AR，AR 中的真实与虚拟之间“交互”则成为MR。

（二）数字影像

数字影像包括数字短片、VR 影像以及动画。传统影像按其本质来说是照相的一次外延，③通过一连串图像的连接实现线性叙事。创造者对影像的编辑实现了自我身份的突破，通过添加视觉特效的方式让“如实摄影”变成了“想象电影”。④数字影像叙事让观者获得更好的视听体验，激发观赏甚至是创作的兴趣。其作为新媒体叙事手段具有传播性与体验性优势：人们通过互联网使用小屏幕载体（手机、PAD、电脑等）发布与接收内容，体现数字影像的传播性。户外屏幕以及巨幅荧幕吸引观者注意力，展现数字影像的体验性，如图3 所示。

（三）投影

不同的投射载体对应不同的空间需求以及叙事环境。投影中常使用光雕投影（Projection Mapping）以及CAVE 系统（Cave Automatic Virtual Environment）作为动态展示方式。光雕投影将建筑物群以及具有曲面的对象为投影表面，体验者不用佩戴设备封闭感官就能参与到展示叙事中。而CAVE系统需要体验者佩戴3D 眼镜，利用跟踪摄像机捕捉用户自身的行动，通过图像处理系统将最终结果反馈在投影上。CAVE系统可供多人共同使用，但只适合一个人体验，因为屏幕上的投影图像只显示被跟踪的一个人。⑤

（四）数字雕塑

数字雕塑的本质特征是数据化和虚拟性，数字化材料与工具发掘雕塑艺术新的可能性，并产生新的数字美学，而不仅仅是对传统雕塑的数字化克隆。⑥数字雕塑的叙事过程有两种：一种通过三维扫描的形式，将模型从真实世界转换到虚拟世界；另一种则是通过数字雕刻的方式制作数字化模型，使用3D 打印将模型从虚拟世界还原到真实世界，这种真实到虚拟，虚拟再到真实的过程实现物体自身复制的效果。位于虚拟世界的模型可以与其他虚拟世界的模型组成数字场景，并在虚拟现实以及投影、CG 影像中完成叙事，如图4 所示。

（五）装置艺术

装置艺术中配有声光电等机械装置与观众互动实现动态要素，将平常的感觉强化、异化甚至夸张为新的刺激。主要叙事特性为视觉与互动结合，让真实世界中的体验者感知虚拟世界的存在。观看艺术装置的过程分为整体感知、行进体验、局部观看以及完整理解四部分。⑦前三个部分对现场艺术装置在视听嗅味触等感觉上直接感知获取。观者结合自身以及原有经验理解并产生联想，对所得的符号重新解构与重构，最终生成属于观者自己的知觉场。⑧此时被感知的对象不再是纯粹的存在，而是结合了个人经历的新事物。如图5 所示。

综上所述，目前各种数字媒体展示技术连接并转换虚拟世界与真实世界，让体验者进入内容创作者的叙事之中。虚拟现实类技术以及投影让体验者直接进入虚拟或仿真的世界，数字影像通过传播与沉浸展示的方式引导观众心理层面上进入影像内的虚拟世界。数字雕塑与装置艺术则为虚拟世界与真实世界之间搭建沟通的桥梁，观众在真实中感受虚拟的存在，虚拟又能变成真实，甚至为虚拟世界提供素材。

二、各类智能技术的叙事性特征：空间性、时间性与交互性

早期展示中以展品为焦点忽略了观展者对于物的逐步认识，而展示叙事则对这一方面进行了弥补。⑨展示叙事中的叙事媒介可分为图像以及文字两大类。图像具有空间性，文字用于叙述，因此具有时间性。其本身去语境化特点致使单幅图像无法完成叙事，需要结合伴随文本对图像进行解读。

空间的时间化让图像的意义准确传达给读者，方便读者接收与理解。空间的时间化过程有两种，首先是利用“错觉”或“期待视野”。⑩其次是将单幅图像组成系列图像，形成事件形象流与事件流，例如电影动画等。图像、文字等传统媒介具有局限性，只能向接收者单向传递信息，而接收者无法对媒介产生影响。数字媒体展示技术的叙事特性集中在空间性、时间性以及交互性上。如图6 所示。

动画短片等数字影像为时间的形象流与事件流，具有二维的空间性与时间性。在影像虚拟空间中，数字动画用模拟真实空间的方式叙述，内容形式上非“真实”。而数字短片直接从真实空间中获取，因此数字动画是“虚拟中的模拟”，而数字短片是“虚拟中的真实”。

VR 影像与360 度环绕VR 展示的影像具有三维的空间性，短片或动画作为内容则具有时间性。360 度环绕VR 常用于线上展览馆等宏大场景之中，为方便观者对内容的理解，在其中可设置点击等操作等必要交互协助内容的查看。

投影中所投射出的影像是二维的，接收表面影响呈现效果。例如二维的影像投射在球幕或多个平面上形成三维的形态。投射到建筑立面上，凹凸不平的表面所呈现出的空间感让原本二维的影像有了三维的特性。投影具有介于二维与三维的空间性以及时间性。

3R 技术与CAVE 系统同时具有三维的空间性、时间性以及交互性。观者主动选择探索虚拟世界，能最大程度将观者带入到展示自身的叙事之中。非沉浸AR 通过屏幕体现出结合二维信息的三维空间性以及交互中产生的时间性。

相较于以上虚拟空间的展示技术，数字雕塑与艺术装置位于真实世界之中。除了影像和声音，装置艺术家还能使用现实世界存在的物品作为装置的一部分。观者通过做出交互行为，而艺术装置也会产生对应的反馈，在观者与艺术装置的相互作用下形成自己的故事。

图7 体现不同媒介在叙事上的特性。首先，最原始媒介——文本呈现出线性的时间性，观者阅读文字并结合自身体验形成自己的叙事。图像代表了空间性，平面图像（如绘画）与三维图像（如雕塑）都通过伴随文本形成叙事。将连续图像串联在一起实现空间时间化，则形成具有空间性与时间性的影像与动画，但仅能被动接收形成线性叙事。技术的发展让展示物有了交互特性，观者可以主动探索形成交互性叙事。以上多个展示方式结合便形成多媒介叙事，整体的氛围感增强。

媒介的特性可以与用户体验中的“本能”“行为”以及“反思”相对应。“本能层次设计是自然的法则。”具有时间性的文字与具有空间性的图像是媒介传播最初的状态。用户体验的反思层面则是“关于事物的含义、某件东西激起的私密记忆。”多种媒介形成的氛围激发了观者内心深处的思考与想法。总体而言，展示技术特性越多，体验感越强，越能形成深层次的体验。

三、各类媒介的应用策略分析

展示媒介进行叙事时，通过对各媒介交互性、时间性、空间性的分析最终可以得到互动性、多感官以及沉浸性策略。

（一）互动性策略：让参与者成为叙事中的一部分

小说、电影等叙事文本为了让读者具有阅读的欲望，常常会用第一人称展开叙事，在叙事过程中“我”的出现让观者将自己代入到故事中。展示需要提升整体的体验性与参与度，让参与者成为整个展示叙事的一部分。

“互动性乃新媒体同旧媒体之间最根本的区别性特征。”互动让新媒体艺术有了更多可发掘的内容。设计者应用数字技术布展为展示叙述做好充足的准备，当观众开始用感官接收现场的信息并与之互动时，才算真正开始展览的叙述。观众的参与是展览叙事中的一部分，观众离开则叙述也随之结束，直到下一位观众前来，叙述又重新开始。

（二）多感官策略：利用视听嗅味触的感觉形成多媒介叙事

传统观展方式仅有单一刺激，易让观展者疲劳甚至失去兴趣。而多媒介敘事让观展者保持兴奋状态避免疲劳的产生。视觉、听觉、嗅觉、味觉以及触觉作为人们感知世界的基本方式，集合在一起形成综合感官意识。多种感官体验让这种综__合感官意识进一步上升为意识体验，成为叙事前的重要组成部分。观者参观过程中形成特定的情感，真实感以及亲历感得到提升。

（三）沉浸性策略：建立真实与虚拟之间的区隔

互动体验需要确保参与者能够顺畅完成整个流程。从叙事的角度来看，建立真实与虚拟之间的区隔则是实现沉浸感的重要途径。

沉浸性分为剧场式、具身式以及混叠式。剧场式利用投影技术达到沉浸的效果，3R 技术通过封闭感官以及增加交互体验等方式形成具身式或混叠式沉浸影像。封闭感官形成的区隔是影响沉浸性的关键。文字叙述中，语句在脑中形成图像达到沉浸效果。此时的区隔是文字本身，但文字世界与现实世界有较大的差距。与之相比，电影中的区隔为片头以及演职员表，在片头结束后进入故事的叙述，片尾播放演职员表时又从故事回到现实世界。动态声音图像与我们平时所感受到的真实世界类似。VR 则是直接封闭体验者的感官，此时的区隔是佩戴VR 设备的瞬间，此后体验者进入虚拟世界，不能察觉真实世界的存在，沉浸达到最强的状态。

四、结语

文章对数字媒体展示技术进行分类总结，阐述其中虚拟空间与真实空间的关系。根据空间叙事学中图像与文字的联系，总结出不同展示技术中所含有的空间性、时间性与交互性。从最初仅具有时间性的文字媒介到目前的多媒介融合，媒介的发展从本能层次逐渐过渡到反思层次，并提出多维度，互动性以及沉浸性策略。互动性策略让参与者加入成为叙事的一部分。多感官策略调动了视听嗅味触等多种体验，防止体验者因为接收单一通道刺激而感到疲惫。沉浸性策略提出要建立区隔，使参与者在特定的环境内感受以获得良好体验。数字展示技术中对媒介叙事的探讨表明了技术特性以及应用范围。下一步将与传统空间艺术中的叙事研究进行对照，对未来媒介的叙事特性进行预测。

注释：

①【英】E.H·贡布里希.贡布里希文集：图像与眼睛——图画再现心理学的再研究［M］ .南宁：广西美术出版社，2016.

②孙金龙.泛缪斯、泛计划、泛设计！——博物馆叙事空间型态逻辑的设计研究［J］ .设计，2019，32（19） .

③ 【德】齐格弗里德·克拉考尔.电影的本性［M］ .北京：中国电影出版社，1981.

④杨玄一. 媒介化、审美化、狂欢化——数字影像的文化特征［D］ .广州：暨南大学，2020.

⑤ Daniel SANDIN， Thomas DEFANTI， Carolina CRUZ- NEIRA. Multimedia：From Wagner to Virtual Reality. New York： w. W. Norton & Company.2002： 291.

⑥张盛.数字雕塑技术与3D打印［M］ .北京：清华出版社，2019.

⑦付阳，汪泽宇.装置艺术在展览中的场域视觉逻辑探究［J］ .世界美术，2021（1） .

⑧张尧均.隐喻的身体：梅洛-庞蒂身体现象学研究［M］ .中国美术学院出版社，2006.

⑨廖玲玲，张焘.南通板鹞风筝展示中的叙事设计研究［J］.设计，2020，33（3） .

⑩龙迪勇.空间叙事研究［M］ . 北京：三联书店，2014.

? 【美】唐納德·A·诺曼，张磊译.设计心理学3：情感化设计［M］ .北京：中信出版社，2016.