基于混合现实技术的非物质文化遗产保护和传承研究

王泽禹

（檀国大学，韩国 龙仁16890）

具有悠久历史、深厚文化基础和重要研究价值的非物质文化遗产与源远流长的人类发展文明并存，且一直延续至今。非物质文化遗产的最大特点是非物质性，即不依赖于具体形态而与人们的文化生活有关联的动态继承属性，因此可以说它代表着一个国家传统文化的多样性。但是，当下非物质文化遗产保护工作正面临严峻的问题。随着人们的生产方式和生活方式不断变化，非物质文化遗产生存下来的原生态空间难以维持，甚至有些非物质文化遗产逐渐消失，比物质文化遗产更难保存。

随着现代社会科技的进步，利用电脑的数码影像媒体领域取得了飞跃式的发展，这有助于对保护传统文化多样性作出各种尝试。参与非物质文化遗产保护的收集、分类、普及及服务，为构建符合高数码时代的非物质文化遗产保护机制而使用的“数字技术”是发展现代非物质文化遗产保护的重要基础。其中，混合现实（Mixed Reality，MR）克服了虚拟现实（VR）的技术局限，具有通过与虚拟现实技术的相互联系将增强的现实和虚拟的异质感极大化等优点，这也加强了非物质文化遗产的文化互动性和文化体验感，这不仅使非物质文化遗产的复原具有潜在的可能性，对文化的保护与传承也具有重要的作用。

1 非物质文化遗产保护和传承的历程及存在的问题

1.1 非物质文化遗产保护和传承历程

20世纪80年代，随着世界政治秩序逐渐稳定，传统文化作为国家的文化资本，对经济的振兴有着重要的推动力量。但由于缺乏相应的文化保护措施，许多国家的文化主权遭受到了严重侵犯。直到2003年，联合国教科文组织正式颁布了《保护非物质文化遗产公约》，至此，“非物质文化遗产”一词得到了正式的定义，也让各国都积极地参与到非物质文化遗产保护的行列中。

经历了40多年艰辛的保护探索，人们如今对于非物质文化遗产保护的价值有了更深刻的理解：非物质文化遗产是人类的无形文化遗产，是最古老也是最鲜活的文化历史传统，是国家、民族文化软实力的重要资源，也是民族精神、民族情感、民族历史、民族个性、民族气质、民族凝聚力的重要表现特征。保护和传承优秀的非物质文化遗产，对建设社会主义核心价值体系也具有重要的作用。因此，中国于2005年正式加入《非物质文化遗产保护公约》，并于2005年3月由国务院出台了《关于加强文化遗产保护的通知》，文件中明确说明了如何对非物质文化遗产进行真实、系统、全面的记录以及如何构建档案和数据库。这也代表着中国将正式的对非物质文化遗产实施数字化保护。随着中国社会经济不断发展，国家对文化建设也越来越重视，政府不断通过法律手段加强对非物质文化遗产的保护。尤其是2011年发布的《中国人民共和国非物质文化遗产法》中将非物质文化遗产定义为是指各族人民世代相传并视为其文化遗产组成部分的各种传统文化表现方式，以及与传统文化表现方式相关的实物和场所。其中包括了传统口头文学以及作为其载体的语言，传统美术、书法、音乐、舞蹈、戏剧、曲艺和杂技，传统技艺、医药和历法，传统礼仪、节庆等民俗，传统体育和游艺，其他非物质文化遗产共6个类型。这标志着中国的非物质文化遗产保护进入了新的阶段。在这一过程中，无论是党和政府，社会团体还是高等院校，都为保护和传承中国非物质文化遗产作出了不懈努力。

目前，新媒体时代的到来和AR、VR、MR等新技术的开发与使用，为非物质文化遗产保护和推广提供了新的形式，为非物质文化遗产可持续性发展奠定了更巩固的基础。

1.2 非物质文化遗产保护和传承存在的问题

1.2.1 传承人存在的问题

非物质文化遗产作为一种口传心授的文化，其技艺的获得需要长期的学习，因此传承人的成长也需要时间的积累。大部分非物质文化遗产受其自身特性的局限，无法为传承人带来直观的经济收入，导致一部分年富力强的传承人可能因为经济的贫乏与生活的困顿，为了生计不得不改辕易辙。并且信息化高速发展和现代科技不断进步，对传统观念造成了巨大的冲击，也促使年轻人的审美要求发生变化，他们更喜欢接触新鲜事物，站在时代的浪尖上。如此一来，许多年事已高的活态传承人面临着无徒可教的状况，传承人也面临着断层、青黄不接、后继乏人的窘迫局面。

1.2.2 保护存在的问题

纵观国内非物质文化遗产保护的现状，发现仍有许多的非物质文化遗产停留在摄影摄像、采访、记录、录音等传统的保护方式。但随着时间的推移，逐步出现了书籍霉变、录音带老化、录像带衰退、照片褪色等问题，导致记录的非物质文化遗产信息出现差错，失去了完整性和真实性，并且数据的长期保存和使用也出现了很多困难。

1.2.3 推广的问题

现今国内非物质文化遗产的推广和展示的常态是把介绍非遗的视频放在网上，图片和文字印在纸上，制作的产品放置于博物馆或展览馆，而其中最具代表性，也被广泛使用的就是通过各地民俗博物馆对非物质文化遗产进行展示。通过博物馆举办的展览还成为了吸引参观者，促进旅游业的重要资源和措施。尽管如此，由于非物质文化遗产本身的活态性及其成为展示品的复杂性，使其在展示中存在着可视性上的局限。并且传统的博物馆展示方式以图文说明展板和实物展示等静态方式为主，这无法准确、生动、多层面地表现非物质文化遗产的核心文化价值，难以引起参观者的共鸣，导致非遗知识的传递方式生硬化、片段化和图像化。随着中国数字化技术发展和革新，博物馆以官方网站、微信公众号、微博为核心，采用视频、音频、图片、文字的记录及其匹配的展示方式。这种基础的数字化展示方式的功能主要是以介绍和记录为主，因此依然不能让用户得到沉浸式和交互式的体验。

1.2.4 教育存在的问题

非物质文化遗产教育，不仅是对流淌着祖先血脉的活态非物质文化遗产的认知过程，也是一个民族文化的整合过程。教育是将人类历史发展中所积累的文明进行保留、传播和再生产的主要途径，这种传递方式能使个人在有限的时间里了解浓缩的民族文明成果，从而提升民族文化素质，提高民族自尊心，推动民族文化不断发展。但是从实际情况来看，目前的非物质文化遗产的教育还处于传统教学模式，通常的授课使用较为单一的文字、图片以及相关视频等方式。特别是在工艺美术类的非物质文化遗产的教育中，部分非遗产品的制作过程非常繁杂，因此学生对于产品的体量关系、制作方法、空间形态以及材质的质感等信息只有理性上的认识，缺乏感性上的认知。同时，非物质文化遗产都各具特色，并在思想、艺术、历史文化方面都具有重要意义，只用单一的文字图片或视频都是无法进行阐述的。

2 混合现实技术的理论研究

2.1 混合现实技术的概念

混合现实（Mixed Reality）的概念是被誉为“智能硬件之父”的多伦多大学（University of Toronto）的MANN S教授提出的，并称之为“介导现实”。他将混合现实技术定义为是增强现实技术的延伸，是虚拟现实技术的发展。通过计算机图形技术和可视化技术生成真实环境中不存在的虚拟对象，并通过传感器技术将虚拟对象叠加到真实环境中。

混合现实技术将实际环境和虚拟物体在同一画面或空间实时显示，用户可通过显示装置看到具有实际感觉效果的新环境。其包括了增强现实（Augmented Reality，AR）和虚拟现实（Virtual Reality，VR）在内，结合物理世界和数字世界的新的视觉化环境，在这种新的视觉环境中，物理信息和数字信息共存，实时互动，提高用户境界的现实感，为用户提供良好的对话环境。

本文总结了混合现实、增强现实、虚拟现实之间的差异，如表1所示。

虚拟现实（VR）是利用VR设备模拟产生一个三维的虚拟空间，提供视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，但用户只能体验到虚拟世界，无法看到真实环境。增强现实（AR）是VR技术的延伸，能够将计算机生成的虚拟信息（物体、图片、视频、声音、系统提示信息等）叠加到真实场景中并与使用者实现互动。但是从表1中可以看出，无论是虚拟现实还是增强现实，都缺乏交互作用。而混合现实技术将两者融合，不仅能增强用户体验的真实感，还能给予用户良好的互动体验。

表1 混合现实、增强现实、虚拟现实的区别

2.2 混合现实技术的特点

2.2.1 实时互动性

混合现实的实时交互性得益于混合现实技术的感知技术及传感系统，通过用户的手部、眼部及耳朵实时提供信息反馈，包括画面的变化，震动、视觉、音效反馈，实现与当前场景匹配的虚拟环境。这也意味着用户可以在虚拟场景中操控角色，并以现实生活中熟悉的的方式改变方向、属性或当前行为状态。

2.2.2 真实性

混合现实技术是将虚拟对象融入到真实环境中或者将真实对象融入到虚拟环境中，为现实世界、虚拟世界和使用者之间搭起一个交互反馈的信息回路，即可以让使用者在虚拟世界中感受到现实世界的存在，从而增强用户体验的真实感。

2.2.3 数字化的传输与存储

混合现实技术可以采集到现实世界中所有的信息，并可以将收集的信息高速存储在云端，便于用户对信息进行数字化分解与重构。在非物质文化遗产领域，混合现实技术通过处理将收集到的材料转换成数字化形式，并基于现实世界具现原有材料的内容。

2.3 混合现实系统的构成

目前主要的混合现实系统由虚拟场景生成器、头盔式显示器、体现使用者视线追踪观察的头部姿态追踪装置、用户位置确认装置及将虚拟场景与真实场景对应的交互式装置组成。虚拟场景生成器负责虚拟场面的建模、管理、绘图及其他外设管理，头部姿态追踪装置跟踪用户视线变化，实现用户的观察坐标系和虚拟场面的坐标系之间的匹配。交互式装置可实现感官信号及环境控制动作信号的输入输出。

目前市场上的头盔式显示器主要分为全息设备和沉浸式设备2种类型，全息设备中最典型的产品就是Microsoft HoloLens 2。其主要特点就是通过半透明的显示屏让使用者可以看到真实的环境，并且计算机会将生成后的图像叠加在使用者的视野中，可以应用于查找联系人、地上玩游戏、墙上获取信息和视频通话等。而沉浸式设备中最具代表性的产品就是Samsung HMD Odyssey+，与全息设备不同的是，它无法让使用者直接看到真实的环境，而是通过显示屏上的摄像头采集周围环境图像，然后使用图像处理器合并成虚拟图像反馈给使用者。

3 混合现实技术在非物质文化遗产保护和传承中的应用及优势

首先，随着国际社会对人类非物质文化遗产的日益重视，博物馆在推广和展示非物质文化遗产中扮演的角色和起到的作用受到了越来越多的关注。同时，随着数字技术的不断开发和普及，世界各国的博物馆都开始积极地运用虚拟技术。其中，混合现实技术作为当下虚拟技术的中枢，通过集成三维实景建模技术和计算机影像信息的实时叠加科技手段等，搭建可视化的非遗展示平台，让观众体验到了在以往博物馆直观静态的展示方式中所无法感受到的真实感和沉浸感。具体的应用主要有：①通过下载非遗相关的3D模型库和实际图像数据，结合搭载混合现实技术的全息设备进行画面输出和场景复原，将非遗的知识、概念和技术进行真实再现，让观众身临其境地进行实时互动，从而提供沉浸式的视听体验和互动体验。例如，上海嘉定竹刻博物馆通过精准模型的数字化提取，结合混合现实技术将竹刻的制作过程实现可视化。并且，观众也可以一同参与到制作中，提升观众的学习兴趣并加深对嘉定竹刻文化的了解。②博物馆内传统的非物质文化遗产修复方式需要投入大量的人力和物力，效率比较低，并存在对展品的损坏等问题。而利用混合现实技术和高速三维扫描设备，可以快速构建需要修复的展品的详细立体影像。并通过精确的定量分析，构建3D数据库、保存多种空间关系，为相关工作人员确定最佳修复方式或保护方案提供直观的依据。这对于不可移动的非物质文化遗产展品有着特别重要的作用。

其次，教育传承是目前最佳的非物质文化遗产保护形式。随着新媒体时代的到来，人们获得了更广泛的渠道来接收信息和接受教育，并且在以往的人才培养和教学模式中也引入了全新的授课形式，促进了传统教育模式的改革。其中，结合了混合现实技术的教育模式有助于学生们全方位、立体化、多角度地解读非物质文化遗产，从而能更好地保护和推广非遗文化。具体内容如下（混合现实设备以Microsoft HoloLens 2为例）：混合现实技术通过传感器和摄像机可以扫描非物质文化遗产的相关内容，并通过内置的CPU对扫描的内容进行数字化与虚拟化信息处理。学生可以通过云端随时提取处理后的数字化虚拟资源，且所有的资源都可以反复利用，降低了非遗的教育成本。而其中的文字、影像、三维模型、语音解说等数字化虚拟资源，可以解决传统授课中部分制作工艺极其复杂的产品难以解释的问题。

混合现实技术能够实现丰富的交互式反馈，不仅使学生可以与周围环境自然地互动，创造沉浸式学习体验，从而充分提升学生在周围环境中的主观能动性和自主性，还可以使学生和数字化虚拟资源进行互动，提升其对非物质文化遗产特征的认识，更好地理解非物质文化遗产所想表达的思想、艺术内涵和历史文化。

混合现实设备中的摄影机与传感器内置了手动追踪和眼动追踪，配合上空间地图技术，使学生能够运用肢体动作和各种虚拟3D工具在不同的非遗场景中有真实的体验（例如制作唐三彩等），从而提高思维能力和实践能力，为学生提供主动探索和交流的机会。

混合现实技术中的全息投影技术，可以将身处异地的教师与学生，以全息形象同时出现在同一个虚拟环境中。教师可以进行演示与添加注释等在线操作，并通过本地子系统显示在学生用户界面投影上。这给广大教育机构带来了全新的远程化教学方式。

最后，中国非物质文化遗产的数量较多，分布广泛，政府给予的专项保护资金也较为有限，并且目前非物质文化遗产的整体市场略显低迷，这导致非遗传承人出现断层等问题。基于此，各地区的非遗保护单位及相关部门可以运用混合现实等现代科学技术，结合当地的非遗文化特色，创造具有吸引力和趣味性的互动体验式的地域特色文化服务。再通过当前主流的电商平台及社交平台进行宣传和运营，将衍生出的文化产品进行销售。这样不仅可以缓解专项保护资金不足的问题，又能促进遗产地经济的发展，满足非物质文化遗产传承人的经济需求，吸引更多的年轻人参与到保护和传承非遗的队伍中来，从而促进中国技术、文化和经济的共荣发展。

4 结论与展望

随着数字技术和信息技术等现代科技不断发展，中国现代化步伐不断加快，原本赖以生存的生态空间面临更多风险，非物质文化遗产保护和传承面临众多挑战，因此，合理运用现代科学技术对非物质文化遗产进行保护已是必然趋势。其中，虚拟现实作为当前科学技术的核心，克服了虚拟现实的技术限制，具有最大化现实感和沉浸感的优点。混合现实（Mixed Reality，MR）具有克服虚拟现实的技术局限，增强现实内容中可能出现的现实和虚拟的异质感，通过与虚拟现实技术的相互联动，最大化现实感的优点。因此，将混合现实技术应用在非物质文化遗产的保护和传承上，能有效促进非遗文化的展示和传播，提升非遗文化的体验感，并增加非遗文化的经济规模，让更多的人主动参与到非物质文化遗产的保护和传承中。相信今后随着混合现实技术的发展和设备的普及，非物质文化遗产的内容不仅可以在博物馆或学校实现数字化展示，还能以更便捷的方式在观众和非物质文化遗产之间实现高效的双向良性互动，最终促进非物质文化遗产及相关产业繁荣发展。