虚拟时代容积影像技术对非遗数字化影响

伍超逸 何泳葶

1.太原工业学院；2.太原理工大学

数字化手段是文化遗产保护开发的一种重要方式，数字化创作如今迎来了与虚拟技术相结合的时代。在过去的文化遗产类数字化创作中，以三维扫描技术和虚拟技术为主的数字化手段多是与有形的物质文化遗产相结合，对戏曲、舞蹈等非物质文化遗产的动态过程记录手段还有不足。容积影像技术作为一项新兴技术，使对非遗的动态过程进行三维扫描记录成为可能，文章以容积影像技术近年所取得的科技成果，与现有动作捕捉、全景影像技术比较。从数据采集、设计创作、交互构建等方面分析容积影像技术在非遗数字化领域有着怎样的优势，将对非遗文化数字化创作设计产生哪些新的影响。

文化遗产数字化在过去的30多年获得了长足发展，1992年，联合国教科文组织推出了“世界的技艺”项目，推动用现代化技术促进文化遗产发展，使得公众能更好地享有文化遗产。此后，众多国家都推出了自己的文化遗产数字化计划，我国也分别在1998年、2000年先后推出了“敦煌数字化虚拟洞窟”“故宫文化遗产数字化应用研究”两项计划。随着信息技术的发展，三维扫描技术、虚拟现实（VR）、增强现实（AR）、混合现实（MR）、扩展现实（XR）等技术相继推出，为文化遗产的数字化工作开创了新的途径。

在容积摄影技术出现以前，高度发展的虚拟技术多是与有形的物质文化遗产相结合，受限于非物质文化遗产“无形”的特殊性，非遗的采集、创作工作有着较大的困难。尤其是戏曲、舞蹈、武术等动态文化遗产的采集。早期我们以图片、影像、音频的方式作为记录方式。后期使用动作捕捉技术（以下简称“动补”）和全景相机拍摄720°影像两种方式与虚拟技术相结合，非遗文化才以新的虚拟展示方式呈现在观众眼前。然而这两种方式仍有缺陷，限制了非遗文化在虚拟现实领域进一步探索。而容积影像技术的出现，成为了非遗文化踏上虚拟技术快车的有力武器。

1 什么是容积影像

文化遗产的数字化展示不论是与常见的VR、AR技术相结合，还是与现如今飞速发展的MR、XR技术结合，一个重要条件就是可以对文化遗产主体进行三维模型的重建，只有重建了三维模型，才能与各类虚拟现实技术进行结合创作。

在物质文化遗产的数字化领域，三维扫描重建技术已经发展十分完善，针对不同类型文物，激光扫描、图像扫描、光栅扫描、CT扫描等技术各显其能，都可以较好完成各类文物的三维模型重建工作。扫描重建技术的出现摒弃了手动建模的困扰，高度还原了文物本身形制样貌，提高了工作效率。而在非物质文化遗产领域，其文化主体是传承人，针对动态的人物进行三维重建，上述提及的几种扫描技术都难以胜任这项工作。容积影像的出现，成为解决动态人物三维扫描、模型重建两个难题的利器。

容积影像技术，是针对三维人体重建（3D Human Body Reconstruction， 3DHBR）而研发的技术。该系统利用多台高分辨率的摄像机，对被摄人物形成环绕包围拍摄，人物在拍摄期间可以进行任意动作，通过360°的信息捕捉，采集被摄体各个视角的深度信息，再通过算法，对深度信息进行计算融合后形成单一的点云，最后经过针对容积数据研发的网格划分和网格缩减等一系列运算处理，形成带有人物动态信息的模型动画。

容积影像技术的出现较好解决了人物动态模型的重建工作，这项技术在全球兴起了新的热潮，早在2018年，微软公司就在好莱坞成立了自己的“混合现实捕捉工作室”，进行人物动态捕捉研究；2021年，微软联手Avatar Dimension工作室，进行容积影像技术研发推广。众多科研机构都对该项技术投入了研究精力，比较知名的有位于洛杉矶的8i公司、旧金山的Uncorporeal Systems公司、法国的4D Views公司，这些公司都在容积影像领域取得了可观进展。比如法国4D Views公司，就推出了可在移动手机端用AR方式展示人物三维动画的App应用，如图1所示。用户只需要手机就可以从各个角度观看人物的三维动画，进行一次深度浏览。

图1 4D Views公司推出的App应用Fig.1 App launched by 4D Views

2022年2月，全球知名篮球联盟NBA开展了全明星赛活动，在这届全明星赛场上，主办方就利用“容积影像”技术进行了VR直播，如图2所示，整个球场环绕布置了110个相机，每个相机都可以独立移动、互相配合，对球场上比赛进行无死角的捕捉，数据经过快速处理形成3D模型，众多球迷通过VR设备，“身临其境”观看了一场无死角的全明星球赛，成了场上的“第十一位球员”。虽然直播中的模型质感还比较粗略，不时有一些“穿模”现象（人物模型之间发生穿插、粘连），但容积影像技术，仍为了观众带来一场震撼的视觉体验，让大家看到了容积影像技术与虚拟技术在未来结合的无限可能。

图2 NBA利用容积影像进行VR直播Fig.2 NBA uses volumetric image for VR live broadcast

2 容积影像优势

信息技术的迭代发展，不仅改变了人们对信息的接收处理方式，同时也改变了文化传承的创新路径，我国非物质文化遗产保护工作，从文字记录，到录音、录像、再到动作捕捉、全景影像等技术手段，为我们留下了宝贵的档案和数据。但是这些技术对非遗的传承保护和推广，仍有一定的局限性。本节主要论述，容积影像技术对比之前的数字化技术手段，所具有的独特优势。

2.1 详实的记录内容

从2007年-2012年，文化部相继公布了四批国家级非物质文化遗产的名录，共计1986种，对已认定的代表性传承人，提供传习场所，资助传习活动，并加大宣传力度，建档立库，积极支持传承人开展传习活动，进一步加强了我国对非遗文化的保护力度，同时也明确了非物质文化的主体并不是这些技艺产出的相关物体，而是在传承人和他们的技艺本身。这就要求我们非遗数字化工作要立足于技艺的记录保存，以传承人为核心来实施数字化工作。

过去的影像技术，对传承人的细节和动作记录十分局限，动作捕捉技术亦如此。在一定的设备成本下，面对一些戏曲、舞蹈、武术等非遗文化时，对面部表情、衣服动作、指节动作都记录不够全面。作为以保护传承为目的的数字化采集，在面临教学推广需要时，仅靠文字、影像、动补技术采集的数据就难以胜任。

而容积影像技术的采集方式是360°全方位数字采集，对微小细节，如表情、衣饰也能精确采集。经过处理后，非遗学习者可以在虚拟引擎中进行全方位观摩学习。另一方面，许多非遗文化的传承人在表演时还需要特定的道具和服饰，如傩戏、锣鼓杂戏、皮影戏等，道具服饰本身也是非遗文化的一部分。如果利用动补技术采集，不仅难以记录道具动态，穿戴式动补设备也限制表演者的发挥。容积影像采集则不存在这样问题，道具动态在环绕四周的高精度摄像机下会被一并采集，而表演者也不需要穿戴任何设备，轻松自如地进行表演。

2.2 简洁的处理流程

容积影像技术相较动作捕捉技术，省略了大部分流程步骤。一般动补技术采集的数据只有三维动态骨骼数据，还需要手动建模、蒙皮、纹理贴图等一系列流程。这些工作不仅繁琐，而且手动制作的模型和贴图受三维工作人员技术水平影响较大，难以做到真实还原。而容积影像可以对非遗表演者的外观模型和表面纹理进行一并采集，直接生成高还原度模型，在没有牺牲数据真实性的情况下，还省略了流程步骤，提高了数字化工作的效率。同时，容积影像数据具有良好兼容性，可以适用于多类交互引擎。

2.3 真实的交互体验

相比全景相机的采集数据，容积影像可以实现更加真实的交互体验，在容积影像技术出现之前，已有许多全景相机真人实拍的VR类影视作品进入观众视野，早在2015年，VR设备厂商Oculus就联合NBA球星詹姆斯发布了一部12分钟VR类电影，名为《Striving for Greatness（追求伟大）》，记录了詹姆斯平时的训练生活，如图3所示。同年，国内VR公司兰亭数字也推出了一部12分钟的VR电影《活到最后》，这两部影片都属于VR电影的早期尝试。从性质上来说，这些早期VR电影更像是720°全景视频，观众通过头戴式设备可以拥有720°的视角，但只限于控制头部视觉的旋转角度，无法自由地行走，即3Dof（操纵自由度）视角。这类型VR电影，更像是在观众四周搭建了一个“全景幕布”，将观众包裹在内。演员与观众之间并没有打破所谓的“第四面墙”，观众看到的演员画面，仍然是存在于“幕布”之中的。而经过容积影像技术采集生成的是带有“体积”的演员模型和场景模型，经过虚拟引擎处理后，观众可以看到真实的“演员”模型，除了头部视觉旋转，还可以移动行走，实现6Dof视角，真正融入表演者之中，实现沉浸式观看。容积影像实现了真人表演的虚拟交互体验，2019年，英特尔公司和派拉蒙电影公司就利用容积影像技术，将经典电影《Grease》中的舞蹈场景进行了重现，观众可以通过AR的形式，沉浸式体验这场“真人舞蹈秀”，如图4所示。

图3 全景VR电影《Striving for Greatness》Fig.3 Panoramic VR film "Striving for Greatness"

图4 容积数据采集《Grease》中的舞蹈Fig.4 Volume data collection dance in "Grease"

针对后期的交互设计软件，容积影像数据也具有广泛的兼容性，随着摄像机追踪技术、实时渲染技术的发展，虚拟技术逐步由VR、AR向体验更加真实的MR和XR发展，这些对三维模型的真实性有极高要求，而全景摄像机拍摄的720°全景画面是无法满足这些要求的。

3 容积影像对非遗数字化的影像

容积影像的出现，为我们带来非物质文化与科技融合的新契机，使非遗文化在现实环境下得以创新发展，本节详述容积影像技术将对非物质文化遗产的数字化设计带来哪些新的影响。

3.1 自由的创作维度

非物质文化遗产的特点在于其独特的精神内涵、文化体系和表演艺术，它的存在和表现方式是活态的，是在历史中不断发展变化的。非物质文化遗产的价值除了其优秀的艺术表现性，也在于其经历岁月后的历史痕迹，容积影像良好的兼容性为非遗数字化提供了更加自由地创作维度。容积影像技术与虚拟技术相结合，不仅能还原非遗文化的真实表现，还可以在此基础上通过技术手段模拟演绎已经消散的非遗历史痕迹，并根据现实环境和人们的预计设计出非遗文化发展的新方向。呈现给观众的不再是简单的艺术表演，而是具有时空痕迹的历史传承。打破了非遗文化艺术表演和传承发展之间的隔离，唤起观众对非遗文化更深层的思考和感知。更加自由地创作维度打破了时间和空间对创作者的限制，让创作者可以将更多的精神内涵融入其中。

3.2 弱化的视线引导

在过去多数非遗相关的设计作品中，观众与表演者之间存在着所谓的“第四堵墙”，观众脱离于幕布之外，创作者通过各种技巧方式引导观众的目光，镜头运动、画面景别、摄影焦点时刻在暗示着观众视线。即使在720°全景VR电影中，观众获得了旋转头部的视线自由，但表演还是线性发展的，观众的视角空间仍是被锁定的。而以容积影像为基础的虚拟展示技术出现，改变了非遗文化传统的讲述方式，让观众沉浸式感悟非遗文化表演。容积影像采集了表演空间，虚拟技术将观众带入了这个空间之中，“空间”中观众的视角和行动都是自由、可延伸的。非遗文化有了更强的可视性和被理解性，每个观众根据自身的爱好、性格选择视角，带来多样化的体验。传统的非遗作品依赖于被动的移情范式，而容积影像技术提供了一种新的主动移情模式。这种主动移情模式弱化了创作者对观众视线的引导，但并不是让创作者放弃引导。对于作品思想主旨、精神内涵的发掘还是需要创作者为观众提供暗示，这就要求创作者用更加巧妙的方式为观众提供引导，用更加频繁的交互对话模式来影响提升作品观感。

3.3 频繁的对话模式

容积影像与虚拟技术相结合的表演不应只是单纯的“情景再现”和“现实还原”，创作者应巧妙地设计作品与观众的“对话”，利用交互手段，让观者可以拥有对作品解读的“说明书”。虚拟表演为观众提供了主动移情式的解读模式，而观众则可以利用精心设计的“说明书”去解读、发掘作品背后的精神内涵。

以主动移情为模式的“沉浸”表演不是虚拟技术的专属，英国剧团Punchdrunk在2000年就开始了传统舞台戏剧沉浸式表演的尝试，这部剧团创作了众多沉浸式戏剧作品，其中最著名当属《Sleep No More》这部戏剧。表演发生在一个有5层楼空间的复古酒吧里，里面分布了近百个房间和场景。20多个演员分散在这些场景中各自演绎自己的故事，观众入场后置身于这个空间之中，自由选择观看故事的发展和演员的表演，上百个故事线可以为观众带来不同的体验。

但单一的“沉浸式”表演也会带来新的问题，不管是现实世界还是虚拟世界，作品的篇幅和时长都是有限的，观众习惯用线性的方式去感知表演，当进入沉浸式表演空间之后，会失去对故事的把控。自由的视角带来更加丰富的观感，同时也让观众在选择中错失某些重要情节。观众在这个表演空间里，获得的信息是碎片化的。在容积影像打造的虚拟空间中更是如此，观众在“空间”中自由穿梭，演员和场景、道具都不会阻止观众移动，更加自由的视角选择造成了更加驳杂的信息，而这样的表演是难以给予观众启迪的，对于以弘扬推广非遗文化为目的的创作设计是不成功的。针对这个问题的解决方式，就是创作者要创造更加频繁的交互对话。

在虚拟展示空间中，除了展示表演者的动态表演以外，创作者也要学会利用文字、声音、动态指示、交互操作等方法，加强对观众的暗示引导，将“碎片化”的信息整合起来。在虚拟世界中，观众是可以独享整个表演空间的，因此可以设计让观众将成为“虚拟剧场”中的“聚光灯”，由观众选择触发表演，整个空间中的表演都围绕着观众展开。比如一些非遗戏曲的“虚拟展示”，观众可以单独触发自己感兴趣的表演区间，让一个或几个演员单独对白表演，在配合以多种交互方式，获得全面广泛的作品解读。

3.4 密切的人、物联系

非物质文化遗产的存在和表现是活态的，它的传承是技术、知识、文化、风俗等非物态的传承。其绵延赓续的主体是“传承人”，但另一方面，非物质文化遗产的呈现往往需要借助物质形态，传承人的生活空间、生产工具、产品实物都是非遗文化的一种呈现载体，非物质文化与物质文化之间，是一种相互依存的关系。即使是戏剧、舞蹈等以动态表演为主的非遗文化，其服饰、道具的生产、制作过程也是非遗文化里不可或缺的一部分。

容积影像技术对物质生产过程的记录让人与物之间的结合变得更加紧密，观众甚至可以代入表演者的第一视角。以非遗传承人的角度去欣赏物质资料的创造过程，这项技术带来的不仅仅是观感上的改变，还有虚拟展示有向教育工具转变的潜力。学习者可以通过表演者视角对非遗文化进行学习，配合非遗文化详尽的记录内容，让非遗文化跨空间、时间传承成为可能。这也促使非遗数字化设计者们更加关注非遗“人”与“物”的结合视角。

4 小结

容积影像技术与虚拟技术的结合为非遗文化传播开创了一种新的媒体方式，虽然这些技术还有一些缺陷，如数据量大、算力要求高、设备成本高等，但容积影像技术在动态表演的数字化领域仍有着巨大优势和潜力，随着信息技术的发展，这项技术将为非遗的数字化保护与传播开辟新方向。文化媒介的改变，是为了让文化的内容更容易为当代观众所接受，这种媒介的改变让新媒体作品也成为非遗文化的一部分得以留存。当然，任何一种新媒介方式产生都会对原有文化产生差异解读，作为非遗文化作品创作者和设计者，应积极思考，如何在保留非遗文化的完整性、艺术性的基础上，积极与新技术、新潮流进行融合，更好地适应时代发展。只有这样，才能让非遗文化获得多样性、创新性的长期发展，绵延赓续。