音视频新技术与文旅的融合及创新应用

魏增来

（中国传媒大学音乐与录音艺术学院，北京 100024）

1 音视频技术与文旅演艺的关系

文旅演艺的本质是体验，体验的主要感知手段是视觉和听觉，与之相对应的学科即为现代电子技术中的音视频技术。因此，音视频技术在文旅演艺领域得到越来越多的应用，发挥着越来越大的作用。

良好的文旅演艺体验在于真实重现和让人感到“真实”的虚拟创造，或者是两者的适度结合。两者的区别在于，一个确实存在于现实世界中，人类的既往感知有过类似的经验，可以在情绪中产生映射，只是感知的时空发生了转换而已；另外一个则不存在于现实世界，以写意手法仿效或创造视觉听觉的象征，让人类通过联觉或通感体验到从未感知过的情景，这种情景可以具象，如太空外星人、恐龙世界，也可以抽象，如玉渊潭文旅项目“万物共生”里的五彩花径（如图1所示）等。但这两者在文旅应用中的相同点都是营造所谓“真实”，通过“包围感”、“沉浸感”和观演之间的有效“互动”，让观众产生“代入感”，从而“身临其境”、“心获其感”，由“共境”引发“共情”，使体验感升华。

除此之外，文旅演艺项目大都长期展演，在具体操作层面也有很多痛点难点。最显著的问题是技术手段越来越多，使用也越来越复杂，乱花渐欲迷人眼。如何化繁为简，让各类呈现手段“智慧”起来，避免犯错误、出问题，不影响正常展演，同时节省人力物力投入，才能实现更好的投入产出比。

图1 玉渊潭“万物共生”中的五彩花径

为满足上述这两大类需求，音视频技术需要与时俱进，创新发展，与具体文旅演艺场景下的应用需求形成相互支撑、相互促进、相互融合的局面，这也是任何事物进步的必然规律。实际的演化也是如此，音视频技术发展进一步推高了文旅演艺呈现能力和需求标准，而需求标准的提升又反过来促进了音视频技术的发展，两者形成了良好的正向互动循环。

2 相关音视频技术新进展

随着信息处理技术及网络技术的飞速发展，各类信息的实时处理能力得到前所未有的提升，音视频信息的处理能力也同样如此。之前具有一定理论基础，但受制于运算能力而无法得到实现和验证的技术当前很多都得以实现，虽然这些技术距离理想状态还有一定的差距或者瑕疵，但并不妨碍业界据此进行大量的尝试和探索。此类探索除了满足当前文旅领域的常规需要外，还逐步顺应上述文旅演艺呈现的需求，在“代入感”以及“智慧”两个方面，形成了一定的发展趋势，因此为相关呈现提供了更好的、也更易于使用的手段，让艺术家们可以在更高的层面上以更高的效率展开创意和应用。

严格来说，这种“代入”以及“智慧”是多方面结合的产物，也可以认为是多维度融合的共同成果。为了便于阐述，笔者依然分为音频、视频以及控制三大类别。

2.1 音频技术

音频技术方面，为了实现所谓“代入感”以及“智慧”，以下几种新技术尤为受关注，并有越来越多的应用。

2.1.1 沉浸式扩声技术

沉浸式扩声技术主要目的是为了重构声音元素，基于具体声源营造“真实”，以假乱真。文旅项目中通常以扬声器重放为主，小型项目也可能采用耳机进行重放。

扬声器重放方面，基于“对象（Object）”展开的沉浸声制作，现在基本上已成为业界共识，其底层理论基本可以归结如下。

· VBAP/DBAP/KNN等，以能量和距离等参量在不同扬声器之间的配比设定对象的空间数据。

· HOA，基于球谐函数分解在不同扬声器之间设定对象的空间数据。

· WFS，基于波场合成理论在不同扬声器之间设定对象的空间数据。

受制于扬声器空间布局、数量以及其本身电声学特性等多种因素，通常来说，单一的底层基础理论并不能较好地实现扬声器重放时的沉浸声效果。因此，目前商用的沉浸式系统大都采用多重底层理论相结合的方式来设定自身的算法，以在呈现效果、系统造价以及安装施工便捷度等方面取得较好的平衡。

因为沉浸式扩声具有更好的体验感，所以目前的商用市场，很多厂商已经推出了相应的产品并在国内外进行了诸多实际探索。例如，采用d&b Soundscape系统的音乐剧《新华报童》（见图2）、采用原WFS系统（现已更名为Holophonix）的《远去的恐龙》、采用L-Acoustic L-ISA系统的法国南特狂人国环形秀场（见图3）等；更值得一提的是，国内已有专业公司展开了这一方面的研发生产，并已提供了可以商用的产品，如深圳易科公司的ezAcoustic X-Core系统（见图4）。此前笔者曾多次撰文提出，鉴于基础理论的共同性以及DSP技术的共享性特征，国内通过音频算法的研发来追赶音频领域的世界先进水平可能是一条相对快捷的途径。虽然目前上述探索仍然存在着很多不足，但任何事务的发展规律均是如此，因此这些创新实践依然非常值得鼓励和肯定。

图2 音乐剧《新华报童》的沉浸式扩声系统

图3 采用L-ISA系统的法国南特狂人国环形秀场

图4 前期预混过程中的易科ezAcoustic X-Core系统

在耳机重放方面，其底层理论均基于双耳效应（Binaural），应用上更多地体现在头相关传递函数（HRTF）及其变化上，如个性化的头相关传递函数（PRTF）以及包含空间环境条件的头相关传递函数等。国内外公司在这方面均进行了很多探索尝试，包括英国DIGICO集团的Klang系统、中国上海费迪曼逊四维与外方合作的SVS系统等。

2.1.2 电子声学环境可变技术

电子声学环境可变技术主要目的是为了虚拟特定的声学环境，在空间感上营造“真实”。该技术是由原电子可变混响系统而来，受制于目前的技术发展，只能虚拟相对更为“活跃”的声学空间，最终将与上述沉浸式扩声技术融合，完成对声音情景主要要素的虚拟重构。其主要分为三大类。

（1）再生式系统

再生式系统，如MCR、CARMEN等，该类系统充分利用厅堂的固有扩散声能并予以反馈放大，最终效果能够充分保留厅堂固有的声学特征，但其回授前增益不好控制，因此，更适用于厅堂固有声学环境较为丰富的场所，且不建议设置过大的可变范围。

（2）回路嵌入式系统

回路嵌入式系统，以ACS、E-Coustic（LARES）以及VIVACE第一代等为主要代表，它们以声源的直达声为基础，通过优良的混响算法和强大的DSP处理能力，可以人为“合成”出一个声学空间，因此具有非常宽泛的调整范围和灵活多变的调整能力，能够获得较高的回授前增益，但它们引入了人工成分，与厅堂本身的相关性较差，因此，适用于相对不活跃（相对较“干”）且希望应用功能跨度很大的空间。图5即为采用E-Coustic系统的美国芝加哥千禧年公园户外音乐厅，通过可变声学环境系统将一个室外公园在一定程度上营造出了室内音乐厅的听感。

（3）混合再生式系统

混合再生式系统是再生式系统和回路嵌入式系两种系统的混合体，主要代表为AFC、Constellation（VRAS）以及VIVACE Ⅱ，它们所适用的厅堂范围更广，但需要更有针对性地设计及调试。

2.1.3 扬声器指向电子控制技术

在不改变扬声器物理角度的情况下，通过电子相控技术及波束形成技术，实现扬声器覆盖区域的调整，非常适用于文旅场景下观演区的灵活变化。

2.1.4 声场智能调试及优化技术

利用大数据以及信号检测技术进行声场的智能调试或自适应调试，优化声场效果，提高现场调试效率，提升系统的稳定性。

关于后续两类技术，笔者已多次在其他文章中予以介绍，不再赘述。

2.2 视频技术

对于视频方面，同样通过“沉浸”、“互动”以实现“代入感”，同时通过“智慧”以提高可操作性，目前主要有如下几种技术。

2.2.1 三维映射（3D Mapping）

三维映射通过对被投射物体的3D建模，以将显示内容准确映射其上，实现视觉效果与周围基础环境的有效融合，形成虚实结合的效果。图6为基于法国沙特尔市圣母大教堂而进行的外墙立体显示光影秀。

图6 法国沙特尔圣母大教堂三维映射光影秀

2.2.2 沉浸式空间

通过巨幅或多维度视觉呈现，在视觉上形成包围感；进一步融合观、演关系，加强“真实”体验下的代入感。图7为法国巴黎光之博物馆的沉浸式空间显示的实景照片。

图7 法国巴黎光之博物馆沉浸式空间显示展厅

2.2.3 特殊显示（水幕、纱幕、透明屏、网屏等）

利用虚拟呈现与现实场景的结合，增强视觉的纵深体验，实现与周围基础环境的融合，让虚拟内容更具“真实”感，并丰富呈现的变化。图8为唐山南湖公园云凤岛纱幕虚实结合的显示效果。

图8 唐山南湖公园云凤岛纱幕显示

2.2.4 裸眼3D

在平面显示媒介上，利用制作端相关技术，使显示内容呈现立体视觉的“真实”感。图9为曾被微信刷屏的成都太古里裸眼3D大屏显示效果。

图9 成都太古里裸眼3D大屏显示（本图片来自于网络）

2.3 控制技术

对于文旅演艺应用的音视频控制技术方面，其发展演化以更好地实现“互动”“智慧”为主，一方面提升观与演的关系，增加代入感，另一方面降低技术使用的操作难度，提高效率。目前具有代表性的主要技术如下。

图10 法国Modulo π PLAYER一体化Show Control控制界面示意图

图11 MERGING Ovation一体化Show Control控制界面示意图

2.3.1 追踪捕捉技术

追踪捕捉技术是通过GPS或射频定位等技术与音视频技术的结合，实时进行音视频信息的动态跟随，实现互动性，展现真实感。目前常见的商用产品如加拿大的BlackTrax系统、挪威TTA公司的Stagetracker Ⅱ系统等。

2.3.2 声光电融合一体化的Show Control总控技术

Show Control总控技术将演艺呈现的主要载体声光电系统进行有效整合，并按一定基准实现总体自动化控制，从而确保演艺呈现顺利进行，降低技术操作难度。图10和图11分别为法国Modulo π PLAYER和瑞士MERGING Ovation的一体化Show Control控制界面。

3 文旅演艺与音视频新技术的融合应用实践

视听是不可分割的，为了在体验中构建所谓“真实”，视听必须融合，共同完成对人类感知的映射。因此，在以体验为主的文旅演艺领域，“融合”成为关键词。

对文旅演艺呈现而言，融合应该是多维度的，既是艺术与技术的融合，也是技术与应用的融合。融合应用的核心目标是实现“沉浸”“互动”所体现出来的真实感和应用中的“智慧”度。那么，在这种融合之下，具体实现至少包括：呈现手段与现实环境的融合、呈现手段间的相互融合，以及演与观的融合。翻译成技术语言，前两者可以概括为“沉浸”，即通过与所处环境（或刻意营造的虚拟环境）相匹配的视觉听觉的统一，产生代入感，而后者可以概括为“互动”，通过互动，也会产生情景交融的代入感，实现“共情”。所以，这种“沉浸”和“互动”都是为了前文所谓的“身临其境”和“心获所感”。

《远去的恐龙》（图12）中，通过巨幅LED屏显示与舞美制作实景的虚实结合等方法，首先在视觉上形成较好的“沉浸”感；同时，通过原WFS沉浸式扩声系统，使观众在听觉上也形成较好的“沉浸”感，视声结合即可对观众形成较好的代入感；再通过机械恐龙与前排观众的互动，进一步加强这种代入感，从而让观众“真实地”感受到了虚拟的恐龙世界，以多种维度提升体验感。同时，通过Ovation一体化控制技术，统一协调声光电系统的演出进程，将原本复杂的操作进行简化，最大限度地避免失误。

图12 《远去的恐龙》剧照

同理，法国ECA2公司在中国兰州创作演出的 《盘古传奇》（见图13）中，特别强调了所谓沉浸（Immersive）概念，通过法国Modulo π视频综合服务器，在建筑结构上进行巨幅三维映射以及水幕显示，同时通过Modulo π声光电一体化控制技术，有机结合了机械、灯光、水特效、火特效等多种呈现手段，多维度的技术融合给现场1 500名观众带来了极具震撼力的感官体验和冲击感。

图13 《盘古传奇》现场演出图片

4 目前面对的问题

技术的发展永远没有尽头。当前，虽然音视频新技术在文旅演艺呈现中起到了很大帮助作用，但仍有大量问题有待业界思考并解决，主要问题如下。

（1）在呈现端，无论音频、视频，仍未真正解决“真实”的问题，即所还原的元素还是不太像。

（2）在呈现端，观演“交互”的程度依然很浅，观众参与度以及由此引发的代入感仍需提升。

（3）在控制端，人机交互界面仍然不够人性化，即还不是那么“智慧”，操作使用的便利度依然存在提升空间。

（4）音频、视频设备相对独立性过强，依然欠缺互相融合方面的深入思考。

（5）在实现端，鉴于文旅演艺应用场景通常具有广大的观演空间，因此分布式处理需求强烈，同时线缆衰减、敷设工作量等问题较为突出，如何更为快捷高效，如“全无线”方式等解决方案需不断思考改进。

（6）文旅演艺呈现高频次、长周期的应用特征对音视频系统的安全可靠性提出了严峻考验，所有设备都应在满足功能的情况下适应各种环境的需要。

无论怎样，科学和社会终将不断进步。音视频技术让文旅演艺的体验更加美好，让生活更加美好！