中国传统乐器在新媒体交互作品创作与表演中的应用——以新媒体影音作品《幻·翼》为例

韩金昊 / 杨万钧

引 言

中国传统乐器是中华音乐文化的重要载体，几千年的音乐文化所积淀留存的结晶造就了：“金石土革丝木匏竹”八类乐器，其中广为人知的“笙”属于“竹”类乐器。笙最早可以追溯先秦史书《世本》中的“女娲作笙簧，伏羲造琴瑟”，具有悠久的发展历史。据考证，笙在春秋战国时期最为鼎盛，这一时期笙既能参与管乐队的合奏又能单独演奏，在隋唐后期又逐渐演变出笙乐队的管乐齐奏。到了近代后，西洋乐器在国内被广泛接受，有着成熟的调性和声体系与完整音色规划的西洋管弦乐队涌入中国文化圈，挤压着中国传统乐器的地位。笙作为一件音色个性较强、频谱过于规律的民族乐器，在与多种乐器合奏时不易形成协和感，在规模化的乐队编制中错失了发展时机。但随着时代与技术发展，新媒体交互理念给了笙一个新的发展机会。笙的音色由于频谱分布规律，因此更容易调制出富有特色的声音。其音响具有高频的穿透力和中频的柔和感，在有着鲜明特征的新媒体电子音乐①中很适合作为交互对象。

本文将以笔者创作的新媒体交互作品《幻·翼》为例（2020 年纽约虚拟电子音乐节入围作品），阐述笙作为中国传统乐器如何参与到新媒体交互创作之中。

一、研究背景与目标

近些年新媒体交互作品在社会上初露尖角，愈来愈多的交互概念出现在各大展演作品中，从早期的音乐喷泉到近期的VR、AR，都有交互概念的体现。此类技术在国内国际受到极大的关注，但目前在国际上大部分的交互式作品或展演中使用的都是西洋乐器或噪声乐器，很少有中国本土传统乐器出现。因此笔者在创作中选用笙作为交互对象，结合实时编码技术，在实时影像生成软件和声音合成系统上创作，最终以新媒体音乐的形式为现代笙作品带来一个新的面貌。

自20 世纪以来，现代音乐、先锋实验派音乐逐渐兴起，其改造传统作曲技术并打破传统作曲理念的思想引起了全球的实验热潮。从早期的具体音乐、纯电子音乐到后期的计算机音乐及经电子手段处理的交互音乐，作曲技术的创新使得一些新颖的作曲思想与观念融入作曲家的创作中，作曲技术的进步使得生活中随处可见的声源都有可能改造出一个极具特点与内涵的声音，而新媒体音乐则是在此基础上综合了各种音乐与表现媒介的新兴音乐艺术。这种兼具有多种媒体艺术的音乐形式对于笙来说，是一个新的发展机遇。

笔者在本科阶段学习研究了能够实时编写声音信号合成代码的人机交互技术——Live Coding（实时编码）。该技术在进行实时声音合成时可同时收发MIDI 信息，在新媒体电子音乐中具有良好的表演性和兼容性。该技术与实时影像生成技术相结合，在表演时通过映射声音信号来实时生成影像，由表演者依据现场情况实时修改算法与程序，以达到音乐与多种媒体的有效融合。

二、实时声画交互技术在《幻·翼》创作与表演中的应用

（一）《幻·翼》的声音合成技术基础

Live Coding 原意是在现场表演实时编译代码来控制程序，在音乐作品中常用于在现场实时编写声音合成代码以实时生成音乐。该技术的一大亮点就是在现场实时公开编写的操作码②，并根据现场状况调整算法，以达到在表演中与观众互动的目的。

笔者在创作《幻·翼》时采用真实乐器作为声源，通过现场编写效果器链③来对声音进行处理，从而达到对音乐素材的巩固与发展。在对效果器链进行实时调整时，遵循步进或对置来表现作品的冲突感。该手法需要在编码过程中快速执行多个操作码并保持其在时间上的连贯性与稳定性，对此需要引入自定义函数以简化操作流程。用自定义函数封装大段的执行过程及算法，可以使其被字符量较少的变量④来调用，进而快速转换效果器类型及其调制参数。被自定义函数封装过的代码块可以在不同buffer 中以变量的方式调用，自定义函数中插入的临时变量可以将变化的参数传递到函数里，实时的对其控制和处理。在下例中可以使用变量f 对自定义函数test 进行参数调制，并执行输出a：

使用自定义函数可以实现用很少量的字符调动大段的代码，减轻在实时编写代码时的操作量。除此之外，将循环结构与算法结合后可以生成插值，增强在效果变化时的平滑感。例如要调整混响量（reverb）来产生由近到远的深度变化，需要将混响时间以对数变化的方式由短增加到长。此类对数变化在生成时可建立以下对数模型，通过输入集合a，函数test_exp 在1s 内自动生成10 个对数值va：

通过上例可以在可控范围内使效果的变化变得平滑，但效果器是有限制的，不可能完全替代乐器的演奏法，这时就需要一种交互方式可以让操作者与表演者进行单向沟通。在表演过程中，操作者与乐器表演者相互校准时钟是一件困难的事情，为了在调用代码块的同时又能明确传递给乐手段落时间信息，笔者在代码块设计中插入了MIDI 信息作为时间标记，用MIDI 信息触发段落标签并将该信息传递给演奏员，提示演奏员表演的进度。在Live coding 中编译MIDI 信息是一件很容易的事情，下例就是一个MIDI 信息的编译：

该组信息代表作品的一个段落，由e3 音高的触发代表段落开始，e3 音高的关闭代表段落结束。MIDI 信号作为一个段落的标记时可以在系统中可映射为指示灯事件，在进行交互时以不同颜色示意演奏员段落进行情况。

（作品《幻·翼》演出现场）

（二）《幻·翼》的声音设计

《幻·翼》全曲分为4 段，“起、雨、争、翔”四段对应“起、承、转、合”传统概念，同时融合西方曲式结构的对比并置和模仿级进。表演时采用现场表演和实时交互的综合呈现方式，使用电子技术对现场演奏的声音进行拾取变形，最后将声音信号按比例混合输出到调音台，实现声音的艺术化处理。

笔者在设计声音合成结构时采用实时编码的效果器链，实时对拾取的声音进行变形及调制。在声音处理时，笔者常用以下的嵌套方式实现效果器链的构成：

以上为《幻·翼》的效果架构之一，用嵌套的方法将echo 处理过的信号再经reverb 处理，从而在保证空间纵深感统一的前提下模糊声音的声像。此手法是模仿哈斯效应去模糊音效的声像，并根据效果器的排列和现场的听觉去控制参数，因此笔者在设计程序时留下许多变量，以方便在表演时进行修改。

上例是作品变量设计的基本思想之一，通过预留出足够的变量，得以在表演中实时对效果器的参量进行修改，对声音的深度进行调制。上例中mix: (b/c)*100即为一个简单的算式，通过预先计算出的干湿比范围给定可变化比例，用以维持信号输出的比例。

除此之外本作品还使用到诸如减法合成、粒子合成、效果切片等等技术，但由于篇幅限制不在此赘述。

（三）《幻·翼》的视觉设计

笔者在设计《幻·翼》这个主题之初就已对其表现的场景进行了简要的设计。在视觉形式上参考了中国水墨画意境与风格特点，以圆润交融的图形变化展现笙与新媒体艺术在内涵上的统一，以色彩对立展现出双方在形式上的对立，渲染出两者相辅相成但又相互独立的气氛。

《幻·翼》的视觉设计使用了实时影像生成系统“Magic”，该系统可以将声音通过算法转换成视觉影像。Magic 系统采用开放式排布设计，采用图形化编辑的界面，可以让作者通过连接功能模块和信号通路来处理信号流，并最终通过运算合成出影像。该系统中的每个功能模块都可设定与声音相映射的算法，这使得声音细节在与影像映射时变得更加易于对位并且更有逻辑性。

在该系统中笔者以基本几何图形为基础，使用动态捕捉、定帧、镜头移动切换等方式处理出各种渐变的影像，使其按照旋律的发展产生形态变化，根据频率的分布产生颜色变化。实时处理的方式同上文的实时声音处理一样，使用可控的算法设计每个效果器的变化方式和速度，用MIDI 信息校准声音与影像的时钟。

《幻·翼》视觉设计主要来源于声音素材的振幅与频率变化，这些变化的原始数据通常不能直接驱动从而形成良好的视觉感受，因此必须要使用特定算法对其进行调控。以效果器“RGBA”为例，该模块可对其上游音频数据的RGBA 通道信息进行算法控制，其R、G、B、A四个参数分别可添加独立算法，使其针对声音的不同层次进行独立映射与变化。在该效果器设计映射笔者常加入了“hold”算法对其进行保持和稳定，使其能够流畅变化而不杂乱，同时使用“scale”参数对其值域进行缩放控制，以获得足够的对比度。

（作品《幻·翼》中的视觉色彩层设计片段）

在整体视觉效果设计时笔者仍然按照链状进行嵌套，即第二顺位效果是嵌套在第一个效果之中的，以此连接形成一个效果链。该种效果链的模式在视觉生成方面极大的简化了数据联动的模型，使得效果器之间不需要添加单独线程进行控制。

Magic 在进行声音映射时可以选择信号源，即可让一个效果参数在不同信号源间切换，或让同一信号源映射多个效果参数。《幻·翼》这个作品是笔者在传统乐器与新媒体交互音乐中的初次尝试，因此在映射参数时采用了声音的分层映射，在作品的部分段落中由多层声音综合映射。在分层映射中，多组声音数据分别控制影像的多组算法，进而分割影像的变化方式，表现出既综合又分离、既统一又独立的矛盾感，加深其艺术化的表现特征，深化其电子音乐与传统乐器在内容上统一但形式上对立的本质。

结 语

作品《幻·翼》是笔者首次尝试结合中国传统乐器和新媒体技术，运用现代作曲技术所创作的实时音乐交互作品，旨在结合多种媒体制作平台和宿主、协同多系统创作、测试并建立各个系统间的接口。此作品在创作时通过和乐手的协调与配合得以获得更好的音色，并寻找笙在现代技术下的各种创作可能性，以增强对现代音色的感知能力与审美能力。

经过测试与调整，《幻·翼》所使用的“声—画—控”三端合成系统可以长期使用并移植到其他作品上。该系统以实时的声音信号合成与视觉材料生成为主，兼顾算法与手动控制，在创作其他作品时只需调整算法框架即可快速应用。其控制端采用的实时编码控制方式可以兼容预制生成和现场创作，既可以现场拾音也可以实时合成信号，在作品创作上提供了多种可能性。

（作品《幻·翼》中的信号逻辑图）

此次对乐器与新媒体系统交互的研究拓展了笔者对于新媒体艺术形态的视野，获得了更多对于音乐与视觉方面的实践经验，并建立一套可持续改进与发展的系统。笔者所建立的系统利用软件间的传输协议在声音与画面交互方面构建了交互接口，以简单的控制方法控制作品效果，不过还存在很多问题。目前技术所支持声音信号在软件中的解析能力太小，仅能解析出少量数值组，虽然软件提供了多种算法，但依然不足以展现作品表现力，在未来的调试与开发中仍需要寻找能够深度解析声音的工具。视觉信号在生成时声音信号虽然能起到调控作用，但对音频信号的变化的阈值过于固定，使得视觉素材变化过快，在一般创作中需要使用算法对其进行限制，不能充分发挥其作用。这些缺陷将在未来的研究中逐步分析并解决，以创作出有更好兼容性的新媒体创作系统。

注释：

① 新媒体艺术是一种以光学媒介和电子媒介为基本语言的新艺术学科门类。新媒体电子音乐是其属下一音乐特化分支学科。

② 操作码为计算机语言中所规定执行命令的部分指令或字段。

③ 在声音合成中，效果器呈链状首尾相接的一种排布方法。

④ 变量是计算机语言中能储存计算结果或能表示值的抽象概念。