多元共“声”

2023 年首届杭州国际电子音乐节以“元点”为主题，标志初始，昭示新生。这场音乐盛会从立足经典传承到瞄准产业应用， 再到探索科技前沿，以开放的学术姿态和全方位的行业视角成功构建了一个电子音乐艺术创作与音乐科技研发的交流平台。在音乐节的九场音乐会中，上演了七部由中国青年艺术家创作于2022 至2023 年间的交互音乐作品：马仕骅的《初生》———交互式视听电子音乐演出（2023），王驰的《缘源元》———为四个数据驱动乐器和电子音乐而作（2023），吴文钊的《炼金术》———为红外传感器、 灯光与电子音乐而作（2023），林舒瑜的《蝶之梦·梦之蝶》———为实时电子音乐与机械装置而作（2022），《自由落体》———现场数字驱动交互电子音乐（2022），万方、曾紫乔的《宋韵·运河诗路》———新 媒 体 实 时 音 画 交 互 电 子 音乐（2023），冯金硕、孙华的《客厅戏剧》———交互音乐场景表演（2023）。这些作品突破了传统音乐基于器乐或人声表演媒介与形式， 利用不同的交互系统，创新音乐表演媒介，为作品定制个性化的表演行为与方案。七部作品的创作者是近年来中国音乐新媒体艺术的新生力量，有着敏锐的艺术洞察力与开拓的创新精神。在他们的创作中，传统音乐思维与当代跨媒介艺术语言相互渗透；不同艺术形式之间跨界协作；音乐艺术与现代科技联通交融，体现出了前卫、实验、革新的创作意识。

一、交互装置的多元

交互音乐在表演主体与媒介上颠覆了传统音乐由演奏员进行乐器演奏（或人声演唱）的媒介体系架构，不同身份的人———演奏员、创作者、观众，或某种设备———计算机、装置等，皆可成为表演主体，特定的系统程序与装置相结合可作为表演介质实现实时控制与表演。在一部交互音乐作品中，交互系统结构是重要创作内容之一，其通常包含输入（传感）装置、输出装置与控制中心（程序）。其中，输入（传感）装置作为交互系统前端硬件，主要功能是识别外界信号，生成驱动艺术内容的数字信息。

在作品的媒介交互设计中， 利用体感装置、摄像头或远红外测距装置在身体或物体动势与声音、影像中架起一座媒介联动桥梁的交互形式在近年来得到了较广泛的运用。作品《宋韵·运河诗路》《蝶之梦·梦之蝶》《初生》与《客厅戏剧》均通过识别人体的姿态与动势生成数字信息代码，驱动声音或影像的呈现。《蝶之梦·梦之蝶》的作者设计了一个由多个硬件连接而成的数字驱动乐器装置， 包括电脑、便携式摄像头、历动传感器、打击乐器（梆子与吊镲） 及用于触发打击乐装置组。以历动（Leap（Motion）传感器结合Wekinator为表演传感媒介，手势姿势一方面驱动打击乐装置演奏，一方面触发电子音响与数字影像，从而形成听觉与视觉的联动表演。作品装置结构的独特性在于其利用一个复杂的机械装置来演奏打击乐器。《宋韵·运河诗路》同样以历动传感器为交互表演媒介，通过手势动作来控制声音与视觉内容。在现场演出中，实时交互信息由Max、Kyma与TouchDesigner共同进行处理，其中Max 负责处理历动传感器的实时数据，Kyma 负责对声音进行合成处理，TouchDesigner 负责视觉影像的处理。作品《初生》采用具有内置陀螺仪的可穿戴式设备进行互动表演。通过OSC（Open1Sound1Control）通信协议，陀螺仪的偏转角度和加速度信息被输送给计算机端的Max/MSP 进行数据映射， 实现音视互控。作品《客厅戏剧》通过AI 摄像机实时、准确地识别舞台中的物件、动作和场景位置，实现肢体与场景内物品的实时互动， 从而生成音乐和视频，并以互动剧目的形式进行舞台呈现。该作品的开发充分调用了人工智能算法技术， 通过数据集收集、标注以及参数调优的训练过程来确保在不同演出场景中的稳健性和灵活性。作品《炼金术》的传感装置由两个红外测距传感和两个可变色聚光灯改装制成。红外测距传感器负责感测聚光灯前的物体运动，测量物体与传感器之间的实时距离。表演者在聚光灯装置前的手部运动被生成一系列距离数据，通过Arduino数据连接中间件进行数据接收，并送入Max/MSP 程序进行数据分类， 再由AbletonLive111进行声音实时处理，从而形成交互音乐表演。

上述几部作品的媒介装置在演出过程中处于“隐藏”状态，被视作一种不具备艺术造型审美功能的表演设备。由于观众无法直观且清晰地看到交互装置的存在，因此需要在表演动作与艺术内容之间建立对交互关系的理解。但将媒介装置作为一件具有艺术形象的数字乐器， 并通过直接触控装置，甚至控制装置的自身运动进行交互表演的作品则提供了另一种交互欣赏体验。作品《缘源元》的核心传感装置是微型芯片控制器。作者赋予传感器“圆”的外形，并通过四根细钢丝导线将四个圆形装置相连接，固定在铃鼓竹框架中心，使其形成一个整体表演装置（见图1）。通过表演者的触控行为，微型芯片控制器持续输出包括方向、亮度、电容式按钮与加速度等数据， 并通过数据映射形成声音交互表演，展现出多个数据驱动乐器形成复杂音乐控制传输网络的整合能力和音乐表情演奏潜力。作品《自由落体》以平板电脑（ipad）作为表演与传感装置界面，其作为连续数据控制器使不同声音之间的转换与控制变成可能。

二、表演形式的创新

交互音乐中的多元艺术与技术媒介之间构建起的交互系统为作品表演形式的创新提供了土壤。交互系统可被理解为一个全新的表演系统，其媒介间的数据信息运作规律是设计作品表演行为与形式的底层逻辑。

在一些仅将媒介作为接收信号与数据映射装置，而不赋予其外在艺术特征的作品中，创作者通常会侧重对表演行为的设计。例如，在《初生》《宋韵·运河诗路》《蝶之梦·梦之蝶》《炼金术》与《客厅戏剧》五部作品中，交互媒介装置仅负责识别实时手势姿势信息，在表演过程中不与表演者发生直接接触。因此，表演者的肢体动作与姿势设计便尤为重要。创作者必须设计一套完整控制姿势，使其与表演内容之间建立起明确的交互关系，让观众可以理解表演行为和艺术内容之间的逻辑，以便通过表演行为来理解作品艺术内涵。《蝶之梦·梦之蝶》的作者设计了三种不同的手势来控制作品不同乐段的声音或影像交互（见图2）。三种手势包括“单指手势”“双指手势”与“蝴蝶手势”。其中，“蝴蝶手势”在通过历动传感器控制XYZ 三轴距离信息，完成音高、力度与速度数据映射的同时，还透过其手指与手腕富有诗意的舞动来意化蝴蝶纷飞，使表现行为直接指向作品主题。《炼金术》在传感装置媒介之外，通过使用几个特殊表演物件（可透光的固体水晶、装有水的透明水杯和条状灯带等）来辅助视觉内容的表现。表演者手持固体水晶或透明水杯与传感装置进行交互，在引发声音交互的同时，利用物件可透光的特性来形成神秘、梦境般的光影效果。《客厅戏剧》颠覆了传统戏剧舞台的表现形式，通过虚拟增强现实技术、AI 人工智能算法技术结合影像技术与声音交互技术等呈现了一个虚拟剧场。它旨在给观众提供一个沉浸式扮演体验，即把观众拉入到表演当中去，成为表演者。作品通过表演者对舞台中的实物道具，如桌椅、水杯、餐具、书本、玩具与水果之间的交互完成声音和影像控制，同时，通过人与道具之间的互动表演完成特定故事内容的叙述。

作品《自由落体》与《缘源元》表现方式是将表演者的表演行为直观地与表演媒介联系起来，根据作品结构与交互系统设计了一套完善的表演方法。同时，在表演过程中，表演者与表演媒介在不同程度上发生直接接触，使作品呈现出更为直观的交互关系。作品《自由落体》创造性地将平板电脑与乒乓球运动联系起来， 发展出一系列独特的表演行为，如基于多点触控技术的触控表演行为，通过改变平板电脑运动方向获得偏角度与加速度信息变化的表演行为，多种投掷乒乓球的表演行为。作品《缘源元》中的每个圆形装置可被视为一个“乐器”或是“声部”，其表演方法是基于四个圆形装置的一系列控制，如改变圆形装置角度，用手连续沿圆形装置触控，同时控制两个圆形装置等。

三、音视交互的感知

音视交互一直是交互音乐领域重要的表演形式之一。两种艺术形式利用各自的艺术语言对作品的主题进行呈现与发展，相互诠释彼此的同时以不同的对话形式构成类似“重奏”的关系。二者的交互控制策略有多种形式，包括利用全部或部分声音信号作为源数据来直接控制视觉变化，利用视觉信号控制声音参数的变化，以及利用来自某种感应装置的源数据同时驱动声音与视觉的各自展开等。

作品《宋韵·运河诗路》的交互系统运用了三个程序。其中Max/MSP 分析由历动捕捉到的演奏员手部位置信息，这包括检测左右手的存在与否以及它们在X 轴和Y 轴上的具体位置。这些信息随后通过MIDI.CC（连续控制）消息传输到Kyma 系统，用于声音的合成和实时控制。Kyma 中的数据映射策略包含两个主要方面，其一是声音的开始取决于左右手的出现，或是位于特定坐标轴上；其二是音色的变化通过X、Y 轴上的位置进行控制。除了实时声音合成及控制外， 这些数据在Kyma 里还通过OSC 通信协议发送至TouchDesigner，实现视觉效果的实时生成和控制。例如，手的出现映射到视觉呈现的开始，手的具体位置信息会影响粒子的流动速度等，从而创造出一种动作、音乐及视觉紧密结合的效果。作品《蝶之梦·梦之蝶》中控制视觉变化的源数据来自历动传感器，Max/MSP 中的Jitter 负责处理视觉数据映射。作品的影像素材取自现场演出场景中的表演者手势动作与历动传感器，通过由点构成的集群形态的视觉造型，结合镜像对称构成的万花筒视觉效果，数字影像将真实、具体的演出场景演绎成为抽象性的内容。作品《初生》基于Max 编程环境完成声音与影像交互。其中，声音部分的程序分为“基底”（Bed）和“对象”（Object）两部分5PsCfkSFxz22Lnejllcq7rk2iW/zdtXX1K7uk+DqrME=，基底部分负责串联各个部分并形成结构，对象负责呼应影像片段的运动，两部分均包含了不同类型的声音合成、采样管理与调制技术，以保证多样化的声音处理与组织效果呈现。影像系统以不同形态的粒子云为主，其生成程序分为“渲染功能区”“矢量与引力场生成区”“粒子显示区”三个主要部分。三部分结合产生了一个具有多重控制源的粒子系统，其核心部分是采用jit.gen 编写的引力算法对象， 该对象可生成具有随机形态的粒子云，在此基础上，通过导入外部建模文件（jit.gl.model）、音频信号、算法图样（jit.bfg）等数据对粒子云的形态进行塑造。结合粒子系统本身的控制参数， 粒子云本身的运动状态（速度、方向）也会产生多样的变化。因此，在多个控制参数的管理下， 粒子云的形态具有极强的可塑性，在视听可视化设计中可以适应各类声音数据的信号参数反馈，并实现艺术化的呈现。《客厅戏剧》将舞台演出场景与内容投射成为虚拟的影像。AI 视频捕捉到的实时数据通过OSC 协议传输到Max 软件中，为音乐生成创造了即时的数据流。Max 软件负责接收和处理这些数据，并通过精心设计的算法将实时捕捉到的数据映射为音乐参数。这些音乐参数包括音符的控制、音乐表达形式的控制以及音乐进程的控制（CUE）。音符的控制涵盖了音高、音量和持续时间等方面，而音乐表达形式的控制则允许对音乐的情感和节奏进行精准调整。引入音乐进程的控制系统使得作曲家能够预先定义和编排一系列音乐进程，根据舞台上发生的事件自动切换，从而创造出更加动态和多变的音乐体验。

四、艺术内涵的体现

当代交互音乐以多元的媒介结构和形式，通过独特的创作视角对客观事物、社会思潮与传统文化等进行审视和思辨。它们不仅期望通过艺术内容来折射作品的主题，还尝试通过在媒介装置、表演形式与技术路径中去投射作品的文化内涵。

作品《宋韵·运河诗路》与《蝶之梦·梦之蝶》以中国古典文化为背景，通过不同的音乐风格与声音形态来映射古典文化符号。在声音材料选择上，《宋韵·运河诗路》以中国传统民族打击乐器及具有浓郁地域特色与文化符号意义的越剧唱段采样为创作材料，使作品在音色、节奏与音调组织方面具有典型的中国传统音乐语言与符号特征。作品视觉设计以“宋代运河历史为切入点，从诗词与中国传统绘画中提取意象元素，结合地块特点与舞台空间的逻辑，设计实时变幻的影像，营造现代东方意境。”交互媒介的艺术形式突破了传统民族乐器与越剧的表演局限，被人们熟知的原始艺术素材在媒介技术和语言搭建起的全新感知系统中被赋予新的艺术语态，其材料的变化形态与路径体现出基于声音变形技术与数字影像处理技术下的审美特征，让作品以全新的视角和姿态展现出“在诗意化的视听盛宴中体悟大运河古今叙事的起承转合”。《蝶之梦·梦之蝶》的创作灵感来自庄子的《庄周梦蝶》，作者通过在虚拟电子音响与现实声音，虚拟视觉影像和现实场景表演边界之间的探索，探讨庄子提出的人不可能确切地区分真实和虚幻世界的这一经典哲学问题。 在作品的三个段落———“现实”“梦”“梦中梦”中，声音与视觉均经历了一场由现实到虚拟的变化历程。

哲学一直以来是新媒体艺术领域的创作焦点，尤其是对生命、宇宙终极问题的思考。《炼金术》《缘源元》与《初生》三部作品的主题关乎宗教哲学与宇宙观。《炼金术》的创作背景源自古希腊万物本源的哲学思想。“古希腊的炼金术认为，所有物质都是由第一物质和‘素质’构成……作者使用的多面体‘水晶’被赋予‘第一物质’的意涵，不同颜色的灯光代表不同种类的‘元素’。”作品《缘源元》表达着作者对于生命起源的思考与理解。“起源、轮回和时空延伸的抽象含义可以描述和比拟世界万物。在日复一日，年复一年，周而复始的运动中，我们对时间跨度的感悟时而瞬息万变，时而停滞不前。”在这场关于起源、轮回的艺术探讨中，以装置的圆形视觉造型为载体，以交互姿势为表现路径，以声音表现与组织为艺术内核，使作品在复合媒介语言中“形神兼备”。作品《初生》利用抽象的声音和视觉呈现了一幅壮观的声景画卷。“这是一场来自未来的宗教仪式，表达了人类对自身存在起源、对于空间与时间诞生时刻的敬畏与好奇。”作品包含四个部分，分别是空间的爆发，生命的播撒、时间的流淌、星系的消长。这四个主题所描绘的客观事物的形态，以及作者对时间与空间的理解被投射在声音与视觉表达上。

除了古典文化与哲学命题之外，借用新媒体技术来重新诠释现实生活中的人与物，亦是创作者乐于关注的主题。作品《客厅戏剧》以生动的表演形式再现了人与人之间的交往关系。通过两人之间相互试探到矛盾激发的故事线，人与人交往中存在的多重复杂心理、身体行为改变以及情绪起伏通过现实与虚拟两种艺术途径得以呈现。作品《自由落体》延续着电子音乐领域对现实生活中的声音进行再创造的审美趣味。乒乓球的声音结合其自由落地时由慢至快的节奏律动给予作者充分的音乐想象空间，并由此引发了一场利用交互技术趣味展现乒乓之声的艺术表演。

结语

新媒介音乐艺术的魅力在于能够打破所有艺术形式之间的壁垒， 将科技手段转化为艺术语言，注入艺术创作与表现中去，展现出人、计算机、各种移动设备、人工智能产品与传感器之间进行媒介连接与信息互通的未来世界之图景。新媒体艺术领域的创作者应在对音乐科技前沿技术保持高敏锐度的同时，以独特的艺术视角来观察、解释当今的世界。近年来AI 人工智能技术迅猛发展，逐步渗透至各个行业领域，使人们重新定义、审视着人与智能技术之间的关系。值得肯定的是，我们从《客厅戏剧》作品中已看到当代中国新媒体艺术家对AI 人工智能技术的初步探索， 它为我们未来将如何结合、利用人工智能技术进行创作与表演提供了重要的参考方向。

李秋筱 博士，浙江音乐学院音乐工程系副教授

（责任编辑 张萌）