声音设计与传感器技术应用探究——以Alexander Schubert的作品Weapon of choice为例

陈梦璐

一、作品简介与创作背景

（一）作品简介

Weapon of choice 该作品通过使用传感器捕捉演奏者的动作，并对其动作进行数据化处理后，从而得到音频与视频的实时呈现，以多种方式扩展了小提琴演奏者表现的可能性。一种新的音乐表演方式被创造出来，使演奏者的整个身体成为复杂乐器的一部分，在一个场景化的、可直观感知的场域中，基于现场处理的方式来完成的一件作品。

（二）创作背景

这个作品是在MAX/MSP 平台制作完成。交互方式是通过一个连接在演奏者手腕上的传感器来实现的，它可以感知琴弓的方向、速度、力度。在演奏者面前放置了一个摄像头，让他可以通过红外线感应，根据演奏者的动作实时创造音频、视频，这样就形成音频、视频与演奏者间的互动。

在手腕上连接一个传感器，使演奏者能够实时处理演奏的音频材料。相对于由作曲家或固定的时间线来控制音频处理，这为演奏者提供了很大的自由度和灵活性。此外，作品的结构也试图拓宽演奏者弓子、手和上半身动作相关的表达方式。将手势融入到场景中，形成了作品的一个重要部分，在这个作品中，现场电子和感知到的身体运动是相辅相成的。通过伸展的弓臂及其动作来保持声音和重新触发演奏材料的可能性，将传统用小提琴创造声音的方式转变为一种新的形式。现场视频完全是通过演奏者的动作来创造的。因此，音乐、视频和动作之间的相互作用可以创造出不同形式的同步和对位。

这个作品所要表达的是一种武士精神，它使用较大的动作和强大处理播放的材料来诠释这种武士精神。

二、Wii 传感器

此作品运用到的是Wii 传感器。我们需要知道的是Wii 传感器是什么？为什么可以通过传感器去设计声音？它是怎么实现声音的设计？

Wii 是任天堂公司于2006 年11 月19 日所推出的家用游戏主机，Wii 是家用游戏机的第七代。Wii 的基本硬件包括有主机、动作识别传感器、主遥控器和梭形控制器（因两控制器有线连接而被称为“双节棍”）。

Wii 设计里最独特的“体感操作方法”，体验者将遥控手柄绑在手上，通过手位置的变化来控制面板的光标，从而有效的提取出相应的数据。也就是说，在作品Weapon of choice 中，演奏者把手持遥控器帮在手上，挥弓力度和速度等数据都会被全记录，这些数据早在之前就设计好了对应的音频、视频效果的呈现。这样就可以实现实时交互。演奏者现场产生的声音效果以及视频效果就是根据这些数据反馈来的。当然这种实时交互的每一场都是不一样的，虽然数据是一样的，但是我们无法保证演奏者每一场都是百分之百完全一样，在专业的演奏人员都无法保证演奏同一首，每次都是百分之一百一样。我们所有的呈现都是根据演奏者当时演奏情况而来，也就是说，同样的演奏员挥弓的力度大了一点点；或者快了0.1m；或者演奏人员对这句的情绪理解产生了新的变化等等，最后导致的音频、视频的呈现都是不一样的。所以实时互动音乐，每一场都是独一无二的。

Wii 有如此灵活出众的操控方式，归功于遥控器内部的三维加速度传感器芯片，加速度传感器芯片负责将三维位置的力度和移动速度记录下来，并通过主机映射到屏幕上。三维加速度传感器芯片属于集成电路芯片，可以记录下物体移动速度和位置变化情况。

梭形控制器里面就有三维加速度传感器芯片，梭形控制器的移动速度、方向、力度都被记录在芯片中，所以演奏者的一举一动都能通过梭形控制器被详细的记录下来，通过蓝牙发送到主机，主机接受到数据后通过与之前的位置数据进行比较和运算而得到当前的位置，这样就能实现屏幕游标的改变，演奏员挥杆动作相应就形成了声音的变形、音量大小的变化、效果器的变化等。这些声音设计的方法都是来自Wii 在游戏设计中的体验。

三、声音与传感器之间交互设计的实现

（一）交互设计

交互设计，又名互动设计，是定义、设计人造系统行为的设计领域。它概括了两个及两个以上个体之间交流互动的结构和内容，让其互相配合，为达到某种共同的目的。在人机交互中，交互的三个要素：机器/系统、人、界面。交互的方式：输入和输出的过程即为交互过程，以人机界面为媒介向计算机输入指令，经过处理后计算机把输出结果呈现给用户。交互的形式：交互的形式呈多样化，是由于这种输入和输出的形式是多种多样的。

（二）声音与传感器之间的三重思维设计

交互电子音乐设计思维是基于抽象艺术、音乐和作曲技术理论以及计算机之上的一种思维模式，其与以上三门学科的合作关系是多维的。交互的不同部分决定了作曲家必须选择不同的思维模式。“交互”和“电子音乐”是构成交互电子音乐的两大部分，作曲家在演出前完成前期的互动流程设计，演出过程中则只需扮演演奏者，在计算机旁或其他互动设备前进行操作。

从技术和理念的角度看，电子音乐、磁带音乐和具体音乐呈现的是一种音乐的“结果”，而交互式电子音乐在追求“结果”的同时还追求音乐的“过程”。撇开创作过程不谈，交互音乐表演本身就完全颠覆了过去任何一种音乐风格的表演方式。身兼数职的交互电子音乐创作者面临的最大的挑战之一就是创作声音、程序编写、实时演奏的三重设计思维。

（三）声音与传感器之间的系统设计

通常，交互电子音乐系统分为输入、反馈和输出三个组成部分。托德·温克勒将交互音乐系统的建立总结为五个步骤：

步骤一、人为和乐器输入：通过控制器、传感器拾取舞台表演者的动作信息来收集数据，转换成数字信号输送到计算机。

步骤二、计算机读取与分析：计算机读取信息后，对音乐元素（如速度、节奏、音高、音量等）和数据信息进行翻译和分析。

步骤三、传译：软件对计算机接收的信息进行解释，生成可以用来制作的数据。

步骤四、计算机作曲：计算机程序对上述生成音乐的各个方面做出反馈，进入创作过程。

步骤五、声音生成和输出、表演：计算机创建声音，通过自身和一系列发生装置共同实现声音的输出。

其中，步骤一、二需要传感器对弓子的挥动力度、速度、方向做出快速、准确的分析，计算机负责接收信息。后三个步骤则由作曲家发挥其作曲技术和艺术想象空间，用弓子的挥动力度、速度、方向等给到计算机指令，从而使计算机得出最后的音乐效果，并使其表现出来。这些表演信息可以用计算机程序得出成千上万种算法表达，也可以将原始的声音通过这些算法做出无数种处理和变形。因此，为创建某种交互电子音乐系统，作曲家不光需要充分发挥创造能力去创作、设计、选择、调整，还要设计出程序中每一个具体步骤的具体实施方案。

在Weapon of choice 曲子中，需要用到外部独立软件OSCulator 运行，在OSCulator 中打开OSCulatorpatch，按下“press Pairing”按钮，这样程序就会寻找控制器，之后在按下Wii 控制器里面的红色按钮，它就会创建一个连接。

交互电子音乐在技术特征上分为实时处理声音和实时控制声音两种类型，作品Weapon of choice 使用实时处理声音。这种类型在系统上的设计流程是原始采样声音——传感器——计算机程序——实时合成实时变形——声音输出。形成演奏者通过乐器与计算机系统进行实时的交互演奏，利用设计好的程序对声音进行实时的合成、变形，在反馈出来，与演奏者进行互动。作品Weapon of choice 还使用了实时控制预制声音，这种类型在系统上的设计流程是与之声音数据MIDI 信号——传感器——计算机程序——数据映射实时处理——声音输出。这种交互方式类似于MIDI 技术的概念，预先完成音乐的框架，将某种主题声部和即兴声部之间形成并完成互动。触发预制好的声音数据，通过传感器、数据驱动控制器或其他媒介。计算机通过对现场演奏进行实时映射、处理和改变信号，完成即兴演奏互动。

四、作品Weapon of choice 中的声音设计

（一）声音设计的概念

声音是表达电子音乐艺术的核心所在。可以设计出属于自己的声音对于创作电子音乐来说十分重要，大多数作曲家在创作电子音乐时找寻新的音色、新的方法，使得声音进行合成、组织、变形，让声音成为变化参数，从而可以对音色进行重新塑造。声音合成，采样和信息处理算法等都可以实现音色的重塑。

（二）实现声音设计的方式

1、采样与合成

在声音的选择方面，作品Weapon of choice 中运用了采样小提琴声音、合成器声音。音色重塑的过程，作曲家非常注重声音品质的处理和把握，他所使用的技术主要包括：分析与再合成、粒子合成、减法合成、梳状滤波等手段。

2、声音的预制

得到合成声音之后，将这些声音有理化放置，根据时间轴对声音的预制部分进行排列。在Max/MSP 里面以罗马数字排列声音模块的发声顺序。对于预制部分的声音发展，Alexander Schubert 在传统作曲思维基础上，从设计音乐结构到音乐内部层次构思。一个音乐形式为发展中心，通过作曲技巧、各种效果器、合成技术等方式对音乐进行发展，这种方法类似传统音乐写作中的动机发展手法。

3、声音的实时

做出整体音乐框架设计之后，作曲家通过设计好的程序来控制声音的触发、速度及空间效果等。作品Weapon of choice 中对声音最基本的控制就是源于弓子的移动。从弓子的速度、力度、方向等控制整个音乐的发展脉络。对于声音的实时部分，作曲家运用Max/MSP做出各种效果器，以弓子的速度、力度、方向等以及音频工程师，来共同控制着效果器的开关，强弱。最后呈现的声音都是根据现场演奏者的演奏表现出来，具有一定的未知性，这部分主要依靠演奏者的把控、对音乐的理解等。值得探讨的是，全曲没有固定音高，依靠小提琴演奏者的积累、对音响、音色、音乐的理解。

4、演奏的感性化理解

在这首曲子里，没有五线谱、没有具体的音高关系。作曲家把谱子图像化，文字化。所有的演奏都是来自作曲家与演奏人员的沟通，以及演奏者自身的理解。这对演奏者来说即是一种考验，又是一种对音乐的新的体验。

图1

如图1 传感器（弓子）与声音设计的应用：在这里弓子也就是传感器，弓子一个强烈的运动会触发前100毫秒的记录，形成时间上的缓冲区，这个缓冲区然后作为一个循环播放，其中弓的音高和方向决定了缓冲区中循环的起点和终点(根据位置不同，它的变化范围在5到100 毫秒之间)。

这里有‘三名演奏者’分别是小提琴、实时电子音乐、预置声音（在这里我想强调的是在我的理解里，以及在我创作混合类电子音乐时，声乐乐器是一个演奏者，虽然实时电子音乐是依着于声乐乐器的产生而产生，但它不是声乐乐器的附属与伴奏，而是同等地位的存在。预置声音同是。）：第一行Geige 表示小提琴演奏者，这里音乐呈点状，是要小提琴演奏类似打击乐声音，并且保持节奏循环；第二行Elektronik 表示实时电子音乐，这里作曲家设置一种声音效果，由演奏者通过传感器将实时演奏的声音变形而得到。在这里传感器是演奏者与电子音乐的媒介。第三行tape 表示预置声音，已经做好的声音在这一个点被触发播放出来，这是一种提前做好的音频素材，只需播放，不需要复杂的计算机演算。最后‘三个演奏者’一起演奏把这种素材推到一个高点。这是第一部分。整首作品都是由这‘三名演奏者’完成，就像一个三重奏的室内乐作品。

图2

如图2，传感器（弓子）与声音设计的应用：弓子的强烈的运动触发播放之前的材料。这里主要是电子音乐密集的侵蚀入小提琴音乐，与小提琴音乐叠加、交织在一起。这里相应了主题：武器。将电子音乐与小提琴音乐看成两件武器，并相互斗争着。预置音乐将这种斗争升华，使其更加激烈。这在传统作曲中可以看成复调音乐。这是作品的第三部分。

如图3，传感器（弓子）与声音设计的应用：运用弓子来触发低音磁带的循环播放、触发暂停。每次新的强移动触发16 个预置声音，每次移动触发循环播放器开始新的循环，最后一个强烈的动作触发下一个动作。

图3

作品的第四部分，主要的材料有：直接响亮的声音、没有声音的运动、直接响亮的声音、没有声音的运动。这种相互的交错，直至最后‘三个演奏者’的快速强烈的声音运动。

结 语

本文通过对传感器、声音设计相关问题、创作背景、思维，对交互电子音乐的概念和特点以及交互中声音设计思维进行了梳理。可以三个层面挖掘出电子音乐创作中声音设计的整体特征：1、交互电子音乐创作中声音的三个特点：控制性、即兴性、不确定性。2、交互电子音乐主要研究声学乐器与计算机之间的互动形式，从而开拓音乐创作的边界。3、交互电子音乐创作的实现需三种创作思维：创造声音、编写程序，实时演奏，交互电子音乐实现的过程需要作曲家思考到每一个程序、每一步音乐发展。通过上述研究，希望可以为下一步深入研究交互电子音乐创作的技术特征和艺术特征做出铺垫并提供理论支持。