以Wii Remote为控制手段的交互音乐创作探索

李云鹏

摘要：作为电子音乐的一种类型，交互音乐，特别是以计算机为创作平台，基于外部控制器的交互音乐的发展方兴未艾。无论是从创作手段，还是从音响效果来看，这种音乐与科技相结合的模式都代表了一种新的音乐创作思路，具有其独特的艺术魅力和研究价值。在本文中，笔者试图以 Wii Remote为控制器，结合古筝音源Chinese Zheng作为载体，在Max/MSP平台上来探索这种音乐的创作。

关键词：交互音乐 Wii Remote Max/MSP

交互音乐，是一种使用传统声学乐器、计算机系统及现代音响等设备，由表演者以“人机交互”的形式，与预制程序协作完成音响的音乐类型。

交互音乐的创作，包括“作品设计”和“演奏设计”两方面内容。“创作”是制定相应的规则，确立音乐内容，触发方式及整体架构，让交互的结果具有一定的预见性，并以程序、乐谱的形式体现。“表演”则是在这种规则和架构的约束下完成具体的音响。因为在每次表演时控制器产生的具体参数值都是在一定范围内波动的，所以每次实现的音响结果也不同，最后就实现了“有控制的随机”音响效果。

一、作品设计

（一）人机交互平台的设计

“交互”，本意是“交流和互动”。作为一种现象，“交互”发生在至少两个个体之间。在交互音乐的概念中，“交互”实质上代表的是“人机交互”，它是实现音乐创作和表演的核心。人机交互，是一门研究系统与用户之间的互动关系的技术。利用这种技术，可以让计算机或各种机器与人交流。交互音乐的实现，正是依靠建立在人机交互平台下的设计和表演行为。其中，前期只有解决了交互平台和方式的问题，才能为实现相应的音响结果提供可能。具体而言，可从以下几个方面来着手：

1.控制器

从本质上看，使用任何控制器，其控制流程及目的均无区别。作品的交互平台是在计算机上构建的，所以这个流程是：外部控制器产生数据→计算机处理→触发音响。理论上，只要能和计算机相连接的输入设备，如键盘、鼠标等均能实现控制功能。但这些计算机传统输入设备用作控制器时有它们自身的局限性，如设定键盘的某些动作，可能会与操作系统或别的程序的快捷键相冲突；设定鼠标的某些动作，也可能会做出某些干扰程序运行的点选操作。所以，最好的途径是使用专用的外部控制器，如游戏机Wii的控制器Wii Remote。

Wii Remote是用于任天堂游戏机Wii上的控制器，这种控制器的标准配置是由Core和Nunchuk两部分组成的，具有新颖的控制手段和丰富的功能。如3轴加速度传感器可以检测使用者的运动方向及加速度大小；红外感应头具有矩阵的功能，可检测外部控制点的平面坐标位置；类比摇杆可以产生一系列二维数组；各类按键可以实现基本的触发功能；LED灯可显示游戏主机或计算机发回的信息等。

另一方面，控制器采用通用的蓝牙方式与游戏主机连接，这就為后面的交互控制提供了可能。同时，通过对Wii Remote各种控制模式的研究，可得出如下结论：基本功能按钮以及十字方向控制按钮会产生瞬时性的整点数据，而类比摇杆、红外感应头、3轴加速度传感器则会产生持续性的浮点数组数据。

2.软件平台

软件平台是形成人机交互界面的基础。人机交互界面能够实现人的行为与计算机之间的互通。在创作过程中，人机交互界面主要实现载入音源、效果器、反馈音乐结构信息等功能。这个平台又可细分为宿主软件和构件两部分。

作为宿主软件，Cycling 74公司出品的Max/MSP是一个强大的图形化音乐程序编辑系统，也是常用的交互作曲创作工具之一。这个软件拥有一个图形化的友好编程环境，编程时只需将不同功能的构件（object）加以连接，而不用键入大量文本语句。这些构件都具有强大的扩展能力，可以根据需要编写，与不同的软硬件相连接。

构件方面，则可使用名为tk.wii的第三方构件，这个构件通过计算机的蓝牙适配器与Wii Remote传递信息，从而与宿主程序对接，最终实现交互目的。它能实现与Wii Remote的双向通讯，既可将动作信息接收到宿主软件中，又可将产生的信息反馈到Wii Remote上的振动马达或LED灯上。

（二）音乐材料设计

在传统音乐的创作过程中，音乐材料的构建是不受限的。作曲者可以按自己的想法和需要，订立相应的音色、演奏法、音列等音乐材料诸要素。而在交互音乐中，音乐材料各要素的实现，还受制于交互平台的控制方式和数据生成方式。只有适合交互平台本身特点的音乐材料，才能够通过人机交互获得发展。否则，材料不可控，也就失去了交互音乐设计和表演的意义。音乐材料的构建可从以下几个方面进行考虑：

1.音色

音色的选择是需要首先解决的问题。在Wii Remote与Max/MSP构建的交互平台上，声音的触发是以数据触及临界点为条件的。根据这一特性，音色形态最为符合的就是点状音色。从演奏法分类来看，这种形态的音色主要包括打击乐器音色、弹拨乐器音色等。本文拟选择Kong Audio公司的古筝音源Chinese Zheng作为实验对象，原因是古筝音色的音头非常突出，各类数据能比较容易和及时地触发出音响。

2.音列

鉴于该音色所代表的中国民族音乐风格特征，音列的设计也可与之对应，如可将其设定为民族音乐中的母体三音列形式，即大2度加小3度的结构，首音可从符合乐器音域的任意音高开始。在音乐其后的发展过程中，则根据需要，通过表演者对按键的控制，将原始三音列进行“移调”处理，以实现音高的运动和发展。同样，基于音列和风格相对应的考虑，每次移调后的音列仍在新调上的自然音级上构成。同时，当两组三音列相连接时，通过相应的技术手段，排除相邻音之间产生大二、小七度，增四、减五音程的可能性。

（三）特效处理设计

严格地说，特效处理，其目的也在于得到一些特定的音色，即属于音色设计的内容，但这与前述“音色”又有区别。前述的音色，对应真实乐器本身发出的声音。而经过特效处理生成的声音，是声学乐器不可能发出的，是经过计算机效果器处理之后的声音。真实声音和经过处理之后的电子音响的结果，也是电子音乐典型的音响形态。在设计过程中，可使用效果器插件进行实时处理，如可选择Lexicon Pantheon II混响器插件和GRM Band Pass Stereo带通滤波器插件。将Nunchuk上的类比摇杆对应Pantheon II混响器的混响时间和干湿声比例控制器，可以方便地控制声音的空间属性。在演奏时，通过控制两者的比例，可实现声音在不同的“空间”中穿梭的效果。同时，这个类比摇杆还可被分配到类似GRM Band Pass Stereo这样的滤波器上。通过类比摇杆的不同方位控制，可以实现诸如带宽、频率截止点等参数的变化，从而产生实时滤波的音响效果。

（四）织体及结构的设计

设计织体时，必须充分考虑控制器自身的特点，及其触发音响的方式。Wii Remote的Core部分最具特色的控制方式在于加速度感应。这种感应只检测当前动作的加速度，并不反映绝对速度信息（如匀速运动在Core上无任何数据反应），这就决定了控制器在触发音响时是以“点”的方式进行的，“线状”织体也是由若干个“点”连缀而产生。Nunchuk上的类比摇杆，则适合对已生成的织体做实时效果处理的控制，这种音乐并非调性音乐，音高、调式、和声等要素对结构的影响已经退居到非常次要的位置，音高材料中的“三音列”特性也只是决定作品的风格归属。然而，在创作的探索过程中，各个段落不同的写法会带来作品织体形态的明显变化，这种织体形态的变化就决定了作品的宏观结构。

捕捉此次创作探索所实现的作品音响，还可以发现织体的变化，也影响振幅的变化，最终体现出这种宏观结构的设计结果。将振幅进行相对定量分析后，借用音乐表情术语的表示方式，可将其大致的变化脉络归纳为p→mf→f→mp。同时，可将音响、振幅特征，音响实现形式与宏观结构特征的关系归纳如下：

1.段落I（p）：呈示段落，以乐音作为音响形态，以单音构成点状织体，通过甩动Core，使用Nunchuk上的类比摇杆控制混响器参数来实现音响。

2.段落II（mf）：发展阶段1，以“先乐音，后噪音”作为音响形态，以长音模拟“摇指”演奏法带来线状织体，通过甩动Core，使用①、②键控制织体厚度，使用Nunchuk上的类比摇杆控制滤波器参数来实现音响。

3.段落III（f）：发展阶段2与高潮段落，以乐音和噪音的对置作为音响形态，通过拍琴体的噪音音响带来块状织体，以甩动Core来实现音响。

4.段落IV（mp）：动力再现段落，以乐音作为音响形态，以双音构成点状织体，使用和段落I同样的方式来实现音响。

作品结构的设计，除包括作曲者事先完成的“宏观结构”设计外，还包括演奏过程中完成的“微观结构”设计。这种设计主要体现在演奏员按照一定的逻辑，有控制地完成节奏、音区的发展，以及音色调制变化轨迹等具体内容，并与“宏观结构”相对应，共同实现音响。

（五）乐谱设计

传统音乐的记谱法因其表现的是声学乐器的演奏法，所以在交互音乐中，显得捉襟见肘。在这种交互音乐中，我们需要将控制器视为一种新的乐器，结合传统音乐的记谱法，扩充其中的符号集合，使其既能符合控制器的要求，又能表现一些交互音乐的演奏特征。

传统音乐由于其演奏结果基本已经提前预知，所以其生成的乐谱也就相对固定。但交互音乐的乐谱设计只能也只需体现出设计的基本意图，所以乐谱并非完全固定，只是在音乐的大致发展方向上有所提示。在这种乐谱中，有些已经设计好的音乐材料（如音高等）是不需记录的，只需要将控制器正确的“演奏法”传达给演奏者，具体的音乐材料将会被恰当地触发到。在乐谱设计的探索过程中，通过TrueType造字程序的辅助，可以得到一套适用于Wii Remote控制器的乐谱符号集，并可将这套符号集在Sibelius 软件中，生成特定的乐谱。（如下图所示，谱表中的C指Core，N指Nunchuk。）

二、演奏设计

（一）交互音乐中的演奏

演奏，是利用相应“乐器”（可以是以物理方式存在的，也可以是以虚拟方式存在于某些宿主中的）通过演奏主体的操作，最终实现音响结果的行为。它是音乐成形的最终环节。

在音乐的实现过程中，作曲者从事的创作活动实际为“首度创作”，即将基本的音响意图通过乐谱的形式去体现。演奏者从事的演奏活动，则是根据乐谱塑造音响结果。在这个过程中，演奏者会实现自己的“二度创作”，即在遵循“首度创作”原则的基础上加入自己的处理。在传统音乐中，作曲者基本预知了演奏结果，音响意图已经非常明显和具体。所以，演奏所能实现的“二度创作”空间较小，对于音响轮廓的改变程度也非常小。但在交互音乐中，作曲者前期所设计的只是音乐的音列、基本结构、材料的发展方向等要素，并未预知具体的演奏结果。于是，“二度创作”的空间显得非常广阔。在这种状态下的演奏，时刻伴随着“即兴作曲”的动作，演奏的过程实质上成了边创作边演奏的过程。

另外，在交互音乐演奏的过程中，每次演奏所实現的音响轮廓都会有一定的差异。演奏者在演奏过程中，需根据当时听到的音响即刻做出判断，操作控制器生成下一步音响。在以古筝为音色载体的创作探索过程中，表演者所面临就是一个规定了基本运行框架的“虚拟古筝系统”，演奏者一边演奏，一边根据当前所听到的音响去设计和生成其后的音响。

在此次创作探索所实现的音响中，控制键在每个段落中起到的作用如下：

A键在所有段落中均起到初始化数据的作用，也即“归零”；B键在I和IV段落中起到切换泛音音色的作用；C键在I和IV段落中起到音列移位的作用，而在II段落中起到关闭所有音符发声的作用；Z键在所有段落中均起到音区归位的作用；H键在I-III段落中均起到“进入段落”的作用；1键、2健分别起到切换为单音模式、双音模式的作用；类比摇杆则可用来在I、IV段落中控制混响器，II、III段落中控制滤波器。

（二）演奏过程中的人机交互设计

在演奏过程中，演奏员与计算机始终是演奏主体密不可分的组成部分。演奏员根据计算机生成的随机音响决定下一步的行为，同时根据控制器相应功能的设置将这种决定变成音响效果并实现，以规范作品的结构和音响的发展方向。例如，设定甩动Core，纵向上便会得到不同音高上的摇指音响。但当这种音响发展到一定的阶段，便需要将这种织体打薄。演奏员需根据当时的音响效果，循环地触发Core上的1、2号键去轮流消除之前产生的音，以达到消减音响厚度的效果。此外，计算机信息的实时反馈也是交互的一个重要环节，它不仅可以起到段落提示的作用，还可以帮助演奏者规范作品结构，提高演出的成功率。Core下方的四个LED灯可标记出当前音乐所处的段落信息，如可将第1 个LED灯对应作品的第一部分，第2个LED灯对应作品的第二部分，等等。同时，每个段落音数达到限制值时，会给出一个震动提示，以方便演奏员处理好音乐段落的“进”和“出”。

三、结语

交互音乐是在信息技术高度发展的大环境下产生的，它综合了最前沿的控制科技与新音乐作曲手段，能够提供给我们一种全新的创作及表演方式，具有很大的发展潜力。本文针对一个比较常见的控制器，结合相应的软件平台，进行了创作探索。实际上，可以实施交互控制的方式还有很多，如常见的iPhone、LeapMotion，以及更加高端的GPS、脑电波等。从创作的结果上来看，交互音乐的创作和表演形式也大量地应用在音响装置、剧场音乐（剧）中，正是通过这种方式，可以使得表演者与音乐产生高度的关联性，使音响效果具有丰富的色彩，也使得电子音乐的表现形式向着不同维度进行更加深入的发展。

参考文献：

[1]刘健.关于电子音乐记谱法的思考[J].黄钟，1997，（01）.