多媒体交互技术对中国歌剧创作的影响及实践研究

2017-11-22刘灏

星海音乐学院学报 2017年4期

刘灏

刘灏

起源于西方的歌剧艺术，在中国解放前后逐渐在中华大地上传播开来，从早期的一系列经典歌剧诸如《白毛女》《刘胡兰》等，到今天的大型歌剧《长征》《大汉苏武》等，中国歌剧随着时代的变迁不断汲取新的养分，艺术家也在不断的探索。21世纪以来，得益于电子技术、多媒体技术的不断发展更新，中国歌剧在探索的道路上融入了多媒体交互理念，开拓了一个全新的探索领域——融入多媒体技术表现手段的歌剧艺术。

多媒体；中国歌剧；交互技术；多维度叠合实时触发

一、多媒体技术对中国歌剧创作的影响

多媒体技术是利用计算机作为信息处理中枢，对多维度信息进行逻辑编排、处理的一种技术手段。计算机通过对图形、音响、动画等信息的处理，让用户可以通过视觉、听觉等多种感官与计算机信息进行实时交互。21世纪以来，随着信息化技术的全面普及，越来越多的艺术家不满足于传统歌剧的表现力，他们在探索的道路上，将多媒体技术叠入自己的歌剧作品中，从中寻找新的艺术冲击力。

《中华儿女》①是2014年“中国第二届歌剧艺术节”中展演的一出大型多媒体歌剧，通过歌剧的形式，展现炮火连天的战争岁月里中华儿女的铮铮烈骨，展示在时间长河中燃烧的熊熊中国魂。这部作品大量采用多媒体技术的处理手法，采用多媒体数字影像技术与歌剧演出相融合的演出方式，通过数字化的处理手段呈现给观众不一样的欣赏体验。

这部歌剧总共分为七个篇章，是一场多媒体的视觉盛宴。首先从舞台上看，舞台被设计成了一个可旋转移动的不固定平台，平台上以白桦树为装饰构筑成了一片可以移动的“白桦林舞台”。舞台的天幕是一副巨大的“长白山森林全景图”，这就组成了动静结合的舞台交互形式。艺术家根据剧情的发展，将控制信号输送给舞台计算机管理中枢，让白桦林舞台进行移动与旋转，由点及面地提供给演员多方位的演出支点，配合天幕以及多媒体影像的播放，使得舞台形成了一种多维度的空间感，让人身临其境，充满了带入感。传统歌剧作品中，舞台上往往就是简单的背景与演员之间的单向交互，而《中华儿女》通过可动的旋转式舞台设计，将整个歌剧舞台塑造成一个多维度的奇妙空间，让观众得到全新的视觉体验。

舞台台口配置了一副巨大的灰色荧幕，荧幕上投影多媒体数字影像。多媒体数字影像技术绝不是多媒体舞台艺术的“附属品”，而是舞台艺术表演的一个重要组成部分。加入多媒体技术的歌剧作品的特点之一就是通过数字影像技术将整出歌剧数字信息化，带给观众前所未有的试听冲击力，为他们营造出一个虚拟空间。在《中华儿女》中，艺术家根据剧情的推进与演员的演出，设计不同的数字影像来让演出更具感染力。例如在第二乐章中，表演区是演员杨大姐因为鬼子的暴力行径而悲痛万分的现场表演，而荧幕中投影的是鬼子的种种暴行与无理的政策条件，这是一种平行的双线演出形式。荧屏中的演员与舞台上的演员表达的是具有强大对比性与艺术渲染性的角色塑造，两条演出线辉映交融、虚实结合，通过多媒体的舞台与音乐的对点式交互联结，创造出了一种蒙太奇的舞台效果。这种多媒体语言营造出的数字化氛围，大大超越了传统歌剧的演出与表现形式，并将作为VR、AR、MR*全景虚拟现实系统。的载体来传播及实时现场转播。

《中华儿女》通过别出心裁的舞台设计与美轮美奂的数字影像技术,交相勾勒出那个战火连天的年代情境，给予观众强烈的带入感。整部歌剧通过氛围的渲染与蒙太奇的舞台效果，成功地塑造了英雄儿女的人物形象。多媒体技术的加入，让这部歌剧具备了与传统歌剧浑然不同的视听体验，从时间与空间两方面进行了深刻的演绎。

《鹊华秋色图》是2016年上海音乐学院青年教师团队共同创作的多媒体歌剧，歌剧剧本由上海音乐学院伍维曦副教授创作，结合元代历史与艺术特征的元素，对剧中人物的精神世界和内心感悟进行了探索，《鹊华秋色图》在此不仅代表了画家对艺术的追求，也象征着在外族文化统治下艰难延续的中原汉文化血脉。

图1 《鹊华秋色图》

《鹊华秋色图》原是一副典型的中国山水作品。这幅画卷的作者是中国历史上著名的画家、诗人赵孟頫。整部歌剧以这幅《鹊华秋色图》为引线，牵连出了赵孟頫、赵孟頫的友人周密、赵孟頫的妻子管道升等人物之间千丝万缕的情思。

在《鹊华秋色图》这部作品演出中，舞台放置一块全息屏幕让表演区域的整体与结构进行实时交互。并在舞台后方布置了一块巨大的荧屏，将整个舞台后方覆盖，前置一个Kinect捕捉装置，对舞台上的演员、演出信息进行红外线实时对点信息捕捉。Kinect是微软公司为其旗舰游戏机XBOX专门开发的红外线捕捉装置，得益于此装置，演员动作触发所预置的艺术主体交互可以通过红外线捕捉投影至后方全息屏幕中，形成光影交融的一体式交互视觉感。作品中还使用了MAX/MSP*交互式编程语言与开发环境。、Processing*java语言在艺术化语言下的延伸。交互概念，通过MAX/MSP、Processing编绘电子化的交互指令输入至电脑终端，在演出时，设置某些特定的时间、演员特定的动作来对音响、灯光等信息进行自动化控制。

该作品通过山水写意刻画人物情感，全息屏幕上通过数字影像勾勒出华美壮阔的中国山水，舞者通过Kinect装置被投影至全息屏上，与数字影像交相辉映，融为一体，组成了一套交互式的舞台歌剧演出形式，就如2016年杭州G20峰会的晚会演出中，《天鹅湖》的实际舞者与虚拟舞者群之间的跨时空对置，画面唯美，让人身临其境。

这种实时信息捕捉的交互方式被运用到歌剧表演中后，观众无法直观地分辨出舞台与荧幕的边界，由此感知到的是一个多维度的虚拟空间，会产生无限真实的观赏感受。

图2 《鹊华秋色图》演出时的舞台全息屏设计

二、多媒体技术融入中国歌剧音乐语言的探索及研究

在传统歌剧的创作中，作曲家对歌剧剧本进行剖析解读，决定创作什么风格的艺术作品，选用哪些配器手法，如何设计背景片段化音响连接乐段与音乐唱段之间的关系等等诸多的因素。音乐语言向来就是歌剧艺术中至关重要的一环，贯穿于整部歌剧始终。而在多媒体技术加持下的音乐语言，呈现出极具色彩性以及艺术通感的整体性表述等特点。

21世纪以来，纷繁复杂的音乐制作方式以及技术手段出现，让音乐设计变得更多元化，从单向度上升为多维度的融合。随着技术的创新、科技的进步，各种音乐制作手段层出不穷。作曲家进行创作不再拘泥于纸与笔，配器也不再拘泥于传统乐器，越来越多的电子化音响以及不同频段的虚拟采样音色，通过技术化处理，映入了我们的视听艺术之中。

在多媒体歌剧的探索中，音乐元素与演员之间的交互变得更加数字化与多元化。演员不仅负责形体、演唱上面的演出，同时也负责音乐的演出。运用Audrion、Kinect等捕捉对点装置，电脑终端在采集演员动作信息的同时，触发设置好的音乐板块，根据演员的舞动、步伐，音乐与之交互对应，形成音画一体的交互舞台效果。为了达到这种交互的效果，艺术家必须在设计音乐元素的同时将其数字化、信息化。

多媒体技术把电脑终端作为起点，由面及点向歌剧中的各个板块进行发送。艺术家必须将音乐素材通过编码转换成为电脑所认知的二进制信息发送至电脑终端，才可以让多媒体系统控制音响材料的播放、编绘、处理。在探索中，艺术家在创作多媒体作品时，会选用数字音乐工作站直接进行音乐声波素材的数字模拟转换，从而创作出多媒体系统可以使用的电子化音乐元素。

随着技术的革新，Pro tools*avid出品的数字化软件工作站。、Cubase*steinberg公司开发的多功能一体的数字化编辑工作站。等数字音乐工作站相继出现，艺术家可以在这些工作站中完成他们的工作。以Cubase数字工作站为例，作曲家可以通过电脑，MIDI键盘采集自己弹奏进入电脑的MIDI电子信息，通过A/D，D/A转换，在电子信号与数字信号的转变中将信号有机地排列组合，再通过录音混音技术得到自己想要的音乐。

歌剧的音乐主要由唱段、背景(Background)等部分组成。歌剧中演唱的部分，因人声的演唱根据声线的不同各有特色，目前还无法用技术手段完全替代人的演唱。背景由于所涉及的音乐要素非常多，所以多媒体技术主要针对这一板块进行探索研究。一般的歌剧艺术作品中，通常是根据配器要求将乐队置于现场之中进行现场演出。加入多媒体技术后，在现场乐队的基础上，电脑终端接收到各种不同的预置音乐素材，可以进行与舞台表演实时的交互与调制。预制音乐是艺术家通过电脑预制好的电子化音乐素材，它可以是一段完整的音乐，也可以是一段乐思，甚至可以是零散的音乐块状结构。多媒体技术使用至少一台电子处理终端，对舞台上的各个装置、音响进行控制处理。艺术家通过自己的想法，排列、拼贴音乐块状素材，组合成歌剧所需要的音响部分。这些预制好的音乐素材被电脑终端识别认知后，可以通过主机操控直接触发，也可以通过演员触发交互点实时触发。现今音源技术较为发达，运用Kontank*数字化采样器。插件、waves*数字化效果器。效果器等进行多种调制，可以极大地丰富声音的音响效果，艺术家能够通过这些电子化程序编绘现实乐器所无法发出的声音。歌剧剧情中所需要的大多数声音音效，一般的乐器是无法实时发出的，而电子化的声音素材根据艺术家的想象千变万化，这些音响素材的加入可以让歌剧演出的效果更加具有立体感、带入感。歌剧中受限于乐器而无法产生的各种声音，艺术家都可以通过合成器调制ADSR包络来创造。

在数字化音乐制作的过程中，艺术家可以通过合成器对电子音乐素材进行调制改变，而ADSR包络线，是合成器工作的一个重要的原理概念。ADSR是四个英文字母的缩写，他们分别是Attack、Decay、Sustain、Release。电子化声音设计会比较多地运用到ADSR包络线的概念。

图3 ADSR包络线

ADSR的主要功能是调制乐器声音的一些方面，通过调节ADSR各个参数值，声音会发生相应的变化。在运用工作站制作音乐时，ADSR是我们运用到的必不可少的参数。合成器、效果器随着时代的发展涌现出了越来越多的种类，早期声音对于我们来说只是固定好的声音信息，我们只能机械地记录他们。随着科技的不断发展，我们不仅能够记录下声音的信息，还能将它们转换为电子波形，甚至可以运用技术改变声音的响度、乐器的音色，给他们加入延迟、混响等一系列的效果，这些在歌剧创作中也有许多探索实践。例如，全息屏上展示的是广阔深远的场景，演员在对话时艺术家在电脑控制端实时加入延迟效果，营造出类似于回声的跨时空效果，使歌剧演出更具有带入感与真实感。这种效果器处理不仅可以运用在预设的音色素材中，在现场拾音中也可以起到非常多的作用。营造出回声的效果后，一种多维度的立体舞台画面自然而然地便呈现在观众面前，一个看似单一的舞台瞬间融入了深邃壮阔的大好河山，立体感极强。在加入多媒体技术的歌剧中，我们不能把音乐简单地定义为“声音”或者“旋律”，音乐和表演家一样，是整出剧目的实时参与者，打破传统思维，将音乐作为一种实时交互表演元素呈现出来，也是多媒体制作过程中的重要方面。最重要的是，电脑终端作为整个多媒体舞台、音响系统的总指挥，艺术家可以在电脑终端实时地根据舞台需要调制、改变声音的效果与参数，这种实时交互的理念贯穿整个多媒体歌剧始终。

在多媒体歌剧中，音乐表现不仅仅是乐器所构成的声音、音效，多媒体预制音型以及声音拾音和扩音的工程图也是非常重要的一点。歌剧舞台中演员的表演与各类声效有机地叠合在一起，形成人与声的可控式触发以及实时交互模式，这也是多媒体技术对歌剧作品的艺术语言升华及立体性的多重交织。

图4 电子音乐素材波形的转换

多媒体视野下的音乐并不仅仅是我们传统观念上的“配乐”，音乐元素更多地在于设计与布局，通过电子音色，预制音乐的加成，歌剧的音乐语言应该是立体的、多维的，它突破了传统意义上平面的音乐配乐概念，通过音乐与不同音效、不同频段、不同视觉对点之间的多重性视听结合，来表演以舞台为载体而搭建的一个完整的多维度艺术空间。

歌剧《中华儿女》运用的是标准管弦乐队的音乐配置，但是伴随数字影像屏影像的播放，许多音效以及声音效果根据舞台事件的发展而随机触发。艺术家在多媒体系统中会设计许多的事件点。例如某一幕中，英雄儿女面对鬼子，不屈不服、奋勇向前，而演员做出了举手的这个动作，这个“举手”的动作模块捕捉就仿佛是一个开关，预制好的音乐元素排列就好比多米诺骨牌一般，在开关被触发的同时，音乐素材相继被触发，音乐语言与演员的交互立刻得到了响应，音乐化素材的连贯性特质就通过交互的桥梁被搭建了起来。

谭盾作曲的歌剧《秦始皇》是现代歌剧的代表作之一，其中就运用了许多多媒体交互理念。谭盾的音乐语言一向具有他独特的见解与构筑，多媒体歌剧《秦始皇》音乐着实给人非常深刻的印象。其中的交互思维是非常具有代表性的。整部歌剧的编制极其宏大，每个人都有麦克风作为辅助采样器，舞台上的每一声脚步，每一次舞者的动作击打都成为了关键的音乐元素组成形式。在实时的演出过程中，现场终端通过采样回放的方式将现场舞蹈演员的声音信息作为音乐舞台的一个组成部分，整个舞台与音乐形成了一个完整的复维度立体音乐融合载体，听众可以从多维度、多角度聆听，感观音乐的魅力。

电子化信息化的时代带给艺术家许多不同的创作处理手段，在探索中，艺术家也大胆地将电子化的音响素材加入歌剧的创作中，从而得到截然不同的艺术冲击力。

三、交互技术在中国歌剧创作中的实践运用

前文提到了预置音乐以及电脑终端对预置音乐的控制等，这些信息都是通过电脑终端解码编程加以控制处理的。这里不得不提到MAX/MSP技术，这也是多媒体舞台中控制端口所运用到的核心技术之一。

MAX/MSP由位于旧金山的cycling 74软件公司持续开发，是一款专注于电子音乐创作和(音乐可视化)多媒体开发的可视化编程语言，将不同的功能(functionobject)通过简单连线的方式进行可视化编程，让没有编程基础的音乐家可以简单快速地实现复杂的交互艺术作品创作，在近几年的交互式艺术作品的运用上，得到了许多作曲家、演奏家的青睐，是现代交互式电子音乐创作的一项重要技术。MAX/MSP的主要工作原理非常简单，如图所示，我们要编绘许多对象框(Object boxes)，然后用这些虚线进行连接，最终创建一个完整的单元。对象框中的指令非常丰富，用户可以根据需要改变声音的频率、播放次数、循环模式等等。用数字技术将音波频率转化为数字信号，并通过调整参数对声音效果进行实时的修改，通过代码控制可以达到最终想要的输出效果。在如今数字化的时代中，几乎所有事物都可以被转化为数字信号，通过计算机的重新解构、分析。这种技术让艺术与科技进行跨学科的无缝对接，艺术家的想象力得到了这些平台的支撑，他们能肆意地创造出自己想要的独一无二的乐器、音色或全新效果的表演工具，而这一切的决定权完全在用户，完全凭借创作者的想象力。

图5 MAX工作界面

现代化的歌剧中，电脑终端通过MAX/MSP设置好预先编辑的Object指令传达至多媒体交互感应装置，可以轻松地实现演员通过表演、舞蹈触发指令达到下一步的工序。多媒体交互的中国歌剧作品中，预置的交互程序被设计完成后，计算机通过点对点采样对演员的动作拾取动作信息，采集到演员的特定动作信息后，就好像打开一个开关一样，接下来的程序被依次触发，全息屏的画面，预置的音效随之播放。

多媒体系统下对表演者的信息采集，使用的是微软公司为游戏机开发的Xbox红外动作捕捉摄像头Kinect。“Kinect”为kinetics(动力学)和connection(连接)两个单词组合而成。kinect上包涵了三个摄像头(红外线发射摄像头、红外线接收摄像头、普通RGB摄像头分辨率640x480)、一个麦克风和舵机。通过分析图像和图像深度处理技术将平面的人体轮廓捕捉出骨骼点，所以kinect并不识别人体的旋转数据。在MAX/MSP中，有以下几种插件来抓取骨骼点，jit.freenect.grab、jit.openni、dp.kinect,这三种插件可以根据不同的表演需求使用。插件获取到骨骼点的数据后，通过OSC(open sound control)信号将骨骼点在空间中的位置数据发送至MAX/MSP中，以此来打开触发音效的开关实现交互音乐。

图6 Kinect交互装置

对于舞蹈演员的交互捕捉不局限于Kinect的动作捕捉系统。在目前市面上已有多种面部识别软件，在此要介绍的为FACEOSC这款开源项目，这款软件通过OPEN FRAME WORKS编写而出，在电脑上运行后连接摄像头，可以精准地得到面部的眼部、嘴部、眉毛等面部位子数据，通过面部表情数据分析，进行算法运算，可以准确地去判断患者面部呈现出的情感为欢愉或难过，而仅通过这款软件是仅仅不够的，交互设计师还需通过例如MAX/MSP、Processing、Open Frame Works等可接收OSC信号来获取数据，并通过数据去触发音乐类型。音乐类型可为一段采样，或通过连接声音软件，进行数据分析来触发MIDI信号制作生成音乐。数字信号的传输进行视觉生成，可以改变舞台的投影色彩或LED彩灯，例如设置整体表情数值为100(50为中间值，为平缓情绪,大于50或小于50分别为快乐与难过),当演员面部表情数据低于50后判断为低落或难过，可通过数据传输协议如OSC、MIDI、TCP进行数据发送，对整个舞台对应识别出演员的情绪波动从而改变舞台色彩色调，在舞台的声音与视觉上进行进一步的提升。由此舞台表演艺术家可对现场的多媒体环境有更大的把握，使多媒体视觉特效可随着艺术家的情绪而进行实时的改变。由此可见，多媒体交互歌剧与传统多媒体歌剧相比有了更大的现场互动性，让表演艺术家对多媒体视觉有了更多的选择性。

图7 FACEOSC交互式演示

四、中国多媒体歌剧新艺术语言的未来展望

中国歌剧从“五四”新文化运动之后逐步发展起来，直到今天，仍在探索与前进的道路上。多媒体交互式歌剧作为现代歌剧的一个新的探索方向，将诗歌、人文的情感通过共通的艺术表现形式注入至音乐歌剧语言表达之中，并通过与舞台多媒体相辅相成进行表达，使观众在声音与视觉中更好地去理解歌剧人文意境中的准确含义。想要以技术的可控性和音乐之美为载体，重中之重是要深刻挖掘中国传统文化之中的多种艺术内涵，通过多维度的艺术表现形式来完成，并利用现代的视觉技术、声音技术、虚拟与现实的交织、传统与现代的交汇，将传统文化更好地保存和鲜明地变现出来，是当今中国多媒体歌剧艺术创作工作者不得不面对和解决的问题。

简单地概括为：音乐多维度(传统乐队、人声、不同器乐化的音响创作+虚拟技术手段处理的音响设计+实时互动拾音并处理输出的音响工程图等)+视觉多维度(传统的结合歌剧情境的传统视觉概念创作+实时工程中与音乐对点中的歌唱家、演奏家、舞者交互产生的动作与表情触发的视觉表达+裸眼3D技术概念+VR、AR、MR概念等)=多媒体歌剧创作的雏形。

时代不断地进步，随着科技水平的提升，艺术也在发生极大的变革，通过科技将诸多传统艺术进行创新，使传统歌剧可以更好地传承和发扬，将最前沿的制作技术与传统文化交融为具有前瞻性和历史存时性的作品。相信越来越丰富的多媒体歌剧作品能够映入世人的眼帘；百花齐放，多学科交融的艺术精品也将不断从单向度创作层面上升为多维度思考的叠合体模式。

[1]Joseph Kerman:《作为戏剧的歌剧》，杨燕迪译，上海:上海音乐学院出版社，2008年。

[2] 杨燕迪：《音乐学新论》，北京：高等教育出版社，2011年。

[3] 贾达群：《作曲与分析》，上海：上海音乐出版社，2017年。

[4] 钱苑、林华：《歌剧概论》，上海：上海音乐出版社，2013年。

[5] 陶辛译：《歌剧》，《歌剧艺术研究》1994年第1期。

[6] 居其宏：《中国歌剧音乐》，安徽：安徽文艺出版社，2014年。

[7] 鲁宏伟、汪厚祥：《多媒体计算机技术》，北京：电子工业出版社，2011年。

[8] 安栋、杨杰：《数字音频基础》，上海：上海音乐出版社，2013年。

[9] 刘灏：《应用音乐教学理论与实践》，上海：上海交通大学出版社，2016年。

[10] 李四达：《数字媒体艺术概论》，北京：清华大学出版社，2006年。

【责任编辑：杨正君】

2017-04-11