“联觉”在新媒体声音装置分析中的运用研究——以《微澜》为例

●姜超迁

“联觉”在新媒体声音装置分析中的运用研究——以《微澜》为例

●姜超迁

（上海音乐学院，上海，200031）

通过对中国当代新媒体声音装置艺术作品《微澜》的研习、分析，来进一步探讨我国该领域作品创作的特征特点，文中将“联觉”这一概念引入到研究当中，作为表现层面分析的理论支撑和切入点，进而相对更为客观地描述作品表现与观者感受两者之间的关系，也为今后该领域的艺术创作与研究提供一个新的维度。

《微澜》；声音装置艺术；金平；联觉

一、本文相关概念概述及论域界定

（一）关于“声音装置艺术”及论域界定

装置艺术由来已久，始于20世纪中叶，涉及建筑、雕塑、美术、音乐等领域。而声音装置艺术则是以声音为呈现主体的装置艺术作品，这其中又涉及音乐装置艺术与非音乐性的声音装置艺术两个范畴。本文所涉及的声音装置是以电子音乐语汇作为声音表达的核心要素，因此本文的研究也是从电子音乐作曲专业角度出发，针对电子音乐学科领域的新媒体声音装置艺术创作进行研习。

（二）关于“新媒体”

新媒体是指相对于户外、报刊、广播、电视四大传统媒体而言的“第五媒体”，例如数字广播、手机短信、互联网信息、数字电影等以数字技术为核心的媒体形态。顾名思义，新媒体装置艺术是以数字技术为载体的装置艺术形式，是数字科技与装置艺术的结合，其实质就是艺术家通过新媒体的形态或技术手段来实现个人创作意图。

（三）关于“联觉”

“联觉”就是指一种知觉系统的刺激引起另外一个或数个其他知觉系统反应所获得的感受。例如“甜美的春风”“冰冷的现实”等等，都是人体多种知觉系统相互影响而形成的结果，是联觉现象的某种体现。音乐中也同样存在着许多联觉现象，大量的实践研究表明，音乐的音高、音强、音长、时间变化率等因素与人体的感官感受（例如大小、轻重、视觉亮度、情态兴奋等）因素存在着一一对应的联觉关系。中央音乐学院的周海宏教授曾对这一领域有过系统性的研究和论述，他指出：音乐在某种程度而言是具有运动特征的。这一运动特征与所要表现对象的世界或情感的运动特征是相通的，以共同的特征作为中介环节，使得两者的对应成为可能。[1]

二、作品《微澜》研究分析

《微澜》是一首大型的交互式融合媒体装置作品，应2012年北京现代音乐节组委会委约而作。该作品是由中央音乐学院电子音乐中心金平教授主导，同时联合来自中央美术学院交互设计实验室、同济大学传播与艺术学院、东北大学软件学院软件工程研究所的教授、技术人员而创意、研发的一个实验性作品。《微澜》于2012年5月19日至25日北京现代音乐节期间在中央音乐学院友谊厅展演。

新媒体声音装置作品不同于以往的传统音乐创作，有其一定的特殊性，例如在时间因素上，打破了传统结构上从始至终的线性鉴赏规律；再如空间环境因素上，不同于以往传统音乐作品，空间环境因素在作品中的地位和重要性与传统作品相比大大增强，直接影响声音装置作品所呈现出的形态和效果，以上因素都决定了声音装置作品的研究分析需要另辟蹊径，区别对待。因此，本文将尝试通过创作分析（创作的理念、构思）、技术分析（作品如何实现）、表现分析（作品的表现同观者感官感受之间的联系）等三个层面来对该作进行研究。

（一）创作分析

初见《微澜》，第一直观感受被“蓝色”二字所充斥：蓝色的池水、蓝色的波纹、蓝色的空间……，走近《微澜》就仿佛走进了一方蓝色、静谧、虚幻的世界。在这片奇幻的空间中，观者或会陡然间发现时代的变迁、生活节奏的加快模糊了太多的细节过程，太多应被感知的事物已逐渐被忽略。物质世界太过嘈杂，似乎已记不起关照内心的宁静。在充斥感官刺激的生活中，感官却愈加迟钝而麻木。《微澜》是对当今一种社会现象的关注，充斥着人文关怀，它希望营造一个凝思的时刻，或许可以凝神关注水中映出的影像，又或许在声音的起伏中随形态颜色而变化去体验那份或远或近，或浓或淡，或聚合或散去。如果轻轻撩动水面，就会发现投射到水面的光影会立即折射出好似大理石纹路般的动态光波反射到墙面，灵动而来，隐约而去，仿佛进入了静谧的另一个空间。在这片刻的屏息凝视中，在视觉与听觉被延长的历程中，或许我们可以找寻到一种久违的状态，找寻到那些渴望的，丢失了的能力，或许是对细节的感知，也或许是对微妙的体验。

《微澜》的创作理念可由 “微”“澜”二字着眼进行深入：“微”衍生出细微、轻微、微小之意；“澜”则给人以水的印象，同时蕴含水的动态。就某种层面而言仅仅“微澜”这两个字就已经向观众传递了作品声音材料的选择和处理方式的许多信息。作品试图通过电子音乐的音响、视频的画面与实时变化以及展演环境的布置等多方面因素的搭配，让观者的审美意识和心灵能够暂时走出当下忙碌生活的嘈杂与喧嚣，去静心体验一份久违的心之微澜，感受那份恬静与淡然，感受淡然中那一段沉思的时间，因为这一份沉思相对于生活在越发浮躁的现代社会里的人们而言，越来越可贵了。《微澜》期望用不同的表现媒介与形式同作者的音乐与理念相结合，从而形成某种“自然的默契”，将其在特定的音响空间中还原给观者（见图1、2）。

图1

图2

作品的音乐部分是随着展演现场观者位置的变化、数量的多寡实时变化的，当观者走进超声波传感器的侦测范围内，音乐就会接受到触发信号开始演奏，水滴声和金属声会随着观者位置的挪动和观者数量的变化产生音色、音量、音高、声音密集度等因素的相应变化，所以展期间的每一次音乐演奏都是不同的，有其随机性和偶然性。从《微澜》的声音角度分析，其声音构成及语汇特征方面的特点可以概括为以下两方面：其一，声音构成元素丰富、统一：作品主要的声音材料有抽象化的水滴声、金属钟声以及氛围类长线条化电子音色。尽管声音素材丰富，但其中无论是将细节无线扩大化的水滴声，还是悠远给人以联想的钟声，再或是神秘、空灵的虚幻氛围类电子音响，都自然的形成某种默契的和谐，塑造出一个沉静而富有联想的意境空间；其二，音乐语汇抽象化：无论是将细节无限夸张、扩大化的水滴声，还是悠远给人以联想的钟声，尽管二者都属于具象化的自然声响，但均经过了电子技术手段的抽象化处理，从而带给人新奇、和谐的感受，由此可见声音抽象化是整首作品音乐语汇的一个重要特征。

（二）技术分析

首先，我们先来看一下这首声音装置作品所需的材料：长约6米宽约3米的蓝色水池1个、超声波感应器20个、苹果计算机2台、摄像头1个、投影仪3个、音箱4个、8声道以上的调音台1个、线材若干。

其次，再来了解这个声音装置的制作流程：从测量展演现场声音装置的占地面积、建筑高度等数据，到确定水池面积及计算机与投影仪的摆放位置，再到电源线路的布局以及暗室氛围的营造，最终确定了声音装置的设计理念、结构形态与施工流程。在装置搭建过程中，以颜料浸染而成的蓝色池水效果的恒定性与超声波传感器的灵敏度是施工过程中的两个难题，经过反复实验、讨论，最终确立了以蓝底为水池底部背景，以及用20个传感器相互协同工作的方案圆满解决（见图3、4）。

图3

图4

再次，我们来看一下声音装置的工作原理：当观者走近声音装置，水池周围布置的超声波感应器会感应到观者的位置信息，侦测观者与水池的距离，将所得到的相关数据通过Wi-Fi信号传递到苹果电脑中，随着观者位置的远近、数量的多寡变化触发并逐渐地引起实时音乐、影像的层次变化；安置在池边的摄像头会将其捕捉到的影像通过计算机和电脑投射到水面的视频当中，其所侦测到的场景变化，会实时触发声音与图像的变化，将观者的动作变化信息即时地用于音乐、影像的触发和组织当中；观众撩动水面时，投影仪会通过一定的角度设置，将一部分光线经过水面的波澜反射在展演环境的四壁之上，通过实时产生的动态光波投射出美丽的光影，奇妙的音响空间、奇妙的视觉呈现、奇妙的互动反馈等等这一切都形成一个整体的环境氛围，将观者带入一个宁静澄澈的艺术与思想空间之中。整个装置的软件部分采用了Max软件平台，主要分为视频和音频两个指令集的编写，音频部分的Patch（工程文件）编写借助Max&Msp部分实现，视频部分的指令编写则通过Jitter部分完成。

综上可以得知，《微澜》是一首交互式的大型新媒体声音装置艺术作品，其技术层面的核心在于观者与装置的互动。

（三）表现分析

为了把握作品带给观者的感受并探寻其根源所在，因此本文针对作品展演时的表现与观者感受两者之间的相互关系进行了分析。由于对于观者感受的描写存在着无法规避的主观性和抽象性，所以在表现分析这一环节中，我们引入了“联觉”概念，通过借助音乐美学、音乐心理学学科关于“联觉”的研究成果来更为客观、清晰地对该层面进行研习，避免空洞的探讨，让该层面的分析有迹可循、有理可依。该装置作品所涉及到的观者感官主要有视觉、听觉、触觉三种，因此我们将针对以上三种因素与视觉亮度、情态兴奋度、空间感、触感在作品当中的联觉现象进行分析。

首先，整首作品的视觉环境是一个暗光线的视觉空间，它与全曲相对的弱音量、长音符、缓慢的时间变化率以及低频段等音乐元素存在着某种对应关系，恰到好处的与暗光线的视觉亮度相互呼应。在音乐联觉实证研究理论中指出：“频率越高的声音，给人的感觉越亮”，而《微澜》音乐的低频段表现形式通过暗光线的视觉衬托，加强了观者听觉与视觉间的联觉体验，音量、音强、音长、时间变化率因素的向下趋势会给人视觉亮度由生硬到柔和的结论，从而使多方面媒介元素形成某种默契，和谐并准确地引导着观者的感受。

其次，为了营造一个凝思的时刻，全曲的情态兴奋度应该是相对舒缓、沉静的。在这个装置作品中的情态兴奋度因素与全曲相对的低频段、低听觉紧张度以及低音强等音乐元素存在着对应关系，以上三种音乐表情的处理都表现出了相对低点的情态兴奋度，从侧面表现出音乐联觉实证研究理论中随着音强、听觉紧张度、音高等因素的向下趋势会让人的情态兴奋度处于低点的结论。作者有意识地加强各音乐元素与各媒介的统一、协调，从而强化了观者的艺术感受，达到创作者的意图所在。

再次，《微澜》需要在观者走进声音装置的同时如同走入到了一个沉静、微妙、充满联想的空间当中，因此音乐的空间感应该是相对宽广、深远的。创作者将4个音箱分别吊顶在展演现场的高空中，形成了一个相对宽阔的音场空间，同时结合音乐部分中相对的低音强、低听觉紧张度等音乐表情，创造了一个宽广、深远的音响场景。在联觉与音乐的研究成果中有如下表述：听觉紧张度越低，空间容纳性越高；音强越弱，空间距离越远。《微澜》对于音乐元素的处理都成功加强了观者的联觉体验，作者有意识的用音强、听觉紧张度的向下趋势来协调空间距离、空间容纳性的上升，从而塑造出一个宽广、深远的音响空间。

另外，《微澜》中涉及到了人的触感，当人走进水池轻轻撩拨水面，会产生视觉呈现的相应变化。水的触感是“软”的，而映射在四壁上的涟漪光影是“柔和”的，再配合音频中抽象化的水滴声音，三者相辅相成，让观者的触觉、视觉、听觉形成了奇妙的统一。

结 语

新媒体声音装置艺术相对于漫长的音乐发展史而言仍是一个新兴的艺术形式，前文中无论是对作品《微澜》就创作思路、技术手段以及表现分析三个层面的解构，还是将“联觉”这一其他学科的理论研究成果作为选题的基石和切入点，都是笔者对于新媒体声音艺术装置这种新兴艺术形式的探寻和尝试。衷心希望本文的研究能够为中国新媒体声音装置艺术的发展添砖加瓦，为该领域的创作和研究尽一份绵薄之力，相信随着中国快速发展的步伐，就在不久的将来，我们会迎来中国新媒体声音装置艺术真正的繁荣时刻。

[1]周海宏.音乐与其表现的世界[M].北京：中央音乐学院出版社，2011.

[2]付晓东.寓无形于有形——音乐装置艺术应用现状与前景展望[J].音乐传播，2013（4）.

J611.1

A

1003-1499-（2020）02-0088-04

姜超迁（1985～），男，上海音乐学院在读博士，浙江音乐学院音乐工程系讲师。

2020年度上海市音乐声学艺术重点实验室委托科研项目（编号：2020-03）研究成果。

2020-04-29

责任编辑 春 晓