探究实验艺术

朱颖芳　张涵初

摘要：音乐，是一种诉诸听觉的艺术形式，作为表情艺术，它是抽象的审美艺术。人们用音乐表情达意，反映现实的生活。随着艺术表达方法的多样化与信息技术的进步，人们正在探究一种综合的表现手法，尝试将音乐信息可视化。如何在已有技术手段的基础上突破桎梏，更直观的将音乐信息传递，是本文所要研究的重点。

关键词：实验艺术；情感识别；音乐；可视化

一、绪论

（一）研究背景

音乐作为表达思想感情、反应现实生活的重要载体，以听觉感知的形式影响着人们的生活和审美，是一种重要的艺术形式。音乐艺术用有序的声音元素构成听觉意象，从感官上看，音乐所调动的是人类的听觉器官，符号学的观点认为，音乐用来表达的抽象化内容是借助符号来传达的。所以，如果能在听音乐的同时调动起视觉和听觉双重感知，必对感知音樂、解读音乐起到不可忽视的作用。

（二）研究现状

数字技术的发展，让音乐的视觉化成为可能。windows media player}番放器可以在音乐播放的同时，通过播放器窗口，随机生成烟雾、波纹等动态效果。这是对音乐可视化的现实应用。随着技术的进步，计算机能用2D、3D等多种模型模拟出音乐的情感变化，将听觉上的高低强弱韵律转换成真实可见的模型。

近年来，研究人员从情感识别的角度出发，研究人的音乐情绪，用计算机模拟出不同音乐的不同情感内涵。

本文，以音乐的情感识别为依据，以实验性的方式，对音乐可视化进行进一步的研究与设计。

二、音乐可视化的概念及研究内容

（一）音频信息与音乐可视化

借助数字技术，人们可以通过软件依据律动将音乐生成波形频谱图象。而这图像中恰恰蕴藏着丰富的音乐信息，其中包含音乐的诸多构成要素：节奏、旋律、音高、音长、音强、音色。而音乐艺术正式借助以上的诸多构成要素来反映的现实生活，以及人类的情感、心绪等。

从归类及类型方面想，音乐可视化存在于信息可视化的领域。Robertson Card和Mackinlay认为，信息可视化是指通过数字信息技术，运用2D和3D动画的形式，将信息和信息结构以刺激视觉的形式传达出来的一种技术手段。我们可以理解为，音乐的可视化是在信息技术的辅助下，将音乐以图像、图形的方式呈现出来。

音乐的视觉符号有很多，如五线谱作为最基本的音乐视觉符号被大众广泛接受。除此之外，乐器也可以作为音乐的视觉符号出现，如古典音乐常常与小提琴相联系，爵士乐的海报上则会出现萨克斯的标志。

（二）音频可视化的研究内容音频的可视化

可以从五个方面人手展开，其中包括：第一是特征提取，第二是情感检测，第三是可视化建模，第四是图形图像处理，最后是虚拟现实。特征提取——提取不同音乐曲目的振幅、频率、音高、节奏等特征加以提取和分析。情感检测——是在将音乐形成视觉刺激的同时，传递出音乐的感情。这是可视化技术最佳的转化结果，也是我们目前所致力于探究的内容。可视化建模——运用数字技术，将音乐的提取的音乐特征，进行数字建模，既有平面的波形图，也有建立在三维模型上的曲线图。图形图像处理——是将可视化模型中的图形或图像进行旋转、平移、透视等处理。虚拟现实——则是由计算机生成有沉浸感的现实环境，如中科院推出的巨型球幕影片《化蝶》，接住了三维动画技术用视觉诠释听觉。

本文则是建立在情感检测的基础上，从情感识别的视角探寻一条音乐可视化的新途径。

（三）经典案例和音频可视化原则在数字技术的辅助下，音乐可以被运算为2D和3D的可视化模型

如AdobeAudition可将音频生成波形图和频谱。（例1、例2）1999年，迪士尼公司制作了经典电影《幻想曲2000》，塞在IMAX技术的辅助下，尝试音乐可视化的一次重要实践。开篇的《命运交响曲》（例3），命运的锤音通过黑白和彩色交替展现，前一秒还是全然黑白的世界，音乐每锤击一下，彩色图形构成的蝴蝶翩翩飞舞，让我们看到了生活的希望与和命运抗争的动力。另外，蒙德里安在《百老汇的爵士乐》（例4）中，作者运用音符切分法将音乐符号进行解构，形成平面中的节奏旋律，用红、黄、蓝定义爵士乐明亮欢快的曲调特点，不同色块反复出现，由于它们的面积和色彩有着强烈的视觉冲击力，从而在视觉上，直观展现了音乐上的情绪色彩。

在传统的视觉设计领域，如服装设计、装潢设计、海报设计、包装设计等，设计师经常依据必要程度，运用设计所需要的图形、文字、线条等元素进行编辑布局，以追求这些元素最为优化、合理的排列。

而让音乐信息以更加直观的方式呈现出来，是音乐的可视化的主要目的。我们需要根据音乐里传达出的音乐信息，合理的从图形的大小、色彩、角度等维度进行组合。因此，音乐信息图形层次化和结构化是要遵循的重要原则。

三、音乐的情感分析

（一）音乐的艺术特点和表现对象

音乐艺术是用声音元素刺激人的听觉，在脑海中形成听觉意象，进而传达思想感情和现实生活。有音高、音程、和弦、调式等核心元素。真实的反映生活现状，并抒发内心感受，是音乐与其他艺术门类的共同之处。但是音乐在表达感情时也有其自身的特殊性，音乐通过声音塑造形象，因此具有很强的抽象性，是一门想象的艺术。

同时，音乐与其他艺术形式相比，能够更加深刻地书写内心，抒发内在情绪。它用音乐符号滋养着人类的精神世界，也从一定程度上，为培养人类的审美能力贡献力量。在音乐审美中，必须把握情感层次的因素，因此，在音乐可视化过程里，也必须将其作为核心。

（二）音乐的情感色彩

长期的研究发现，某些音型排列和情感有着固定的联系，就如同某些情感和人类的表情是符合的。如大调通常用来表现积极的、向上的情感，诸如愉悦、美好、安宁、成功等，而小调通常用来表达消极的、低落的情绪，如悲哀、不安、愁绪、愤恨等。如五度通常用来表示力量，而大三度常常用来表达喜悦。

下文，就将结合Gold Wave软件平台对于不同音乐在波形上的不同具体进行情感的分析。

四、音频可视化设计

（一）Gold wave平台下的音频波形分析

GoldWave是一个数字音乐编辑器，它界面简洁、操作简单，运转快捷，可以把听觉艺术——音乐迅速转化成直观可见的波形频谱，使其音高、旋律等特点形成视觉刺激，使其变得更加可分析。我选取了风格不同的3类音乐，通过Gold Wave分析出其频谱，并对其规律进行总结，以观察不同情感的音乐在视觉上有什么特点。

我选取的三类音乐依次为：第一类，快活愉悦类；第二类，宁静从容类；第三类，悲哀压抑类。在音乐的选择上，我选取了古典音乐和流行音乐，这两种音乐类型不同，但都能传递想死的情感，以期研究更加严谨。

我先将所有音乐进行截取，只选取其高潮部分，对截取音乐进行降噪处理，利用Gold Wave生成音乐波形图，提取了尽量短时间段内的波形图，并对其音乐特征进行分析。最终，我节选了其中三段音乐在0.15秒内的波形图。

从上面三个音乐波形图中，我们可以看出，振幅最高的是曲调欢快的《欢乐颂》，而宁静的《安妮的仙境》其波峰值也是高于忧伤的《世界末日》。由此我们可以总结出音乐的振幅与情感之间的关联。

观察三个波形图，还能发现，在同样的时间内，频率最高的是《欢乐颂》，《安妮的仙境》次之，《世界末日》频率最低。在这里，情感因素和音乐频率之间的关系十分清晰，基于Gold Wave平台的分析，我们可以得出以下结论：

①不同的音乐可以表达不同的情感；

②音乐的情感不仅与音乐的节奏、速度、旋律有关，也与音乐的音高和音调有关；

③音高高的音乐，在波形图上振幅会相应更大，而振幅越大，音乐所表达的情绪越欢快；

④音调高的音乐，在波形图上频率会相应更快，而频率越快，音乐所表达的情绪越欢快。

（二）实验艺术中色彩的运用与音乐情感的表达

“实验艺术”作为突破传统、创造新艺术的一种思想方法与工作方法，为艺术多元化注入新的思路。

色彩運用在艺术设计中是不能避免的，地位至关重要。波长不同的光波在人的视神经上呈现出不同的颜色，不同的光信息通过刺激人的视觉器官，视觉神经将其刚加的信息符号送入大脑，从而形成一系列的心理反应。因此，与音乐信息相同，不同的色彩也能让人体验不同的情感，也是具有强烈情绪表达作用的艺术元素。

色彩的冷暖、轻重、软硬都能引起不同的心理感受，我们试着用饱和度和明度对颜色进行简单分类，将色彩按照不同的矩阵进行排列组合，必然会体验到不同的情感。如几种饱和度高的颜色搭配会让人印象深刻、容易记忆。而明度低的颜色互相搭配则会让人感受宁静。饱和度和明度都比较低的颜色互相搭配会让人感到沉着、忧郁，饱和度高的颜色与明度低的颜色对比搭配会让人形成神秘的印象。

而单一的颜色也与特定的情绪相联系。拿三原色为例，红色容易引人兴奋、紧张、激动，黄色给人以多疑、不信任的感觉，蓝色则传达严肃与忧郁。

编织工艺经历了漫长的发展，能够运用简单的线材编造出优美的图形，呈现绚丽的色彩。服饰是展现人体美的“第二肌肤”，让人类的生活更加美化，精神更加丰富，表达着人类的心情和审美。因此，将音乐、颜色与编织三者结合起来，是一次新的艺术实验。

基于Gold Wave的波形频谱，我们可以感受到音乐的所传达出的情绪，利用不同的颜色相搭配，我们将音乐所表达的情绪传达出来，运用古老的编织技艺，我们将其变成我们所穿着的服饰，如毛衣、帽子、围巾、手套。

音乐信息可视化，此为一项极具创新的设计理念。音乐不再只造成听觉器官的刺激，音不再只停留在耳畔，也不再是抽象的审美，而是实实在在变成了可视、可触的，于目于手的艺术形式。

从此，在用耳朵倾听音乐的同时，在用心灵去感受音乐，用想象力去创造音乐事件的同时，音乐也能变成被穿在身上的“固态的艺术”。颜色的碰撞表达了音乐的情绪，表达了心情的感受，音乐变成了具象的、可视的艺术。

五、结语

现有条件下，已经有了多种多样的音乐可视化手段。而我希望我的思路能带领着音乐可视化冲破现有桎梏，走上一条更加具有创新意义的探索之路。