浅谈音乐可视化在现代的应用可能性

（武汉理工大学艺术与设计学院，湖北武汉 430072）

一、音乐可视化的发展历史

1.早期联系音乐与视觉的实验——克拉尼图形

早在十八世纪，物理学家恩斯特·克拉德尼就做过音画互转的实验，巧妙地将视觉与声音联系了起来。他在小提琴上放了一块金属制的板子，并均匀地在上面撒上细沙。当他开始演奏小提琴时，金属板上的细沙随着音乐的变化，自动呈现出各种各样变幻的图案。并且根据曲调的不同，和频率的不同，呈现出了不同的图案形式。恩斯特·克拉德尼的这个实验在物理层面将音乐的曲调和频率与视觉上的几何图案客观上结合到了一起。他的实验为后人很好地开辟了研究思路。

2.艺术作品中的音乐可视化——康定斯基

著名的俄国画家，世界公认的抽象艺术大师瓦西里·康定斯基（Wassily Kandinsky），他认为音乐和绘画同样都是艺术的表达方法之一，拥有同样的精神内核，因此能够相互渗透，通过一定的形式进行转化。音乐的欣赏拥有时间性，而绘画能够让人在瞬间直观地感受到艺术情感。康定斯基以艺术形式中所传达出的抽象精神为初始点，以抽象绘画为方法，对音乐可视化进行深入的探索。

3.为音乐视觉化赋予时间性——汉斯·李希特

20世纪初，伴随着摄影、电影等行业的迅速发展，音乐可视化得到了进一步的深入发展。作为一名出色的电影、动画导演，汉斯·李希特疲于静止化的艺术创作，并且开始追逐一种带有节奏和韵律的电影形式。他采用自己独特的绘画方式，将音乐进行视觉化的演绎，创作出了奇特的动画短片，在康定斯基的基础上为视觉化的音乐赋予时间性，为平面画面增加了四维的时间特性，弥补了视觉与音乐的时长差距，向近代的音乐可视化又迈出了一大步。

4.现代化的虚拟3D视觉音乐场景——Animusic公司

到了计算机技术展开进一步发展的如今，运用计算机做出3D化的视觉效果并不是难事。Animusic公司就利用计算机技术制作了一系列的虚拟乐器，用动画的形式进行演绎，趣味性十足，相较以上几种方式更为直观易懂。三维的传媒相较于二维更具有直观真实的效果，而跟随这样的思路，我们同样可以将三维转变为四维，五维，使音乐可视化越来越真实可观。

二、音乐可视化在现代的应用价值和优势

1.时代发展改变了文化的承载形式

一般来说，音乐是听觉，通过耳朵进行传播，人们在聆听的过程中感受到情感变化，从而产生对音乐艺术的享受。而从电影到电视，最后发展到便捷的手机屏幕，现代传达和传播技术发展使得人们对于屏幕的阅读似乎呈现着不可替代的作用。而快节奏的生活方式导致人们不愿花时间听完一首富有情感的音乐作品，直接以视觉的方式呈现在眼前省去了聆听的过程，将艺术情感瞬间传达到内心，在极短的时间内获取需要的信息，达到欣赏和享受的目的。如果能够实现音乐可视化，那么人们对于艺术精神的接收将更加直观高效。

2.新型媒体的普及是音乐可视化的发展条件

如今，传播媒体诞生了一项全新的技术——虚拟现实。虚拟现实如VR、AR技术所想要达到的目的与音乐可视化的目的有共通之处，即创造一种沉浸式体验与真实感，让人身临其境。目前现有的虚拟现实技术多数是通过还原人类在真实世界中，视觉上的感受而达成的，而音乐可视化可以通过将耳朵所听与视觉所看结合在一起，营造立体影音的环境，从感官的多维角度让人体验到“沉浸感”。在这样的条件下，将音乐与视觉相互配合成为虚拟现实技术发展的要求，虚拟现实技术的日渐普及也为音乐可视化创造了充分的条件。

3.社会发展是音乐可视化研究的重要推动力

科学技术不断发展，带动着人们的思维和精神境界也有更高的要求。以往通过单一感官所产生的感受过于单维化，平面化，而各感官相互结合转化的体验可以通过改变人们认识世界的角度和形式，拓宽认知模式。例如患有“通感症”的艺术家梅丽莎·麦克柯莱肯（Melissa McCracken）天生便可以将耳朵听到的声音转化为五光十色、鲜艳动人的色彩。她所看到的世界与平常人是不一样的，正因如此她成了一名优秀的艺术家。如果音乐可视化发展到一定程度，普通人也能“看到”音乐艺术，那么人们的认知模式和对世界的理解也将发生变化。反过来，这种认知模式的拓展也可以催生全新的行业，以及现有行业的突破式发展。社会各行各业的发展导致人们对音乐的视觉可视化研究的追求目标越来越精细，从而推动着音乐可视化的进一步发展。

三、应用的实现形式

1.音乐各要素与视觉的相互转化

这是一种客观理性的转化方式。通过克拉尼图形我们能够知道，对于音乐上所产生的不同音调、振幅，在视觉上可以通过特殊方法进行一一对应。音乐主要包括旋律、曲调、和声、调式、音色五要素。而视觉绘画包括点、线、面、明暗、色彩这些要素。如果总结并规定某种规则，那么客观上来说，音乐与绘画完全可以进行理性的相互转化。例如汉斯·李希特的音乐视觉化短片，他将音乐的曲调、旋律、节奏转化为一个个几何形，跟随音乐元素的变化设置旋转、缩放等一系列动效，便是早期简单的相互转化。我们可以在他的基础上对这种对应规则进行细化，以求得更加有效的相互对应。目前，通过vvvv、Processing等编程软件进行音乐的视觉化已经成为专业领域内的重要研究工具。

2.音乐可视化与情感的相互转化

音乐与绘画同为艺术，笔者认为其目的在于表达创作者的心境，或传达理念，使得接受者能够在欣赏时体会到同等的感性或理性冲击，达成共鸣。同样成为艺术形式的音乐和绘画统一于一件事情——“感受”，可以以人们的主观感受为切入点，将两者所传达的相似或相同的情感作为两者的纽带，作为一种符号进行转化和传播。康定斯基在《论艺术的精神》一书里说道：“在音乐里，淡蓝色是长笛，深蓝色是大提琴，更深的蓝色就是雷鸣般的双管巴松，最深的蓝色是管风琴。”他将色彩与乐器所带来的感觉进行对应，足以体现不同种类的艺术之间是可以相互转化，相互联通的。如果我们将这样的情感符号进行系统化的总结和对应，就能够实现情感层面上的相互转化。这是一种主观感性的转化方式。

四、应用领域

1.现代平面的交互设计

如今手机音乐类软件和游戏行业迅速发展，而音乐与视觉的彼此结合，互相成就，互相弥补也成为行业发展的一种手段。例如“网易云音乐”APP，在音乐播放时，往往会伴随着唱片机形状的播放界面缓缓转动的特效，以配合音乐的播放。电脑端的Windows media player，在音乐播放时，会提取出音频的音调、节奏等元素，进行视觉的转化。而音乐类游戏如“节奏大师”，也是根据音乐和视觉相互配合的方式来产生趣味性。目前，5G时代的到来将进一步改变人们的生活方式和接收信息的方式。从一开始的纸质传媒到声媒，再到画面和视频，5G的到来很可能给大家带来全新的追求和感受。各个感官之间的配合，从全方位为人们提供全面的感受成为新的追求。

2.与虚拟现实技术的结合

随着虚拟现实技术如VR、AR的发展，音乐不仅可以转化出平面的视觉形象，并且可以转化成3D的虚拟现实场景。音乐视觉化作为一种沉浸式艺术，与虚拟技术互相配合，融合多种传播形式，将视觉、听觉甚至触觉融为一体，便足以给读者创造一个更加真实的沉浸感。据调查显示，对于人类生存最具有重要意义的信息，绝大部分都来自视觉。而虚拟技术环境下的音乐可视化中，视觉超越听觉占据主导地位，从而跟日常生活的习惯更加相符。例如steam游戏《视觉幻象(Visionarium)》，是一个由音乐驱动的虚拟现实体验游戏。在播放音乐的同时，通过视觉的变化和律动，创造了比平面视觉转化更加富有冲击力、更真实的沉浸感心理体验，不仅从视觉上，并且从心理上也让人设身处地地“感受”到音乐。

3.关爱聋哑人的情感化设计

对残疾人士的情感化关怀是社会文明的重要象征。聋哑人无法听见声音，发出声音，这让他们对于世界的认识不够全面，并且目前社会上缺乏对于聋哑人的关爱。但也正由于聋哑人缺乏听觉上的感受，因此对于视觉、触觉、嗅觉等感受更加敏感。如果可以实现音乐可视化，将音乐转化为视觉可见的事物，那么便有可能做到让聋哑人“看见”声音，从而感受音乐之美。

4.儿童的音乐教育

艺术教育可以激发人们对于美的感受，让人们对外界事物认知更加敏感。单纯通过听觉所传授的音乐教育效果并不明显，如果在教学过程中，可以将音乐转化为一定的视觉形式，运用视听相互配合的方式进行音乐教学，我们可以设想，它能够让儿童产生更直观的理解与感受，并且增加了音乐艺术教学的趣味性，培养孩子从多维角度理解艺术。

五、结语

由音乐的视觉可视化发展趋势我们不难看出，视觉和听觉相互结合的形式在未来的时代发展中，有着无穷无尽的进步空间和应用前景。我们相信，随着时代的发展进步和人类文明程度的不断提升，音乐可视化将迎来全新的时代，并进一步改变人们认识世界的角度和方式。同时，笔者也将有关音乐可视化的研究继续推进，期望未来有更进一步的发展。