音乐可视化的研究进展及其应用实例

王钧平

（中国音乐学院，北京 100101）

1 音乐可视化的概念

音乐可视化（music visualization）是信息可视化的一个分支，是音乐的一种表达方式。它是以视觉为核心，以音乐为载体，以大众为诉求对象，借助多种新媒体技术等传播媒介，通过画面、影像来诠释音乐内容的、视听结合的大众化传播方式[1]。它是一种能为理解、分析和比较音乐艺术作品形态的表现力和内外部结构提供直观视觉呈现的技术[2]。

音乐可视化是一种新的跨领域的技术，涵盖音乐声学、数字音频、动画、图像处理、虚拟现实等领域。音乐可视化在对音乐的特征（如波形、频率、音调、音高、节奏、速度等）进行提取之后映射到相应的可视化效果，这些特征提取出来之后，就可以转化为视觉的效果。目前，一般的视觉效果都是对音乐在低层特征方面的提取和转化[3]，Windows Media Player中的可视化效果便是音乐可视化的典型代表，还有Winamp中的插件Milkdrop也可以实现音乐可视化，并且可以自己进行编码改变图像的形状、颜色、位置等。

在可视化过程中涉及到的技术包括音乐信息提取技术、图像生成技术、主观评价技术等。音乐信息提取技术主要用于音高、节奏等信息的识别；图像生成技术将音乐表现要素具体化、形象化、直观化；主观评价技术的应用可以统筹兼顾地运用艺术、声学、技术手段得到亲切、舒适、完整、统一的效果，防止顾此失彼。如果是在现场展示一个录音与扩声要求较高的音乐可视化作品，不可只依赖人工混响声，应根据可视化作品的内容、演奏和杂音场所、设备系统等来确定声音的立体感、声像群结构动态范围和各声源的具体声音形象等。

2 音乐可视化的分类

音乐可视化目前有几种分类方法，交互性、实时性、维数角度、体验感和音频数据类型等[4]。

（1）交互性

从交互性来分类，可分为非交互式可视化与交互式可视化。当计算机播放某多媒体程序的时候，编程人员可以发出指令控制该程序的运行，而不是程序单方面执行下去，程序在接收到编程人员相应的指令后相应地做出反应，这一过程及行为，称之为交互。大部分的可视化都是交互式的。

（2）实时性

实时性可以定义为在规定时间内系统的反应能力。按照实时性分类，可以分为硬实时和软实时[5]。硬实时与软实时之间最关键的差别在于，软实时只能提供统计意义上的实时。例如，有的应用要求系统在95%的情况下都会确保在规定的时间内完成某个动作，而不一定要求100%。比如，用户在操作播放机时，只要98%的情况能正常播放，用户可能就满意了；而发射卫星、控制核反应堆的应用系统，这些系统的实时性必须达到100%，绝对不允许出现意外。音乐可视化应用基本是软实时系统。

（3）维数

从维数来分类，可分为二维和三维。目前电影、动画都在朝着三维方向发展，通过三维技术创造的视觉特效可以带来非凡的体验。

（4）体验感

从体验感的角度来分类，可分为沉浸式、半沉浸式和非沉浸式三种。沉浸是指精神的全神贯注，从一种精神状态到另一种精神状态的发展变化过程，增加对当前事件的情感投入。

（5）音频数据类型

根据音频数据的类型，一般可以分为对自然音频的可视化和对结构性音频的可视化两种。MPEG4音频标准把音频分为两类：自然音频和结构性音频。自然音频分为一般性音频和语音，包括MP3和其他数据压缩格式的音频。结构性音频主要是指MIDI（Musical Instrument Digital Interface）格式的音频，它主要是由一些指令和参数组成，包括音符及其起音、音高、音色、速度等信息，对于特征提取比较方便。

3 音乐可视化的研究进展

3.1 音乐特征提取

对自然音频和结构性音频特征提取方法是不一样的。为了便于对自然音频（如WAV、MP3等格式的音频）的内容分析和特征提取，应对原始音频数据进行预处理[3]，目前有傅里叶分析、固定窗口等典型的变换方法[2]，在此基础上，再对其进行特征提取。对于结构性音频（如MIDI格式的音乐）[6]，由于这类音频是由一些控制声卡发声的指令组成的，很容易从中找到音色、音高、音长等信息的对应位置，然后按其格式的规则进行相应的转换，即可提取到这些特征。

孙鹏玉在《波形音乐文件特征提取方法的研究》[7]中提出，音乐的特征可以分为基本特征、复杂特征和整体特征三个方面。基本特征包括音符的音高、音长、音强等；复杂特征是由基本特征基础上分析出来的，包括乐段的音程、节奏、旋律等；而整体特征是由复杂特征分析而来的，包括音乐的情感、曲风等。首先，给出一种音符提取的方法，提高音符提取准确率。通过对WAV格式音乐文件的分析，得到音乐的采样数据等信息。然后，通过对信号的压缩、去噪和高斯低通滤波处理，获得信号的包络线。接着通过快速傅立叶变换，对包络线进行峰值检测，提取出音符。通过对音符的分析，提取出音符的音高、音长、音强等特征。其次，设计了一种划分小节的方法。根据小节的乐理特征在音乐信号上的表现，设计了一种加窗移动匹配的方法，将小节线提取出来。通过对小节的分析，获得小节的音高、音长、音强的平均值与稳定性等特征。这是对于自然音频特征提取的方法。

而对于结构性音频特征提取，孙鹏玉也提出在以MIDI格式为音乐主要存储格式的时期，由于可以从音乐文件中直接读出音符和小节的信息，因此，对音乐进行特征提取研究的重点放在情感特征识别方面。

3.2 情感检测与情感表达

音乐与情感有非常密切的关系，情感对音乐的理解、欣赏和创作有着重要的影响。

张娜等人在《音乐情感的特征与识别》[8]中写了运用多元分析法对音乐所包含的情感色彩进行提取与分析，并将测试音乐样本按照舒缓激越情感特征进行分类，然后从数字信号处理技术角度探讨不同类别的音乐所具有的特征，最终使计算机能够像人一样识别音乐情感色彩。

中国音乐学院音乐科技系师生在民族乐器的主观听觉属性实验中[9]，对音乐情感的描述词进行筛选，然后运用系列范畴法等就每一个评价对象在给定的一组范畴或尺度上进行评价，经过意见分类统计、左侧范畴累计人数、累计百分数、p-z转化等步骤，最终得到数据结果。这次实验对音乐情感的特征与识别有着重要意义，在民族管弦乐的配器、数据自动标注等方面具有一定应用价值。

音乐是由一连串音符所组成的，每个音符又包含诸如音高、时值、力度等信息；但是音乐情感不是通过单独的音所表现的，而是通过整体旋律展现的[10]。旋律的进行速度、调式等都会对音乐情感的表现产生影响。

3.3 虚拟现实

随着社会生产力和科学技术的不断发展，各行业对虚拟现实技术的需求日益旺盛， 虚拟现实技术也取得了巨大进展，并逐步成为一个新的科学技术领域[11]。音乐可视化的发展伴随虚拟现实技术的加入更具感染力。

1969年，著名物理学家和教育学家弗兰克·奥本海默创建了旧金山探索馆（“探梦馆”），它是一个集视觉、听觉、触觉等多感官体验的互动型科学馆，由一座古建筑物改造而成，为今后的博物馆研究提供了宝贵参考。美国密尼索尼亚博物馆，每隔一段时间会展示不同的主题。其中音乐主题研究的是音乐与乐器之间的发展，展示了美国乐器和音乐理论的发展史。由Golan Levin等人创建的可视化系统“Messa divo-ce”①，将表演者的物理特性和他们表演的虚拟空间的物理特性联系起来。该系统形象化地表示了现场歌唱者的发声法，系统中虚拟场景的大小让表演者感觉到自己也是表演所在的虚拟空间的一部分[3]。

虚拟现实技术增强了音乐可视化作品的力度和感染力。对音乐可视化的发展有着重要影响。

4 音乐可视化的用途

随着新媒体艺术的发展，技术的不断完善，音乐可视化为人们享受音乐、理解音乐提供了多种可能。

音乐可视化可以运用到多种领域。酒吧、电子音乐节的表演现场，LED屏幕上的图像变化与音乐节奏相结合，可以给人以强烈的视觉冲击。电子游戏中音乐可视化的应用，例如“跳舞的线”，音乐与游戏中的元素结合，提高娱乐性，玩家不仅需要用双眼来观察障碍物与陷阱，更需要用双耳聆听音乐，旋律与节奏会帮助玩家走得更远。音乐教育中可以结合音乐可视化，例如，辅助听障儿童音乐教育，它的目的不仅是弥补特殊儿童听说能力的缺失，更在于帮助他们通过音乐欣赏尝试体会正常人能感受到的美好，增强自信和表达、理解能力，释放不良情绪，改变孤独、自闭的行为方式[12]，音乐可视化使音乐教学变得更生动有趣，充满意义。商业中利用音乐可视化技术的音乐喷泉，使喷泉和灯光的变化与音乐同步，喷泉的效果更为生动，例如西湖的音乐喷泉。不管是哪种领域，音乐可视化的发展令人期待。

5 音乐可视化作品

5.1 《Beatbox Cymatics》

《Beatbox Cymatics》的作者是来自英国伦敦世界著名的Beatboxer Reeps One②。Reeps One是Beatbox界的传奇人物，他率先将Dubstep与Beatbox结合，使得Dubstep在Beatbox中流行开来，他开创了诸多音色，并且多次担任世界大赛的评委。他不仅是一名优秀的Beatboxer、一名优秀的电子音乐制作人，他还从事美术创作，包括帆布画和涂鸦。他曾在迈阿密巴塞尔艺术博览会，伦敦、米兰和东京设计周等多学科活动中展出他的作品③。

《Beatbox Cymatics》是世界上第一个Beatbox与音乐可视化结合的作品。作品的创作和Reeps One音乐与美术的双重身份有很大关联——他对音乐的物理认知以及对美术视觉的感受。

此作品原理是将液体倒在扬声器的振膜上，液体随着振膜的振动而振动。将注入液体的大盘子放在扬声器的顶部，再将摄像机（或者高速摄像机）放在扬声器的上面，将拍到的画面进行投影，从而实现Beatbox音乐与液体的实时交互（图1）。

图1 《Beatbox Cymatics》音乐可视化

也可以将液体换成粉末，再通过灯光照射，使其产生不同颜色，这样使Beatbox成为看得见的音乐（图2～图4）。

5.2 《Cymatics》

Cymatics是使声音形象化的过程，基本上借由沙或水等媒介的振动来达成。

Nigel Stanford（又叫John Stanford）是一位来自新西兰的氛围音乐家，现居美国纽约④。他不仅受过正规的音乐教育，并且是新西兰维多利亚大学的一名高材生。他曾尝试将各种科学器材与乐器结合在一起进行创作，水、铁磁流体、等离子球、特斯拉线圈等东西都成为他创作时的道具。一首名为《Cymatics》的音乐作品因其蕴含的科技元素而备受关注。

把细沙撒在薄板上，当薄板振动时，薄板上的细沙就会显示各种各样的图形，图形随振动频率而变，这种图形是由德国物理学家克拉尼（Chladni）发现的，因而命名为克拉尼图形。用来显示克拉尼图形的薄板就称为克拉尼板。《Cymatics》其中就用到了克拉尼图形（图5）。

《Cymatics》的原理是将液体倒在扬声器的振膜上，液体随着振膜的振动而振动。扬声器盘实验，将注入液体的大盘子放在扬声器（音频在50 Hz和100 Hz）的顶部。在经过多项实验后，选择冰冻伏特加作为注入液体，因为这种液体带来的厚重感恰到好处（图6）。《Beatbox Cymatics》也采用了这种原理。

此原理是将橡胶软管固定在扬声器振膜上，扬声器连接电鼓，鼓被敲击会形成水柱的曲折变化，在水通过螺旋状的软管冻结的瞬间，摄像机以25 Hz的帧速率拍摄，进行记录（图7）。

鲁本管（Ruben's Tube）实验，在金属管内充满可燃气体，与扬声器连接，不同的音频会形成不同的压力波，进一步再通过压力波作用来影像火焰的高低形状（图8）。

铁磁流体实验，选择大小合适的磁体，能够以足够的速度形成所需刺状形态（图9）。在磁场关闭后，通过将液态磁体在盘中的回声效应，带动的涟漪诠释声音的形状。

以特拉斯线圈产生的高压电弧在空气中的形状诠释声音的形状，演奏者被特制的全金属外套包裹（类似等电位服的工作原理），确保人体不会被电伤，同时在鼓棒上缠绕导线来带动电流，从而形成图10所示的视觉效果。

5.3 《See Sound》⑤

《See Sound》是艺术家Rama Allen⑥所创作的一件声音可视化作品，将多个循环的、可视化的元素与人声结合，组合为一个多媒体雕塑。这些数字图像都可以被3D打印出来，人们可以在自己的“声音雕塑”上签名（图11）。

图2 摄像机正在拍摄粉末的振动

图3 用灯光照射粉末

图4 Reeps One在舞台上表演他的作品

图5 《Cymatics》克拉尼图形

图6 水的振动形态

图7 水流波形的变化

图8 火焰驻波管

《See Sound》使用雕塑原理、循环测序法、数据可视化和飞行控制原理，创建了一条有体积的轨道图腾。这个作品的Beatboxer就是Reeps one。《See Sound》打印出了世界上第一个Beatbox声音雕塑作品。不仅使Beatbox成了看得见的音乐，还使Beatbox成为了摸得着的音乐（图12）。

图9 铁磁流体

图10 特斯拉线圈实验

图11 《See Sound》声音雕塑

图12 《See Sound》的制作

图13 《See Beatbox》

图14 改变背景颜色

图15 改变线条颜色

图16 交互中图像的变化

图17 《See Beatbox》的MAX/msp 界面

6 《See Beatbox》作品创作

《See Beatbox》是笔者首次尝试将Beatbox与可视化结合的作品，目的是为以后研究Beatbox音乐可视化探索出新的方向。

《See Beatbox》通过传声器采集声音，利用Max/msp jitter⑦实时控制图像变化，包括图像的位置、长度、宽度、颜色、形状以及变化的速度等，同时也可通过内置播放器实现音乐与图像的交互（图13）。

图像是预置的线条模板，主要通过一些插件例如ZOOMER（缩放图像大小）、PANNR（图像的上下左右变化）、SLIDR（图像的变化速率）等来改变效果。

图像的变化效果是可以提前进行调整的。例如颜色，首先可以建立一个erase_color的Patcher，将Patcher连接到图像，可以改变图像的背景颜色（图14）。建立一个mat_emission的Patcher与图像关联可以改变线条的颜色（图15）。传声器采集声音，图像进行变化（图16）。

《See Beatbox》的视觉效果从振幅中提取的特征转化而来，Beatbox输出的信号不同于正弦波，而是更加离散的脉冲信号，通过传声器收集Beatbox的声音，节奏中节拍变化会使振幅发生变化，与声音相关联的插件如ZOOMR的参数就会随振幅的变化而变化，从而使图像发生变化，与节奏的变化达成一致。振幅越大，线条就会变得紧凑；反之，线条就会变得分散。图17所示为《See Beatbox》的MAX/msp界面。

《See Beatbox》在图像等方面还需完善。后续希望能创作出与中国水墨画相结合的音乐可视化作品。

7 结语

笔者创作的作品《See Beatbox》不同于《Beatbox Cymatics》，它在图像变化方面更具有可控性，但是在图像方面还是相对比较单一，元素较少。

音乐可视化作为新兴技术，具有现代社会高端科技的特点，它结合视觉与听觉作为新一代的艺术语言，给大众带来新的感性体验，虽然还存在诸多难题，但是随着科学技术的发展，音乐可视化的内涵将更加丰富。

音乐可视化领域与Beatbox音乐可视化的结合对于音乐实践具有重要意义，为以后研究音乐可视化探索出新的方向，视听结合的方式为人们了解音乐提供多种可能，同样也是为了让有听觉障碍的人能看到音乐，感受音乐的魅力。

注释：

① Levin G,Lieberman Z,In-situ Speech Visualization in Real-Time Interactive Installation and Performance, In:Proceedings of the 3rd International Symposium on Non-Photorealistic Animation and Rendering. New York:ACM Press, 2004,7-14.

② Reeps One,英国Beatboxer, 2009年和2010年的UK Beatbox冠军。 2009年德国柏林举办的World Beatbox Championship四强、2012年德国柏林举办的World Beatbox Championship四强。

③ http://www.i-element.org/cymatics/

④ Lever, Anna-Marie (1 June 2011). "Inside the brain of a beatboxer". BBC News. Retrieved 9 August 2012.

⑤ 新媒体艺术站微信公众号文章——《在雕塑界这是最好听的，在说唱界这是最好看的！》

⑥ Rama Allen, http://www.rama-allen.com/see-soundvoice-reactive-sound-sculpture

⑦ Max/msp jitter是基于C语言的图形化音乐编辑环境，目前被广泛地应用于互动音乐、交互艺术、装置艺术等创作领域。1984年，巴黎声学及音乐调配研究院IRCAM开发出MAX，实现以编程方式对设备进行控制，结合合成器发送指令，处理MIDI信息等；1999年，基于MAX开发的MSP实现了对音频的实时控制与处理，升级为MAX/MSP，2003年Jitter正式发布，增加了软件的视觉设计功能,发展成 Max/msp/jitter.

[1]童卡娜,黄东军,徐鸣. 音乐可视化及其研究进展[J]. 计算机仿真,2008(01):216-220.

[2]白亮,陈剑赟,老松杨,吴玲达. 音频内容分析研究[C].中国计算机大会, 2003.

[3]屈天喜,黄东军,童卡娜. 音乐可视化研究综述[J]. 计算机科学,2007(09):16-22.

[4]常慧娟. 可视化技术对音乐视觉表现的影响[J]. 现代商贸工业,2016,37(34):490-491.

[5]涂刚. 软实时系统任务调度算法研究[D]. 华中科技大学,2004.

[6]谢朝宗,田洪霞. 音乐设备数字接口(MIDI)与计算机音乐[M]. 北京:学苑出版社,1995.

[7]孙鹏玉. 波形音乐文件特征提取方法的研究[D]. 辽宁大学,2013.

[8]张娜,孙赟,毛峡. 音乐情感特征分析[A]. 中国科学院自动化研究所、中国自动化学会、中国图象图形学会、中国计算机学会、中国中文信息学会、国家自然科学基金委员会、国家863计划计算机软硬件技术主题.第一届中国情感计算及智能交互学术会议论文集[C].中国科学院自动化研究所、中国自动化学会、中国图象图形学会、中国计算机学会、中国中文信息学会、国家自然科学基金委员会、国家863计划计算机软硬件技术主题,2003:4.

[9]中国音乐学院音乐科技系听觉主观实验报告.

[10]蒋旻隽,周昌乐,黄志刚. 音乐情感的自动识别[J]. 厦门大学学报(自然科学版),2010,49(06):798-802.

[11]赵沁平. 虚拟现实综述[J]. 中国科学（F辑：信息科学）,2009,39(01):2-46.

[12]柳茗千. 辅助听障儿童音乐教育的可视化方法研究[J]. 教育教学论坛,2017(01):275-276.