音乐可视化研究特征选择及表达方式综述

黄宗珊 饶志双

【摘 要】随着可视化方法和技术的不断进步，对音频的可视化逐渐发展。研究者根据不同特征从不同角度观察分析音频文件，并使用可视化展示这些特征。本文结合现有的研究，简要地介绍在音乐可视化中分析的特征以及对这些特征所采用的可视化表达方式。

【关键词】音乐可视化；特征选择；表达方式

中图分类号： TP391.42 文献标识码： A 文章编号： 2095-2457（2018）05-0211-002

【Abstract】With the continuous progress of visualization methods and technologies， the visualization of audio has been gradually developed. Researchers observe the analysis of audio files from different perspectives based on different characteristics and use visualizations to display these features. This article combines the existing research， briefly introduces the characteristics of the analysis in the visualization of music and the visual representation of these features.

【Key words】Music visualization；Feature selection；Manifestation

0 引言

音乐作为一种艺术形式，不仅能够抒发情感、反映社会现实生活，在历史上还曾有过鼓舞人心、治疗疾病的例子，即使是不同国度不同时代的人也可以欣赏。在音乐被谱写之后，乐器的演奏或人声的演唱等诠释方式能够将其传达给听众，为了能够使听众更全面地体会音乐所表达的情感和思想，创作或传播者采用了不同的辅助表達方式。可视化的发展为音乐的表达提供了新的方式，使用特定的规则进行解读，为其产生可复现的视觉效果。

1 音乐可视化的研究内容和现状

可视化（Visualization）是使用计算机图形学和图像处理技术，将数据通过图形或图像的方式进行显示并进行交互处理的理论、方法和技术。音乐可视化（Music Visualization）是利用可视化的方法，客观解释和判断音乐的表现力和结构，帮助听众提供理解、分析、比较音乐。

对音乐可视化的研究包括了感知模型、特征提取、实时计算、情绪检测、系统结构、沉浸感的展示、交互式图形界面以及应用研究等。由于音乐可视化结合了艺术与科学，对研究者有一定的要求，因此在这方面的研究相对并不完善，并且可视化系统的一些使用者无法体会系统所表达的涵义。在应用方面，Windows、Mac OS X、Linux等平台上都有支持音乐可视化的媒体播放器，也有人使用D3.js和HTML5实现了音乐可视化的效果。

2 音乐可视化的特征选择

音乐可视化对单个音频的特征分析分为两种层面。低层的特征主要为响度、音调、频率、音色等物理特性，Windows Media Player、Winamp附带的多种可视化效果就是基于振幅和频率的；Takayuki Itoh[1]等人为了帮助爱好者了解管弦乐曲，依据不同乐器的乐谱对不同乐器进行区分。高层的特征主要为语义、情感等， S.Zhang等人[2]在情感分析和可视化的基础上，实现了基于情感信息的MV检索。对多个音频文件，E.Pampalk等人[3]对359段音频基于心理声学模型估计其相似性，在不需要手动进行流派分类的情况下，根据音乐风格差异建造了音乐岛。

3 音乐可视化的表达方式

音乐可视化按照视觉空间维数，可以分为二维与三维两类。二维的音乐可视化需要的数据维度低，实现较为简单，而三维由于表现力强，适合构造复杂对象，主要应用于沉浸感要求高的场合。在二维的可视化中，静止的图像显示出音频的两个维度的参数的关联，或是对出现的某些结构、文本特征进行挖掘，也有图像随时间变化的动态展现。而三维超越了平面空间的维度限制，可以将时间流动叠加到二维所中时间以外的两个维度上。除此之外，在现实世界中通过音源的振动，使水、粉末、火焰等产生不同的形状，也可以作为三维的一种拓展；

R Taylor[4]等人采用虚拟现实实时系统对音乐家演奏的音乐特征进行提取，并映射到虚拟角色的行为中，给人以沉浸感。

还有一些较为特殊的表达方式——使用形容词对音乐中的情感检测结果进行表达，将音频与人心理感受相似的色彩名称、情绪名称进行分类及匹配。采用能够引起类似情绪的图片来标志音频，也是一种创新。

4 音乐可视化研究面临的挑战

音乐可视化还处于初期阶段，在研究和应用领域都面临许多问题，在对音乐的理解和可视化技术上都需要进一步的研究，才能使音乐可视化更好地发展。

4.1 缺少专业知识

从对音乐的研究方面，音乐可视化的研究人员可能对音乐的专业知识，如音乐学、音乐认知神经科学、音乐心理学等，并没有足够的认知，因此在可视化系统的设计与制作中，缺乏专业知识的依托而无法准确捕捉要点。

4.2 模式单一

现有的音乐可视化系统分析的内容，对简单的低层的音乐属性尚能进行多维体现，但对于语义、情感等高层属性则只能研究到一维且是静态的地步。

4.3 应用型可视化系统忽视用户情感体验

目前很多设计出来供人在听音乐的过程中加入视觉体验的可视化系统，是研究人员通过自身对音乐的了解得到的，不同的人对音乐的理解的深度并不相同。另外，部分研究人员对系统设计的完备程度、新鲜程度等的重视程度，超过了刺激使用者内在情感潜能的重视程度，此两点导致部分可视化系统对于使用者来说是毫无意义的，使用者并不能从中感受到音乐的涵义变得具体或深刻。

5 结语

音乐可视化有别于传统音乐艺术，开启了音乐解读的新时期，是对音乐的描述和理解的新方式。国内外对音乐可视化的理论研究和系统、工具开发都有了很多成果，在音乐分析、音乐教学、游戏娱乐、情感表达等方面具有应用。目前对音乐可视化的研究仍旧面临挑战，期待随着科技的发展和理论应用不断完善，音乐可视化能够在形式和内涵上更加丰富，应用更加全面。

【参考文献】

[1]Knowledge Visualization Currents：From Text to Art to Culture | Clc[J].

[2]Zhang S，Huang Q，Jiang S，et al.Affective Visualization and Retrieval for Music Video[J].IEEE Transactions on Multimedia， 2010，12（6）：510-522.

[3]Pampalk E，Rauber A，Merkl D.Content-based organization and visualization of music archives[C]//Tenth ACM International Conference on Multimedia.ACM，2002：570-579.

[4]Taylor R，Torres D，Boulanger P.Using music to interact with a virtual character[C]// Conference on New Interfaces for Musical Expression.National University of Singapore，2005：220-223.