音乐可视化艺术发展研究

2018-04-08卢达均

文艺生活·中旬刊 2018年12期

卢达均

（东莞市文化馆，广东东莞523000）

一、引言

音乐作为一种艺术形式，不仅能够抒发情感、反映社会现实生活，在历史上还曾有过鼓舞人心、治疗疾病的例子，即使是不同国度不同时代的人也可以欣赏。在音乐被谱写之后，乐器的演奏或人声的演唱等诠释方式能够将其传达给听众，为了能够使听众更全面地体会音乐所表达的情感和思想，创作或传播者采用了不同的辅助表达方式。可视化的发展为音乐的表达提供了新的方式，使用特定的规则进行解读，为其产生可复现的视觉效果。

二、音乐可视化的研究内容和现状

可视化（Visualization）是使用计算机图形学和图像处理技术，将数据通过图形或图像的方式进行显示并进行交互处理的理论、方法和技术。音乐可视化（MusicVisualization）是利用可视化的方法，客观解释和判断音乐的表现力和结构，帮助听众提供理解、分析、比较音乐。

在应用方面，Windows、MacOSX、Linux 等平台上都有支持音乐可视化的媒体播放器，也有人使用D3.js 和HTML5 实现了音乐可视化的效果。在可视化过程中涉及到的技术包括音乐信息提取技术、图像生成技术、主观评价技术等。音乐信息提取技术主要用于音高、节奏等信息的识别；图像生成技术将音乐表现要素具体化、形象化、直观化；主观评价技术的应用可以统筹兼顾地运用艺术、声学、技术手段得到亲切、舒适、完整、统一的效果，防止顾此失彼。如果是在现场展示一个录音与扩声要求较高的音乐可视化作品，不可只依赖人工混响声，应根据可视化作品的内容、演奏和杂音场所、设备系统等来确定声音的立体感、声像群结构动态范围和各声源的具体声音形象等

三、音乐可视化的分类

音乐可视化目前有几种分类方法，交互性、实时性、维数角度、体验感和音频数据类型等。

1.交互性从交互性来分类，可分为非交互式可视化与交互式可视化。当计算机播放某多媒体程序的时候，编程人员可以发出指令控制该程序的运行，而不是程序单方面执行下去，程序在接收到编程人员相应的指令后相应地做出反应，这一过程及行为，称之为交互。大部分的可视化都是交互式的。

2. 实时性实时性可以定义为在规定时间内系统的反应能力。按照实时性分类，可以分为硬实时和软实时。硬实时与软实时之间最关键的差别在于，软实时只能提供统计意义上的实时。

例如，有的应用要求系统在95%的情况下都会确保在规定的时间内完成某个动作，而不一定要求100%。比如，用户在操作播放机时，只要98%的情况能正常播放，用户可能就满意了；而发射卫星、控制核反应堆的应用系统，这些系统的实时性必须达到100%，绝对不允许出现意外。音乐可视化应用基本是软实时系统。

3.维数从维数来分类，可分为二维和三维。目前电影、动画都在朝着三维方向发展，通过三维技术创造的视觉特效可以带来非凡的体验。

四、音乐可视化的表达方式

音乐可视化按照视觉空间维数，可以分为二维与三维两类。二维的音乐可视化需要的数据维度低，实现较为简单，而三维由于表现力强，适合构造复杂对象，主要应用于沉浸感要求高的场合。

在二维的可视化中，静止的图像显示出音频的两个维度的参数的关联，或是对出现的某些结构、文本特征进行挖掘，也有图像随时间变化的动态展现。而三维超越了平面空间的维度限制，可以将时间流动叠加到二维所中时间以外的两个维度上。

除此之外，在现实世界中通过音源的振动，使水、粉末、火焰等产生不同的形状，也可以作为三维的一种拓展；RTaylor 等人采用虚拟现实实时系统对音乐家演奏的音乐特征进行提取，并映射到虚拟角色的行为中，给人以沉浸感。还有一些较为特殊的表达方式——使用形容词对音乐中的情感检测结果进行表达，将音频与人心理感受相似的色彩名称、情绪名称进行分类及匹配。采用能够引起类似情绪的图片来标志音频，也是一种创新。

五、音乐可视化的研究进展

（一）音乐特征提取

对自然音频和结构性音频特征提取方法是不一样的。为了便于对自然音频（如WAV、MP3 等格式的音频）的内容分析和特征提取，应对原始音频数据进行预处理，目前有傅里叶分析、固定窗口等典型的变换方法，在此基础上，再对其进行特征提取。对于结构性音频（如MIDI 格式的音乐），由于这类音频是由一些控制声卡发声的指令组成的，很容易从中找到音色、音高、音长等信息的对应位置，然后按其格式的规则进行相应的转换，即可提取到这些特征。孙鹏玉在《波形音乐文件特征提取方法的研究》中提出，音乐的特征可以分为基本特征、复杂特征和整体特征三个方面。

（二）感检测与情感表达

音乐与情感有非常密切的关系，情感对音乐的理解、欣赏和创作有着重要的影响。张娜等人在《音乐情感的特征与识别》中写了运用多元分析法对音乐所包含的情感色彩进行提取与分析，并将测试音乐样本按照舒缓激越情感特征进行分类，然后从数字信号处理技术角度探讨不同类别的音乐所具有的特征，最终使计算机能够像人一样识别音乐情感色彩。

（三）虚拟现实

随着社会生产力和科学技术的不断发展，各行业对虚拟现实技术的需求日益旺盛，虚拟现实技术也取得了巨大进展，并逐步成为一个新的科学技术领域。音乐可视化的发展伴随虚拟现实技术的加入更具感染力。1969 年，著名物理学家和教育学家弗兰克·奥本海默创建了旧金山探索馆（“探梦馆”），它是一个集视觉、听觉、触觉等多感官体验的互动型科学馆，由一座古建筑物改造而成，为今后的博物馆研究提供了宝贵参考。美国密尼索尼亚博物馆，每隔一段时间会展示不同的主题。

六、音乐可视化研究面临的挑战

音乐可视化还处于初期阶段，在研究和应用领域都面临许多问题，在对音乐的理解和可视化技术上都需要进一步的研究，才能使音乐可视化更好地发展。

（一）缺少专业知识

从对音乐的研究方面，音乐可视化的研究人员可能对音乐的专业知识，如音乐学、音乐认知神经科学、音乐心理学等，并没有足够的认知，因此在可视化系统的设计与制作中，缺乏专业知识的依托而无法准确捕捉要点。

（二）模式单一

现有的音乐可视化系统分析的内容，对简单的低层的音乐属性尚能进行多维体现，但对于语义、情感等高层属性则只能研究到一维且是静态的地步。

（三）应用型可视化系统忽视用户情感体验

目前很多设计出来供人在听音乐的过程中加入视觉体验的可视化系统，是研究人员通过自身对音乐的了解得到的，不同的人对音乐的理解的深度并不相同。另外，部分研究人员对系统设计的完备程度、新鲜程度等的重视程度，超过了刺激使用者内在情感潜能的重视程度，此两点导致部分可视化系统对于使用者来说是毫无意义的，使用者并不能从中感受到音乐的涵义变得具体或深刻。