基于多音频特征提取的音乐可视化方法研究*

孔 娟

（河南理工大学音乐学院，河南 焦作 454000）

基于多音频特征提取的音乐可视化方法研究*

孔 娟

（河南理工大学音乐学院，河南 焦作 454000）

音乐作为人们情感表达的一种独特艺术形式，注重的是对音乐听众灵魂上的一种渲染、虚拟现实世界的一种再体验，这种体验是全方位的，而不仅仅只局限于听觉。传统意义上的听音乐已经无法满足人们对色彩斑斓世界的追求。在当前高速发展下的互联网信息时代，计算机技术蓬勃发展，音乐可视化日益得到了学界的研究以及市场的关注，继而催生了一系列的可视化应用技术。换言之，听音乐是一种很自然的事情，但是我们应当清楚的认识到，人们喜爱音乐，源之于音乐的艺术性、意境性，在这种情形下，视觉上带来的冲击往往与单纯的听觉刺激更为强烈，听众对音乐与生活的感触也更加深刻。

多音频；音乐可视化；频谱

一、基本概念界定

（一）音乐可视化

可视化是指利用计算机图形学和图像处理技术，将数据转换成图形或者图像，并将其显示在人肉眼可以观测到的屏幕上，以此来实现进行交互处理的方法、技术。本课题研究，重点介绍的音乐可视化，则是专指一种以视觉为核心的传播媒介，将音乐作为传播载体，借助于计算机信息与多媒体技术，以大众诉求为对象，通过画面、影像来诠释音乐内容，最终达到视听结合的大众化传播。如此一来，可以为广大的音乐爱好者、听众提供更加直观的视觉呈现。

（二）音频特征提取

音乐之所以受到人们的青睐，源于它拥有丰富多样的特征，而这些特征来源于生活，大多都是普通群众生活工作中常接触到的，能够了解的一些要素，比如，响度、音高、旋律、音色等。除此之外，还有一些是需要经过研究才能了解到的，比如，短时能量、短时过零率、语谱图、带宽等。在日常生活中，人们在欣赏音乐的时候，一般有两种音频类型，第一种属于自然音频，例如MP3格式和wav格式；另外一种属于结构化音频，也可以称其为模块化音频，例如MIDI格式。关于自然音频特征提取，一般都是使用傅里叶变换、加窗、分帧来进行预处理；结构化音频特征的提取，对于相关要求比较高，必须了解、分析出音频特征的规则和属性，并对其进行翻译，最终方能得出相对应的特征量。

二、基于多音频特征提取的音乐可视化方法探究

在探索与研究音乐可视化方法及相关应用技术之前，我们必须搞清楚虚拟现实与音乐可视化的关系。首先可以给音乐可视化一个形象的定义，可以表述为“从音乐到图形”，换言之，音乐可视化，就是借助于某种传播媒介或者系统平台，将音乐信息视觉化。从纯技术的视角来看，音乐可视化也属于虚拟现实技术的研究范畴。在人们需求越来越高的信息化时代，以往单纯的平面与立体图形已经无法满足人们的需求，以此也就催生了虚拟现实应用技术，比如大家比较熟悉的一些领域，技能培训、休闲娱乐、建筑设计、动画模拟等。总之，只要有立体图形的地方，就可以应用虚拟现实技术。那么可想而知，音乐可视化的本质，就是从声音到图形，所以自然离不开虚拟现实技术。

在多音频特征提取层面，需要收集音乐的数字信号，加以整理分析处理。所提取的特征大多数是普通音乐听众不怎么了解的一些“事物”，这也是音乐专业领域的人群与普通听众的水平所在，而音乐可视化的目的正是要将这种“差距”缩小化，让听众更为全面的了解、体验音乐的刺激与魅力。在特征提取上，有短时平均过零率、短时平均能量、短时自相关函数、语谱图、谱质心、频域带宽等。对于这些无法从音频信号中直接读取的数字信号，需要预处理。整个过程为“分帧-预加重-加窗-静音帧判别（是/抛弃，否/提取）-结束”。预处理环节是第一个环节，它是音频分析的第一步，比较重要。

实际上，在可视化的过程中，自然音频特征的提取一般都比较困难，并且数据也不够准确。因此，多音轨MIDI旋律特征的提取成为了首选。在可视化方法流程的构建中，第一步，建立MIDI文本文档，即一个文件头块/多个音轨块，第二步，音乐头和MIDI事件，音乐头涵盖了块标识和快长，而MIDI事件包含了通道信息与系统信息。

在音频特征提取环节，首先是主副音轨特征的提取，挖掘、找寻出特殊的音频特征，以便更精准的将辅音轨和主音轨区分开来。在这里可供利用的几个特征有，音高、音长、力度、响度、声道的平衡度，当然，可以提取分析音程比（音程是指相邻两音间的高度差，而音程比是指音轨中0-6度音程所占的比重）。其次是MIDI主旋律的提取，可供选择的方法有三种，我们可以选用最为直接的一种，即将MIDI文件在音轨信息描述部分相关说明的信息挖掘出来，之后再利用这些信息去除掉其中的干扰音轨。

三、结语

本文基于多音频特征体育的音乐可视化方法的探讨与研究，结合着当前国内在该领域的研究发展现状，以及个人的一些认识，简单表述了一些看法和观点。本课题研究，提出了问题的关键，即音乐可视化亟待解决的问题，也就是音乐特征的提取问题。有频率、振幅、音色、音调、音长、音高、旋律、节拍，以及新发现的一些特征，有能量、过零率、频谱流、带宽、噪音帧率等。传统的音乐特征提取技术，如果单纯对每种特征一一提取，费时费力，并且效果不佳，不够现实。随着计算机信息技术、媒体技术的研发与进步，音乐可视化成为了一种可能，并且被广泛应用。

[1] 孙博文,张艳鹏,赵振国,等.基于多音轨MIDI主旋律提取的音乐可视化表达[J].软件,2012,33(3):64-66.

[2] 张屹南.音乐可视化设计中的多通道映射模式研究[J].设计艺术研究,2014,04:58-63.

[3] 齐蕊源.数字音乐可视化在交互中的体验与应用[J].大众文艺:学术版,2014,18:159-160.

河南省教育厅人文社会科学青年基金项目研究成果（2015-QN-451）