音画互通：音乐视觉化的路径分析

（江南大学 214122）

一、音乐旋律的音画对位

音乐的旋律是由不同或相同高低关系的音组成的序列、对于人的视觉感官来说相当于线条的概念，不同音高的音形成的线条组织形式——旋律线，在接下来研究旋律的音画对位的过程中，笔者会选择经典的音乐视觉化作品，具体分析作品中音乐旋律、旋律线以及动态视觉元素来探究音乐旋律与画面的对位关系。

图1 音乐乐谱、旋律线及对应画面

奥斯卡.费钦格的作品《研习第七号》对德国音乐大师勃拉姆斯的《匈牙利舞曲第五号》旋律进行了视觉呈现。在图1中的编号1，笔者截取乐谱前两小节的旋律线和画面的序列图像进行比对后分析发现，音乐的旋律线呈现一种先大幅上升然后下降的趋势，画面中的矩形图形也呈现出由下自上再向下的运动，在第一小节中矩形的运动状态为画着8字左右向上飞舞着对应着旋律线向上的趋势，第二小节中的运动状态是根据圆心顺时针旋转一圈后向下消逝，对应着旋律线向下的趋势。画面中图形的运动方向与音乐旋律线的指向保持一致，随着旋律线的上升，画面中的矩形也旋转着上升，在旋律线开始向下时，画面中的矩形的运动方向也是旋转向下。

玛丽.艾伦.布特的《色彩交响曲第4号：逃离》，选择了巴赫的《d小调托卡塔与赋格》进行视觉化尝试。在引子之后出现了一段带有非常密集节拍的旋律，如图1中编号2，观察乐谱可以清晰的看到，旋律线呈现一个阶梯状上升的状态，在表现这段音乐旋律的时候，作者运用了排列有序的三角形梯队进行再现，三角形梯队依次从右下至左上、左下至右上、正下方至正上方依次有序出现，紧接着以不断放大的单个三角形结束。三角形梯队都是由下至上排列出现，对应着音乐旋律上升的状态。最后以一个三角形的放大来对应旋律中的长音。

奥斯卡.费钦格的另一部作品《一部视觉诗歌》选取了李斯特的《匈牙利狂想曲第二号》进行视觉呈现，在短片开始部分，作者用圆形来进行视觉表达，图1编号3所示为音乐的前2小节，第1小节是一个声音渐弱的长音，在画面上体现的是一个圆形不断的缩小，在第2小节中，旋律的变化呈现一种密集且丰富的变化，在画面上体现为小型的圆形按照音乐的行进不断的出现并且缩小。音乐的第3第4小节跟第一小节的结构保持一致，先是长音而后呈现丰富变化，在画面上也是先试一个大圆形不断缩小，然后不同颜色的小圆形根据旋律的跳跃行进不断出现并且缩小。作者用圆的缩小来表达每个音的行进，在图形与旋律的对应关系来说，当旋律线呈现相对较平稳的时候画面表达的图形以及动态就比较单一，当旋律丰富、旋律线呈现不断跳跃行进状态的时候图形及其动态就开始变得多样起来。

音乐旋律与画面的对位关系的结论：

1.当音乐旋律上扬、旋律线呈现上升状态时，画面中的视觉图形也呈现上升的运动状态，当音乐旋律下降时，画面中的图形元素也对应着向下运动。

2.当音乐旋律的变化相对舒缓、旋律线表现平稳时，画面中的图形及图形运动状态也较为纯粹和单一，当音乐的旋律变化丰富、旋律线呈现不断跳跃行进的时候，图形及图形动态也变得复杂多样起来。

二、音乐节奏律的音画对位

在现代音乐视觉化设计领域，艺术家们往往将音乐的节奏作为重要设计对象、根据音乐节奏的变化来进行动态视觉设计，所以音乐视觉化设计作品中的视觉表达常常与音乐的节奏存在着对应关系。音乐的节奏变化在乐谱上表现为音符的疏密变化，音乐的节奏决定了音乐行进的快慢，一般而言快节奏的音乐能够使人产生紧张刺激的感觉，而节奏相对舒缓的音乐让感到放松；除此之外，音乐节奏还包含节拍的概念，强弱关系不同的节拍组织了节奏有序的音乐，重音上的叫强拍，表现为较为强烈的声音给人以震撼感，无重音的叫弱拍，给人的感觉相对微弱。

图2 动画序列帧及音乐波形图、节奏对应序列帧

来自于Audioreact Lab的《Yves De Mey - Metrics -2013》是表达节奏与视觉对位的优秀作品，作品用具有强烈对比的黑白两色进行视觉表现、用线条及块面的位移以及闪动来与音乐节奏对应。笔者截取了作品中一小段短片的画面将他们组成序列、并且用与之相对应音频的波形图来做音画节奏的对位研究得出：当波形图到达峰值时，音乐也是处于节奏点位上，在画面上呈现出全屏幕的白色频闪效果，而且音乐的节奏按照其特有的频率程周期式的出现，画面中的频闪也呈周期性显现，短片中画面的频闪与音乐的节奏鼓点有着巧妙的对位关系：当音乐的节奏出现时，画面出现频闪效果，且音乐的节奏呈周期性循环往复出现，频闪视觉效果也呈周期性出现。

来自Evelyn Lambart & Norman McLaren的《Begone Dull Care》，作品选取Oscar Peterson Trio的爵士乐来作为背景音乐，音乐的主乐器为钢琴，作品中的图形变化丰富，笔者从短片中截取了一段序列帧及其对应的音乐波形图，发现节奏点呈周期性的出现在波形图的峰值位置，当音乐行进到达节奏点时，画面中显现出出红白色条纹和纯黑色的交错闪烁的画面，而在其他时候，画面的设计都是音乐旋律主导的：红色背景下的抽象图形的上下飞舞。我们可以得出，当音乐行进到节奏点位时，画面会相应的出现短暂的画面停顿以及闪现出与音乐节奏点位前后都不一样的画面。

来自youtube用户&Jacopsen的《Alva Noto-Uni dia（video：Jacopsen VJ）》也是将音乐的节奏视觉化的优秀设计作品，作品中的音乐选择《Univrs》专辑中的《Uni Dia》电子乐，短片的画面以黑色为底色，用类似显示屏故障的条纹线条来表达电子乐中类似机器故障的声音，笔者同样取作品中的一小段序列动画帧与音乐波形图相对应后发现：当波形图达到峰值时，音乐的节奏出现、此时的画面不呈现任何图像和颜色，而在节奏的前后画面呈现黄色和白色的闪烁，在节奏出现时通过画面的停顿来表现，而节奏点前后闪动的画面也能衬托节奏出现时的黑色停顿画面；作者通过画面的停顿来响应节奏，通过节奏前后图像的频闪来衬托节奏。

音乐节奏的音画对位结论：

1.通过频闪来响应节奏，以及根据节奏的周期性出现，频闪也周期性显现

2.通过停顿来响应节奏，即音乐节奏出现时，画面不显示任何图像，一般表现为没有内容的纯黑色

3.用变异来响应节奏，用与节奏前后的视觉内容的风格、形式、色彩形成明显差异化的视觉呈现来突出节奏。

三、结语

随着多媒体技术的不断发展，音乐视觉化表现有了更便捷的实现路径，但是不论实现方式如何改变，音乐视觉化的核心内容还是在于视觉如何更好的对音乐进行表达，这就要求设计师们更多的关注音乐本身，去理解音乐中的节奏、旋律等各要素的组织关系，在理解音乐的基础上产出音画关系更为和谐、视听体验更为震撼的音乐视觉化作品。