基于Processing平台的声音可视化运用

石鑫 李雪艳

〔摘 要〕计算机网络技术的快速进步带动了新媒体艺术的发展，艺术表达形式发生巨大变化，在艺术设计的各领域中，科技介入程度越来越高，科技与艺术的结合创造出许多新的艺术形式，如人机互动装置与图像随机生成等。本文将在Processing平台的基础上，探讨声音可视化的应用实践与相关作品的解读与分析，进而探究声音可视化技术在艺术与设计中运用的前景与方向，为实践者提供有价值的参考。

〔关键词〕声音可视化；Processing；人机互动；装置艺术

一、声音的处理

（一）信号处理

早在1680年，罗伯特·胡克（Robert Hooke）就开始了对声音形态的观察。1787年，律师、音乐家和物理学家恩斯特·克拉德尼（Ernst Chladni）关于音乐理论的著作《Entdeckungenüber die Theorie des Klangesor》《关于音乐的理论发现》， （ Discoveries Concerning the Theory of Sound）成为声音可视化的开创性工作。在当代艺术领域，已经有越来越多的艺术工作者与设计师参与到代码艺术的行列之中，代码艺术的优势在于极高的创作自由度与多样的联结方式。数据可视化如今非常受欢迎，原因是人们能够直观地感受到数据的变化，看到的不再是枯燥的数字，在数据可视化过程中，枯燥的数字经过处理成为动态图像。数据可视化转变了数据的视觉形态而受到欢迎。在人类常识中，声音是无形的，在Processing平台上处理后可以生成图像。在分析音频时通常有两种方式；其一是利用FFT傅里叶变化分析：其二为提取左右声道。FFT在音频处理方面能进行实时高效的处理，利用FFT对音频信号进行分析，分析的结果用于图像生成。

（二）声音来源

在声音可视化的范畴内，声音来源分为计算机内MP3文件与计算机外部声音。音频在Processing经过处理后声音信号被量化，量化后的数据结果用于图像生成，生成后的图像会实时根据音乐节奏、音量变化，形成动态图像，图像的形态可在Processing中自由编写，也可以通过代码改变图像的色彩等等。第二种声音来自计算机外部，在这个过程中需要借助Arduino来实现，Arduino与Processing联动在新媒体艺术与装置艺术中的应用非常广泛。

二、图像生成及艺术化表现

（一）图像生成

在Processing平台上，图像生成是其最强大的功能之一。每个形状都有自己独有的代码，如椭圆的代码为“ellipse（x，y，width，height）；”，矩形为“rect（x，y，width，height）；”，色彩填充代码为“fill（x，y，z）；”。在Processing中输入代码——“jingle = minim.loadFile（"xxx.mp3"， 1024）”加载音频，此处的“1024”为加载频率，在draw函数中输入代码将数值带入到图形代码之中。

（二）基于Processing平台的图像艺术化表现

图像生成是使图像艺术化表现的重要环节，在这个过程中，软件只是工具，图像的艺术化表现需要使用者具备必要的艺术修养与设计能力。来自英国的艺术家尼尔·门多萨（Neil Mendoza）使用openFrameworks与Arduino互联创作出了一个语音识别的声音互动装置，人类的声音通过喇叭收录进软件中，软件将音频传输到Web浏览器，Web浏览器上的语音识别系统开始分析音频，处理后变成一串串的立体字母，经过喇叭喷出，软件中的力场程序施加了一些力的效果，模仿真实的环境，字母撞击到画面边框后会反弹，声音的大小对字母喷射的距离也有影响。画面中有一只鞋子，当字母经过鞋子的时，激活Arduino，Arduino传输指令给鞋子，鞋子由机械臂控制，字母每触动到鞋子时，鞋子上弹一次。江南大学数字媒体学院的团队TRIE创作了一件声音可视化装置——《echo planet》，该作品生成的图像为一根不断生长的树枝，生长的能量则来源于声音，观众通过在被装饰成海螺的麦克风前发声，音频经过分析转化为数据成为影响图像生成的数值，在此过程中，声音扮演着最重要的角色。声音作为人类、动物表达情感的重要方式之一，每种声音都带有不同的信息与不同的情绪，不同的声音信号生成的图像也不同，将声音可视化，也是将声音所传达的讯号以直观的方式呈现出来。声学工程师马克·菲舍尔使用“小波变换”的数学方法可以将声音分解成较短的离散的小波成分。马克·菲舍尔使用此方法将鲸鱼的声音讯号转化为图像，不同鲸鱼的叫声生成不同的图像，传统的音频是生成平直的图像，菲舍尔将图像变形、旋转、叠加为圆形图案，图案表达出了鲸鱼在深海的叫声中蕴含的情绪与来自深海的魔幻和静谧。人声也如此，在演唱会舞台的大屏幕上，图像的动态是由歌手音声的节奏、音量决定的，且每首歌都会配有不同的图像，这些图像与歌曲所传达出的情感相匹配，达到情、景、声交融。

三、声音可视化应用前景

（一）应用于公共艺术

声音可视化（图像化）的实现将无形的声音转化为有形的图像，人类可以看到图像化的声音了。公共艺术的宗旨之一是提升公众生活质量，实现公共艺术与公众的互动，是让公众体验到艺术价值的最好方式之一。公众与艺术品互动，成为整个公共艺术品的一部分，艺术品为本体，公众是参与者，二者之间实现互动，最终这件公共艺术才得以完成，也就是说，人的参与，是属于这件作品的一部分。人的音色各不相同，借助Processing的图像生成功能，不同的声音生成不同的图像，互动后每个人得到了属于自己专属的图像，代表着自己独有的情感与性格，不同的人来到这里，得到不同的结果，体现不同的價值。

（二）应用于商业空间

商业空间的艺术品旨在提升该空间的艺术氛围与凝聚顾客。近年，互动类艺术品在商业空间内越来越受欢迎，其主要原因是互动类艺术品能吸引大量顾客，为商场提高客流量。Processing与Arduino联动在实现艺术品与人的互动上具有优势，营造出一个声、景并茂的艺术空间，人走到这里都可以与之产生互动，每次互动产生不一样的结果，逢节日可以编写与节日相契合的图像，渲染节日氛围。声音是有温度的，在Processing的帮助下，我们不仅可以感受温度，也可以看见温度。

结 语

基于Processing平台的声音可视化与互动影像给创作者打开了一条新的创作思路，在此基础上，声音与Processing是创作者创作的工具与源泉。设计须根据市场需求做出改变，Processing就是在这样的前提下诞生的，在艺术、设计与科技结合紧密的时代，创作者需要掌握前沿的创作手段，创作出符合时代要求的作品。

（责任编辑：张贵志）

参考文献：

[1]高景帅.声音的可视化研究[D].南京：东南大学，2018.

[2]赵沁暘.交互式电子音乐《无·筝》作品设计与创作解析[D].上海：上海师范大学，2017.

[3]谭亮.基于Processing的代码艺术应用研究[J].装饰，2012，（02）：104-105.

[4]张冉.基于processing平台实时互动影像呈现[D].北京：北京工业大学，2013.

[5]孔晶晶. 基于Processing的互动媒体设计研究[D].无锡：江南大学，2009.

[6]吕静，魏一鸣.非遗制扇技艺与佛教文化创新融合设计[J].设计，2019，（19）：70-71.

[7]祝遵凌.让可持续设计真正为人服务[J].设计，2019，32（16）：76-80.

[8]王颖，陈峰.博物馆互动游戏型文创探析——以南京博物院“竹林七贤”日历设计为例[J].设计，2019，（19）：22-24.

[9]苏同向，王浩.基于生态红线划定的城乡绿地生态网络构建研究——以江苏省扬州市为例[J].现代城市研究，2019，（10）：20-27.

[10]李元媛，王浩.苏南宗族型传统村落建筑景观研究[J].艺术百家，2019，35（05）：198-205.

[11]张荣杉，梁晶.商业空间中的植物造景艺术研究[J].大众文艺，2019，（19）：62-63.