服务听障人士的声音可视化互动设计<br/>——音诗

服务听障人士的声音可视化互动设计
——音诗

2021-09-14陶雨琦上海工程技术大学上海201680

文化产业 2021年11期

陶雨琦上海工程技术大学上海 201680

一、简介

（一）项目背景及作品创意

众所周知，声音是由振动产生的。在传统意义上，音乐属于耳朵，是用听觉体验美感的艺术。人们在欣赏音乐时，往往是在倾听的基础上，通过“音响感知与情绪感受”“形象联想与理性感悟”以及“音乐美的体验与感悟”等阶段，完成对音乐作品由感性到理性的审美体验过程。音乐具有形象思维的特点，在情感的伴随下，通过想象联想，获得音乐形象、生活情景以及意境等形象，音乐可视化变为现实。

我们计划塑造一个能将音乐可视化的产品，以更好地呈现音乐所带来的情绪。同时，我们期望这款产品在未来的迭代过程中，实现能够帮助听障人士感受音乐的功能。

（二）作品功能

第一部分的作品包括My Song和麦克风输入。这两者都是将音频进行图像化处理的程序，这两者是根据音频的振幅变化来生成图像，所以使用Processing自身创建amplitude对象。第二部分的作品包括键盘钢琴与电子琴，这一部分的作品是对于图像音频化的诠释。其中，电子琴一共有32个键位，键盘上的三排字母都可以成为按键。最低音是G3最高音到D8，因为G3是扬声器所能发出的最低音；而最高音则是受限于键盘数所以只排到D8，实际最高音未知。电子琴的琴音是电脑自生成音，与钢琴不同，不需要data文件夹来添加音频文件。

图1 系统功能框架图

（三）系统开发平台

开发工具与编程语言：Processing；源码支持环境：Windows/Linux/MacOS，需在Processing Development Environment-processing.exe中运行；开发使用的库文件：Minim 2.2.2，Sound 2.2.3；音乐、视觉效果均为团队原创，使用工具有：Adobe Illustrator，Adobe Photoshop，库乐队，Adobe Audition。

（四）作品特色

第一部分的作品包括My Song和麦克风输入。这两者都是将音频进行图像化处理的程序，在使用方面，如果想要套入使用的音频格式不是mp3，则需要去源码中找到XXX=new SoundFile（this,”Xxx.mp3”)这一行，将双引号中的文件名与格式改成想要播放的音频文件。如果还是无法播放则降低音频质量，因为受Processing自身频谱分析限制，无法分析过高质量音频。麦克风输入则如其字面意思一般，通过输入、捕捉外界声音，利用minim库来分析音频，进而生成图案变化——声音越低沉波动越平缓，音调越高则波动越剧烈。

第二部分的作品包括键盘钢琴与电子琴，这一部分的作品是对于图像音频化的诠释。琴音是根据每个键位输入的每个音所代表的频率来产生的。在编程时考虑的听众感受，采用的是体感最舒适的矩形波所生成的电子音。当然，也可以通过将源码第三行第一个单词改成SinOsc、SawOsc、TriOsc或Pulse来分别用正弦波、锯齿波、三角波或脉冲波形成音频。另外，电子琴在弹奏的时候屏幕随机出现会变化颜色的矩形，这些颜色变化是根据音频频率变化而产生的。

二、多媒体系统详细设计

根据作品类别任选一类（可包含但不限于下列内容）。

构想（创意）：我们作品的设计方向是围绕着“图像”与“音频”这两个概念展开的。其背后想法就是将“图像”可听化以及将“音频”可视化。

交互规则：我们参考了诸多乐器与麦克风的声音呈现方式，探索视觉、触觉对听觉具象化的可能性。

视觉艺术：采用Adobe Illustrator、Adobe Photoshop设计样稿，在Processing中通过编程实现样稿的可视化效果。

程序系统设计与编程（参考非媒体类的系统结构设计与数据库结构设计）：

全部使用Processing开发完成，调用的库文件有：Minim 2.2.2，Sound 2.2.3。

美术、声效：团队成员使用钢琴、架子鼓录制基础音频，在库乐队，Adobe Audition中进行优化处理。

编剧、角色、道具、场景：本作品中不涉及任何人物角色、道具与场景。

界面设计：由Processing封装的基础可视化界面。

三、系统安装及使用说明

Processing项目是Java开发的，天生就具有跨平台的特点，同时支持Linux、Windows以及Mac OSX三大平台，并且支持将图像导出成各种格式。对于动态应用程序，甚至可以将 Processing 应用程序作为 Java™ applet 导出以用在 Web 环境内。当然，为了降低设计师的学习门槛，用Processing进行图形设计的编程语言并不是Java，而是重新开发了一门类C的编程语言，这也让非计算机科班出身的设计师很容易上手。

（一）构建Processing环境

第一步是安装Processing环境。去Processing.org（https://processing.org/download/），单击Download Processing 并选择您的操作系统。此外，还需要确保Java技术已经可用。在windows上，下载解压后直接运行processing.exe即可。这应该会弹出Processing Development Environment（PDE 或 Processing IDE）。占此窗口较大的部分是文本编辑器。如果输入图中所示的两行代码，然后单击Run（左上角的三角形），出现一个窗口，显示您所输入的简单程序（或Processing术语所指的sketch）的结果。单击Stop（左上角的方框）退出程序，窗口消失。