辅助听障儿童音乐教育的可视化方法研究

柳茗千

摘要：本文所介绍的可视化方法的成功之处既在于其优美的艺术设计，更在于其通过将音乐转换为图形从而使听障儿童也能通过观察图形对音乐产生新的理解，并使用图像处理技术进一步对音乐进行对比分析。

关键词：音频可视化；数字图像处理；听障学生教育

中图分类号：G760 文献标志码：A 文章编号：1674-9324（2017）01-0275-02

一、可视化技术在音频方面的应用

1.音频可视化的定义和常见形式。随着数字媒体技术的兴起，我们能将日常生活中所接触到的信息以更加清楚直观、更具艺术性的方式展现出来。音乐可视化是指一种以视觉为核心，以音乐为载体，以大众为诉求对象，借助多种新媒体技术等传播媒介，通过画面、影像来诠释音乐内容的、视听结合的大众化传播方式。它能为理解、分析和比较音乐艺术作品形态的表现力和内外部结构提供一种直观视觉呈现的技术。尽管听障人士不能像我们一样聆听音乐，但音乐传达出的数据之美却能转化为图形，同样为听障人士所享受。

传统的方式常用频谱图或波形图进行音乐可视化。音乐的频谱图是指某一单音信号（即瞬间声音的声波）通过物理方式的转换，获得的以振幅（即音量的大小）为纵轴，频率为横轴的频率成分分布的图像。[3]频谱只能表现瞬间的频率震动，不能对整首歌曲进行宏观的把握。多数音频可视化也都是采用类似的方式对每个时间片采样到的数据进行可视化，并以更加艺术化的方式呈现出来，其关联的数据都是频谱。音频处理软件中使用的音频波形图也是一种音乐可视化，它能让人一目了然的对整个音频的走势和特征有大体的掌握，但更适用于数据处理和分析，缺少动感和观赏性。

2.音频可视化对于听障儿童音乐教育的重要意义。音乐教育对于特殊儿童非常必要，它的目的不仅是弥补特殊儿童听说能力的缺失，更在于通过音乐欣赏尝试体会正常人能感受到的美好，增强自信和表达、理解能力，释放不良情绪，改变孤独、自闭的行为方式。[2]音乐活动能使他们在愉快的心情下忘却自己的缺陷，主动与他人合作、交流，提升儿童的感知能力、认知能力、记忆力、思维能力、想象力和创造力等方面，促进身心和谐发展。[4]

听障儿童不能直观的感受音乐，通常利用“通感”（使感觉转移，将人的听觉、视觉、嗅觉、味觉、触觉等感觉相交换，将甲感觉用于表示乙感觉）的形式将音乐带给正常人的感受以另外一种形式表现出来，对听障儿童进行音乐教学。现在常见的听障儿童音乐教学法有通过感受物体振动传达节奏概念的“律动教学”、通过手语歌词理解音乐内容、结合律动教学练习舞蹈的音乐教育等等。越来越多的“别样形式的音乐”正帮助听障儿童更好地认识音乐，感受音乐。

二、一种新的音乐可视化实现方法

1.用Web Audio Api提取音频信息并进行可视化。本文介绍的方法基于Web Audio Api，获取音频数据的方法是用audio标签将音乐嵌入网页，并设置analysernode（分析节点）对网页上的音频数据进行实时解析。Canvas实时绘制每个时间片的采样数据，观察者既能经历图形创建的过程，又能在歌曲结束之后对整首歌有宏观上的体会和把握。

图2.1所示的可视化用一个正十边形的雷达图将音频的频域由高到低分成十个部分，并将音频数据映射到其中，反应每个部分的能量大小，数字标号示意了由低频到高频的排列顺序。绘图点距离原点距离越远表示该分段能量越大。这种可视化方法利用了不同音源发声频率不同的原理，后面的分析与比对也将基于这样的数据提取。图2.2展示了其中两个在网页中将雷达图放在艺术场景中进行观赏的情形。将绘制路径颜色与背景相搭配，在播放音乐的同时进行绘画，这何尝不是一种艺术创作呢？通过在精心制作的场景中观察图形的变化，听障儿童可以感受到音乐的律动，并根据图形的意义体会音乐内容。

图2.3所示的可视化是对当前时刻的频率进行采集、计算并以顺时针扫描的方式绘制。每个瞬间在画布上留下的痕迹拼凑起来可以像拼图一样展示出一幅比较完整的画卷。《舟山鼓乐》是一首只有鼓声参与其中的音乐，由于其声音的不连续性，造成多个连续的峰，每一声鼓点的可视化结果都如一个花瓣般非常美丽。听障儿童据此可以体会到音乐的美好，弥补身体上的缺憾。

2.以C++为基础用MFC比对获取的图片信息。分析用数据采用了图2.1所示的雷达图。由于每一帧的绘图结果都叠加在一起，为了对能量大小做加成平均得到平均路径，绘图时设置了透明度。计算时由中心点沿着分段的分界线发出十条射线，将黑色的深浅作为加成的权重。得到平均路径后即可将两首歌进行比对（如图2.4-2.5所示），同一首歌的两个版本差异最小，同一位歌手风格相近的歌曲其次，而风格、内容相差较大的两首歌很有可能在不同的频段各有发挥，如纯音乐能量较小，主要集中在中低频，而热情奔放的流行乐和电子乐在低频和高频部分都大有作为。

3.建立音频数据库对音频内容进行推测。目前有很多音乐检索的方式，包括基于音频分析和索引的内容检索法、基于情感语义相似度的音乐检索、基于歌曲属性关键字的文本匹配法等。[1]这些方法通过提取歌曲中的声学特征，基于音频内容对音乐进行分类和检索，这说明歌曲中的情感和语义是可以由科学的方法分析出来的。基于这个原理，本文用人工标注法构造音频数据库，将不同频段的能量大小作为区分不同类型音乐的识别特征。将同一标签的多首乐曲数据进行平均以达到训练的目的。图2.6展示了此方法的初步实验结果。

三、对相关方向发展的展望

本文所介绍的方法优点在于新颖独创，有艺术性，缺点在于提取数据麻烦，人工参与部分多，数据库太小，因此准确性尚且较差。目前对于音乐内容的提取及可视化研究还比较少，但“听歌识曲”，“哼唱搜索”等基于音频内容分析的音乐检索已经越来越多的出现在音乐软件中。相信未来从音频中提取更多信息的技术一定大有所为。笔者作为本科三年级学生，学识和技巧实在有限，但希望本文提出的观点能够抛砖引玉，引发更多学者和专业人士对听障儿童音乐教育的思考和认识，不断完善相关领域的研究，为听障儿童带去福音。

参考文献：

[1]周利娟.基于情感语义相似度的音乐检索模型研究[D].大连：大连理工大学，2011.

[2]孟妍妍.浅论聋哑儿童音乐教育[J].研究生论坛，2009，（11）：80-81.

[3]成蒙.从音乐到图形——音乐信息的可视化研究[D].西安：西安美术学院，2014.

[4]吴跃跃李平平喻秋兰.特殊儿童音乐教育的性质、特点及教育价值[J].中国音乐教育，2008，（11）.

Visualization Method Aid Music Education in Hearing-Impaired Children

LIU Ming-qian

（School of Information Science&Technology of BJFU （Beijing Forestry University），BeiJing 100083，China）

Abstract：As described in this article，the success of this visualization method lies in both its beautiful art design，and more in its convertion of music into graphics so that hearing impaired children can reach a new understanding of music by simply observing the graphics.This article also introduced how to use digital image processing technology to step forward on comparing and analyzing the difference between music.

Key words：music visualization；digital image processing；Hearing-Impaired student education