PM2.5地图可视化中的听觉感知应用

谢文俊，祝茂良，杨鸿海，杨 乃，吕建军

(1. 青海省地理空间信息技术与应用重点实验室，青海 西宁 810001； 2. 中国地质大学信息工程学院，湖北 武汉 430074)

可听化技术将数据域内信息的特征映射成声音特征量(音高、响度、音色等)间的关系，即用非语音信号的各种特征量来表示各种信息[1]，用以描述、表达数据内在关系，从而对数据进行监控或提供数据分析支持，同时可以解决视觉不能独立完成的任务，降低视觉的负荷。听觉通道在信息突发状态及视觉通道负荷过重等场合的信息传递中优于其他通道[2]，在必须同时监测大量变化量或时间复杂性的信息情况下非常适合听觉传递[3]。结合视觉通道和听觉通道承载信息会使人获得强烈的存在感和真实感，在虚拟现实中已有大量应用[4]。此外，可听化技术在维基百科数据更新[5]、气候变化[6-7]等领域也取得了很好的应用效果。目前已有学者尝试将可听化技术引入到地图可视化领域，已实现降雨预报专题地图的可听化[2]，大量结合地图的PM2.5数据可视化方法，对于视觉存在障碍的群体并不是一个很好的信息传递手段，可听化技术的融入将是一个很好的选择，当前尚未有相关文献专门对此进行研究。本文以PM2.5地图可视化为例，在深度解剖声音特征的基础上构建数据与声音的映射模型，探讨听觉感知在地图可视化中的应用问题。

1 声音相关理论

为了将PM2.5数值用声音的形式表达出来，需首先弄清声音涉及的相关参数，如频率与振幅、十二平均律、基音与泛音等，然后建立PM2.5数值与相关参数之间的映射模型。

1.1 频率与振幅

声音以波的形式存在，包含两个主要属性：频率和振幅。声音的音高、强弱和音色是人能感受声音差异的3个直观物理属性。其中声音的音高是由物体振动的频率决定，频率越高，音高就越高；频率越低，音高就越低[8]。人的耳朵对声音强弱的直观感受称为声音的响度，通常用声音的音量来描述声音的响度，响度和声音振动的振幅有直接的关系。物体振动的振幅越大，声音响度就越强，相对的音量值也就越大；反之振动的振幅越小，声音的响度就越弱，声音的音量值就越小。

1.2 十二平均律

表1 十二平均律中律音的频率(节选)

1.3 基音与泛音

当振动发音时，全弦振动的频率最低且最具有辨识度，这个音被称为基音，基音的频率简称基频，基音确定声音的音高。除去全弦振动的基音，其他频率较高的振动发出的声音按频率大小排列构成泛音列。泛音频率大于基频并且是基频的整数倍，假设基频为F，则第一泛音的频率为2F，第二泛音的频率为3F，依次类推[10]。每个乐音音色的异同主要由泛音列中泛音的数量和每个泛音的强度决定，音色突出声音的独特性。泛音充分的声音会显得饱满，且当声音中低频泛音充分时会给人以厚实有力度的听觉感受，当泛音列中的高频泛音充分时声音具有强穿透力，给人以尖锐、洪亮的听觉感受。调节声音中高低频泛音的音量大小可以改变声音中相应的泛音成分[11]。

2 可听化模型构建

2.1 数据处理

通过“PM2.5.IN：天气指数实时监测平台”网站、中国环保部网站、百度地图API获取全国所有监测站点经纬度信息及2016年1月1日到1月29日以小时为节点的PM2.5数据，删除经纬度坐标缺失的个别站点和站点PM2.5值缺失的数据后导入SQL Server中。《环境空气质量标准》(GB 3095—2012)在考虑PM2.5为首要污染物的情况下，将PM2.5按标准中确定的空气质量指标分级标准分为6级[12]，其分级标准见表2。将处理后的数据按时间递增排序，根据PM2.5分级标准计算各等级站点数目，并计算全国所有站点每个时间节点PM2.5的平均值，表3以2016年1月1日前3个小时数据为例进行展示。

表2 PM2.5分级标准

表3 PM2.5分级数据统计示例

2.2 映射模型构建

由十二平均律中各律音的频率情况和音乐中频率取值范围可知，当基频控制在一定范围内，根据基频获得的泛音频率才能有对应的音高且能在音乐软件中弹奏出来。在考虑PM2.5值和基频关系时，首先确定音乐中乐器的频率在十六到七千之间[9]，为了提高声音的跨度，确定基频与PM2.5值成倍数关系。研究证明在响度固定条件下，人耳对频率为144 Hz的声音判断反应最灵敏[13]，而全国PM2.5平均值绝大多数时间处于90～150的范围，可取基频为最接近PM2.5平均值的2倍的律音频率，经测试，这种方法对极少数不在这一范围的数据模型也能很好地覆盖，且能很好地体现出数据值间的差异性。设PM2.5的平均值为A，C表示十二平均律中各律音的频率(见表1)，f(C)表示与两倍PM2.5平均值差值最小的基频频率，其模型关系为

f(C)=min|C-2A|

(1)

根据式(1)计算各律音的频率与PM2.5平均值的两倍的差值，取差值最小的律音作为该时刻基音的音名。表4以2016年1月1日0时到3时举例平均PM2.5值、基频和音名的对应关系。

表4 基音音名

根据基频与泛音的频率关系，泛音频率在基频的基础上以整数倍增加，得到泛音的频率计算式为

D=NC

(2)

式中，D表示泛音的频率；C表示通过式(1)计算获得的基音的频率；N表示泛音频率是倍数乘数。第一泛音的频率是基音频率的2倍，因此N从2开始取值。同时在前面提到的PM2.5分级标准6个等级，每一个等级对应声音泛音列里的一个泛音，一个音包含一个基音和六个泛音，因此取N为2～7的整数。首先根据基音计算出各级泛音的频率，然后查阅十二平均律各律音的频率关系(见表1)，根据频率得出泛音的音名。表5取2016年1月1日的泛音列示例。

从音名组成和平均值对比可以看出，当PM2.5平均值差值在±1之内时，在音名组成上是没有差异的。如2016年1月1日0:00:00和1:00:00的PM2.5平均值分别为103.9和102.9，2个时间点对应的基音音名均为#g，而且从第一泛音到第六泛音的组成音名均相同。但是从PM2.5各级站点数目看，2个时间点在轻度污染和严重污染这两个级别内的计数值存在较大的差异，在声音的组成中应该表现出这2个级别存在的计数差异，这样获得的声音才能更好地体现PM2.5整体的情况，同时反映数据量的差异性，也能使生成的声音具有独特性和提高声音的辨识度。由此需要通过改变泛音的强度改变声音的音色，体现声音的独特性。声音的强度由声音的音量值表示。根据可听化技术的原则，声音特征值必须与数据有直接的映射关系，获得的声音才能与PM2.5值达到最佳匹配效果，才能更好地承载PM2.5数据包含的信息。由此，使用和频率相对应的PM2.5各级站点数目为每一级泛音赋予音量值。声音音量值越大该泛音在声音中越突出，因此音量值与PM2.5各级站点数目的关系体现为PM2.5各级站点数目越多，赋予泛音相应的音量值越高，经测试可通过式(3)计算出每个PM2.5等级内对应的泛音音量值

F=[E/10]

(3)

式中，F表示音量值；E表示PM2.5各级的站点数目。F的值为PM2.5各级站点数目除以10后四舍五入取整的结果。如在2016年1月1日凌晨0:00:00，属于0～35的范围内的PM2.5监测站点共有125个，计算125的1/10为12.5，取整后为13，则该时刻声音的第一泛音音量为13。PM2.5值在良(36～75)范围之间的统计值为401，则相应的第二泛音的音量值为40。依次可得出第三泛音的音量为37，第四泛音的音量为23，第五泛音的音量为27，第六泛音的音量为1。为了满足编曲规则，不需要将基音的音量通过平均值对应表示，而是把该音名的音量值固定。

表5 泛音的确定

通过使用式(1)、式(2)、式(3)计算获得每个时刻对应的声音基音和泛音，以及泛音的音量值，示例见表6。

表6 泛音音量确定

3 可听化模型的实现

本文利用GarageBand创建乐曲，选择“Grand Piano”作为演奏乐器。选择音乐速度为60，音乐的速度表示每一分钟的拍数。音乐速度和时间节点的对应关系为

S=60G

(4)

式中，G表示视频中每一秒代表的单位时间间隔，本文场景中G的取值为1；S代表音乐速度。在确定场景时选择每1 h的数据代表场景中的1 s，这样会使得频谱图图形每1 s钟变换一次，为了使音乐和频谱图形更好地对应，音乐节奏为每分钟60拍，每一拍一个音符，这样的设置使得每1 h代表一拍，有相应的音符与之对应。在编辑界面中选择7个音轨依次代表基音、第一泛音至第六泛音(如图1所示)。依次在相应的音轨上弹奏出音名列表中的音名，最后为每一个音名设置对应的音量值。

图1 音轨设置

将处理好的数据加载到PowerMap中，选择将数据列中的经纬度分别匹配到“地理和地图级别”中的经度和纬度中，该操作完成后PowerMap会将数据点显示到地球上。进入图层设置选项，移动“PM2.5”字段到“高度”数据框中；移动“时间”字段到“时间”数据框中；选择将数据以“堆状柱形图”展示。最后选择整个场景的时间长度，以每1 h为1 s计算整个场景的时长。为了使整个频谱图展示的效果更具体和直观，选择平面地图呈现。在最后将获得的PM2.5动态频谱地图导出为视频，在导出时选择配乐为上一节中制作完成的PM2.5音乐。在Foobar软件中播放音乐，同时使用Camtasia Studio8软件录制音乐频谱。最后将导出的频谱地图和录制后的音乐频谱图导入Camtasia Studio8中进行剪辑，具体效果见网址：https:∥v.qq.com/x/page/w0543ny56k9.html。

4 结 语

基于PM2.5数据实现了数据可听化，提出了有别于数据进行可视化的另一种对数据进行深度探索的方法。使用PM2.5动态地图中全国各监测站点每小时的PM2.5数据，通过挖掘数据内部信息，将提取的信息特征与声音本身的结构特征相匹配，获得能够承载数据特征的声音参数。在分析声音频率规律和频谱特征的基础上，提出了一种既考虑全国平均PM2.5，又考虑PM2.5各级站点数目的数据与声音信号的映射模型，有助于弥补PM2.5地图可视化在视觉障碍群体中存在信息传递不畅的不足。尽管如此，目前实现的音色相对单一，只是一个初步的探索，如何让地图可听化变的真正的美妙化还需要音乐专业人士的参与。此外，本文最终的实现依赖多个软件手工合成完成，如何实现地图可听化的自动智能化还有待进一步研究。