基于耳机的个性化音频渲染方案服务沉浸式音频远程制作监听

沉浸式音频 (Immesive Audio,IA)是高新技术格式电影的核心组成要素,近年来发展极其迅猛。沉浸式音频的精准监听和制作通常依赖于专业混音棚,但随着新冠疫情持续蔓延,视音频远程跨域协同制作需求持续增强,在远程或居家办公无法获得专业环境情况下,利用耳机等便携式听音设备创建空间音频内容成为可选解决方案,这类方案基于人耳空间定位原理,通过两个立体声通道创建空间和维度感知,进而改善在耳机上监听沉浸式音频格式时的聆听体验。

1 人耳空间定位原理

人耳之所以能分辨出声源发出声音的方位,主要是由于声音到达左右两耳的双耳时间差 (Interaural Time Difference,ITD)和双耳声级差 (Interaural Level Difference,ILD)。在辨别垂直方向的声音方位时,则还需考虑声音因受头部、躯干、耳廓等共同影响,特别是耳廓将来自于不同方向的声音信号经过反射和遮掩,而发生的折射、散射和衍射,形成不同的滤波效果,听觉系统再对这些滤波效果进行方位判断。这里的滤波可用头部相关传递函数(Head-Related Transfer Function,HRTF)表示。

HRTF也被称为自由声场到人耳的传递函数,包含空间听觉的重要线索。简单来说,HRTF表示自由声场某点位置到人耳的频率响应,通过测量自由声场到人耳固定位置的频率响应可得到HRTF信息。具体测量方法是:在消声室中,将麦克风装入人工头模型的左右耳,在人工头的不同方位播放冲激响应信号 (如气球爆炸或发令枪声等),录制人工头采集的信号,即可获得头部相关脉冲响应(Head-Related Impulse Response,HRIR),将其进行频域转换即可得到HRTF。由于定位所需信息是在耳膜以前形成的,因而HRTF包含了人耳所需的所有物理定位信息。

因此,耳机等听音设备可通过模拟HRTF进行双耳渲染,以提供音源方位信息改善沉浸式音频体验。目前大多数双耳渲染工具都依赖于代表平均物理特性的人工头HRTF,而每个人的HRTF模型和默认HRTF模型之间存在物理差异,这将导致不同的人在听相同内容时的听觉体验有所差异。

2 HRTF数据库

当前已有部分研究机构完成HRTF的测量,并创建了相应数据库,如中国科学院声学研究所(ARI)、法国声学与音乐协作研究所 (IRCAM)、美国加州大学戴维斯分校图像处理和集成计算中心(CIPIC)和美国麻省理工学院 (MIT)的媒体实验室等,部分结果已公布以供研究。

CIPIC为了研究个体体征与HRTF数据关系,在测试时除了用人工头携带两组耳廓作为测试工具,还选择了43个真人受试者进行测试,共计45组人体测量数据,每一组人体测量数据对应一套HRTF数据,使用者可按需选择。人体测量数据中有27个人体测量参数来表征头肩耳特征,其中17组为头肩数据 (图1),10组为耳廓数据 (图2)。

图1 头肩数据测量图

图2 耳廓数据测量图

3 索尼360临场音频技术

索尼公司曾推出360临场音频 (360 Reality Audio)技术,利用以听者为中心的空间音频技术,通过将人声、合唱、乐器等音源安置在不同的距离和角度,从360度全方位投射不同的声音和音乐元素,从而生成三维声场,使用户能够沉浸于富有空间感的美妙音乐声场中。在其用户端播放软件 “索尼精选Hi-Res音乐”中,用户通过给头部和耳朵拍照,可利用人工智能算法匹配数据库中最接近的HRTF数据,播放时对音源进行HRTF渲染,产生空间和定位感。索尼这一解决方案仅适用于其自有应用软件,并需要结合专门的音乐文件,并不适用于更广泛的工具和素材。

4 杜比个性化渲染应用程序

杜比公司提出全景声个性化渲染手机应用程序PHRTF Creator,通过测量用户耳朵和头部物理数据,采用多达50000个点来创建个性化的HRTF,用户可将生成的声学图加载到杜比全景声渲染器,以获得与自身特征相契合的空间听感体验。

杜比PHRTF Creator软件目前仍处于测试阶段,且只支持iOS 13以上版本。用户上传自己的耳朵和头部物理数据,很快就可获得相应的HRTF数据文件,将该文件加载到杜比全景声渲染器 (Dolby Atmos Renderer v3.7.2或更高版本),能够获得沉浸式监听音效。但杜比并未公布其HRTF数据匹配算法,而这正是用户获得最佳效果实现量体裁衣的关键。该渲染方式搭配专业混音工具,适用于在线游戏、音乐、影视行业专业人士。

图3 不同人的HRTF图谱

5 总结

当前对于改善通过耳机收听音频的方位感,主流方式均使用HRTF数据库,而对于提升HRTF数据准确性目前有两种解决方向:(1)扩充HRTF数据库样本数量;(2)提升个性化HRTF人体数据的匹配准确度。总之,沉浸式音频利用个性化适配硬件终端的能力,结合实时渲染计算技术,突破传统扬声器阵列还音方式,能够实现耳机和虚拟现实/增强现实 (VR/AR)等多元化终端的沉浸式音频体验。在视音频远程跨域协同制作需求持续增强的背景下,离开专业混音棚的声音制作人员可采用个性化音频渲染方案通过耳机实现沉浸式音频监听,能够有效提升制作效率与质量。