双耳立体声技术在音乐直播中的应用方法研究

王艺霖，陈思涵

（1.湖南省广播电视集团，湖南 长沙 410000；2.湖南省艺术职业学院，湖南 长沙 410000）

0 引 言

由湖南广播电视集团重点打造的芒果TV 旗下音乐IP 项目“马栏山音乐节”，已持续举办多年，期间进行了许多录制并传输至互联网端的探索，并积累了大量音乐类节目相关制作经验。相比其他非音乐类节目，这类节目的音乐演出环节往往占有较大比重，同时对听感的要求也比其他类型节目要求更高。因此，如何更好地保留音乐现场的听感并将信号传输给互联网观众是至关重要的。

本文就近年来湖南广播传媒中心对音乐直播所作的技术创新为例，阐述如何在不改变传统广播电台传输路径的前提下，利用双耳立体声技术保留音乐节现场听感并传输至互联网平台，让用户仅通过一副耳机就能感受到更加自然、沉浸式的音乐体验。

1 概 述

双耳立体声（binaural）技术是一种通过头部相关函数（HRTFs）[1]过滤声波来模拟人耳听到的声音效果的3D 声场重建技术[2]。随着音频制作技术的发展，使用头部相关函数作为声波过滤算法的软插件很多，但主要多用于后期制作，并不适合直播和现场混音。此外，目前已有的大型直播比如东京奥运会直播、春节联欢晚会直播以及《我是歌手》节目[3]等，主要是借助杜比编码器、内置沉浸式混音以及下变换模块的调音台如SSl System T、Calerc等[4]，完 成5.1，5.1.2，5.1.4，7.1，7.1.2 及7.1.4格式的混音和直播任务[4]，也可将多通道音频下变换为立体声（stereo），但并不能实现双耳立体声（binaural）的混音与直播需求。此外，对用户来说，如果直接将传输多通道格式的音频呈现在互联网平台的节目当中，需要配备相同通道数的环绕声音响系统才能体验到节目中的环绕声音乐，相较于通过耳机便能收听3D 声的双耳立体声（binaural）来说，缺乏便捷性与可移动性。

针对上述问题，本文基于Max/Msp 编程平台开发一套实时混音程序，用于实现以下播出目标：

（1）良好的音乐传输质量，电平符合播出标准，音乐音质清晰；

（2）良好的环绕声效果，音源定位清晰，具有空间感、沉浸感；

（3）可实现双耳立体声实时混音。

要实现这几个目标，需要针对性地给出解决方案。

首先是音乐质量的保证。音乐节因为人群众多加之现场有主扩音箱，现场录音难免出现杂音过多、电平过载的问题。因此，在选择拾音位置时需避开集中人群，同时需要在程序中加入电平监测与响度控制模块，防止音量过大导致失真。

其次是环绕声效果的实现。为拾取音乐节现场环绕声声场，环绕声录音话筒的选择与拾音位置非常重要。需选择专业级环绕声话筒，提前进行拾音位置测量与实验，确定好最佳摆放位置。

最后是实时混音核心处理环节，即通过Max/Msp 平台开发的程序，将拾取的环绕声声源与舞台音乐在计算机中进行实时混音，最终生成双耳立体声（binaural）信号用于直播。具体信号流程总结如图1 所示。

图1 直播与扩声系统流程图

由图1 可知，用于双耳立体声（binaural）直播的声音信号主要由舞台音源与环绕声话筒声源组成。舞台音源（即针对在舞台演出的乐队乐器、人声拾音所获取的音乐类信号）与环绕声话筒（即上文提到的用于拾取音乐节现场声场的环绕声录音话筒）的信号输入数字调音台后，为了能同时满足舞台扩声与直播的需求，舞台音源（乐器、人声等音乐信号，主要为单声道与立体声信号）由调音师混成立体声，分别分配给Mix output 和Master Output，其中Mix output 经由声卡送至计算机，进入Max/Msp 实时混音程序进行双耳立体声混音，Master Output 送至音乐节舞台主扩音箱用于现场扩声；而环绕声话筒声源经由数字调音台直接送至Max/Msp实时混音程序，与调音师混好的立体声信号进行混音，最终生成双耳立体声（binaural）并输入至卫星直播车用于音乐节直播。

2 空间拾音方案

由以上表述可知，空间拾音主要依靠环绕声话筒来实现，通过对现场空间和整体声场的测量与实验，确定环绕声话筒在现场的摆放位置，也就是听音的“甜点位”[5]，从而获得良好的现场沉浸式听感。但此次拾音方案与近年录制的环绕声音乐类综艺节目所不同的是，之前大多关注的是5.1 环绕声系统（左、中、右、左后、右后、超重低音）为对象的空间拾音，因此使用的也是5.0 制式的话筒阵列，但由于缺乏对上、下声音方位的空间信息的拾取，并不能真正还原3D 声声场。

为弥补这一不足，技术团队使用了基于Ambisonic 录音原理开发的TetraMic 四面体麦克风进行环绕声录音，实物如图2 所示。该话筒含有四个同轴振膜，以“A”格式录制，通过相关软件转换为可用于多种环绕声制式的“B”格式，包含W，X，Y，Z 四个音频通道（即不同方向空间信息，依次是全方位、前后方向、左右方向、上下方向）。它能拾取360°空间方位的声音信息，同时也具有较宽的频率响应（30 Hz～18.5 kHz）与空间分辨率（5 °或更小）[6]。

图2 TetraMic 四面体麦克风

由于音乐节现场主要通过主扩音箱进行扩声，现场观众的听感也来自于此，要准确还原现场听感，就需要模拟观众听感来确定听音“甜点位”[7]。通过对现场主扩音箱位置距离、角度的测量和声场测试，多次录音实验后，该位置确定在以主扩音箱中心为轴线，距离演出舞台37 m 的位置。场地位置情况如图3 所示（其中耳机符号代表话筒摆放位置）。该位置主扩音箱的直达声大于空间反射声，录音实验结果表明声音清晰同时具有足够的声场空间感，能较好还原听众现场感受。当然，根据不同的现场环境，该位置只做参考，具体还需要根据现场环境来确定。

图3 场地分布平面图

确定好环绕声话筒拾音位置后，所有声音信号进入调音台之后进行信号分组和路由。由于双耳立体声信号的生成需要单独进行编码处理，因此TetraMic 的声音信号由direct out 送至计算机进行编解码。另外需要注意的一点是，由于TetraMic 的位置距离主扩有一定距离，如果直接与舞台音源混到一起，会听到TetraMic 的信号晚于舞台音源。为避免这个问题，使用TetraMic 时加入了延时[8]，以缩小二者之间的时间差。

3 Max/Msp 实时混音

为了实现双耳立体声混音与直播，使用环绕声话筒拾取现场声场之后，最重要的是通过Max/Msp编程实现实时混音并生成最终需要的双耳立体声（binaural）信号。笔者所使用的Max/Msp 是一套图形化编程语言，可用于控制声音参数、实时互动、声音混音、设计prototype 等等专为视觉与声音设计的编程语言，利用其中物件（object）自定义串接，设计出程序模块。本次的程序设计主要设计三大模块，分别为声音控制模块、B 格式音源转换模块以及双耳立体声生成模块。

如上文中图1 所提到的，舞台音源与环绕声话筒声音信号由调音台传输至计算机中的Max/Msp程序后，两类信号经过声音控制模块进行实时音量监控后被分别处理。其中，舞台音源加以500 ms延时使之与TetraMic 信号同步，TetraMic 信号被送至B 格式音源转化模块从A 格式转为B 格式。最后这两类信号经由双耳立体声生成模块转为双耳立体声（binaural）信号并混音，形成最终的输出信号送至卫星直播车。Max/Msp 程序最终操作界面如图4 所示，左侧为总操控界面，右侧为binaural 转换界面。

图4 左侧为总操控界面，由上至下依次为，声卡输入物件（object）TetraMic 输 出为4 个通道，由adc～1234 表示，舞台音源为立体声输出，由adc～5 6 表示。此外，delay～500 物件（object）则是上文提到的延时，让舞台音源的时间延迟500 ms，与TetraMic 信号趋近于同步。下面四通道和二通道的电平表分别用于控制TetraMic和音乐的音量，vst～是专门用于加载插件的子模块，其中A-formattrans 是TetraMic 专用的格式转换器，Binauraltrans 则是将所有信号转换为binaural信号用于最后的直播，具体信号情况和电平也可以通过右边的窗口实时检测。中间右上角经纬线物件（object）用于给予舞台音乐注明该音源之于TetraMic 的具体角度、距离，以便准确地还原起初设想的虚拟VIP 位置的听觉效果。需要注意的是，实际情况较理论更为复杂，为保证良好听觉效果，进行人工微调十分有必要，如对舞台音源（音乐直达声）与环境声之间的音量比例关系进行调整，根据演出当日人群杂音等情况调整环绕声话筒位置等[9]。另外，在Max/Msp 程序中加入用于预制设置的子模块，使参数设置能根据不同乐队进行量身定制，例如，在彩排过程中发现有的乐队的program 中加了非常重的混响，但主扩出来之后并不是非常明显，通过降低原音乐音量增加的环境声的音量后，听感层次感清晰度增强，于是单独保存了该预置效果，以便在直播中快速切换。

图4 Max/Msp 实时混音操作界面

4 效果评估总结

节目播出后，用户反馈此次听感在空间感与沉浸感的塑造上有明显提升与改善，犹如置身其中，音乐传输质量、环绕声听感、实时混音这三点播出目标都获得了较高的完成度。

从技术层面说，这次用于直播的Max/Msp 完成了实时双耳立体声混音和渲染的任务，但考虑到该程序主要是针对带有PA 系统、含有电声乐器的电子音乐演出设计的，因此并不适用于不插电演出，后者没有PA 的部分，因此需增加补点话筒，每个乐器的声音最好都能送入渲染程序中进行混音以保证最好的双耳立体声听感[10]。如果现场环境声中混响效果不明显，还需要在程序中增加混响器，让整体音色听起来更加融合、更具有空间感[11]。类似的方式方法很多，具体需要在原有理论基础上根据实际情况来设计。程序完成后还需多次实验、改进，方便使用，并根据现场效果进行实时监测和现场混音调整等。

从听感来说，相较于之前的音乐节直播效果，本次因为3D 声制作技术的加入，让音乐整体不再只是干瘪的、缺乏活力的调音台输出，而是多了环境声的渲染，让直达声和环境中的反射、衍射等空间声场信息混合在一起，声音变得更自然、更有质感和包裹性。同时，定位信息的有效拾取和双耳立体声的生成方式，也增加了声音的层次感和空间感。用户通过耳机就能感受到音乐节宽阔草坪的声场效果，听觉的趣味性也有所增加。

5 结 语

此次通过自主编程实现了实时双耳立体声混音与直播，是音乐类互联网节目在音频技术层面一次较为成功的尝试，在完成播出任务的同时极大地增加了空间听感，使互联网的音频传输从环绕声真正上升到了3D 声音频，让用户不需要通过复杂的多通道音响系统而是仅凭一副耳机即可收听到沉浸式音乐现场。随着技术的发展，越来越多的应用方式皆可在未来进行尝试，如将VR 视觉与3D 声传输结合，通过使用头部跟踪技术让用户与互联网节目进行互动等等。只有不断地进行创新性应用尝试，才能更好地传达给用户一个更具趣味性、沉浸式的互联网听觉体验。