演出现场3D声像定位与跟踪系统及应用

彭妙颜, 周锡韬

(1. 广州大学 声像与灯光技术研究所, 广东 广州 510006; 2. 广东中南声像灯光设计研究院，广东 广州 510006）

演出现场3D声像定位与跟踪系统及应用

彭妙颜1, 周锡韬2

(1. 广州大学 声像与灯光技术研究所, 广东 广州 510006; 2. 广东中南声像灯光设计研究院，广东 广州 510006）

结合 BOA、TiMax、D-Mitri、Iosono、WFS 和TTA等3D声像定位与跟踪系统的构成、功能和特点，举出工程应用实例。

3D（立体）环绕声系统；声像定位；实时跟踪系统；演出现场

演出现场3D声像定位及跟踪系统技术近年在欧美获得较快发展，特别在歌剧院、音乐厅、主题乐园和实景主题剧场（或称为旅游主题剧场）等表演模式中的应用效果突出。文中结合 BOA、 TiMax、 D-Mitri、Iosono、WFS 和TTA等3D声像定位与跟踪系统的构成、功能和特点，举出应用案例。

1 概述

1.1 影视环绕声和演出现场环绕声

（1）影视环绕声

从1986年杜比实验室推出杜比SR四声道环绕立体声电影系统开始，30年来陆续出现了杜比SR/D、DTS、SDDS等包括5.1和7.1等多声道的2D （平面）环绕声，以及Auro、Iosono、Dolby Atmos 等3D（立体）环绕声系统[1,2]。应当指出，上述各种制式的环绕声系统均局限于环绕声技术在电影和电视（家庭影院）领域的应用，其共同特点是所有节目都是预先在录音棚、电视演播厅或演出现场通过录音、录像加上必要的编码和信号处理等技术加工制作成电影片或DVD碟片，再提供给用户（电影院或家庭）播放欣赏。使用者并不参与电影片或碟片的制作过程。依其运作的特点可归类称为“影视环绕声”（Film and TV Surround）或“编码式环绕声”(Coding Surround)技术。

（2）演出现场环绕声

近年随着数字音频技术的发展，人们逐步把影视环绕声的理念和技术推广应用到剧场、音乐厅，特别是在主题剧场和大型实景演出等现场，获得巨大的成功。归类称为“演出现场环绕声”（Performance Scene Surround）。该技术不仅运用了影视环绕声同样的理念和手段——设置平面和顶置等多个环绕声道，并在此基础上加以发展和提升，不再局限于左、中、右和顶置扬声器，而是根据演出现场的环境、道具和演员的活动范围等条件进行扬声器布局，增加的扬声器数量众多（从数十路到数百路声道），通过专用硬件和软件的控制，从而达到更逼真和更精确的环绕声效果。演出现场环绕声的另一个特点是设计者和演出者都会直接参与节目的创作过程，因而亦称为“现场创作式环绕声”。

1.2 声像定位的概念

音频技术中常用到“声像定位”的概念，下面作一简介。

（1）声像

演出现场中，在听音者听感中所展现的各个声源（人声、乐器声、效果声）的空间位置，并由此而形成的声画面，称为“声像”（Sound Image）。

（2）声像定位

为使听音者感受到声音是来自于演员或乐手的真实位置，调音师要进行“声像定位”（Sound Image Localization）的调控。

（3）声像定位实时跟踪

当演员或乐手的位置移动时，声像能同步跟踪移动，称为声像“同步跟踪”或“实时跟踪”（Real Time Tracking）技术。

早期的声像定位调节仅局限于二维（2D）的范畴，是由调音师调控调音台的PAN POT旋钮，按照舞台上演员或乐手实际所处的位置，将其传声器信号(或Line in信号)输入通道的PAN POT 调节到相对应的位置。例如，吉他手站在舞台左侧，其对应的PAN POT就适当往左边（L）旋动；而歌手站在舞台中央，则其PAN POT 就放L-R的中点，如此类推。当演员或乐手在舞台上移动时，熟练的调音师还可以随时调节PAN POT使声像与歌手的位置同步跟踪。如果左右手同时操作，调音师通常最多能同时控制两个声源（两名演员或乐手）的同步跟踪。而整个过程仅局限于平面（X、Y轴）的控制。

1.3 演出现场3D声像定位与跟踪系统

近年在2D“演出现场环绕声”技术的基础上，结合声像定位和同步跟踪技术，开发出名为“演出现场3D声像定位与跟踪系统”（Performance Scene 3D Sound Image Localization and Tracking System），在欧美许多剧场、音乐厅，特别是主题乐园和实景主题剧场（或称为旅游主题剧场）等表演模式中已获得广泛的应用。近年被引进国内，在武汉汉秀剧场、厦门闽南剧场和上海交响乐团音乐厅等开始应用。此类系统通常具有数十甚至数百个声道的扬声器和功率放大器，不仅有平面布局，而且加上垂直高度Z轴的控制，使声像定位的精确度和逼真度大大提高。

早期开发相对简单的3D声像跟踪是应用专门的硬件和软件配合一台iPad（或平板电脑），操作者在现场直接观察演员的活动路径和范围，通过触摸屏控制，达到对声像定位的人工跟踪效果。近年开发出更为先进的“3D声像定位和自动跟踪系统”，则可实现当演员在舞台上移动，甚至走进观众席互动，以及吊“威亚”（钢丝绳）腾空飞越观众席上空等复杂动作时，演员唱歌或念白的声像定位能达到精确同步自动跟踪移动的效果，使观众感受到，他们在座位上听到的声音是“真实”地从演员的嘴里发出来的，而不是从剧场分散布置的扬声器中发出的。

此类系统目前的技术水平，可做到同时对二三十个直到六十个对象分别进行实时声像同步跟踪，适合应用于大型歌剧、主题剧场和旅游实景演出等现场，能营造出极其宏大、逼真且震撼的效果。表1列出“2D环绕声像定位”和“3D环绕声像定位与跟踪系统”的对比。表2 列出“3D声像定位与跟踪系统”部分品牌的特点对比，供读者参考。

下面对表2列出的6个系统的功能、特点和应用分别作一简介。

2 布雷根茨开放式声学系统（BOA）

奥地利布雷根茨艺术节（Bregenzer Festspiele）创办自1946年，每年七八月举行，主要演出歌剧或音乐剧，每两年更换一个剧目。巨大的露天舞台固定在离岸25 m的博登湖中，台口宽达50 m， 7 000个观众席位设在岸边，如图1所示。

以2011年演出歌剧《安德烈·谢尼埃》为例，整个场地共配置了400多台功率放大器和812只Kling & Freitag (K&F)扬声器（参见图2），按照场地实景和剧情，设计安排三维空间的布局。由超大型数字音频矩阵系统组成空间效果模拟系统（方向混合器），通过运用早期反射声和混响声能表现出不同的声学空间，使观众在露天剧场里也能感受到室内歌剧院的声音效果；再加上声像定位跟踪系统，组成一个称为“布雷根茨开放式声学系统(Bregenz Open Acoustics，BOA)”[3,4]。

大型的舞台演出通常会设置多种信号源。以2010年演出威尔第的歌剧《阿依达》为例，该场演出共配置了三种信号源：第一是部分效果声和背景音乐声，是预先录制储存于硬盘播放器，根据剧情的进展，由时间码触发播放；第二是大型乐队演奏和合唱队演唱，是安排在邻近一间建声效果极佳的室内剧场演出，通过多声道扩声系统传送到观众席播放；第三种是最复杂的现场演员（或乐手）佩戴的无线传声器信号。

在露天舞台演出的全过程中，“声像自动跟踪系统”不间断地通过计算得到每个演员或乐手的空间虚拟声源的位置，再分配给每个独立声道的功率放大器和扬声器进行播放，使听众感受到的是一个自然空间及强烈的声音包围感。声像定位跟踪系统能使现场演员演唱、念白或乐手演奏的声音在舞台空间的声像位置随着演员或乐手的实际位置同步跟踪移动，形成逼真的3D环绕声效果，使听众可以更好地感受到演员声音在场景区的准确位置，从而留下更深刻的临场印象。

图3是2011年～2012年歌剧《安德烈·谢尼埃》的演出场景，半浮在水中的人像上半身高达24 m，把整个博登湖演化成一个巨大的浴缸。演员在人像的左眼位置上演唱并移动到右眼位置，强烈的追光灯加上声像跟踪定位，使观众逼真地感受到演员在场景中的准确位置及其移动变化。

图4显示1999年演出威尔第的歌剧《假面舞会》的场景，一个巨型骷髅和一本巨型书作为舞台。主角从舞台右侧上场，漫步走到骷髅的手指上坐下。主角与舞台左侧的群众对唱，通过自动跟踪系统使一唱一和的声像移动给观众带来逼真且震撼的听觉和视觉享受。

3 TiMax 空间声像控制与跟踪系统

TiMax 空间声像控制与跟踪系统（Soundhub/Tracker System）[5]来自于英国的Out Board公司，它包含两套系统：Soundhub主要功能是音频演出控制与编辑；Tracker主要功能是声像跟踪。下面分别简介其结构和主要功能。

3.1 Soundhub（音频演出控制）系统

（1）内置混音矩阵音频信号处理器和硬盘录放系统。

（2）基本插件模块是16入/16出，最多可插4块达到64个通道。

（3）输入/输出接口为AES/模拟，加上扩展卡可兼容Cobranet、Ethersound、Dante和MADI等四种网络信号，通过同轴或网线传输。

（4）内置GPIO、Midi、SMPTE和TCP/IP等演出控制（Show Control）接口，可实现外部演出远程控制系统（如灯光、机械或视频服务器）的编程和控制。

3.2 TiMax Tracker（TT）系统（跟踪系统）

（1）TT系统组成

①佩戴在演员身上由电池供电的小型TT电子监控器

TT电子监控器在6 GHz～8 GHz频段内发送UWB（超宽带）脉冲，这些脉冲被置于舞台周围的TT传感器接收。另有一套双向2.4 GHz的线路，作为控制和遥测信道使用。这种双向线路的信息交流功能可以使系统发出指令并能动态地管理电子监控器，改变其修正率以及监视电池寿命。TT电子监控器符合IP63的防水标准。

②安装在演出区域周围的TT传感器

TT传感器内含一组内部天线及超宽带（UWB）射频接收机。传感器接收和检测电子监控器发射的UWB（超宽带）信号的方位角（AOA）和仰角，由连接传感器网络的计时线缆获得到达信息的时间差（TDOA），从而计算出TT电子监控器的位置。每一个传感器还有一种具有双向的2.4 GHz控制和遥测技术线路，用于指令和检测电子监控器。这种双向线路的信息交流功能可以使系统发出指令并能动态地管理电子监控器，改变其修正率以及监视电池寿命。

这种独特的AOA和TDOA联合的测量技术提供了强大而又健全的定位系统，在仅有两个传感器接收到信号时，也能精确地决定其三维位置。由于采用多台传感器，本跟踪系统的精确度在三维空间内可达到15 cm左右。而且在复杂的声学环境下仍有优良的反应和可靠性。TT传感器标配版本达到IP30的防水标准，并有全天候版本可供选购。

③软件平台

软件平台用于分析来自传感器的数据，产生一种演员围绕舞台活动时的动画影像，之后把控制数据发送给TiMax音频矩阵(或其他媒体)。这些通过预编程获得音频的方位来匹配舞台上演员的位置。

TT软件包含有电子监控器编号(即TiMax的输入)和它们的舞台位置(即TiMax的声像轮廓)等信息用MIDI信息方式，与TiMax音频矩阵演出控制软件相联系。TiMax音频图像延时矩阵为每个声源设置独立的延时关系。这些延时关系会根据演员在舞台上不同的位置而随时改变，即应用哈斯优先效应延时心理声学现象来确保所有的观众都能够感知到歌剧演唱者的无线传声器放大信号是直接来自于演唱者的嘴里而不是来自于舞台和观众席分散布局的多声道扩声系统。

软件平台还具有智能定位功能，在输入几个简单的定位细节后，在数秒钟内智能的校准向导将会自动确定每个传感器的AOA（到达的角度）和TDOA（到达的时间差），跟踪声源的方位。

舞台上安装的传感器经过网络接回到一个POE路由器，再连接到运行着软件平台的 PC机上，软件平台上显示舞台的外形轮廓，以及用方形或椭圆图形显示跟踪区域（见图5），加上彩色图标显示演员在现场的位置和信号强度、电池量值等信息。

（2）TT系统的应用和冗余

每套TT系统可以容纳多达60个电子监控器，工作范围达到160 m，精确度在三维空间内可达到15 cm。每个电子监控器的刷新率可以分别调整，对于慢动作者可以减小频宽，而对于滚轴滑冰者或舞蹈者等速度较快的跟踪对象则需增加频宽。在大型表演场合，系统可根据对整个活动的连续分析，自动地改变各个电子监控器的刷新率。

对于大型表演如圆形歌剧院和露天表演场地，一般需要6台TT传感器安装在演出场所周围。而对于传统的镜框式舞台演出，通常只需要3台/ 4台传感器。较小的镜框式舞台或演播室等只需2台传感器已足够达到满意效果。其实TT电子监控器只需要有2台传感器就可以保证在任何时间的三维空间内维持其准确性，而附加的一些传感器则有助于覆盖更大的演出场面，同时也可以消除由于群体的舞台调度和舞台布景等引起的跟踪误差。

对于特别大型的室外演出或主题公园，TT系统可以无限制地把相邻的传感器组合成为一个大系统，并通过以太网连接到一台中央定位的计算机服务器上。服务器可以拥有多位用户，使音响师、舞台监督以及佩戴射频传声器者在同一时间都能监视到舞台的表演、电子监控器的信号强度和电池电量的多少等信息。

TiMax 系统在德国不来梅市音乐剧院、瑞士巴萨尔剧院和瑞典皇家戏剧院等[5,6]有应用。

4 D-Mitri 数字音频平台

D-Mitri 是Meyer Sound 开发的第四代多通道数字音频平台（Digital Audio Platform）[6-8]，是一套具备混音和信号处理的音频演出控制系统，特别适用于剧院、主题公园、博物馆、天文馆和游轮等表演场所。该系统以千兆网络为基础的数字音频处理及传输控制平台，包括音频演出控制系统（LCS）和电子建声解决方案Constellation两个功能。笔者只介绍其音频演出控制系统（LCS）部分的结构、功能和应用。

D-Mitri采用96 kHz采样率，64 bit的浮点运算精度，72路输入72路输出。网络环境是D-Mitri的核心结构，它采用AVB协议标准，即实时媒体网络环境的IEEE802.1开放标准。应用AVB网络协议可以方便地建立分布式的D-Mitri系统，远距摆放和控制传声器前置放大器，摆脱专有音频网络的限制和大量接线的麻烦。除了AVB格式以及模拟I/O之外，D-Mitri也兼容CobraNet和AES/EBU进行通信；并提供SMPTE、MIDI、RS-232、RS-422、Word Clock和GPIO等控制接口。

D-Mitri包含从传声器输入到扬声器输出的整个音频信号链路，包括：输入/输出（模拟和数字）接口，全信号处理、混音、多通道声像定位、音效重放和扬声器管理等功能，从而取代大型扩声系统中传统的传声器前置放大器、自动混音台、扬声器处理器、分配器或矩阵、音频重放或录音系统以及多通道环绕声系统等。

通过系统中的CueStation软件，只须按一个按钮，即可把某个参数自动化，或把整个系统重新配置。

5 IOSONO 3D环绕声系统

5.1 概述

开篇曾提及的IOSONO 3D是“3D环绕电影技术”，其在3D电影院中获得相当广泛的应用。经多年发展，人们发现IOSONO 3D环绕声系统[9-11]在演出现场的应用有着更为广阔的发展前景。

IOSONO 3D环绕声系统是应用波场合成（Wave Field Synthesis，缩写WFS）原理重新构建声场的技术。最早是由荷兰的Berkhout教授提出，其理论则是基于荷兰物理学家惠更斯(Christiaan Huygens)于1678年提出的“惠更斯原理”。惠更斯原理指出：在波的传播过程中，空气中任意波前上的各点，都可以看作一个子波源，其后的任一时刻，这些子波源发射的波前的包络线，就是声波这一时刻的新波前。

人们在现实环境听到的声音都是在三维空间中传播的，而这些声波按物理声学的分析，是由球面波、柱面波和平面波三种形式的声波传播方式所构成。当人耳接受到球面波的时候，双耳效应导致的时间差和相位差就能够对声源做出水平面的前后左右定位；但人耳对于声源纵向上下的定位则只能取决于柱面波和平面波。传统的环绕声系统一般只能播放球面波，而IOSONO 3D系统由于使用波场合成技术，可以还原自然声场中的球面波、柱面波和平面波三种形式的声波，因而能再现真实的3D空间。

IOSONO系统的扬声器配置可采用三层式或五层式布局。图6显示IOSONO系统扬声器三层布局的现场实景，其第一层（底层）52只扬声器构成3D空间的X轴面，称为环绕声的“音床”；第二层34只扬声器的任务是将X轴面的声场进行纵向拉伸形成Z轴面；第三层（顶层） 8只扬声器形成三角形布局，将2 000 Hz以上的高频辐射至听音区域，强化声像定位。

3D音频处理器IOSONO IPC 100对扬声器位置进行设定和编程，将原始声音信号根据使用者的需求重新编解码，合成独立的3D波形，再通过系统对合成音频信号进行场景分配，把不同的波形通过不同的扬声器进行播放，组合成3D环绕声。

下面列举IOSONO系统应用于现场演出的实例。

5.2 工程实例：悉尼歌剧院演出《死亡之城》

IOSONO技术进入歌剧演出领域的典型例子，是2012年6月应用于澳大利亚悉尼歌剧院的歌剧《死亡之城》（Die tote Stadt）演出。歌剧演出时，演员在歌剧院舞台上面对观众演唱，而庞大的管弦乐队并不在现场，而是在相邻的演奏厅演奏，经由IPC 100处理器建立一个声学的全息图将IOSONO 3D信号传送到剧院的现场，实现了“看不见管弦乐队”的再创作。3D环绕声洋溢于整个剧院，使观众仿佛置身于乐队之中，获得逼真的现场感。悉尼歌剧院的演出舞台、乐队和观众席现场实景参见图7。

6 WFS声学全息系统

WFS声学全息系统（Holophonic System）[12-14]是由瑞士科学家团队、法国声学科技实验室和巴黎声学音乐研究院合作开发的。其理论基础与前述IOSONO 系统近似，假设重建辐射源网络能取代实际的辐射源，则重建声场中应该考虑的问题是怎样对二次声源进行馈送才能取代原始声源。基尔霍夫亥姆霍兹积分方程中包含了二次波源的幅度和相位，这些幅度和相位是频率的函数，由于虚拟声源和二次波源的位置已确定，通过数字信号处理技术可将定义在频域的幅度和相位变换到时域，最终得出符合要求的“自适应滤波器”。

根据上述原理，以WFS WAVE-SYSTEM主机为中心，加上调音台、外围设备、功率放大器和有源扬声器系统等组成演出现场3D环绕声系统，如图8所示。

2012年在法国巴黎投入使用的阿拉伯世界文化中心，采用两层“皇冠”的WFS 3D环绕声系统，主扩声选用12台8英寸同轴全频扬声器，加上6台超低音扬声器，另有7台15英寸有源同轴扬声器组成辅助扩声系统，现场演出获得逼真的3D环绕声效果。

WFS系统的优点是可用较少的扬声器（5只～64只）即能获得良好的3D环绕声效果，在价格方面也有相当的竞争力。

7 TTA舞台声像跟踪系统

挪威TTA公司推出的舞台声像跟踪系统（Stagetracker FX）[15]主要具备三个功能：对表演者的声音跟踪、音频定位和音效处理，可同时跟踪多达32位演员，并定位舞台上的声像。Stagetracker FX的系统构成如图9，配置方式见表3。

TTA系统的 3D软件可以在屏幕上实时显示所有演员的活动情况和音响效果；在音效处理方面，包括音量控制，声像自动控制、衰减器、高低频切除和环路、EQ、音高调整等功能，采用“On the fly” 音效编辑，共有16个物理音效输出。

8 结论

“演出现场3D声像定位及跟踪系统”及其所采用的技术近年在国外获得较快发展，国内新建的汉秀剧场等应用类似系统相当成功。结合中国国情，在大型主题剧场、旅游景点和露天实景演出等领域应当有一定的推广前景。

[1] 彭妙颜,周锡韬. 数字声频设备与系统工程[M].北京：国防工业出版社,2006.

[2] 彭妙颜. 主题剧场声光像同步表演系统的控制模式及应用[J]. 电声技术,2015(2)∶11-17.

[3] 奥地利布雷根茨艺术中心. 声性自由[J/OL]. http∶//www.mycchina.com/upload/%E5%A3%B0%E6% 80%A7%E8%87%AA%E7%94%B1-%E5%A5%A5%E5%9 C%B0%E5%88%A9%E5%B8%83%E9%9B%B7%E6%A0% B9%E8%8C%A8%E8%89%BA%E6%9C%AF%E4%B8%A D%E5%BF%83.pdf, 2011年第一期.

[4] 中国公共艺术网. 布雷根茨艺术节疯狂创意之——最美舞台[EB/OL]. http∶//bbs.cpa-net.cn/ forum.php?mod=viewthread&tid=267&extra=page%3 D1,2014-06-26.

[5] sheriff Tech Ltd. TiMaxSoundhub[DB/OL]. www.outboard.com.UK.

[6] 金梦. 万达汉秀剧场系统解析[EB/OL].

[7] D-MITRI数字音频平台说明书[Z].

[8] 刘舒,魏增来. 武汉万达汉秀剧场音频系统的设计及实施[C]. 2015年声频工程学术交流年会论文集.

[9] 彭妙颜. 基于空间定位的多声道3D环绕声数字电影还音系统[C]. 2012 声频工程学会论文集.

[10] 高杰,庄元. WFS 3D声音技术在音乐会扩声工程中的应用——上海北外滩景观3D交响音乐会解析[J]. 演艺科技,2014(4)∶ 22-28.

[11] 庄元. 余音绕梁如闻天籁——3D环绕声技术发展述评[J]. 演艺科技，2015(3)∶14-20.

[12] AES124_WFS_revisited_talk_.

[13] WFS_科普知识之Holophonics.

[14] “WFS声学全息系统”技术. http∶//www.wfssound.com.

[15] TTA. Total Theatre Audio Control[DB/OL]. www.tta-sound.com.

（编辑 杜 青）

Functions and Applications of Performance Scene 3D Sound Image Localization and Tracking System

PENG Miao-yan1, ZHOU Xi-tao2
(1.Institute of Audio Video and Lighting Technology, Guangzhou University, Guangzhou 510006, China; 2.Central South Audio Video Lighting Design and Research Institute of Guangdong, Guangzhou 510006, China)

In this paper, the writer introduced the constituents, functions, and characteristics of 3D sound image localization and tracking system incluing BOA, TiMax, D-Mitri, Iosono, WFS and TTA, and gave some examples of engineering applications.

3D (stereo) surround sound system ; sound image localization; real time tracking system; live performance

10.3969/j.issn.1674-8239.2016.01.003