余音绕梁 如闻天籁
——3D环绕声技术发展述评
2015-07-18庄元
庄 元
(南京艺术学院传媒学院,南京,210013)
音响技术
余音绕梁 如闻天籁
——3D环绕声技术发展述评
庄 元
(南京艺术学院传媒学院,南京,210013)
对目前主流的3D环绕声技术进行了分类,比较分析了各类3D环绕声技术的特点及其商业应用前景,预言3D环绕声技术的创新正在推动21世纪声音技术的发展。
3D环绕声;声场重建;巴可Auro-3D;IOSONO-3D;杜比全景声;中国多维声;沉浸感
近年来,一个十分新颖的概念——3D环绕声被提出,它突破了以往环绕声技术的局限,彻底改变了音频体验,当人们初次体验3D环绕声时,不禁会发出“余音绕梁,如闻天籁”的感叹。进入21世纪,3D环绕声技术得到蓬勃发展。相对于传统单层扬声器环绕声技术而言,多层扬声器3D环绕声技术可以给观众带来精确的声音定位、更加细腻的声音细节和更加沉浸式的听觉感受,这种听觉感受是传统的环绕声技术所无法比拟的。那么,3D环绕声技术的原理是什么?各种技术孰优孰劣?发展现状如何?发展前景如何?这些问题成为音频技术界的探讨话题,笔者拟对3D环绕声技术的发展进行一次粗浅的述评。
1 概述
声音的录制和重放技术在很大程度上是由电影工业所推动的,然而迄今为止,多声道环绕声技术虽然已经发展了数十年,不断有新技术的运用,但总体来说是以平面5.1声道技术为基础的2D环绕声。
促使3D环绕声技术发展的动机因素有三个方面。第一,从技术的角度来看,现有的影院环绕声是基于单层扬声器的2D环绕声系统,在很长的一段历史时期中领先于35 mm胶片的影像技术。但随着3D影像技术的发展,这种单层扬声器环绕声系统所带来的声音效果与3D影像一样已不再给观众带来技术体验的新奇感。影院声音技术从2D向3D发展成为必然的趋势。第二,21世纪文化创意产业的发展,使得演艺、会展、建筑设计、景观设计、游戏、家庭娱乐、音响制造等产业都迫切需要新的声音技术以带来创新动力。第三,最重要的是人类对客观世界无止境的探索精神。因此,3D环绕声技术应运而生。
何为3D环绕声?简而言之, 3D环绕声不仅应该传递声场水平面X、Y轴上声音的信息,即空间里左右前后的声音信息,还应该传递声场Z轴上的声音信息,即是声场在垂直高度上的变化,同时,X、Y、Z三维的声音信息具有直接的相关性。除此以外,真正3D环绕声技术相比以前的环绕声技术应当有以下明显的优势:更加确切的声音定位;更加连贯的声像运动感;更加强烈的临场感和沉浸感;最佳听音区的最大化;更加平衡的扬声器声压级;声音和图像画面场景一致性;更加得心应手的艺术创作手段。
从历史眼光回望,20世纪中后期科学与工程界就开始了对3D环绕声的研究,限于当时的技术水平,并没有开发出具有实用性的3D环绕声系统。但与此有关的研究成果,为今天3D环绕声的发展奠定了理论基础。
进入21世纪,3D环绕声技术的研究终于水到渠成,多家研究机构和厂商几乎同时期推出了不同的3D环绕声系统。目前,已经问世的3D环绕声技术有Barco Auro-3D、Dolby Atmos(杜比全景声)、IOSONO-3D、Imm Sound 23.1系统、Spheraudio Upmix系统、NHK 22.2声道系统、TMH 10.2/12.2声道系统、中国多维声13.1系统以及其他一些3D环绕声技术。
2 3D环绕声技术发展的路径
由于3D环绕声技术是自21世纪初才真正开始应用,许多新技术还处于实验阶段,即使少数技术已经投入商业应用,但从总体看,目前工程界对3D环绕声技术的开发还处于初始阶段,学术界也还没有形成完整的评价体系,这给分析现有的3D环绕声技术带来了很大的困难。但是,仍然可以从重建原理、信号算法、扬声器设置架构、声音制作工艺概念四个方面来进行归纳、推演。
1)就3D环绕声的重建原理,现有的技术可以归纳为:
(1)基于心理声学的重建技术;
(2)基于物理声场的重建技术;
(3)基于心理声学加物理声场的重建技术。
2)就3D环绕声信号算法,现有技术可以归纳为:
(1)双耳声学算法(Binaural Acoustic Technology, BAT);
(2)幅值平移算法(Amplitude Panning,AP)与矢量的幅值平移算法(Vector Base Amplitude Panning,VBAP);
(3)波场合成算法(Wave Field Synthesis, WFS );
(4)高阶全息算法(High Order Ambisonics, HOA)。
3)就3D环绕声扬声器设置架构,现有的技术可以归纳为:
(1)耳机系统;
(2)多层扬声器系统;
4)就3D环绕声的信号分配方式,现有的技术可以归纳为:
(1)基于“声道”的概念;
(2)基于“对象”的概念;
(3)基于“声道+对象”的概念。
上述各种3D环绕声技术使用的声场重建原理各不相同,分别具有各自的优势,其中Auro-3D、IOSONO-3D、Dolby Atmos、中国多维声13.1四种3D环绕声系统在中国市场已经得到商业化应用,而且具有一定的代表性,以下笔者就分别来进行探讨。
3 比利时Barco Auro-3D
Barco Auro-3D(以下简称Auro-3D),是由Barco(巴可)公司和Auro科技公司共同研发的3D环绕声技术。Auro-3D是基于心理声学的声音场景重建3D环绕声技术。其原理是听音者基于双耳效应建立的幻觉声像场景;采用强度差方式实现声像定位;扬声器分为2或3层;信号分配是基于传统的“声道”概念。
强度差方式是一种有效的声像定位方法,通过将分配至扬声器的信号的幅度进行调整,控制人耳感知到的声像的位置。利用3个以上扬声器的声音强度矢量合成可以重建虚拟声源水平和高度位置。
基于“声道”的重放是一种传统的声音制作的工艺概念。在电影混录棚里,安装了多声道混录调音台和规范设置的扬声器,所有声音信号已经预先分配到指定的扬声器。混合录音师所在的工作位置即是最佳的听音位置,他将按照自己的主观感受调整各声道信号的比例,最终得到符合不同影院需要的混录声带,如单声道、4-2-4矩阵立体声、5.1声道环绕声、7.1声道环绕声等。基于听觉心理效应,听音者会在声道扬声器之间自觉感知声场重建。这种工艺方法简单、直观,一直是电影录音、制作的主要方式。
Auro-3D提供了大、小两种房间模式,即商业影院中的Auro 11.1以及家庭影院类的Auro 9.1。这两种房间模式中,分别有标准配置与高配置两种模式:Auro 11.1是商业影院的标准配置,Auro 13.1是商业影院的高配置;Auro 9.1是家庭影院的标准配置,Auro 10.1是家庭影院的高配置。
Auro 11.1和Auro 13.1采用3个扬声器层:环绕层、上层和顶层,Auro11.1系统扬声器布局见图1。
(1)环绕层用于还放包围在听众周围水平面的声音。
(2)上层用于还放来自高层夹角为30°左右的声音,来自这个角度的声音大部分是非常重要的空间反射声(同时也有一些直达声,例如鸟鸣声等),这对于大脑来说非常重要,能够更好地理解从环绕层来的声音;同时能够得到更加自然的音色以及更加清晰的水平面声音定位。
(3)顶层是增加的单独声道(天花板/上帝之声声道),还放飞过头顶的音效或其他特别的在观众头顶上方的音效,能够创造一个头顶上方的声音定位或轨迹,是重现一个自然的包容的三维空间声音体验的关键所在。
为降低系统成本,利于商业推广,也因为家庭小空间的声学特性,Auro 9.1家庭影院系统将扬声器设置为2层,即在原平面5.1环绕声的基础上,在房间顶部四角加装4只扬声器来实现3D环绕声,扬声器布局见图2。而Auro 10.1系统则在9.1的基础上,在天花板中央设置了单独一个置顶扬声器——VOG。
Auro-3D在进行电影后期制作时,需要在现有音频工作站Pro tools或Nuendo平台上加装Auro-3D插件。这些插件包括Auro-MATIC®音频混合插件、Auro-PANNER™声像设计插件、Auro-VERB三维混响插件、Auro-Codec编解码插件等。
使用Auro-3D编码的电影放映时需要使用硬件解码器,通过Auro-3D®硬件解码器可以方便地将原有的单声道、立体声、5.1环绕声重新编码转换成可以通过Auro-3D系统重放的音频信号,这最大限度地解决了音频格式的兼容性问题。
由于Auro-3D是在5.1环绕声技术基础上发展而来的,其最突出的优势在于极高的音频格式兼容性。该技术合理利用目前音频标准中的动态裕量进行多声道编码,无需更改有关电影声音的SMPTE (The Society of Motion Picture and Television Engineers,电影电视工程师协会)标准或DCI(Digital Cinema Initiatives,数字电影先导组织)规格。一个正常的含有电影内容的DCP( DigitalCinema Package ,数字影院文件包),通过Auro 11.1解码器可以从现有5.1或7.1音轨文件中提取其他声道的声音信息。
目前,全球已有500多家影院引入了Auro-3D环绕声系统,北京中影电影数字制作基地也正在改建Auro-3D混录棚,将能够完成Auro-3D环绕声的后期制作。与此同时,Auro-3D环绕声技术已经快速向民用领域发展,例如家庭影院、豪华车载音响系统、游戏音频领域等,这些无疑对其发展起着非常重要的作用。
综上所述,Auro-3D技术使用有限的声道和扬声器来完成3D声场的重建,成本低,沉浸感强,技术适应性广,兼容性好,有着很好的市场前景。
4 德国IOSONO-3D
IOSONO-3D,是基于物理的声场重建技术开发的3D环绕声,由德国弗朗霍费协会(Fraunhofer IDMT)和德国IOSONO公司于2004年推出。
物理声场重建技术的主要代表是波场合成和高阶全息。波场合成技术是荷兰代尔夫特理工大学的Berkhout教授于1988年提出的,它源于17世纪初的惠更斯原理。惠更斯原理表明,在波的传播过程中,任意曲面上的某一个点都可以看作是一个新的子波源,其后的任意时刻,这些子波源发射的波前的包络线,就是声波这一时刻的新波前。
在已知原始声源加位置信息的情况下,波场合成算法通过Kirchhoff-helmholtz积分求出各二次声源的驱动信号,利用连续分布的二次声源,实现对原始声源的声场精确重建。在理想化的情况下,波场合成技术可以确保二次声源合成的声场与原始声场完全一致,听音者像在真实听音空间中一样感知和定位声源,并允许听音者在听音区域内部任意走动,声像不因人的位置的改变而发生改变。
IOSONO-3D系统的通道配置和扬声器布局是根据不同空间状况而决定的,采用的是3~5层式分布,根据波场合成原理将声音的 X/ Y/Z三维空间完全表达出来。以SWD-IOSONO声音实验室为例:第一层,底层环绕声扬声器阵列由52只扬声器构成三维声音空间中的X轴面,用以构成常用的环绕声音床;第二层,由34只扬声器构成,目的是将X轴面的声场进行纵向拉伸形成Z轴;第三层,由8只扬声器组成,在顶层形成三角形布局,将2 000 Hz以上的高频辐射至听音区域,强化声像定位,SWD-IOSONO声音实验室扬声器阵列布置图见图3。
真实环境中的声音是由左/右、前/后、上/下三个轴面的声波构成,从物理声学的属性来分析,又是由球面波、柱面波和平面波三种形式的声波传播方式所构成。IOSONO-3D可以还原自然声场中的球面波、柱面波和平面波,从而再现真实三维空间。在信号的生成中,产生球面波对于环绕声系统来说,较为简单,获得平面波和柱面波则需要对音频信号进行大量计算处理与合成。
IOSONO-3D的制作需要在Steinberg Nuendo 5.5音频工作站加入插件SAW(Spatial Audio Workstation),SAW工作时需要对扬声器位置进行预先的设定。在声音的后期混录中,IOSONO-3D制作使用的是基于“对象”的工艺概念,这是一个新的概念。“对象”是指声音对象,可以是语言,可以是音乐,可以是背景声,可以是动作音效等;可以是移动的,也可以是静止的;可以是点状的,也可以是面状的。在IOSONO-3D的制作中,艺术家只需要将声音对象放到音频工作站界面显示场景中,设定它的水平运动和高度变化的路线,完全不需要考虑声道的问题,音频工作站将根据WFS算法进行实时运算并生成3D音频信息流,通过扬声器阵列重放产生真实的3D声场,扬声器越密集,声音定位越精确,这无疑是一种革命性的声音技术。
IOSONO-3D基于技术原理,做到了更加清晰的声源定位;更加连贯的声音对象运动感;更加强烈的临场感和沉浸感;最佳听音区的最大化;更加平衡的扬声器声压级和更加得心应手的艺术创作手段,具有明显的技术优势。
就目前来看,IOSONO-3D系统更适用于大型高层次的会展,交响乐、歌剧、音乐剧演出、城市声音景观、户外实景演艺项目以及高等院校、科研院所的研究项目等领域。2008年上海世博会西班牙馆就应用了IOSONO-3D系统,得到了观众的赞赏。2013年10月在上海举办的“张军昆曲水磨新调3D全息音乐会”也使用了IOSONO-3D系统。
5 美国Dolby Atmos
Dolby Atmos,中文称为杜比全景声,是由美国杜比实验室研发的3D环绕声系统,Dolby公司在对其开发的Dolby 7.1环绕声系统的后续开发过程中,发现在不损害7.1系统的兼容性同时,可以通过增加影院环绕声阵列的数量来增加声音定位,由此开发出全新的Dolby Atmos全景声技术。
Dolby Atmos采用基于“声道”(Beds)加基于“对象”(Object)两者结合的方式来进行制作和渲染输出,看起来是前两种技术的结合。Beds在这里直译为“音床”,意译应为“声道”。在制作中,为了准确放置声音,声像定位元数据整合入混录控制界面,推子、声像、音频处理既可作用于音床或分组混录,也可作用于音频对象。在控制界面中可以看到影院的三维立体图,声音对象被放置在不同的点上,实时移动。在完成对白、效果声前期的基本准备之后,适合在影院内精确放置或者移动的声音将被标记为一个对象并根据需要进行位置操作,一些背景声如群杂和音乐将被作为音床操作。在混录棚的最终混录阶段,混录录音师将音乐、对白和效果声编组,每个编组包含一个以声道为基础的音床和一些带元数据的音频对象,在最终混录时通过音频工作站和调音台对音频对象位置信息的操作,将音频信息渲染至混录棚扬声器相应位置。渲染过程中,混录录音师可以使用有条件的元数据,这些数据根据相关的配置文件进行默认的配置,这样混录录音师就能保证电影在杜比全景声所容许的各种规模的影院进行回放。
从Dolby Atmos“声道+对象”的制作工艺概念来看,Dolby Atmos的原理应当属于心理声学加物理声场的重建技术以及VBAP算法。Dolby Atmos采用两层扬声器布局,要求极其严格。Dolby Atmos扬声器布局俯视图见图4,侧视图见图5。
(1)下层环绕声:水平环绕声,在原有Dolby 5.1和Dolby 7.1环绕声系统扬声器的基础之上,增加左、右环绕声道的扬声器数量,用以弥补原有声音定位不足的缺点;重新定位了前置扬声器和环绕声扬声器的高度和角度,以更好地构建声场。
(2)顶层环绕声:在影院天花板设置两列扬声器,两列顶部的环绕声扬声器与银幕左中扬声器和右中扬声器保持轴线对齐,用以确保声像及音色统一;每个环绕声扬声器之间的距离保持在2 m~3 m,同时相邻两只扬声器与影院中央听音区边线和影院中线交汇点的夹角应保持30°以内,用以保证观众的听音效果。
(3)银幕扬声器:Dolby Atmos为了使整个银幕声音的声像定位和移动更加准确和流畅,在银幕宽度大于12 m时,增加了左中置扬声器和右中置扬声器,它们分别位于中置扬声器与左侧扬声器/右侧扬声器的中线位置。所有银幕扬声器的放置高度应以扬声器的声学中心点为基准高于银幕约三分之二处。为了防止出现驻波,需要将低音扬声器放置的位置偏离房间中线。Dolby Atmos银幕扬声器布局见图6。
Dolby Atmos最多可以支持64个有效声道(即61.3制式),可以独立驱动64个扬声器,从而实现声音在空间中的精确移动,由于有足够多的声道布满空间,观众可以感受到真实而令人震撼的声音效果。
相对于其他3D环绕声技术来说,Dolby Atmos更加专注商业影院方向的发展。由于该技术是基于Dolby数字播放技术和Dolby 7.1环绕声技术开发的,所以全世界绝大多数现有的杜比影院系统都可以根据Dolby Atmos的要求对现有影院系统进行升级,这使得Dolby Atmos技术能够得到大量广泛的应用。
Dolby Atmos打包方案允许将专用的DCP发送至任何影院,DCP中同时包含了主音频和杜比全景声轨迹文件,通过影院中的媒体模块相对应的一个密钥传送信息(KDM)控制内容的回放。而任何符合DCI规范的服务器以及影院声音处理器都能回放此DCP,这极大简化了发行的流程。在拥有Dolby Atmos的影院,Dolby Atmos声轨迹文件将被导入服务器,并在回放过程中以流的方式被传送到Dolby Atmos影院处理器中进行渲染。由于DCP同时拥有Dolby 7.1或Dolby 5.1环绕声和Dolby Atmos音频流,Dolby Atmos影院处理器可以根据需要在三者之间切换。
目前,国内影院使用Dolby Atmos系统的数量已近百家,还有更多的影院开始改造、建设。从Dolby Atmos问世到2013年10月,全球使用Dolby Atmos制作的电影数量已经超过300部,2014年有超过80部使用Dolby Atmos制作的电影上映,这种井喷式的发展对于推动3D环绕声技术的普及有着重要的作用。
6 中国多维声(13.1)
中国是世界大国,发展中国自己的3D环绕声技术,并跻身世界同行,是中国科技与产业界的雄心。2014年10月由中国电影科学技术研究所、中影电影数字制作基地有限公司与中广华夏影视科技有限公司共同研发的“中国多维声(13.1)”正式发布,这是中国自主研发的新一代影院全景环绕立体声系统。它采用两层扬声器架构,环绕层包括5个前方声道、2个环绕声道、2个后环绕声道、2个后角声道、1个低频效果声道,上层有2个顶部声道,构成了影院14个有效声道的三维度空间。由于其多平面、多空间、多维度发声,能够给观众沉浸式的空间体验,因此被称为“中国多维空间声道放映技术”,简称“中国多维声”。其最大的特点,是所有的声道都独立驱动和发声,不进行任何上变换虚拟处理,大大提高多维度声音覆盖的真实性,并为后续推出15.1 、22.1等多声道格式的中国3D环绕声技术奠定扎实的基础。
中国多维空间声道放映技术分为四个部分,分别包括多声道制作、多声道母版、多声道声频处理器及与其对应的还音系统。为中国多维声研发的DCP2000型数字声频处理器,采用软件与硬件的模块化设计,全新的编解码上变换技术,其输入端预先设计了三个输入模块,可满足2种格式的16声道声频输入及其他多种格式的声频输入;输出声道数为48路,不仅可以播放中国多维声目前的13.1母版节目,也为中国多维声从 13.1 格式升级为15.1、22.1等多声道格式预留了空间。同时,还可以将5.1声道上变换为13.1声道,以缓解目前3D环绕声片源不足的困境。
中国多维声系统的投资成本要远低于Dolby Atmos系统,仅为其1/4,而声音质量、三维动态、音响效果与震撼力,并不亚于Dolby Atmos,其发展前景十分可观。
中影电影数字制作基地有限公司2012年10月制作出首部中国多维声(13.1)版本影片《一九四二》,其后又相继发行了多部采用中国多维声13.1版本的影片。到目前为止,已安装中国多维声系统的电影院有30多家,随着影片发行量的不断增多,与“中国巨幕”携手,“中国多维声系统”将成为国产影院技术的重要品牌,参与3D环绕声技术的世界竞争。
7 应用前景
综上所述,环绕声技术多年发展历程中,带给人们的是一场又一场听觉盛宴。这是人类在听觉领域上不断探寻的成果。
以Auro-3D为代表的基于心理声学的3D声场重建技术,改建成本低,格式兼容性好,沉浸感强,与原有的5.1环绕声相比,听音者的主观感受得到了很大的提高,在商业影院和家庭影院领域有着很大的优势,在车载音响、移动终端和桌面游戏等领域还有很大发展空间。但不可否认,这种技术毕竟是一种准3D技术,其固有的技术局限仍然存在,尤其是Auro-3D不能在大空间、宽广区域产生有效的三维声音效果的局限性限制了它在其他专业领域中的应用。
以IOSONO-3D为代表的基于物理的3D声场重建技术,是理想的3D环绕声技术,它应用WFS算法,实现更加清晰的声源定位;更加连贯的声音对象运动感;更加强烈的临场感和沉浸感;最佳听音区的最大化;大大丰富了艺术家的创作手段。影响IOSONO-3D环绕声发展的不利因素主要是技术复杂、成本太高。但它可以与高清数字媒体结合广泛运用于大型高层次的会展,也可以运用于交响乐、歌剧、音乐剧等大型演出,更可以与IMAX 3D等3D视频技术结合组成超级双3D全景影音系统。这种具有革命性的声音重放方式,将成为21世纪的主流声音技术。
2012年9月,杜比收购了Imm Sound,将其技术融入杜比全景声中,开发出基于“声道+对象”的3D环绕声。2014年10月,巴可收购了IOSONO,也立志将基于“对象”的技术加入到巴可沉浸音3D环绕声技术中去,3D环绕声技术两强争霸的局面已经初见端倪。
中国具有世界最广阔的电影市场,发展中国品牌的电影技术体现了国家软实力,也是中国科技工程界的责任,中国多维声系统任重道远,期待它一路走好。
由于时间和篇幅所限,笔者对3D环绕声技术的介绍和评价,无论从技术角度还是艺术角度都很粗陋,希望得到广大读者批评指正。
[1] 宋硕. 影院声音3D硝烟四起[J]. 现代电影技术, 2012(2): 43-48.
[3] 彭钰林. 三维音频若干算法研究[D]. 大连: 大连理工大学,2013.6.
[4] 胡瑞敏等. 三维音频技术综述[J]. 数据采集与处理,2014(9).
[6] 王忆菲. 电影声音技术的3D革命——Dolby Atmos解析[J]. 现代电视技术, 2013(9): 88-92.
[7] 庄元, 范晓纬. 完美的3D空间声音体验——访SWDIOSONO声音试验室[J]. 音响技术, 2013(4):6-9.
[8] 周宛鹿, 庄元. 昆曲邂逅波场合成3D技术的音韵幻化[J]. 演艺科技,2014(7): 31-35.
[9] Daele B V, Baelen W V, Claypool B. AURO TECHNOLOGIES NV [Z]. BARCO, 2012.
[10] DOLBY ATMOS影院技术指南[Z]. DOLBY, 2013.
[11] DOLBY ATMOS新一代影院音频[Z]. DOLBY, 2013
[12] Auro11.1系统白皮书[Z]. Auro 11.1by Barco,2013.
[13] Auro 11-1 影院音响新维度[Z]. Auro 11.1by Barco,2013.
[14] 杜思梦. 从《痞子英雄2》看中国多维声[N]. 北京.中国电影报,2014.10.1.
(编辑 杜 青)
An Overview about the Development of 3D Surround Sound Technology
ZHUANG Yuan
(Nanjing University of the Arts, Nanjing Jiangsu 210013, China)
In this paper, the current mainstream 3D surround sound technologies are classified , and the characteristics of all kinds of 3D surround sound technology and its commercial application prospect are analyzed by comparatation. Additionally, the writor predicted that 3D surround technology innovation is driving the development of sound technology in the 21st century.
3D surround sound; sound field reconstruction ; Barco Auro-3D;IOSONO-3D; Dolby Atmos; Chinese multidimensional sound; immersion
10.3969/j.issn.1674-8239.2015.03.004