放谈沉浸式电影声音技术

甄 钊

（北京电影学院，北京 100088）

放谈沉浸式电影声音技术

甄 钊

（北京电影学院，北京 100088）

介绍近年围绕沉浸式电影声音的学术研究、概念形成和产业面临的问题，反映对这些问题的思考；介绍年内在该领域发生的重大事件及其影响。

沉浸式声音；基于对象处理；基于声道还原；基于波场合成

近两三年，沉浸式声音（Immersive sound）似旋风般席卷了好莱坞，并迅速在全世界蔓延。Dolby Atmos（杜比全景声）和Auro-3D（巴可3D声音技术）的全方位环绕声格式都给观众留下了深刻印象，最近则更加致力于家庭影院的声音环境的推广。来自不同方向的音响充满影院，为观众带来前所未有的声音体验。这是自1990年以来独立声道的5.1环绕声问世以来在电影声音的生产和消费领域最激动人心的技术变革。

身临其境，沉浸式声音（Immersive sound）面临艺术和技术的双重突破。

1 困境——关于多声道电影声音格式问题的来由

早在2002年，任职于日本放送协会（NHK）并发明了著名的滨崎方阵（Hamasaki SQ）的滨崎公男先生就提出了Hamasaki 22.2声道的3维环绕声系统，作为一个试验性的方案，这个系统是为NHK的超高清电视系统（UHTV）开发的。

自此以后的十多年间，相继有来自德国、美国及其他国家的各种实验系统纷纷问世，都借3D电影的概念进行推广，本身并无明确的概念与名称。名目的杂乱也反映出多声道电影声音在研究开发与应用推广方面的乱象。概念不清，理念各异，也是这个时期多声道电影声音格式研究的特点。

据不完全统计，曾经出现的多声道还音系统有：Hamasaki 22.1；Iosono（德国公司Iosono开发）；Dolby Atmos；Auro-3D；Immsonic（巴塞罗那媒体研究中心推出）……其中既有基于声道还原方式的，如Hamasaki、Auro-3D；也有基于对象处理的Atmos；还有基于波阵面合成重建三维声学空间的波场合成的Iosono等。

就其原始开发理念而言，既有面向游戏声音制作，也有为音乐录音而设计，甚至干脆以实验为目的。最后，这些系统多多少少地都试图加入到电影声音制作的过程中。以至于在过去的数年中，总是能够风闻在某部电影的制作中试用了某某多声道还音系统之类的消息，一时间莫衷一是。

2 多声道电影声音格式的内涵及命名的困惑

在以上的几种方案中，只有Dolby Atmos由于在中国电影市场的先声夺人，因此起了一个非常形象的中文名称“全景声”，甚而几乎担当起此类多声道系统的通用名称，这情景不禁令人回想起当年Dolby Stereo（杜比立体声） 就是20世纪70、80年代电影立体声的代名词。

但是无论如何，“全景声”已经成为Dolby Atmos在中国的专利名称，实际上它所代表的含义严格地说是专指Dolby Atmos的。那么其他的多声道电影还音系统又将如何命名呢？

几乎是与Dolby Atmos在中国市场风生水起的同时，有关电影制作机构也在进行类似系统的实验研究，最明显的例子是中国电影集团公司（以下简称“中影集团”）后期制作基地的13.1多声道还音系统的试验研究。此外，还有在一些教育机构安装了Iosono多声道实验系统，Auro-3D也在Barco（巴可）公司的极力推广下受到一定的关注。在进行此类系统的研究和实验过程中，毫无疑问，会感觉到它们之间存在某种共通的概念，但又各有自己的特点。如果试图找到一个通用的名称来概括或描述这个范畴是相当困难的。事实上，即使是杜比在早期的推广过程中也未能给自己的系统找到一个通用名称，无论英文还是中文。

在多次的国际学术交流中，分别使用过：多层环绕声，三维环绕声，高度环绕声、半球环绕声等不同的概念，虽然多少都能得到国内外同行的认可和理解，但是缺乏普遍的共识。所以，直到不久前，见诸各种学术资料中最多用的仍然是一个不定短语——超越5.1。

3 问题——杂乱而无所适从

20世纪90年代初，数字声音首次应用于电影放映，独立声轨的5.1声道环绕声分别以CDS(Cinema Digital Sound，影院数字声音)、Dolby Digital（杜比数字）、DTS（Digital Theater System，数字影院系统）和SDDS（SONY Digital Dynamic Sound，索尼数字动态声）等方式问世，给电影发行业带来机遇的同时也带来了许多困扰。Dolby Digital、DTS和SDDS三种格式争夺电影制作和影院的竞争中受到不同方面的青睐，结果发行者分成不同的阵营，如果想要还放所有的电影数字立体声格式，影院必须安装以上的所有三种格式，这既不实际也不划算。于是，最终的妥协就是制片厂印制所谓的4合1声迹（见图1）的拷贝，其中包括矩阵编码立体声光学模拟声迹，Dolby Digital、SDDS和DTS同步信号。同样的，在影院一端，需要不同的影院处理器完成读出和解码环节，这些都毫无疑问地增加了影院的运营成本。若干年来，大多数主要制片厂均采用此种方式制作拷贝，直到后来大多数电影只制作Dolby Digital数字声迹的拷贝，使之最终成为最通行的格式。这种局面一直持续到数字电影拷贝用5.1 PCM（Pulse Code Modulation，脉冲编码调制）声音文件完全取代了编码声迹。

好景不长，数字电影声音最初的“伊甸园”被Dolby Atmos的出现破坏了，这种全景声格式要求另外把一个5.1或7.1 PCM混录声音打包进DCP（Digital Cinema Package，数字电影包）。而对于Auro-3D格式的拷贝， 5.1 PCM混录声音是包含在11.1 Auro-3D混录声音中的。如果一个5.1混录声音在Auro-3D影院还音时，Auro-3D编码器会把上层通道电平和设置设为“无效”。

无独有偶，今天的局面较之20世纪90年代更为严峻。仅就在影片制作发行过程中最早得到广泛使用的两种沉浸式电影声音格式Atmos和Auro-3D而言，由于两者开发理念不同，前者更需要能够处理声音对象的专用处理器，而后者则是以声道方式进行声场重建。令业主更为不堪的是，两者的众多扬声器布置完全不同，使得它们之间几乎没有兼容的可能。影院会因为安装单一还音系统，无法还放竞争对手的声音格式，从而失去一部分市场。这就更大程度地增加了影院运营的成本，使得影院业主们对于采用这样的多声道制式多多少少有抵触。

沉浸式电影声音格式之争仍在继续。

4 SMPTE的大动作——MDA，开放格式的时代即将到来

2013年初，美国影院业主协会(NATO)和欧洲国际影院联盟（UNIC）携手数字电影倡导组织（DCI）建立通用沉浸式电影声音拷贝（common immersive sound package），而不再像35 mm胶片拷贝的“4合1”声迹那样把所有格式的声音统统发给影院。

作为响应，电影电视工程师协会（SMPTE）成立了一个特别工作组(TC-25CSS)协助标准化工作。SMPTE意在“协调”两个“标准”：一个基于Dolby Atmos，而另一方则是DTS的MDA（多维音频）。

巴可和杜比都承诺支持开放格式。虽然Auro-3D目前不是基于对象的格式，但它的制作工具套件允许基于对象的混录。同时， Auro-3D的东家Barco的影院处理器的设计已经有了一个升级思路，很可能把环绕声道分成若干个分区。根本来说，使用元数据的目的就是无论任何格式的混录声带经由任何一种影院处理器渲染生成后都会产生与影院扬声器的布置相匹配的声音效果。的确，在混录棚里有些原本是为Auro-3D或Atmos混录的声音文件具备转换到另一种格式的定向数据。而对于观众的区别在于，影院系统与混录系统互相匹配的程度。

由DTS提出了一个可能的解决方案即MDA。该公司的影院业务已经剥离成为Datasat公司，这正是为Barco生产AP24影院处理器的代工厂家。

MDA的技术源自于SRS实验室，后被DTS兼并。“MDA电影支持者集团”是一个非正式的联盟，由DTS和QSC、USL和Barco等组成，他们联合向SMPTE 的TC-25CSS工作组提出了MDA方案。

迄今为止，MDA还没有正式用于任何影片，但它一直在进行行业测试，几个月前刚刚向TC-25CSS工作组提交规范文本，其1.0版本的标准计划2014年8月初发表。

SMPTE开展的标准化过程极其漫长。虽然电影行业想要结束格式之争，电影制片厂和设备生产商无法坐等MDA真正投入使用，毕竟，Auro-3D和Dolby Atmos是现成的。

MDA与Atmos一样是基于对象，并为行业提供一个开放的格式，向开发人员提供开发工具。MDA作为一个开放格式将是免费的，DTS将向数字音频工作站和调音台厂家提供必要的软件 （巴可和杜比一直以来都是这样为电影行业提供类似的支持）。

不同于Auro-3D和Atmos需要可扩展的扬声器布置和定向目标的理念，MDA在设计上希望与扬声器不相关，然而实际上在影院实施过程中可能会产生很多偏差。

一旦这个开放格式得以通过，下一个目标应该是沉浸式声音文件到5.1或7.1格式的下变换问题，这样可以避免DCP中单独附带PCM线性混录声音文件。危险在于，这有可能意味着最终的混合由于在影院自动完成而失去了制作者的监控。究竟这个目标是否可行还不明了，影院中的声音重新定向将使得混录的失误更加凸显。

开放格式，这将是一个艰巨的任务……

5 大事件——Immersive Sound 师出有名

2014年9月6日，由MIX杂志、CAS与MPES联合在美国洛杉矶卡尔弗城的SONY电影公司举办了为期一天的“Immersive Sound—from Production to Playback”的主题活动，图2为活动期间举办的的专题研讨会现场，这一事件成为年内全球电影声音行业最为瞩目的一次活动，超过500位电影声音专业人士出席。曾经两次获得奥斯卡奖的著名声音设计师Randy Thom在Cary Grant剧院做了电影声音创作的主题演讲。活动包括了一系列专题研讨会，以及影片片段的演示和不同格式沉浸式声音的体验等。笔者也在当日参加了所有活动，图3为笔者在Interteen2014活动上做沉浸式音乐拾音的技术演示。

除了 Atmos、Auro-3D、 MDA等沉浸式电影声音格式的片段在William Holden剧院展示放映以外（见图4）。当日活动最令人瞩目的是在Kim Novak剧院开展的分别以“创作的机遇”，“格式之争”（见图5）、“技术与流程”（见图6）为主题的研讨会，话题分别涉及剪辑与混录、音乐与对白、三种格式、技术与流程等。而三种格式的沉浸式声音系统体验（见图7）则分别在Sony 后期制作的第7混录棚、Burt Lancaster剧院和Anthony Quinn剧院进行。当晚，还在Cary Grant剧院特别放映了SONY新片《The Equalizer》。

这次被誉为一次独一无二（one-of-a-kind）的盛大的活动中，宣告了一个时代的正式启幕： Immersive Sound——沉浸式声音成为多声道电影声音的正式名称，2014年成为沉浸式电影声音的元年。这一事实将在全世界范围尚处于初始阶段的多声道电影声音技术领域被越来越广泛地接受。

围绕沉浸式声音的研究，包括系统格式搭建，标准化与兼容性，内容制作方法，制作工具开发以及系统最小化与应用领域拓展等。还有很多工作需要集结大批有识之士共同参与，希望不仅沉浸其中，并且推动发展。

甄钊，北京电影学院教授，北京市教委长城学者培养计划入选人，影视环绕声专家。承担北京市教委《综合媒体技术条件下的电影全景声录音工艺及制作手段研究》项目，2014年7月应邀赴美国芝加哥国际互动媒体论坛进行沉浸式声音基础研究的学术演讲和制作手段的演示。2014年9月出席Immersive sound from production to playback研讨会。

（编辑 杜 青）

On the Immersive Sound Technology of Film

ZHEN Zhao
(Beijing Film Academy，Beijing 100088, China)

This essayintroduces the academic research in recent years around the immersive sound, concept of its and the difficultywhat industry are faced with.The paper reflectthe authors thinking of these issues. At the same time also introduces the important events in the field of years and its influence.

Immersive sound；based on object praocessing; based on the channel reduction; based on wave field synthesis

10.3969/j.issn.1674-8239.2014.12.010