基于远程通信网络的多媒体交互式演出

于 航

（国家大剧院 影视节目制作部，北京 100031）

1 远程通信背景介绍

“Telematics”（远程通信）一词最早由西蒙·诺拉（Simon Nora）和艾里恩·米克（Alain Minc）在1978年向法国总统所作题为《计算机化协会：给法国总统的报告》（The Computerization of Society: A report to the President of France）中提出，“远程通信”是“远距离通信”和“信息科学”的混合词，指的是以计算机为媒介在不同地点间进行的网络通信交互关系。随着计算机网络科技的迅猛发展，远程通信技术正逐步被各个领域的研究学者所关注，其中也包括表演艺术家。

来自英国的罗伊·阿斯科特（Roy Ascott）是新媒体艺术的先驱，他最早预见到艺术的网络化将会出现，并创造性地把远程通信学引用到多媒体领域应用，借助网络来支撑艺术创作，使得分布在世界各地的艺术家可以进行异地舞台互动表演、信息数据的同步传输和共享等。

目前，北美洲、欧洲乃至亚洲的一些不同背景的艺术家正在探索开发远程通信网络技术在艺术领域的应用。在美国，已有多所知名学校及科研机构设立了利用远程通信进行艺术表演等方面的学科，并且正逐步实践远程通信网络的交互式演出项目，例如，斯坦福大学、纽约大学、佛罗里达大学等，如图1所示。在亚洲，这种基于远程通信网络的舞台演出合作项目已经在新加坡、韩国、中国的北京和上海等地悄然兴起。

2 基于远程通信网络的多媒体交互式演出的特色

2.1 远程通信多媒体交互式演出的概念

基于远程通信网络的多媒体交互式演出，是以高速网络环境为平台，利用传统艺术与远程通信网络技术、多媒体技术相结合的方式，呈现给观众的一种创新型的演出体验。一场丰富的远程多媒体交互式演出的内容一般包括：现场音乐表演、视觉效果、歌剧、戏剧、舞蹈以及3D动画展示等。这种演出最大的特色是探索跨越不同网络之间连接的可能性，通过网络技术实现群体互动，让在地理位置上相距甚远的艺术家们通过网络虚拟连接在一起，打破空间与时间的界限，实现听觉与视觉的双向互动。

图1 2011年在美国圣地亚哥与纽约基于远程通信举办的爵士乐演出“Inspiraling 2011: Telematic Jazz Explorations”

2.2 远程通信多媒体交互式演出的舞台环境

现阶段，最理想且常见的远程多媒体交互式演出环境为小型剧场、黑匣子剧场或大学科研实验室。进行远程通信项目需基于高速网络环境，最理想的网络带宽要达到100 Mb/s左右，才可减少音视频同步中的延迟现象。在北美，参与远程通信合作表演的大学、剧场及一些科研教育机构，都拥有Internet2极速网络环境，这种超高带宽的网络可以保证远程通信交互的无障碍连接。美国新世界交响乐团在2011年建立了Internet2网络，乐团指挥和作曲家可在不同的地点间通过远程通信终端参与排练和演出。在不久的将来，像Internet2这种极速网还会逐步在更多的剧场和艺术展览馆等场地普及应用。

除了上面提到的几种舞台演出场地，“虚拟现实系统环境”（CAVE，Cave Automatic Virtual Environment）常作为远程网络通信演出的介质。2006年，美国阿拉斯加州费尔班克斯大学与北极地区超级计算机中心（ARSC）共同合作了一个远程通信多媒体演出项目《声之音》，舞台搭建模式即为带投影的虚拟现实系统环境，如图2所示。虚拟现实系统环境由围绕表演者的四个投影墙面组成，四个投影面构成一个立方体机构，其中三个墙面采用背投方式，地面采用正投方式，整个系统构成立体投影。参与《声之音》交互演出的网络站点有美国的阿拉斯加、旧金山和伊利诺伊。互动过程的参与者有音乐家、舞蹈家等艺术家和IT技术人员，演出的网络环境为极速网络。《声之音》项目可以说是一个比较成功的远程通信多媒体演出项目，立体投影的变化与音乐紧密结合，它将科技与艺术完美地融合在一起，为多媒体交互式演出做出了探索性的贡献。演出除了有现场的音乐表演，还应用了3D技术。Virtual Reality（虚拟现实，简称VR）技术，是近年来兴起的新型3D技术，它利用电脑模拟三维空间，让观众的视觉、听觉以及触觉等感官如身临其境，感受虚拟与现实的角色转换。VR技术在多媒体舞台表演中比较多见，利用虚拟现实系统环境呈现的3D视觉效果极具冲击力，大大增强了观众的临场参与感。观众在虚拟现实环境周围佩戴3D眼镜即可体验VR演出带来的震撼。

3 远程通信网络技术在多媒体演出中的瓶颈问题及应用软件介绍

在过去的10年里，远程通信研究者们一直在探索远程通信终端交互中音视频传输同步的解决办法。南加州大学的布莱恩· 谢泼德教授（Dr. Brian Shepard）开发了一种可以替换传统调音台、传声器和扬声器的产品，来消除两个远程站点间的回声问题；斯坦福大学的讲师克里斯·柴夫（Chris Chafe）、伦斯勒理工学院的合作者波林· 漾（Pauline Oliveros）、纽约音乐家萨拉·维瓦（Sara Weaver），还有加州旧金山分校的作曲家马克·卓瑟（Mark Dresser）等人，利用高质量无损压缩音频系统Jacktrip结合苹果视频软件iChatAV使用，用来降低远程音视频网络传输的最低延迟，为实时多媒体交互演出奠定了基础。然而，延迟现象是目前远程通信多媒体演出中不可避免的，由于Jacktrip处理音频速度比iChat处理视频速度快，因此，视频的返送时间慢于音频，也就是双向的远程终端在数据传送上会有延迟。然而，参与者和观众其实可以忽略这个问题，因为这并不会影响演出的整体效果：第一，极速网络环境相对稳定，网络终端互连不会中断；第二，作曲家在为远程通信项目创作音乐时会考虑延迟问题，所以作品内容会相对有规律，且容易用不同乐器在一起即兴合奏；第三，远程通信交互演出的真正意义是为了进行远程交互实践而不是追求完美的演出。

图2 虚拟现实系统环境（CAVE）

目前，北美的一些远程通信多媒体演出项目已经开始利用高质量无损压缩音频系统Jacktrip（或Artsmesh）结合iChatAV视频软件的使用来降低远程音视频的网络传输延迟，同时利用远程视频互动系统可以让本地与异地远程终端之间的互动更加流畅。远程通信多媒体演出项目应用到的周边系统软件还包括Cisco Tandberg、ConferenceXP、Common-clock、Max/MSP和Jitter等。Cisco Tandberg或ConferenceXP作为视频核心软件，各个远程站点通过它进行高清视频会议和视频信息共享等；Max/MSP软件用于多媒体视觉效果的制作展示及音效处理；Common-clock指同步公共时钟，是嵌入在Max/MSP里的软件，各个远程站点的参与人员利用电脑或移动设备登录此软件后即可获得同步时钟，无论是彩排还是正式演出，同步公共时钟对减少实时同步远程演出中的延迟起到重要作用；Jitter软件一般作为远程项目的数据资料或采访纪实视频的展示平台，MAX/MSP最终对这些素材进行编程处理，利用它制作出来的视觉效果相当有视觉冲击力，观众可在欣赏音乐的同时感受科技与艺术结合的奇妙之处。此类演出彩排如图3所示。

4 远程通信多媒体交互式演出案例

4.1 美国《Auksalaq》

4.1.1 《Auksalaq》项目概况

“Auksalaq”一词是美国阿拉斯加北部语言，意为“融化的冰雪”。歌剧《Auksalaq》是2007年由美国印第安纳大学与普渡大学印第安纳波里斯联合分校（Indiana University-Purdue University Indianapolis，IUPUI）音乐与艺术科技学院斯哥特·迪尔教授（Scott Deal）与弗吉尼亚大学（The University of Virginia，UVa）电脑音乐中心的美国现代作曲家马修·博特纳（Matthew Burtner）共同创立的一个远程通信歌剧项目，作品内容是向观众揭示北极地区严重的冰川融化现象，和全球气候变暖趋势对人类环境及文化产生的巨大影响，如图4所示。

《Auksalaq》并不是传统的歌剧，它的演出形式整合了远程通信网络技术、现场音乐表演、舞蹈、歌剧演唱、音效处理、视觉艺术、科学家的采访纪实、社会评论数据和观众互动等。参与此项目的网络站点包括美国的纽约、阿拉斯加、印第安纳波利斯、弗吉尼亚及加拿大。每个参与站点会根据设计好的音乐主题和视觉效果进行实时同步互动表演。各个站点的观众不仅能观看到本地演出，还可以通过大屏幕实时看到其他参与站点的现场演出情况，体验不同的表演内容。IUPUI大学的迪尔教授介绍说，《Auksalaq》歌剧现在仍处在不断改进中，会跟随全球气候变暖现象而不断更新演出内容，不同地区的参与站点，每年都会进行远程音视频同步测试及现场同步演出。

《Auksalaq》远程通信歌剧项目要求的平均网络速度为100 Mb/s左右，表演场地利用了虚拟现实系统环境、科研实验室和小型戏剧场。远程交互演出中涉及音视频同步、延迟回声、线路搭建、测试信号、舞台灯光及网络等问题。所以，正式演出前，提前测试各个站点间的网络连接信号是很必要的。

图3 远程通信交互式演出彩排现场

图4 《Auksalaq》远程歌剧纽约站点的管弦乐团彩排现场

4.1.2 互动软件NOMADS

NOMADS是一款可免费下载的移动数字应用系统，由美国弗吉尼亚大学互动多媒体组织（IMRG）发明，这款软件是专为远程多媒体演出中的观众互动而设计的。2012年5月，美国IUPUI大学Tavel艺术与科技中心在与迈阿密新世纪交响乐团合作的Auksalaq项目中就曾成功应用此软件。各个站点的观众可在演出过程中，利用携带的iPad或iPhone等苹果移动设备登录NOMADS软件发布对演出的感受，还可以控制视频屏幕上的灯光及地理展示图，并与异地观众进行实时互动，见图5。在演出结束后，所有的本地观众可以通过屏幕墙看到不同站点的观众发出的评论，舞台上的演唱家还会把观众发布的感受和想法即兴地演唱出来，作为演出的一部分。无论观众的评论内容如何，演出延迟问题是否严重，这些无疑都是远程通信交互式演出的特色——科技与艺术相结合，创新与实践相结合，虚拟与现实相结合，演出与观众相结合。

4.2 远程通信交互式演出在大型剧院的初步应用

4.2.1 美国大都会歌剧院推行的“高清歌剧”

远程通信交互式演出项目在舞台上的应用有很好的前景，因为这种创新的演出形式打破了时间和地理上的界限，可以让世界上不同国家的剧院、艺术机构以及艺术家建立更多的互动联系，拓展国际演出市场。2006年，美国大都会歌剧院新上任的CEO彼得·盖尔博（Peter Gelb）首次提出“高清歌剧”（HD Live）的创意设想。“高清歌剧”是指利用高清摄录技术，将大都会的歌剧通过卫星同步转播给其他不同国家的电影院进行同步播放，截至2011年底，已有46个国家和地区的1 500个影剧院进行播映。据悉，每年到“大都会”现场观看歌剧以及收看“高清转播系列”的观众人数，超过了300万。2011年，“高清歌剧”首次进入中国内地，进驻上海大剧院。推行“高清歌剧”演出，拥有133年历史的美国大都会歌剧院以革新科技而暂时领先于世界上其他的大型剧院。

4.2.2 中国国家大剧院应用现状及设想

在每年7月，中国国家大剧院都会邀请英国BBC广播电台合作举办“漫步经典音乐会”，此音乐会的亮点是演出期间在北京不同街道上设立的七块液晶屏幕同步直播演出情况，也就是说，屏幕下的人们可以在大街小巷免费驻足享受“漫步经典音乐会”。现阶段，“漫步经典音乐会”还未能实现让英国的本地观众实时观看到演出。在英国，每年BBC举办的“逍遥音乐会”也只是为英国本土人士提供的在公园或音乐厅欣赏的开放式音乐会。

假设，中国国家大剧院与英国BBC广播电台之间建立远程通信网络联系，那么：通过网络互联和设立一些户外投影屏幕，即可实现国家大剧院“漫步经典音乐会”演出现场与“逍遥音乐会”演出现场的实时同步互动演出，还可以同时在直播屏幕上实时录播彼此国家的人文风景画面，进行双向视频互动报道和观众参与等互动环节；同时，利用远程通信可实现中英两地管弦乐团间的同步彩排和互动交流，双方共同创作演绎彼此国家的作品。可以说，这种创新的演出不仅可以增加中英两地观众的临场参与感，而且演出现场的情况还可以通过远程网络或卫星传送在网站和电视上直播给世界上不同国家的观众收看，使得更多的艺术家和观众参与到演出的创作和表演中。例如，这种远程通信交互式演出不同站点的彩排现场和音乐会直播现场情况可以采取网络直播的方式，在国家大剧院的古典音乐频道网站和英国BBC官方网站上同步播放或转播给其他国家的观众观看。相信在科技与艺术不断融合发展的情况下，会有越来越多的远程终端参与到远程通信交互式演出中。

图5 NOMADS现场观众互动展示

如今，大多数剧场仍将重心放在运营推广古典音乐和歌剧上，见图6；然而，在高技术迅猛发展的今天，中国的剧场也应当大胆探索创新演出形式，利用网络平台来拓展剧场的国际演出市场及对外文化交流，尝试运用远程通信与世界各地的剧场进行音视频连接，让更多的外国作曲家和演奏家参与到中国剧场的演出中，让中国的传统艺术走向世界，同时也让西方的科技艺术走进来。

5 结语

罗伊·阿斯科特曾说过，“计算机多媒体应用和远程通信技术已不再被作为复杂的工具，而是将领域拓展到了音乐表演、文学艺术、绘画雕塑等。”①目前，我国的部分网络环境已经完全可以满足远程通信交互式演出的要求。例如，中央音乐学院普及的高速互联网环境（IPv6），即可实现让中国的远程站点与国外的远程站点进行无障碍终端互联和互动演出合作等。希望在不远的未来，中国拓展远程通信技术在多媒体演出的市场，大胆迈向国际科技艺术领域的最前沿。

艺术与科技相结合是未来艺术发展的必然趋势，但是也不能盲目地仅采用先进的设备及技术进行艺术呈现。因为，创作才是艺术的根本，科技手段如果最终没有为艺术服务，那么，它只会变为乏味的工具。远程通信技术在艺术领域的应用正是基于利用创新探索意识来拓展艺术领域。

注释：

①Ascott, Roy. Telematic Embrace:Visionary Theories of Art, Technology,and Consciousness. University of California Press. LTD. 2003：245.

1. Ascott, Roy. Is there love in the telematic embrace? Art Journal 49 (3),1990：41-247.

2. Scott, Deal. Climate Change as Telematic Art. 2010. 2.

3. Nora Simon & Minc Alain. The Computerisation of Society. Cambridge:The MIT Press.1980.