现场演出中的同步与触发
2018-03-25张哲冀翔
张哲 冀翔
【摘 要】 以“E音之夜”多媒体原创电子音乐会为样本,分析现场演出同步与触发系统的设计思路与注意事项。
【关键词】 现场演出;同步;触发;时间码;音视频同步;自动化;演出控制系统;备份
文章编号: 10.3969/j.issn.1674-8239.2018.12.004
2018年6月,中国传媒大学“E音之夜”多媒体原创电子音乐会(以下简称“E音之夜”音乐会)成功举办。“E音之夜”音乐会以别具一格的原创电子音乐作品为基础,辅以创新高科技多媒体手段,呈现出视觉与听觉双管齐下的饕餮盛宴。
笔者在演出中负责音频播放系统的设计和现场操作,針对音频、视频与灯光部门对于同步操作的需求,引入基于时间码的同步和触发控制系统,力求做到:(1)以音频播放触发视频播放;(2)音视频素材同步播放;(3)调光台在特定时间点上自动做出Cue点切换。在设计和执行过程中,笔者针对时间码信号类型的选择、时间码发生源、备份、各工种工作方式的协调和方案灵活性等问题进行了较为深入的思考和尝试,并获得了不错的效果。因此,笔者以“E音之夜”音乐会为样本,分析现场演出同步与触发系统的设计思路与注意事项,力求对从业者提供有益的帮助。
1 概述
“同步”是一个广义的概念,字面意思为“相同的步调”。它所对应的英文术语“Synchronization”指一个系统内部各个组成部分协同工作。在涉及多媒体呈现的现场演出中引入演出控制(Show Control)的“同步”概念,即以自动化的方式统筹多个工种的控制系统(子系统)进行协同工作。这些子系统包括音频控制系统(调音台、播放器)、视频控制系统(切换器、播放器)、灯光控制系统(调光台、雾机)、舞台机械控制系统和焰火控制系统等。
演出控制通常以时间为参考,对于子系统的控制体现为两种形式:(1)在初始指令发出后,各个子系统能够在特定时间点上同时完成某种自动操作。例如调光台能够在音乐的特定时间点上自动做出Cue点切换;(2)在初始指令发出后,各子系统能够完全根据时间参考进行自动操作,例如舞台机械根据音乐的进行发生连续的变化、视频素材的播放始终与音频素材的播放保持“帧对帧”的同步等。
这两种控制形式包含了“同步”和“触发”的概念,在实际应用中往往通过时间码(Time Code)和触发信号(Trigger)予以实施。“初始指令”指时间码开始播放或发出触发信号。时间码同步适用于固定时长的节目,它能够在特定时间点上“告知”各子系统根据相关设置做出动作;而触发信号则由人来进行手动触发,适用于非固定时长的节目。
如图1所示,演出控制系统对于子系统的同步和触发通常可以分为三种工作模式。
第一种是“固定时长节目,各子系统全程同步”。它需要将各个子系统的从属设备与时间码完全绑定,当时间码开始,从属设备开始,时间码停止,从属设备也会停止。这种工作模式通常用于音视频后期制作。音视频素材会跟随时间码播放,工作站、调音台等设备也会根据时间码进行混音操作的自动化记录或者回放,它们的每一帧都和时间码的每一帧相对应。当时间码停止时,素材播放和设备的自动化记录/回放也会停止。这种工作模式通常不适用于现场演出,因为时间码的停止会导致音视频素材播放的停止,这无疑增加了演出所面临的风险。
第二种方式 “固定时长节目,特定时间点自动触发”的工作模式。它可以让音视频播放系统根据“时间码开始播放”或“时间码到达特定时间点”指令同时开始播放,随后便不再受到时间码的控制。这样即使时间码发生器由于某种原因停止工作,音视频素材也会继续同步播放下去,避免了出现时间码的停止会导致音视频素材播放的停止这种风险。除此之外,这种工作模式还能够用于灯光Cue点切换、雾机系统、烟火系统和舞台机械系统的协同工作,当“时间码到达特定时间点”时,上述子系统可以根据预先编辑好的程序自行工作。例如,音乐素材在某一时刻有焰火音效,在音乐播放到这一时刻时,灯光、焰火系统都会根据这一音效做出相应的响应。
第三种方式为“非固定时长节目,人为手动触发”。它针对演出中非精确时间点上出现的事件,通过人为的一次触发,同时让多个子系统做出同步响应。例如,图2所示的音乐剧《一步登天①》中,男主角会多次给出一个标志性的Cue点,此时声音和灯光效果需要随着男主角的动作做出同步响应,但声音的播放或者灯光效果的操作②则是现场工作人员通过观察演员的表演做出的。
2 同步和触发系统的设计考量
在一场演出中使用同步或触发需要考虑以下几方面问题:(1)各工种使用的设备能够接收何种类型的同步/触发信号;(2)如何选择同步/触发信号源及信号类型;(3)时间码/触发信号传输系统如何备份;(4)同步和触发系统的灵活性。
这些问题虽然各有侧重,但是紧密相关。各工种对设备的选型决定了它们能够接收同步/触发信号的类型。在此基础上选择信号发生源和信号类型,构建备份系统,同时将系统灵活性作为重要考量。
2.1 各工种使用的设备能够接收何种类型的同步/触发信号
对于时间码来说,使用频率最高的是MTC(MIDI接口)和LTC(XLR接口);对于触发信号来说,基于MIDI协议的各类信号则根据不同的子系统有着较大的不同。目前,绝大多数调音台都能够同时支持MTC和LTC;基于个人计算机的音频和视频播放系统由于使用专业音频接口,也同时支持MTC和LTC;部分灯光控制台仅配备MIDI接口,支持MTC或通用MIDI触发,无法接收LTC。
2.2 如何选择同步/触发信号源及信号类型
时间码(TimeCode)的格式为:xxHxxMxxSxxF,即xx小时xx分钟xx秒xx帧。MTC和LTC(Linear/LongitudinalTimecode)这两种时间码均采用SMPTE标准,只是表现形式不同,应用于不同的载体。LTC是一种经过编码后,表现形式为音频信号的时间码格式,它能够通过模拟音频信号线进行传输。MTC(MIDI Timecode)是经过编码之后,转换成MIDI信号的时间码格式,通过MIDI线传输。相较于MTC,LTC不仅可以实时生成时间码,还能够生成WAV格式的LTC时间码音频文件。
时间码信号源种类繁多,有硬件时间码发生器(如调音台或专用时间码设备等),也有基于软件的、具有时间码生成功能的数字音频工作站、播放器及演出控制软件。对于时间码发生器的选择应综合考虑演出需求、备份机制和系统灵活性等问题。
在“E音之夜”音乐会演出中使用的是WAV格式的LTC时间码音频文件,见图3。在音频播放器中,时间码音频文件与节目所使用的音频文件同步播放。
对于触发信号来说,MIDI信号是最为常用的。例如,调音台或灯光控制台在切换快照(Cue)时可以发出MIDI信号,音视频播放器接收信号后可以根据预先编辑的内容进行播放。需要说明的是,发出MIDI指令的既可以是调音台/灯光控制台,也可以是任何形式的MIDI键盘(合成器、打击板等),还可以是音视频播放器,且触发控制的实现是双向的,即一个设备既可以作为触发信号的发出者,也可以作为接收者来执行某种操作。在一套实际系统中,为了保证备份系统简洁有效,往往指定某一设备作为触发信号的发出者,其他设备作为接收者。
2.3 时间码/触发信号传输系统的备份及注意事项
对于采用时间码/触发信号进行控制的演出系统来说,备份是不可或缺的重要环节,这其中包括时间码/触发信号发生源的备份、音视频播放器的备份以及合并/分配/切换设备三个部分。
“E音之夜”音乐会上使用了典型的时间码控制音视频播放设备进行同步工作的系统。设计此类系统时应做到以下几个方面:(1)时间码的主备系统能够同时开始和停止;(2)音视频播放设备的主备系统能够交叉接收时间码主备系统发出的信号;(3)尽可能保证作为单点的合并/分配/切换设备简单稳定。
一个系统中只能存在一个时间码,所有的时间码接收设备都无法同时使用多个输入的时间码,但可以采取合并的方式将主备系统送出的时间码信号合二为一。如使用LTC,将两个完全相同的LTC信号源同时输出至调音台或声卡的虚拟调音台,混合之后输出给接收设备。当其中一个时钟源崩溃,另一个时钟源仍能持续输出完全相同的LTC,调音台的输出电平会相应小6 dB,但是LTC完全不会中断。如果使用的是MTC,可使用MIDI Merger或同类型设备来实现MIDI信号的合并③。
需要注意的是,在48 kHz采样率下,如果两条完全相同的LTC的播放时间差大于7个采样(约等于0.14 ms),合并后的LTC就会紊乱,导致时间码同步系统崩溃。因此,保证时间码主备发生器的同时开始就显得尤为重要,为此可使用Q-Widget等同步器来进行播放控制。除此之外,还需要注意两台电脑使用的不同声卡的不同时钟基准所带来的时间差,即主备声卡在同一时间段内计算出来的时间长度是否一致,这与声卡的时基晶振有关。通常在播放了一定的时间之后,两台时间码的相对延时会越来越大,直至影响系统的稳定性。
严格来说,在演出前应对主备声卡进行测试,找到时间码错开7个采样所需要的时间临界值。一般来说,当时长超过30 min之后才会出现时间码错乱的问题。因此,应尽可能使用完全相同的两块声卡,为每个节目(而不是整场演出)单独设定时间码,将每段时间码的长度控制在30 min之内④。
对于音视频素材的备份可以通过两组播放器来完成,调音台将混合后的LTC再一次进行路由分配,同时送往主备播放器;通过MIDIMerger进行混合的MTC则需要MIDISplitter再次分配给主备播放设备。
在此基础上,音频素材的主备切换需要通过调音台来完成,视频素材的主备切换需要通过视频切换器来完成。在该系统中,所有的混合、切换和分配设备均为单点,无法进行备份⑤,因此,应保证这些环节尽可能简单且稳定。
在有条件的情况下,建议在主备系统之外设计一套独立于时间码/触发系统之外的,完全由人进行手动控制的音视频播放系统,作为突发情况的应急解决方案。
2.4 同步和触发系统的灵活度
LTC、MTC和内容为LTC的WAV音频文件作为时间码信号来说几乎是完全一样的,但是在实际系统的搭建和使用过程中,这三种时间码格式之间则存在较大的差异。
从系统搭建的角度来说,LTC(或内容为LTC的WAV音频文件)相对更加便捷,利用专业调音台、音频接口都能够完成LTC的输入、输出、分配和接收工作;但是,所有音频接口都只有一组MIDI输入和输出接口,在使用MTC时需要借助独立的合并及分配设备。值得一提的是,WAV音频文件承载的LTC实际上已经替换了“时间码发生器”的概念,将时间码通过音频播放器来进行播放,这在某种程度上简化了系统,提升了稳定性。但它的问题在于不够灵活,尤其是节目时间长度或者节目之间的顺序发生改变时,对时间码做出修改就变得比较困难。
3 具体实施
对于演出控制系统来说,音响部门需要负责提供时间码、搭建时间码/触发信号的传输和备份系统。“E音之夜”音乐会中用到的这类由时间码控制音视频播放器的系统,提出基本的工作步骤如下:
(1)了解节目形式,确定节目需求,与各工种的前期协调,包括音视频是分开播放还是统一播放、灯光控台能够接收的时间码/触发信号类型等;
(2)设计时间码/触发信号系统,确定设备型号及数量;
(3)根据节目列表,为每个节目制作时间码;
(4)收集音视频素材,对时间码信号源及音视频播放器进行编程。
“E音之夜”音乐会上使用的灯光控台为GRAND MA2,能接收MTC和LTC,视频播放系统为ProVideoPlayer2(PVP2),仅能接收LTC,为便于管理,所有设备统一使用LTC。音频播放系统使用QLab,它既能够直接播放內容为LTC的WAV文件,也能够通过Time Code Cue生成MTC和LTC。权衡后,笔者选择内容为LTC的WAV音频文件,将其和编组音频素材(伴奏、低音声部、效果人声等StemMix)同步播放,触发视频播放系统和灯光控台进行工作。
经协调统计,此次演出中共使用4套笔记本电脑,其中音频播放系统2套、视频播放系统2套,每套播放系统配备1个音频接口,LTC全部采用模拟平衡信号线进行连接,见图4。
本次演出的25个节目均由时间码来进行控制,笔者以15 min为间隔制作了25条时间码。出于对各个从属设备响应速度和系统稳定性的考虑,预先让时间码播放3 s,再让各系统同步播放;出于同样的原因,在音视频系统播放结束2 s后,再让时间码停止。为了完成上述功能,在QLab中涉及的具体设置包含以下几个方面:(1)Group Cue;(2)Pre-Wait/Auto-Continue/Auto-Follow;(3)Stop Cue;见图5。
Group Cue(图5中①)能够将任意类型的Cue编组,实现统一的播放和管理,本场音乐会上,将每一个节目的Stem音频文件⑥编为一组,包含LTC的WAV文件⑦则位于Group Cue之前,Stop Cue位于Group Cue之后。图6给出了Group Cue的四种触发模式,本场音乐会使用第二种:Start first child and go to next cue,即Group Cue被觸发后,Group之后的Cue(Stop Cue)会进入准备状态。
Group Cue内部Stem Cue的同步播放需要通过Auto-Continue(图5中④)功能来实现。它指一个Cue被触发后,与它相邻的下一个Cue会同时被触发,即两者同时播放。通过这一功能,GroupCue内部的Stem Cue得以同步播放。Auto-Follow(图5中⑤)则是在某一个Cue播放结束后自动播放下一个Cue。
Pre-Wait功能则是在Auto-Continue和Auto-Follow的基础上,为下一个Cue的触发加入了一个等待时间。笔者通过这一功能将TC Cue、Group Cue和Stop Cue关联起来:Group Cue中的第一个Stem Cue与TC Cue是Auto-Continue关系,但是加入了3 s的Pre-Wait时间,因此,在TC Cue触发3 s后,第一个Stem Cue开始触发,通过编组内的Auto-Continue,所有Stem Cue同步触发播放。最后一个Stem Cue与Stop Cue之间为Auto-Follow关系,即最后一个Stem Cue结束后,Stop Cue会被执行,但此时为Stop Cue加入了2 s的Pre-Wait时间,因此,在Stem Cue播放结束2 s后,TC Cue才会被停止。
4 总结与思考
在一套演出控制系统中,时间码适用于固定时长节目中各个子系统的同步运行,而触发信号则需要人根据现场情况手动发出,进而让各个子系统之间协同工作。往往在一场演出当中,时间码和触发信号均会得到使用。例如,“E音之夜”音乐会的案例,节目和节目之间停顿的时长是随机的,因此,每个节目TC Cue的触发必须是手动的,这一操作可以通过Q-widget的播放按钮,也可以通过电脑键盘的空格键,也可以通过MIDI键盘等MIDI设备来完成。“触发”本身就是一个非常宽泛的概念,不必过于纠结在文字表述层面。
在时间码/触发信号的设计过程中,务必将“简化”和“务实”放在首位,确保系统架构清晰、备份环节尽可能完备、系统单点尽可能少、系统搭建尽可能简单高效。在此基础上,应提前预估导演在排练过程中可能对节目做出的调整,为时间码/触发系统的灵活性和可调整性留出余地。
致谢:本文是第五届“E音之夜”音乐会上音响团队的经验整合。在此感谢杨杰、路程、刘博、饶奕和杨明聪老师在演出前期准备和排练过程中给予的指导和帮助。初涉现场演出的同步和触发问题,文章内容难免稚嫩,请各位读者包涵并提出宝贵意见。