新媒体技术在舞台演出中的应用及呈现形式

吴振

【摘要】投影、游戏引擎、实时渲染、VR及AR等新媒体技术的发展及在舞台演出中的应用，呈现出演出的互动性，VJ式的实时操控开始流行，使舞台视觉效果更加丰富立体、富有变化，也出现了新媒体观念剧。

【关键词】舞台演出；新媒体观念剧；视觉呈现；三维投影；游戏引擎；实时渲染；VJ；光影雕塑

近年来，随着新科技的不断发展，新媒体技术在舞台演出中的应用也是日新月异。有哪些新变化、新趋势呢？笔者归纳了2017年中有影响的舞台演出新媒体技术应用，并结合自己的创作实践认为：投影技术的进步和创作理念的更新使舞台视觉效果更加丰富立体、富有变化；游戏引擎、实时渲染技术的发展及其与媒体的结合互动使得新媒体艺术更好地融入即兴和实验表演艺术中，VJ（Visual Jockey，影像骑师）式的实时操控开始流行；一些前卫艺术家大胆尝试，将VR、AR（虚拟现实、增强现实）技术融入舞台表演，探索舞台视觉呈现的新形式；新媒体艺术家将创意编程、新媒体交互装置介入舞台创作，创作出令人耳目一新的新媒体观念剧。

1投影技术的进步及其对创作观念的影响

投影技术的进步突出体现在三维投影和亮度的提升，视频服务器投影贴图矫正功能的出现，使设计制作的影像能够完整、准确、快捷地投射在三维介质上；而高流明激光投影机的普及极大地提升了投影画面的亮度，削弱了傳统舞台灯光对其的影响。

在运用投影的创作理念上，从之前舞台绘景式的2D平面发展到“3D Mapping”。“3D Mapping”国内又称为“光影雕塑”，可以将动画影像完整、准确地投射到户外建筑、汽车车身甚至钢琴、人的面部等任何可以投射的介质上。设计师通过巧妙的创意构思，可以实现更加丰富、立体、富有变化的视觉效果，使观众的视觉、思维突破二维的限制，拓展出第三个维度的想象空间。

例如，2017年9月在鸟巢举办的汪峰演唱会上，创作团队采用10台投影机（头部2台、胸部2台、腹部2台、左右两臂各2台）将影像投射在19 m高、两臂展开61 m的“X Man”人形模型上；同时，使用Disguise服务器的模型拉点模式功能对投射在“X Man”上的各部分的影像进行调制，实现完美无缝的叠加。服务器通过四路实时采集，将不同机位摄像机的信号传到LED大屏，现场实时编辑，无缝切换不同角度的镜头画面，如图1所示。

而室内剧场的演出，投影介质由传统的天幕、台口纱幕扩展延伸到整个舞台甚至观演区的地面和顶部，为演出平添了沉浸感及震撼的效果：视觉影像创作的内容开始摆脱舞台绘景式的具象画面，而开始用简洁抽象的画面表现人物内心世界。

笔者在2017年12月北京舞蹈学院舞剧《“话说”南泥湾》的多媒体创作中，尝试运用“3D Mapping”的创作理念，设计了在天幕、地面和侧幕条的立体投射影像方案，使其成为相互关联的有机整体。演出使用4台三万流明的激光投影机，其中2台挂在顶部投射舞台地面，还有2台分别放置在后方左右两侧投射天幕和侧幕条。运用Disguise服务器调整投影贴图的叠加和融合功能，使台下观众能够从银幕上看到各种瓜果蔬菜从天而落（见图2中的3，图3中的2、6），配合欢快的舞蹈表现丰收的喜悦；巨大的黑色石块从天空落下的影像（见图2中的6），给人压抑感；拉石块的麻绳从左往右延伸，相互交织、又断开散去的视觉效果（见图3中的5），配合演员左右拉伸的舞蹈动作，表现开垦南泥湾与恶劣的自然环境作斗争的艰难；地面凹陷，几何状的磨盘在窑洞前旋转升起的视觉冲击（见图2中的2），与演员围绕拉磨的动作相呼应；表现地面起伏运动的抽象三维方块阵列从左往右运动一直延伸到天幕（见图2中的1），抽象的几何图形动画与舞蹈动作产生互动，表现了锄地翻土，人对大自然的改造，使整体视觉效果有真实感，同时还具有环境与表演的统一。

这些创作观念和手法的运用改变了传统2D多媒体影像的创作模式，同时前期创作还运用了Disguise服务器的预演效果的功能，使得设计时就能直观地看到舞台影像合成后的整体视觉效果，并及时做出调整。而在这之前只能通过经验设计、预判，看到的是割裂的各部分空间单独创作的视频影像，因此舞台合成时需要大量的时间进行调整。

又如，为纪念南京大屠杀80周年在2017年12月上演的舞剧《记忆深处》中，设计者胡天骥将影像投射在舞台顶部，通过外化的影像来表现人物的内心世界。取自日本佛教般若的巨大模糊的人脸给人压迫感（见图4中的1），而抽象极简的几何造型影像营造出冷酷的气氛（见图4中的2、3）。

2017年，舞台剧《摸金块》也是运用3D Mapping的多媒体设计理念，将影像前后错开投射在天幕和地面（见图5），营造魔幻的视觉效果。

2游戏引擎、实时渲染技术的发展及其在舞台上的运用

从1998年的电影《罗拉快跑》开始，游戏行业就潜移默化地影响并渗透到影视、舞台演出行业，甚至改变了观众的审美习惯，使现代人习惯于游戏式的快节奏和主观运动镜头。主流游戏引擎（ Unity、Unreal等）的开发者也野心勃勃地进军游戏行业之外的动画电影、演出行业。

计算机GPU（Graphics Processing Unit，图形处理器）等硬件的发展，也使得游戏引擎实时渲染的优势得以充分发挥，省去了视频制作所需的大量渲染时间，极大地提高了创作效率，使其跨界应用到影视、现场表演成为可能。随着这一技术的发展，在实时渲染和媒体互动的基础上，开始融入各项即兴和实验表演艺术中，VJ式的实时操控开始流行（VJ与DJ的概念类似，将影像、动画等视觉元素做即时剪接，最重要的就是剪接，并添加效果）。

最近出现的“Audio Visual Show”（音乐视觉秀）就是将游戏引擎做好的游戏场景文件通过交互软件（如Touch Design等）与MIDI调音台相连接，视觉设计师和音乐设计一起即兴操控视觉、音乐的变化，而不是演出前一帧一帧渲染好视频文件，既方便快捷又具有很强的带入感。

例如，2017年6月，在今日美术馆“.ZIP未来的狂想”展览闭幕式上的“Audio Visual Show”演出即是如此。视觉设计师使用了正在开发的游戏场景（见图6），现场实时调整百万粒子的流动效果，使其与音乐互动。

同样，2017年6月，鲸鱼马戏团（XWhale Circus）乐队的巡回演出也是如此。视觉设计师为每一首歌开发了一个游戏场景，现场乐队演出时实时调整场景里的元素，使其与音乐相配合（见图7）。

一些多媒体播放控制系统也与时俱进，在保持原有视频播放功能外也加入了编程和实时渲染功能。例如，播控系统Isadora就加入了Javascript语言和GLSL Shader实时渲染API语言，使其也具备一定的实时渲染能力，并具备与Leap motion、Kine ct等体感识别系统相结合进行交互表演的功能（见图8）。

3 VR、AR技术应用及视觉呈现

一些前卫的艺术家将还处于发展阶段的VR、AR技术应用于舞台演出，带有很强的实验性。例如，2017年12月万玛尖措导演的VR概念实验舞台剧《狼》就融合了VR拍摄、无线传输、无线头显等新技术及设备（见图9）。

在2017年，美国卡耐基梅隆教授拉里（ Larry）在上海互动艺术节上带来了他和团队创作的AR戏剧（见图10），通过游戏引擎制作AR動画，演出时观众需要通过手机下载专门的应用程序才能观看。

4新媒体观念剧

新媒体观念剧是通过软件（如创意编程软件Processing、Max/M SP等）进行创意编程，创造抽象的影像构建虚拟世界，并通过具有体感识别的交互系统（如Kinect）与演员的表演形成互动，还可加入无人机、机械臂、激光等工业化产品，为其赋予艺术属性，变身为舞台“演员”，与真人演员共同表演。这种新媒体交互装置介入舞台创作，形成了新的表演体系和形式，令人耳目一新；甚至使得新媒体艺术家能够走出美术馆，将交互新媒体装置作品搬上舞台。

2017年6月，由张艺谋执导的全新观念剧《对话·寓言2047》在国家大剧院首演，正如导演所说： “这部作品在古老文化与现代科技的对话寓言中，描述了人类在飞速发展的科技面前经历的困惑，并带来一种思考——科技与人的关系将往何处去？”

这场演出汇聚了七个国家的二十支团队参与，既有内蒙古的长调、北京的京剧、陕西的碗碗腔、泉州的木偶剧等各类中国传统的艺术表演形式，也融人了德国的激光团队、瑞士的无人机技术团队、英国的Musion 3D全息团队等带来的各种科技载体及其呈现形式。

演出中新媒体视觉呈现形式多样，如《古琴-光剑》中变化的激光与表演者互动（见图11中的1），《小戏·掌间》中数十个变化的IPAD影像与演员融为一体（见图11中的2），《偶戏·冷臂》中运动变化的机械臂与人共舞（见图11中的3），《碗碗腔·矩舍》中美轮美奂的全息投影将人物沉浸于场景之中（见图11中的4），《笙·如影》中随着表演变换队形的无人机将观众带入魔幻般的世界（见图11中的5），《织机·精灵》中运动的小球矩阵、视频投影与演员的舞姿形成完整的视觉画面（见图11中的6）。这些节目都是通过创意编程来实现与表演的无缝衔接。

2017年12月，首演的新概念马戏《山海经4.0》（见图12），运用了无人机编程和运动捕捉技术，通过高新影像制作，将先锋、流行舞蹈与传统马戏、杂技融合，探索马戏、杂技表演的新形式，赋予冷冰冰的影的变幻如同神来的点睛之笔，精巧而精致，简约而婉约，在含蓄蕴藉间就达到了“刹那即是永恒”的艺术效果。对室外写实性舞台而言，光影的变幻需要“大处借景”和“小处借影”，因观众的视觉容易被太多的因素干扰而分散，所以光影的变化要格外注意整体、层次、空间，要让光影的“写意”被观众捕捉和感知，让创作者的主观动机和观赏者的审美体验同步呼应。

北宋画家郭熙在《林泉高致》中提出，山水画创作和鉴赏中有“可行可望”与“可居可游”两种层次，指出“意”才是山水画的灵魂所在。而光影之于舞台，更像写意山水之于水墨画，优雅意境之于现实生活。对于现代舞台而言，灯光的作用早已远远超出了当初简单照明的手段。观众首先入于视觉体验，之后因视觉反应产生感情，再通过思维评判形成想象与审美。作为舞美设计人员，这种由感官体验而情感认同，由情感认同而审美判断的过程，无疑具有相当的哲学意义。虽然，演出舞台的视觉转换过程有时可能是瞬间完成的，但是灯光师一定要认真思考，如何把握运用舞台的每个细节，如何让光影于无形中完成对表演风格的配合，满足演出内在意义的需要，而不显唐突或孱弱。这就要合理分配光与影的强弱，合理安排其明示与暗示效果，掌握断、续、曲、直等复杂的表现手法，从而使光影表现出独特的功能和韵昧，进而达到“纱窗日落渐黄昏”和“犹有清风借四邻”的诗意和意境。（编辑张冠华）（上接第39页）数字编程、工业产品以温暖美好的幻觉。

演出中，采用Kinect体感识别系统来捕捉人体运动数据，将捕捉到的数据通过Processing软件进行编程处理，使影像中的虚拟人体作为舞台演员动作的模拟者，与皮条、吊环、滚环等多个杂技道具结合；同时，除了利用代码编写其人机互动影像，还特意订做了可编程的LED滚环作为道具，其编程基于类似Java语言的IDE集成开发环境，连接LED输出装置，控制LED的多种发光方式，并可添加任意图片通过“pixelstarter”传送至滚环，使其在滚动时呈现多种梦幻效果。演出综合软件、装置等各种科技手段，发展出更为复杂的环境式人机交互，实现迷人的投影视觉画面。

5结语

这些新媒体技术的发展给舞台演出带来的新变化使人更加期待，未来新媒体在舞台演出中的应用会更广泛，能够带给观众更强的视觉效果和交互体验。但同时也不能迷信技术，过于追求技术的先进、绚烂的视觉效果，而忽视演出作品本身内容的创作。对于各种新媒体技术，只有恰当的运用，才能为演出作品锦上添花，更好地实现技术与艺术的融合。