新媒体演出艺术创作实践

【摘 要】 探讨新技术在演艺观念、演艺形态、演艺语汇、交互体验等方面带给演出艺术的变化，介绍上海市多媒体演艺虚 拟空间合成重点实验室的作品：新媒体舞蹈诗《文明·图腾》、《极境》、《爱情书简》等。

【关键词】 新媒体；演艺观念；演艺形态；演艺语汇；交互体验

文章编号： 10.3969/j.issn.1674-8239.2014.06.007

最近几年，随着技术的发展，演艺行业发生了根本性的变化。那么，新技术增强了演出艺术的本质力量吗？这个问题来源于我对电影艺术的思考。电影诞生一百多年来，随着技术的发展产生了深刻的变化。例如，上世纪90年代初所提出的非线性剪辑和个人电影的概念，已经由当今的自媒体、微电影等手段完全实现。

我以为，从电影和演出艺术角度看，艺术作品的价值可以分为三个层面：

第一个层面是感官层面。现在的技术已经使得我们的听觉感官和视觉感官都得到了充分享受。但我们的技术和艺术只能停留在感官层面吗？显然不是，这只是最低层次。

第二个层面是情感层面。演出艺术的本质力量是能够让观众动情。

但我觉得演出艺术最重要的是第三个层面——哲学层面。演出结束后，能不能给观众留下思考和体悟？这是最重要的。

其次，新技术改变了演出艺术的创作方式吗？可以肯定，完全改变了。电影的线性剪辑到非线性剪辑，艺术特效和创意的虚拟演示，把我们创意的流程彻底改变了。

那么，接下来引入我演讲的主题：新技术到底带给了演出艺术创作什么变化？我将从五个方面来谈：演艺观念、演艺形态、演艺语汇、交互体验，以及上海市多媒体演艺虚拟空间合成重点实验室的作品。

1 新技术带来的变化

新技术主要带来了四个方面的变化：

（1）新的演艺观念；

（2）新的演艺形态；

（3）新的演艺语汇；

（4）新的交互体验。

1.1 新的演艺观念

在新技术演艺时代，创新性投影、3D全景音效和计算机交互技术使演出艺术创作观念产生了重大变化。

1.1.1 演出艺术的改变

四大新技术正在改变现实：信息技术、新材料技术、新能源技术、生物工程技术。

（1）新材料、新技术和新方法，使艺术想象成为现实。

计算机控制的影像、光色、文字、声音、实录视频以及实时交互技术与演出艺术的结合，为演出艺术创造了很多新的可能性。

（2）新的视觉形态、观演方式与新的空间交往方式。

新的空间形态、视觉体验方式和新的互动交往方式正在改变着演出艺术的创作观念与表现形态，使演出艺术更加自由。

在戏剧史上，有多位致力于新技术与演出艺术创新的艺术家：俄国导演梅耶荷德提出“戏剧电影化”的口号，把电影手法移植到戏剧舞台上来；德国导演皮斯卡托 “混合性媒介”的运用，使戏剧完全不受时间和地点的限制；德国导演布莱希特提出“合成的艺术作品”概念；捷克舞台美术家约瑟夫·斯沃博达认为，自己的主要设计领域就是“活动与光的戏剧”。

演变进程：技与艺→技术与演艺→新技术与演出艺术的交融，必然产生新的演艺类型。

演艺创作产生对先进音视频技术的需要；先进音视频技术对演艺创作带来提升。

举例《鸟巢·吸引》（见图1）：

1.1.2 新的演艺观念的具体表现

在演出艺术作品中的具体表现：

（1）不拘泥于行动叙事和人物对白；

（2）聚焦于演出现场能量的释放；

（3）注重于视听张力和交互共振；

（4）重视空间、影像、声音、多重媒体和机械装置的复合结构。

在演艺作品创作过程中的具体表现：

小结：新技术的发展与应用拓开了演出艺术的广阔空间。

1.2 新的演艺形态

（1）在演出空间方面：更多地采用剧场外的空间环境进行构思和创作，演出发生在广场上、教堂内、商场内、车间内、公路上、轮船上以及其他的生活环境之中；

（2）在观演关系方面：突破了传统表演区和观众区的严格限制，通过灵活的场面调度使观演空间之间相互侵入、相互碰触，鼓动观众参与表演，形成观者与演者之间交融互动的现场效果。

演出案例：

（1）《极限震撼》（Fuerzabruta，见图2）

阿根廷导演于2005年推出，曾在伦敦、纽约等多地演出。演出空间在露天搭建，用膜布、水、舞台道具构成，它挑战了剧场和表演的限制，没有固定的舞台及座位，观众全程站立观赏并随时改变位置。

（2）西班牙拉夫拉前卫剧团（La Fura dels Baus）《Action》（见图3）

演出特色：结合影像、泥浆、烟雾、火水等非常规的方式进行。

（3）佩普·伽特尔的《白蛇传2.0版》工作坊（见图4）

通过陶泥练习，让演员变成一个整体。

（4）《Sleep No More》（见图5）

这是一台在纽约上演的互动艺术剧，剧本改编自莎士比亚名剧《麦克白》。演出场地是由三座废弃的仓库改建的虚拟的三十年代风格宾馆。整个剧情线索由十几位戏剧演员分头展开，观众们戴着白色的鬼魅面具游走观看。

（5）世博会阿联酋馆（见图6）

（6）Lake Stage 数字音响系统（见图7）

1.3 新的演艺语汇

演出艺术作品中，把身体、空间、投影、声音、装置、泥浆、烟雾、火水、重金属音乐、多重媒体和机械技术结合在一起，构织成一种具有强烈表现力的、跨界的演艺语言。

其一：将具有现代科技含量的演出空间设计与投影、声音相结合，使影像运动与实景、真人表演与影像、视觉形象与听觉形象融合表意；endprint

其二：运用同步投影、针孔摄影、手机通讯、交互感应、网络互动等新媒体手段来增强观众参与现场表演的热情；

演出案例：

（1）德国话剧《朱莉小姐》（见图8）

德国柏林列宁广场剧院的版本，改编自瑞典剧作家奥古斯特·斯特林堡的代表作，由凯蒂·米歇尔和里奥·沃纳导演。整个作品酷似一部发生在戏剧舞台上的电影：在舞台上，一个巨大的屏幕放映着舞台上的演出，而这剧情又是现场表演、现场拍摄的。德国媒体评论说，它有别于传统意义上的戏剧表演，更像是一部成功的戏剧装置艺术作品。

影像元素从表层——到融入叙事——影像叙事方式的深度介入：

影像与叙事；改变了传统戏剧的叙事方式，将电影的主观镜头的叙述视点与戏剧的第一人称叙事相结合。

（2）英国新潮戏剧《上街的动物和孩子们》动画与戏剧表演（见图9）

英国1927剧团作品，讲述租住在破旧阴沉的河口大厦的艾格尼丝·伊维斯母女的故事。该剧最大特点是几乎不用灯光照明，全部采用投影方式，背景为三块舞美景片，但艺术表现极富创意。

（3）加拿大多媒体剧《动画大师诺曼》

（4）当代法国表演艺术家马克·奥洛涅的“电影戏剧”

（5）德国小剧场戏剧《股市反弹》——“互联网戏剧”

（6）太阳马戏《Ka Show》

自动化舞台机械装置给导演场面调度带来了深刻的影响，极大地拓展了演艺叙事空间，增强了艺术表现力。

1.4 新的交互体验

交互体验是新技术演艺时代特有的体验方式。可分为四种：实景式体验、互动式体验、沉浸式体验、多感官体验。

（1）实景式体验：《长恨歌》、《印象·丽江》强调真情实景

（2）互动式体验：林茨电子音乐演出《极限震撼》互动

（3）沉浸式体验；2006年在柏林戏剧节——环境戏剧《马克·努比的预言显现》、《Sleep No More》、零距离交流

（4）多感官体验：Seven Sisters Group 出品，Susanne Thomas、Sophie Jump编导创作，2013年世界舞美展舞美设计金奖作品《Like A Fish Out Of Water》（见图10）

新技术时代是一个注重现场能量释放和演艺语汇创新的时代。今天，演出艺术创作越来越注重个性创新，越来越强调交互体验，越来越突出情感能量，逐渐形成了一种“综合性的演艺语汇形态”。

2 实验室创作

2.1 上海市多媒体演艺虚拟空间合成重点实验室

（1）历程：

2004年12月：在上海市科委批准下成立，并得到文化部、上海市教委专项资助；

2008年7月：通过科委一期研究项目验收；

2011年7月：通过科委二期研究项目验收。

虚拟实验室秉承艺术和科学、内容和技术的结合理念，基于新媒体、虚拟现实、网络等数字技术，将集成创新方式与艺术内容创作结合，致力于演艺创作语汇、艺术形态创新及创作工具的革新。

（2）实验室主要任务包括：

新媒体交互艺术创作实验（舞台演艺、影视、游戏、动画、展览展示）；

虚拟排演创作工具系统研发（舞台设计、灯光设计、导演创作、空间展示）；

数字媒体艺术学科专业建设和人才培养（数码艺术设计、媒体创意专业博士、硕士、MFA研究生等）。

（3）代表性成果：VIRP虚拟排演软件第一版和第二版

“VIRP软件系统交互引擎和七个子模块”：底层交互引擎；虚拟舞台设计互动模块；虚拟道具设计互动模块；虚拟角色动作行为设计互动模块；虚拟服装设计互动模块；虚拟灯光设计互动模块；虚拟摄像机设计互动模块；虚拟演出预算管理互动模块。

（4）新媒体演出艺术教育：

建立一个基于数字、信息、虚拟现实、自动化等技术的创作实验平台，融合戏剧、影视、新媒体等艺术表现形式，汇集表演、互动、游艺等多种创作内容，创造一个培养复合式演出艺术创作人才的环境。

2.2 实验室创作介绍

2.2.1 实验室作品

（1）新媒体舞蹈诗《文明·图腾》（见图11）

（2）新媒体舞蹈诗《极境》

（3）新媒体舞台剧《爱情书简》

（4）媒体情景诗《追梦·中国》

（5）建筑投影《乐舞百戏》

新媒体舞蹈诗是在新技术条件下，舞蹈艺术、音乐艺术与影像艺术、交互艺术等元素综合在一起叙述故事内容的新型演出艺术形式。

2.2.2 新媒体舞蹈诗《文明·图腾》

（1）内容简介

一百年前，人类登上了南极洲。

二十多年前，我国科学家展开了对南极大陆的科学考察与研究。

四年前，我们开始酝酿用舞蹈、音乐、文字和影像来表现科学家在遥远南极大陆的探险故事。

极境——南北两极的一片净土，拥有地球上最持久的光明和最漫长的黑夜，是一个人类认识自我、挑战极限的地方。

三个形象——极光之神奥罗拉、南极的风光与动物、探险者。

（2）设计方案

①《极境》空间设计与投影设计方案（见图12～图13）

②舞者与影像：交互动作设计实验

“极夜”星空互动创作实验室（见图14）：

在该实验中利用了红外线跟踪技术。红外线跟踪技术是一种新颖的摄像机跟踪技术，它是利用红外线收发装置来检测表演者手持手电筒挥舞的方位，来实现与星空的互动。

“海豹”互动创作实验（见图15）：

在该实验中利用了微软的Kinect体感技术捕捉舞蹈者的动作，通过逻辑设计，让舞蹈者动作与虚拟环境中的企鹅动作建立一定的逻辑映射，从而实现两者间的实时互动，反映了科考者与自然和谐共生的景象。endprint

基于iPad的多媒体演出控制设计：

《极境》中多媒体软件投影有正投、背投、地投等，影像控制环境复杂。为了便于播放与控制，我们设计了基于OSC的iPad多媒体集中播放控制系统。

③《极境》舞台影像制作

（3）墙幕立体投影技术的沿用

立体投影技术营造南极冰山崩塌现场。

第二幕需要营造演员在暴风雪的呼啸中前进，面对巨大冰山的崩塌，跨过冰裂的峡谷，这些现实中的南极惊险场景都需要在舞台上展现出来，并与演员进行互动。我们绘制了初步的设计稿。

《极境》的整个舞台从侧面看，呈现L形，背景是宽画幅的数字灯投影，但舞台地面跟普通舞台是不同的，不同之处在于，面对观众方向向上抬高15度左右。

当演员与背景地面进行舞蹈互动时，观众就能很清楚看到背景与地面的变化透视效果。那么，在三维制作中，也必须以观众的视角去架设摄像机，设置背景与地面两台摄像机。因为背景直接面对观众，所以，当我们在制作背景时，需要注意场景的三维纵深感。这样，当摄像机在移动时，观众就能直观地感觉到舞台变化。但是，由于地面投影的方向不同，那么地面的三维摄影机的可视角度必须根据数字灯的方向，同时考虑到人眼的透视角度进行变形。

比如地面表现，我们在后期软件中进行了透视变化校正，地面变形成方形。最后，观众的视角所呈现的舞台地面如下（见图16）。

冰川地面要用整个舞台地面来表现，要用四台投影仪拼接图像才能铺满整个舞台。把处理之后的地面变形图像分割成四块画面，分别投射在舞台上作拼接融合。最终背投和地投的影像组合在一起。

（4）写实的光线算法及3D合成技术让画面更逼真（见图17）

全部雪山场景是用最新的Global ambience、Globient illumination及全局天光制作，物理摄像机拍摄每幅雪山画面的渲染需要30分钟。一段1分钟的雪山动画渲染，需要750小时。我们配置了8台高性能的计算机，作为渲染平台。《极境》第三幕的冰山制作首先是在3dsmax中制作冰山的低面模型，然后进入Zbrush软件刻画细节，使用贴图烘焙的技术把normal map贴回到低面模型上用于渲染。在3dsmax软件中设置灯光，来模拟南极的光照。通过调整灯光的角度和颜色来模拟一天中不同时间段的光线变化。

摄像机镜头从水上进入到水下，展现另一个完全不同的空间，使用体积雾来模拟水下的效果；使用体积光来模拟光线透过水面到水下的折射效果；利用灯光散焦来模拟水纹在冰山上运动的效果；使用SSS材质来模拟冰山透亮的真实质感；用粒子来模拟企鹅在运动过程产生的气泡；最终通过分层渲染合成出最后的效果。

慢动作的处理：开场动画出现了大量的雪山场景、雪人特效。在最后的镜头中，奥罗拉凌空360度翻转幻化出极境logo的镜头，中间部分是一个慢镜头。我们用每秒150格动画帧做出整段影像，当中包括场景、人物、布料、头发、雪花、烟尘的动画，并加速到6倍数播放，使画面前半段保持正常运动，在翻身的瞬间，时间拉出原画面150帧每秒，奥罗拉呈现慢速运动，最后幻化成粒子。

（5）舞蹈动作反算

第五幕《极光》是利用舞台上舞蹈演员双手挥动的曲线来表现南极动态万变的光线效果。我们用抽象的线条来表现极光动态，舞蹈演员用挥动的双手拉出美丽的线条，线条必须和舞蹈演员的动作要合拍。

首先拍摄一段舞者的跳舞视频。在3D软件中导入这段视频并创建一个3D人物模型，按照舞者的动作位置调节3D动作，并跟踪捕捉3D人物的手的位置，以便光影跟着手的动作而移动。从3D软件里导出人物的手的位置，在fusion里架设3D摄像机，并使用粒子系统制作光影的效果。在粒子系统面板里开始调整颜色设置参数，到最后成品。

（6）动力学仿真运算

大量的地面断裂、冰山倒塌画面，我们是运用3dsmax的插件RAYFIRE及particle flow tool box2粒子流系统来模拟自然动态（见图18）。

使用RAYFIRE Tool软件对山体进行切割。

在paticle flow中，使用Birth Group方式生成粒子，加入PhysX World世界重力系统，为了让粒子也就是冰山在合适的时间崩塌，我们需要加入PhysX Switch命令，使崩塌受精确时间控制。同时，我们也希望能控制崩塌的方向和力度，所以，我们加入三块Deflector导向板来控制粒子山体崩塌的方向、力度和时间。

（7）创作实验的意义

①影响创作题材；

②影响创作思维和创作观念；

③影响创作方法；

④影响艺术作品形态；

⑤演出艺术语汇创新；

⑥探索演出艺术表达方式的各种可能性。

2.2.3 新媒体舞台剧《爱情书简》

（1）空间设计结构与效果（见图19～图20）

设计特点：

①灵活自由的叙事方式

● 叙事视点·主观性

● 由远及近·视觉上

● 层层深入·听觉上

②时空错位的双重叙事

● 时空迥异·多重性

● 性格差异·对比性

● 冲突互动·交互性

③影音交织的“戏剧蒙太奇”

● 时空组接·流畅性

● 表演动作·连贯性

● 叙事内容·自由性

● 视觉蒙太奇、声音蒙太奇和表演动作蒙太奇

④戏剧场面的情感张力

● 描绘环境·真实性

● 渲染情绪·生动性

● 提升立意·鲜明性

● 通过影像与声音对真实环境的描述

● 提升戏剧表演的情感力度。

● 以人物性格塑造为核心，以人物情感表现主旨

新媒体舞台剧《爱情书简》运用新的技术手段，探寻新的舞台艺术叙述方式和表演语汇、拓展了更为开阔的艺术创作空间，丰富了当代的艺术表现创作手段。

此外，2013年为配合上海国际艺术节青年艺术创想周，我们制作了3D建筑投影《红楼@乐舞百戏》（见图21），这是以汉朝的“乐舞”、“百戏”为主要创作素材，通过汉砖、乐舞、百戏三个部分，展示了从街道、戏台、集市到宫廷之间，音乐、歌舞、杂耍、技艺百花齐放的繁荣景象。

3 结束语

新媒体演艺创新的当代意义：

● 提升演艺作品的视听表现力；

● 推动演艺形态与演艺语汇的创新；

● 推进演艺作品的产业化进程；

以一种开放的态度来面对新技术时代的演艺创新，促进演艺创作与演艺科技的互动发展。

注释：

新媒体与演出艺术：基于数字、信息、虚拟现实、自动化等技术，融合戏剧、影视、新媒体等艺术形式，汇集表演、互动、游艺等多种形态的综合创作，以观众的综合体验为特征，与文化创意产业对接的新的艺术品种。

作者简介：

刘志新，上海戏剧学院创意学院副院长，文学博士。上海市多媒体演艺虚拟空间合成实验室艺术总监。策划导演新媒体情景诗《追梦·中国》、新媒体舞蹈诗《极境》、《文明·图腾》、新媒体舞台艺术设计《拓印》、3D建筑投影《红楼@乐舞百戏》、《红楼@梦》、情景展览剧《岁月·1978》、多媒体情欲悲剧《榆树下的欲望》、多媒体情景朗诵剧《红色箴言》、大型多媒体音乐剧《张国荣·负距离接触》、电视电影《我爱杰西卡》等。荣获上海创意产业博览会创意设计银奖、上海国际科学与艺术创新奖、第二届文化部创新奖等。endprint