跨界的身体表达及其交互模式初探

田 湉

“跨界”指的是让原来不相干的元素，相互渗透、融合，利用其互补功能，生成新的艺术形式。在当代艺术实践中，科技与艺术、新媒体与艺术之间的交叉融合正以新的面貌出现，“艺术+科技”的跨界，身体与其他媒介（多媒体、装置、灯光、声音等）的交互设计①，已成为编舞家思考与实践的新方向。

本文基于正在发生的“艺术+科技”的艺术创作实践，将“交互”这一概念引入舞蹈创作领域，围绕身体与不同舞台载体之间的交互展开：既包括人机交互模式中集中于身体的部分，即身体与计算机、机器系统等实时交互对话关系；也包括提前预设好的、在表演场地发生的身体与其他媒介，如灯光、装置、声音等之间的交互表演创作关系。通过探讨身体与其他媒介通过“交互”实现的表演创作模式，来看身体表达的诸多可能性以及由此带来的新的艺术形式。

一、研究现状

艺术创作中，“身体进入交互模式”主要体现为身体与其他媒介在舞台或其他空间中的交互表演、设计与编排。它多被应用于多媒体舞剧、跨界艺术形式的舞台剧、国家大型文艺表演、实景演出，以及在开放性剧场（公共空间、广场等非剧场形态）空间中的演出，这是身体交互表演及创作模式存在的环境，也是探讨交互表演关系产生的基础。

新媒体舞蹈创作②最为直接地体现了舞蹈创作领域中编舞与其所使用的技术媒介之合力。在已有的研究中，有关新媒体舞蹈的专著如《舞蹈多媒体技术及其应用》（孙晓梅，2004），较早提出了舞蹈多媒体技术，主要从舞蹈多媒体制作的技术手段如图像处理软件、人体三维动画软件等切入研究，此外，《舞蹈新视觉》（刘春，2010）、《幻象之舞：剧场舞蹈影像创作与探索》（刘春，2011）、《新媒体舞蹈概论》（张朝霞，2012）、《镜中舞影》（刘春，2014）、《舞蹈多媒体影像创作研究》（吴振，2014）、《新媒体舞蹈艺术创作实践研究》（李青，2017）等，都在不同程度上走向了新媒体技术与舞蹈的跨领域研究。有关新媒体舞蹈的学术论文，如刘春的《舞蹈新媒体初探》（2005）与《动静编码：舞蹈与媒体的两次转换》（2018）等共计59篇（其中硕士论文13篇）③，都关注到了媒体技术带给舞蹈创作和表演的革新，但较少涉及媒体技术与舞者之间的互动，更未将研究重心放在身体与其他媒介在跨界艺术形式中的交互模式上。

另外，身体交互模式还存在于国家大型文艺表演活动中。国家大型文艺表演活动往往代表的是国家形象，是中国与世界文化艺术对话交融的平台，因此，编导为了打破传统的编创思路，较多地采用了身体与多媒体、灯光交互设计的技术手段。例如2016年中国杭州G20峰会“最忆是杭州”的文艺表演中，《美丽的爱情传说》用LED扇屏与舞者刘福洋、骆文博进行互动演绎；2018年中国青岛上合峰会“有朋自远方来”文艺表演中，《天涯明月》用多媒体制造的月亮的阴晴圆缺与布满LED灯的40多位群舞演员舞动水袖进行互动演绎；2019年中国北京世界园艺博览会开幕式中，《绵延的芬芳》用彩色游动地球仪与独舞演员李祎然进行互动演绎。关于此方面的论文，主要集中在对大型文艺活动的报道以及对演出活动如何能够最大限度地体现中国文明的探讨上，较少涉及大型活动的组织策划、导演素养等问题，而对编创及其跨界形式更少谈及。

实景演出是跨界艺术创作的另一个实践场所。实景演出缘起于景观歌剧，它伴随着2003年张艺谋《印象· 刘三姐》的首演成功而诞生。实景演出的话题受到较多人关注，笔者在2019年6月1日前以“实景演出”或“山水实景演出”为关键词在中国知网搜索出相关论文共计84篇（其中硕士论文21篇），研究内容多聚焦在文化产业方面，对实景演出中身体如何参与编排以及身体在其中与其他媒介的交互性未有关注。

事实上，关于身体与不同媒介的交互表演和创作的艺术实践，目前已很风靡。以国内为例，张艺谋导演的舞台剧《对话、寓言：2047》（第1季、第2季），都是将舞台表演形式确定在新型科技如机械臂、无人机等与“非物质文化遗产”木筒号子、壮族坡芽歌书、内蒙古呼麦等的结合基础上，一端指向古老的传统，另一端则指向崭新的科技和未来。2019年6月北京舞蹈学院《界》的演出，以舞蹈与灯光、装置、影像、互动技术、电子音乐的跨界形式，“从彼此的界限，找到融合的边界，从而达到新的世界”④。《母陀罗》中，刘岩的手势动作提前设置了追踪感应器，通过编程完成现场的实时交互。

梳理关于身体与其他媒介的交互关系研究，可以发现：第一，身体尚未在跨界视域作为研究的主要对象。主要是因为身体的跨界属性是在科技日益发达的新时代背景下，多媒体、高科技越来越多地介入剧场艺术呈现中的结果。第二，交互尚未作为艺术创作的研究核心。以“交互”为视角的相关探讨，多将交互（体感交互、人机交互）运用到产品设计领域，探讨其多学科、多领域知识的交叉性和应用实践。⑤至今交互设计依然是一门集普适计算、人因工程、认知工程、人机交互、认知工效学、信息系统、计算机协同工作等诸多学科领域交叉的新兴领域［1］，它更多关注和研究的是用户、人与产品之间的互动方式及由此产生的用户体验，较少有从艺术创作表演领域研究身体与机器的交互设计或交互表演带来的可变性，及其艺术创作表演上的半开放性。

二、3种层级

对“身体进入交互模式”的探讨，是围绕跨界艺术实践中身体的“交互性”展开的、有关身体与其他媒介（机器、装置、屏幕、灯光、声音等因素）在交互、接触、感应、识别、控制等沟通方式下实现的表演创作模式的研究。在跨界艺术创作中，编导往往调用不同元素的话语形式如肢体、声音、装置、光影、多媒体投影等参与进来，身体以不同的交互方式参与到跨界艺术形式中，至少包括3个层次：第一，作品中偶有使用技术媒介，这种使用是媒介较少介入剧场，不作为主体甚至主要手段；第二，媒体技术为剧场艺术表达和形式呈现的主要灵感来源，但有时候囿于剧场条件与环境，媒体技术在剧场艺术表达和形式呈现中可能被应用但也可能不被应用，即媒体技术成为创作的重要组成部分，但没有成为作品呈现的部分；第三，由人机交互、体感交互等交互技术带来的实时表演创作呈现，其中技术是关键因素，即媒体技术与身体的互感构成了一种“活”的画面，在这里，媒体与“身体”共存。前两个层次，主要是以同台式但没有互动和对话关系的表演，即提前预设好身体动作与灯光、多媒体视觉效果、装置等媒介的配合式表演。而最后一层，则是由身体与其他媒介的牵制关系产生的实时“交互”，并由交互技术带来身体的幻象和舞台视效。

关于如何界定新媒体舞剧或新媒体舞蹈创作，主要看其是否运用了交互技术；换句话说，“作为一部新媒体舞剧，新媒体交互技术是其中必不可少的一个部分”［2］。“新媒体交互艺术的核心技术之一是复合电子技术，这类技术所具备的高度系统化以及和人类的感官非常相近的各种感应功能。利用红外线传感器、听觉传感器、温度和湿度传感器等高精密度的仪器，可以实现获取人类大脑无法感知的外界信息的目的。”［3］新媒体舞剧中的交互技术，主要是通过传感器捕捉身体动态产生的交互模式。让我们以下列作品为例。

（一）《俑2》中新媒体的交互设计

“2018培青计划”委约作品《俑2》（组舞），一方面以汉代舞俑为形象，试图重访历史中的身体姿态；另一方面也将多种剧场元素如多媒体影像、沙画、光影、人声等作了跨界融合的尝试。

其中，“序”部分的沙画与舞者，独、群舞段与多媒体投影都有着不同程度的交互设计。

独舞段落中，舞者被置放在方块的灯中，正上方的投影幕上是舞蹈影像。影像中呈现的正是舞者本人，以从头俯拍的视角制造一种俑的“出土”感，好像观众从上向下看。影像中的舞者与剧场中现实表演的舞者在动作上基本保持了一致，但是在一些如旋转的动作重复中对影像中舞者的动作做了身体细节和碎片化处理，这些都是事先拍摄好并经过精心剪辑设计的，使观众在观看时，时而跳脱出来，时而又从剧场舞者的动作中找到某种一致性。

群舞段落中，在接近尾声时，一大横排舞者跑向舞台台口，而他们身后的影子特效则相向而行跑向屏幕上方，且越来越小，这样的相向而行来回反复了几次，起到了较好的烘托效果。投影中后方的一排特效影子经过了前期的动作抠像、重新制作，才能在演出的时候与现实表演的舞者配合达到效果——既在与前面舞段中舞台真实的灯光制造的影子之下保持了连接感，又尽可能地保持了作品的纯粹度。所以，当新媒体加入时如何不削弱作品中身体的纯粹感，这是身体交互技术应用于舞蹈创作中所要思考的问题。

（二）《冲浪》中舞蹈影像的引导交互

《冲浪》是编导兼舞者吴卉借助自己和外婆两位女性的遭遇，通过传统与当下变形的身体呈现，探索了人与“巨浪”的关系及时代境遇。同时，《冲浪》的灵感也来自编导的另一部舞蹈影像作品《给城中村的“卡拉OK”》——通过身体的表演及与影像的交互，表达了4层含义：其一，城中村的“乡愁”。“乡”是某种旧的、过往的、回忆的东西，所以作品的音乐选择了一些“旧”的音乐。其二，《春天在哪里》《夜来香》《小白船》的歌词与现实的冲突。现实城中村的旧、挤、杂、密、暗、冷、阴、臭等，与歌词中“春天”、“童话”、纯情、悠扬、舒缓、“夜来香”等构成强烈的对比。其三，卡拉OK作为一种普遍存在的乡村娱乐文化形式，被选择并使用。与村里DVD碟的娱乐传播方式和语境构成协调。其四，影片中的素材，包括“一个人”（的城中村）、光影、建筑、空间和虚实的处理等，折射出一个复杂的时空存在。其中，光影、建筑和空间感是影片重点发展的元素。⑥《冲浪》通过吴卉长达15分钟的一张持续大笑的面部以及具有讽刺意味的身体，与事先拍好的影像《给城中村的“卡拉OK”》做交叠，配合现场录音中外婆的真实口述回忆，碎片式的陈述，让观者深刻感受到《冲浪》想要传达的能量和想要述说的人的时代境遇。其中的舞蹈影像作品与舞台中舞者身体的相互配合，强化了身体在作品中的表达，成为作品的有力支撑，从某种程度上，它承载着一个城市的过去、现在和未来。

值得注意的是，吴卉以3支乐曲《春天在哪里》《夜来香》《小白船》来结构整个影像作品，该影像作品既可以单独作为一部影像作品，也可以作为舞台作品《冲浪》的创作来源和作品的一部分来呈现。

（三）《游园惊梦》中Kinect⑦技术的实时交互

新媒体交互的身体实验在舞剧中的尝试，有代表性的是新媒体舞剧《游园惊梦》（北京，2014），其编导整合了影像、舞蹈、三维动画和交互技术等手段来完成作品。

在一个小时的作品中，观者通过演员的身体与环境产生的实时交互所营造的幻境，邂逅内心最深处的自我，从而拥有一个不一样的游园惊“梦”——去发现自己的花园，审视自己的人生。在表演中，演绎杜丽娘的舞者通过深度摄像头捕捉，达到与身后投影幕上粒子、牡丹花园、星云等的实时交互，其身体姿态的站立、蹲下、流动，身体重心的平衡、失重、倾倒，举手投足，都被投影到布景中，以粒子的集中、散开、向左、向右的表现形式，由身体牵制出的一系列与主题相关的视觉幻象，这一技术实现的实质则是身体和Kinect交互技术相结合的结果。微软研发的Kinect技术，截至2019年已更新至Azure Kinect，较前几代不仅可以实现多人追踪，还能够更为精准地捕捉舞者周围的3D环境，使身体辨识的延时更为短暂。它有别于同台式但没有互动和对话的人与影像的互动表演，亦区别于提前预设好的肢体动作配合式表演，而是通过接触、感应、识别、控制等沟通方式，实现的人机交互、共同融合而成的表演模式。

三、特性描述

（一）基于舞蹈本体的身体性

对“身体进入交互模式”的探索与实验，需要把握一点：即使身体走向数据，人体运动轨迹趋于视觉化，但动作本质依然延续。身体与媒介结合的过程中，身体以外的因素并不能取代身体本身，在交互关系中，身体依然是唯一有生命的物质材料。

交互的身体依然执着于与舞蹈本体相关的诸多方面。以重心为例，身体交互中的重心，体现出交互关系中身体的方位、去向以及与其他媒介如机器、装置等的紧密关联性。重心，作为人体各质点所受地球引力的合力点，是人体客观存在的一种物理因素。人体在运动过程中重心必然存在变化。从舞蹈生物力学的角度来看，影响人体运动的外力包括：重力、摩擦力及反弹力。［4］重心与身体的平衡协调关系不仅是动作风格的体现，而且也成为身体和其他媒介相互牵引的关键，重心变化会带来身体交互核心位置变化和移动，较之局部的手的追踪，会产生较大的交互变化：受到交互技术的制约，身体也可能产生重心的变化，使身体在物理界域中产生牵制；反之，因重心失去和偏离带来的身体指令和信号，也会反作用于机器（交互技术的载体），产生身体动作动力走向的生发，从而带来新方向和新的指令。

（二）基于交互关系的牵制性

身体与其他媒介的跨界表演中，交互关系毫无疑问是连接身体及其另一端的关键。有人曾提出“互动（交互）舞蹈”的概念，并指出：“‘互动舞蹈’（也称交互舞蹈），Interactive Dance，是当今新媒体舞蹈范畴内舞台表演领域的活跃分支。通常是借助LED大屏、投影幕布等介质，运用后期特效、动作捕捉、虚拟现实、传感装置、体感探测、3D映射等技术手段，在人机互动配合中生发出的新形态舞蹈品种……其创新首先体现在多元的交互方式，如LED大屏交互、投影幕布交互、传感装置交互等。”［5］其交互关系，主要是由身体与其他媒介（LED大屏、投影幕布）的牵制关系产生的，分为提前预设好的肢体动作与灯光、多媒体视觉效果、装置等媒介的配合式表演，以及实时“交互”的有现场对话关系的表演。对于前者，这种牵制关系较弱；对于后者，牵制关系则较强。

在实时交互的表演关系中，因为身体与另一媒介的相互牵制，会使整个表演产生运动过程中的转换性，以及因表演、编创、欣赏三者同处在未完成状态的半开放性等。转换性，是指身体与其他媒介在交互过程中的不断转换，包括牵制、被牵制的转换，发出指令与接受指令的转换等；身体交互在这种转换关系中，不断进阶、叠加为更为复杂的交互层次。交互创造出了一个以转换为关系的引力场，由此带来虚拟空间、现实空间、重叠空间、身体周围的空间，不断进阶、跳跃、反转与轮回。

而半开放性主要是指在交互关系中，身体和机器（交互技术）不是固定和封闭的，而是未完成的，因为交互关系的发生必须给予表演的当下以及舞者身体的在场。这种半开放性来自身体与其他媒介合一式共舞的不完全设定的“余地”和空间。交互关系中编创、表演、欣赏也常常都是未完成的。交互的实现，势必让它是一部未编排完整的半成品，编导仅进行一半的身体创编，并进行新媒体交互技术的编程，其余部分都将在演出中才能实现。比如机器臂的动作元语言，在方位、角度、速度、姿态等方面有所设定，但在表演动作顺序和路径的编程中，由在场的身体来决定和完成最终的效果。

（三）新艺术形式的产生

身体以不同的方式参与到跨界艺术形式中，交互模式作为身体与其他媒介的对话基础，它具有了重建关系和创造新的艺术形式的无限可能。除了身体与多媒体、影像、机器（系统）的交互之外，还有很多媒介都正在越来越多地与身体本身产生互动联结，介入到身体表演和创作中，或成为与人和身体互动的介质载体，依据这些媒介的不同而产生新的表现形式和艺术特性。

身体与其他介质交互共舞的表演模式，有自身的艺术特性和技术要求，也因此具有了创造和生发出更多新的艺术形式的可能性。不局限于基于电脑技术的舞蹈形态，人与机器、身体与其他介质之间的结合、转换及密切对话，都将成为当代艺术创作的特征和趋势。当下，身体与其他媒介的交互关系为编舞家们提供了重新认识身体和动作的通道，越来越多的编舞家饶有兴致地关注媒体技术带给身体的开发空间以及身体与不同介质交互产生的质感和力量，这是传统剧场舞蹈观演中不可企及的。因此，身体交互模式研究在舞蹈领域的提出，并非否认身体在舞蹈艺术中的本体属性，而是希望通过紧随国内外跨界艺术创作的前沿动态，就身体交互关系在艺术创作、艺术生产中的存在状态进行一些新的探索，给艺术创作者、编舞家们带来使用身体的崭新方式和思路。

【注释】

① 设计学领域中的身体“交互”，一般分为自然交互与体感交互两种：自然交互是用语音、手势等人类自然的、无须学习的方式进行交互；而体感交互被广泛应用于运动、游戏甚至生活中，通过身体与机器系统的交互关系实现。另有人机交互，指的是通过计算机输入/输出设备实现人与计算机对话的技术。

② 人们通常把以数字多媒体及互联网技术为支撑，在创作、承载、传播、鉴赏与批评等艺术行为方式上推陈出新，进而在艺术审美的感觉、体验和思维等方面产生深刻变革的新型艺术形态称为新媒体艺术。而多媒体舞台剧是声像图文等多向兼容的媒介形式的整合出现，体现的是科技和艺术、文化在剧场范围内的互动。在艺术领域，有关新媒体、多媒体和数字媒体三者可以做出如下区分：新媒体（New Media），主要基于新技术应用，体现新的艺术观念及其方式；多媒体（Multi-Media），指的是多种媒介的应用，主要侧重媒介形态；数字媒体（Digital Media），基于虚拟现实的媒介技术，其数字化技术是关键。通常情况下，艺术创作领域多用“新媒体”；设计应用多用“多媒体”；传播学领域多用“数字媒体”。本文对新媒体舞剧的界定主要看其舞剧或舞蹈创作本身是否用到实时动态捕捉技术，即身体的体感交互技术或人机交互技术。

③ 文献综述数据主要来源为中国知网，索引日期为2019年5月之前。数据索引依据主要侧重艺术创作领域，例如对新媒体舞蹈创作的索引，排除了新媒体舞蹈教学、新媒体舞蹈传播等。

④ 引自北京舞蹈学院舞蹈剧场2019年6月1日——2日的跨界演出《界》节目单介绍。《界》为任冬生导师工作坊创作，刘春及其团队参与支持。

⑤ 从1963年美国麻省理工学院在IBM709/7090计算机上开发出第一个分时系统CTSS（Compatible Time Sharing System），计算机的交互初见端倪，到20世纪90年代后，在人机交互领域的研究集中于用户的产品体验，人们对产品的选择从可用、好用、想用转向了在交互体验上审美、情感的愉悦等。

⑥ 根据笔者2019年6月1日与《冲浪》编舞、舞蹈影像作品《给城中村的“卡拉OK”》导演吴卉的访谈内容整理。

⑦ Kinect技术是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字，它是一种3D体感摄影机，导入了即时动态捕捉、影像辨识等功能。该技术开发了动感系统和动作捕捉，计算机可以领会指令，执行动作，通过身体动作、语音口令就可以参与指令，开启了人机交互技术的新纪元。