运用lsadora进行舞台表演中交互媒体设计与创作

张敬平

[摘要]介绍Isadora基于舞台场景设计理念进行舞台表演中交互媒体设计与创作的思路和方法，以及具有的可视化图形节点编程、视频播放、视频捕获、视频特效处理、开源的特性。

[关键词]舞台表演;Isadora;场景设计;节点编程;交互性;可视化;开源

文章编号：10.3969/j.issn.1674-8239.2019.03.011

1引言

21世纪以来，数字媒体技术发展日新月异，影响着人们的生活方式，并渗透到更广泛的领域。伴随舞台上新形态的人机融合表演，改变了存在体验，激励很多跨界艺术家与科技人员研究人类与新技术之间日益深化的融合，创作表演者与各种装置互动的作品。这其中不乏剧场舞台上的交互设计应用，如投影与表演的交互视觉设计、交互装置与表演交互的实验艺术形式等。

舞台表演中的交互设计着重建立与表演者的关系或互动，与表演艺术结合，形成新的戏剧与展演形式、观演关系、感官经验，可以创造更多的表现可能性和更大的创作空间。

由于交互设计与表演越来越被重视，用于交互媒体设计的创作工具应运而生，百花齐放。目前，被广泛使用的交互多媒体设计与创作工具有Touchdesgner，VVVV，Max/Msp/Jitter，Quartz Composer和Isadora（伊莎多拉）等，这些软件各有特点和优势，各自相对适用不同的应用场合。

笔者针对舞台表演领域，探讨艺术家或设计师如何进行交互媒体设计与创作。相对而言，舞台表演领域的艺术家或设计师们的艺术形象思维能力要优于逻辑思维能力;另外，舞台艺术作品常常有场景和Cue点的概念，为了故事的叙事的要求，整个作品需要设计成若干个场景，根据叙事的需要，切换场景，需要设计与编写Cue点，实现舞台表演时表演者、舞台灯光和影像内容等的同步。根据在舞台艺术领域中多年的交互媒体设计的教学与创作经验，笔者认为，Isadora是一个适用于舞台表演中交互设计与创作的软件工具，将视频和交互媒体添加到演出项目中，满足艺术家的创作需求。

2lsadora特性

Isadora的创始人Mark Coniglio，是一位媒体艺术家、作曲家和程序员，被公认为现场表演和互动数字技术整合的先驱。他和编舞家Dawn Stoppiello于1994年创立了一家德国公司Troika Ranch，創作的作品都是将舞蹈、音乐和戏剧的传统元素与交互数字媒体融合在一起，旨在探索艺术本体天然的刺激与电子刺激的内在联系，尝试通过表演者的运动交互控制视频、声音、灯光或投影等，并在舞台上表现出来。Troika Ranch公司的艺术家们利用软件工具为作品构建视觉和听觉材料，为表演者在演出中提供新的表达手段，创作舞蹈、戏剧和新媒体的混合表演。

Isadora就是由Troika Ranch设计出来的，是供艺术家/设计师/表演者在表演项目中添加视频和互动媒体的创作工具。该软件结合媒体服务器的交互式媒体播放平台，具有强大的实时视频和音频处理功能;可视化的编程环境，用户界面友好且易于学习;开放硬件接口，提供完善的输出能力;实时创建令人惊叹的视听仿真效果。

2.1基于场景的设计理念

Isadora与其他交互视觉艺术软件不同，基于场景（Scence）的结构，贴近舞蹈表演或戏剧演出时按Cue点逻辑展开的思维模式，实现场景（Scence）间跳转非常容易，而且有淡入淡出（Fade In/Fade Out）以及CrossFade功能。

以图1所示的演出项目为例，包括5个场景（Scene），分别为“Black”“Greenraw”“ChromeKey”“Feedback”和“Particles”，对应演出播放时5个Cue，分别为“Q1”“Q2”“Q3”“Q4”和“Q5”（见图1）。

场景（scene）的删除、复制、插入以及命名等操作非常方便，选中当前Scene（选中的Scene背景为蓝色），点击右键，即可显示相应的弹出菜单，选择操作，也可以使用对应的快捷键操作，如图2所示。

演出播放时，不同场景间的Q点跳转也非常容易实现，Isadora提供了“Jump”、“Jump to cue”和“Jump++”3个Actor（Isadora的官方文档将每一个功能节点模块称之为Actor，演员），实现不同场景间的跳转。通过设置其tri9get参数进行跳转触发，设置jump参数设置跳转目标，还可设置fade参数实现场景间的淡入淡出效果。如图3所示。

2.2直观可视化的创作流程

Isadora拥有直观友好的用户界面。基于节点的编程提供了深度定制，也可以拖放目标对象（视频或图片）进行快速原型设计，多个功能节点间通过连线就可完成各节点功能的组合实现特定的功能;节点的输入输出数据都可以随时直观地察看，将鼠标悬停在视频的连接线上，即可看到视频的输出图像效果，给使用者呈现所见即所得的视觉效果。

（1）用户只需要简单将视频（或图片）拖入到编辑窗口，即完成播放视频的原型设计。软件将自动建立“Movie Player”和“Projector”两个Actor，并链接好了两个Actor（“Movie Player”的输出端Hvideo out链接到“Projector”的输入端Hvideo），同时视频处在播放状态，可以通过舞台（stagel）预览，如图4所示。

（2）在上述基础上，用户可以根据创作的需要，在两个节点之间加入视频效果处理节点，可以采用节点串联的方式实现视频效果迭代。比如，在两节点间先后加入动感模糊（“Motion Blur”）Actor和反射镜像（“Reflector”）Actor，如图5所示，其结果是“MoviePlayer”Actor播放输出的原视频经过“Motion Blur”Actor进行动感模糊处理，可以修改occoxn amt和decay amt两个参数实现不同的动感模糊效果;然后“Motion Blur”Actor处理的模糊图像输出给“Reflector”Actor，进行视频的反射镜像效果处理，可以修改mode、src和dest 3个参数改变反射的模式和相对距离，实现不同的效果。

当鼠标停留在某个Actor输出的连接线上，即可显示该Actor的视频处理结果，图6、图7、图8依次是将鼠标停留在“Movie Player”、“Motion Blur”和“Reflector”三个Actor的输出段video out后面的连接线上显示的结果。

2.3交互实时的视频处理

Isadora具有强大的实时视频处理能力，视频图层合成理论上是无限的;很多视频特效节点是基于GPU（图形处理器）的快速视频效果处理与渲染（如上述图中节点的输入或输出参数中带有vid-gpu，表示该节点的视频处理是采用和支持GPU处理），同时还支持FreeFrameGL;并提供GPU处理的HAP视频解码器的支持。这些强大的视频处理能力，通过丰富的视频效果（Video Effects）功能节点来体现，满足使用者的可视化艺术创作需要。Isadora提供了很多Video Effect Actor，如图9所示，除了功能节点串联实现视觉特效多次迭代之外，还可以通过“Multimix”类似的Actor实现多效果图层叠加与混合。

以图9项目为例，从原始视频播放“Movie Player”到舞台输出“Projector”，一共有两条视频处理链路。其中，上面一条链路，原始视频通过动感模糊“Motion Blur”、反射镜像“Reflector”、对比度调整“Contrast Adjust”、颜色效果处理“HSL Adjust”和“Colorizer”5个视频效果Actor处理并迭代后，实现了两个镜像的蓝色幽灵似的的艺术效果，并将结果输入到多视频混合Actor“MultiMix”的video inl;下面一条链路在本示例中，是直接将“MoviePlayer”播放结果输出都“MultiMix”的video in2;最后，由“MultiMix”实现2条链路视频图层的叠加，输出到“Proiector”。

另外，Isadora 3增加了一个功能节点“Get StageImage”，允许使用者将图像从任何Stage输出内容拉回到Isadora程序中并使用它，这为路由和合成提供了更多的可能性，实现了反馈循环（Feedback），为创作者创造了更大的创意空间，可以实现无限的叠加效果。其实，在以前的版本中，也可以巧妙地利用“Syphon StageOutput”和“Syphon Receiver”两个Actor配合使用该功能（之所以说巧妙利用，是因为Syphon的功能，原本是用于程序间视频帧共享的，后面会再次提及）。如图10所示，在图9所示的程序基础上，添加一个“Syphon StageOutput”Actor，将“Projector”Actor输出内容通过Syphon输出（注意：“Projector”和“Syphon Stage Output”两个Actor的stage参数的值相同，都为1，即stagel）;再添加一个“Syphon Reciever”Actor，并将其server参数选为“stage-1：：：Isadora USB”，这样“Projector”Actor输出的内容又通过Syphon反馈回来，再在其后添加“Shimmer”Actor实现发微光的效果，输出到“MultiMix”Actor视频图层叠加，再通过“Projector”输出。从而实现了输入到输出再到输入的无限迭代的艺术效果。

Isadora还具有强大的Live Video处理能力。Isadora 2支持同时从4个设备中捕获Live Video，并进行实时处理，其处理方式与上述的播放视频文件一样。支持常见的视频捕捉卡，如外置的Blackmagic视频采集卡，可以方便链接摄像机进行视频捕获（如图11所示）。在Isadora 3中，Live Video处理的能力更大，可以同时支持8个实时捕获视频的通道。

另外，Isadora还提供了“GLSL Shader”Actor，通过OpenGl Shader（GLSL）语言编辑实现强大的图像处理能力。

2.4输出显示能力

从Isadora 2开始，集成了投影映射（Mapping）工具，可以进行任意形状的视频输出投影映射，也可以实现多屏边缘融合。Isadora 3最多可以有48个舞台（Stage）和16个独立的视频投影仪或显示器的输出，在舞台布局编辑器里，可以创建视频，进行简单地图像渲染后输出到单个显示器，也可以做拼接与边缘融合（如图12所示）投射至多个显示器。

Isadora还集成了Syphon（Mac OS环境下）和Spout（Windows环境下）的视频帧流共享技术，将Isadora渲染结果共享给其他程序，也可以接受其他程序采用同样技术分享的视频帧流。如上图12中底部Syphon复选框所示，可以勾选该复选框，通过Syphon或Spout从任何舞台（没有边缘融合）或任何单独的显示（带边缘融合）发送视频。此外，使用舞台布局编辑（Stage LayoutEditor）上的Syphon的复选框和弹出窗口将舞台或显示器上的任何内容发送到任何Blackmagic设备或通过NDI协议共享远程网络或设备;实现与其他软件的整合，完成更复杂更强大的舞台艺术创作任务。

2.5开放易用的扩展能力

Isadora具有很强大的扩展能力，支持常见的OpenSound Control（OSC）、MIDI、串行（Serial）、TCP/IP和Human Interface Device（HID）等数据通信协议，而且集成到面板中。为了降低使用者获取数据的门槛，还集成了自动检测输入（Auto-Detect Input）与数据分析的功能，使用者只需要驱动并简单设置硬件，采用自动检测输入的方式，即可快速获得数据;并且屏蔽了很多获取数据的实现细节以及采用不同通信协议数据格式不同等因素。

如图13、图14所示，该界面显示Isadora通过自动检测OSC数据的输入，获取Kinect捕获到的人的骨骼15个关键点的三维坐标数据。Isadora获取Kinect数据之后，可以点击“Renumbers Ports”即可自动分配通道（Chan）編号，如图14所示，使用者可以在编辑窗口中通过“oscMulti Listener”Actor读取到相对应的数值。

Isadora 3硬件集成度更高，进一步简化了上述相关操作，集成了高级的身体跟踪功能，即将开源的NiTE人体跟踪模块嵌入，直接支持从Kinect 1、Kinect 2、Orbbec Astra和Intel Realsense摄像机读取深度图图像（与这4个硬件对应4个不同的摄像机Actar），这些硬件对应的Actor可与NiTE Body Trackin9Actor配对。使用时，只需将如图15所示的4个Actor中的一个连接到NiTEActor，就可以获得15点身体跟踪（如图13所示）信息，以灵活的方式来选择输出其中出现的点的坐标等相关信息，可以利用表演者的深度（灰度）图像作为Mask实现一些特殊的视觉效果（如图15所示），同时可以利用跟踪人体骨骼的3维坐标信息，实现表演者与数字内容间非常有趣的互动艺术效果。

除此之外，Isadora支持开源硬件，使用者通过串口，实现与开源硬件微控制器（Arduino）的通信，联通各种设备，构建一个交互的表演舞台。

3结语

从Isadora使用流程看，集成度高，用户界面友好，创作者的使用技术门槛低。最后引用一位使用Isadora的舞台艺术家的感言来概括说明，Isadora是在舞台表演领域中适合艺术家使用的交互媒体设计与创作的利器。

赢得了2012年的格蕾丝王妃奖（the Princess GraceAward）的杰瑞德（Jared Mezzocchi），在马里兰大学（University of Maryland）MFA设计系讲授《投影设计》课程时强调使用Isadora进行设计与创作实践：“Isadora让你以灵活和自然的方式思考视频设计，是一个很好的模式。Isadora不是躲在电脑后面，感觉他们只是在修补代码，而是让设计师的眼睛远离显示器，更多地关注舞台。这种设计就像在某种空间中自然地存在和流畅地移动，因此戏剧创作中的每个人都能感受到一种共享的体验。”