基于体感技术的交互式舞台灯光控制系统设计

王会芹，樊欣严

(中国传媒大学信息与通信工程学院，北京100024)

1 引言

舞台灯光是演出场景中一个重要的环节。在舞台演出中，运用舞台灯光设备和技术手段，随着节目和剧情的发展，改变灯光颜色和亮度，可以烘托演出效果，渲染舞台气氛。所以舞台灯光设计与控制是舞台场景设计中的一个重要组成部分。目前舞台灯光的控制效果和方案主要由设计人员根据演出节目和剧目的具体内容预先通过设计软件制作设计，然后在演出中利用控制系统进行操作、控制实现的。但是随着欣赏水平的日益提高，人们对演出节目的感染力和节目互动性有了更高的要求。许多表演场合例如音乐会、戏剧表演和服装走秀等，经常需要舞台背景变化与表演者之间进行实时互动，以增强和激发参与者的共鸣，使演出更具吸引力。这时照明效果需要根据现场情况实时改变，预先设计的舞台灯光效果无法完全满足这些这种交互性和实时性要求。为此，本文提出了基于体感技术的舞台灯光交互式控制系统，该系统不需要预先设计，仅通过表演者的各种姿势和动作实时控制现场的舞台灯光效果，使灯光的随着演员的动作交互变化，使演出更具有感染力。

体感技术亦称为体感交互技术，是一种直接利用人体声音、动作等与周围环境或设备进行互动，并对用户动作进行识别、解析、做出反馈的人机交互技术。体感交互主要通过体感硬件设备和体感软件控制系统来实现。硬件设备用来识别控制者的动作，然后将动作图像以信息数据的方式传入计算机，通过计算机的电子屏幕与用户产生运动式的交互活动；体感软件系统主要完成体感硬件设备输出的数据信息的进行处理与加工，并控制机器端做出相应的反馈[1]。

在众多体感交互设备中微软公司开发Kinect由于不需要手柄，直接通过动作、声音等方式来控制终端的特点，使之成为人机交互领域的研究热点，用于医疗、康复和机器人控制等领域[2]。

本文提出的交互式舞台灯光控制系统利用Kinect作为交互设备，用来跟踪表演者的双臂动作，然后通过体感软件系统识别这些动作，并将其和舞台灯光效果结合起来设计调光控制信号，最终实现输入信号和输出灯光信号的交互动作。

2 交互式舞台灯光控制系统结构

整个交互式舞台灯光控制系统结构如图1所示。首先由Kinect采集表演者的动作，然后通过安装在计算机上的体感软件——TouchDesigner对这些动作信号进行识别和处理，再将不同的动作和舞台灯的对应效果联系起来，从而实现了基于人体动作的交互灯光控制系统。因为TouchDesigner软件的输出信号满足Art-Net协议，而舞台灯接收的调光信号服从DMX协议，所以利用一个Art-Net和DMX的转换接口实现数据格式的变换，最后将调光控制信号送入舞台灯，实现对舞台灯效的实时控制，具体内容介绍如下。

图1 交互式舞台灯光控制系统结构图

2.1 Kinect

Kinect主要由彩色摄像头、红外发射装置、红外摄像头、麦克风阵列等部件构成。通过红外装置和红外摄像头可以完成深度数据的采集。深度数据是指 Kinect 视野范围内的物体到 Kinect 的三维空间距离。利用骨骼追踪技术可以从深度数据中得到人体骨架节点信息，它可以同时追踪6个用户，准确识别两个人的具体动作。这里的准确识别是通过准确标定人体的20个关节点，实现对人体动作地实时追踪。这些关节点的信息如图2所示。它是以Kinect所处位置作为原点，用米作为坐标单位，构建感应实体的空间坐标轴，通过三维坐标(X，Y，Z)来表示每个关节的位置(每个关节点用圆形显示)。其中X代表水平移动距离，Y代表垂直距离，Z代表和Kinect的距离。坐标系的设定依据右手螺旋准则，Z则是与上述体感器方向保持相同。而Y逐步向上攀升的是正半轴部分，另外有X向左边外延的是正方向[3]。

图2 Kinect可识别的20个关节点信息

这样表演者的动作不同，关节点所处的位置不同，坐标值亦不相同，如果将不同的位置和灯光效果结合起来，例如利用Z坐标值不同改变舞台灯亮度。灯的亮度会随着表演者的动作实时改变，实现了亮度的交互控制。

2.2 Art-Net/DMX 转换器

Art-Net是一种基于TCP/IP协议的以太网协议。目的在于使用目前现有的标准网络技术，在广域内传递大量DMX512数据。其灯光控制信息包含在网络数据包传送，通常建立在一个局域网络中，在硬件满足其稳定性的情况下，甚至可以通过无线WIFI网络直接完成各终端以及交换机之间的联通。Art-Net支持的功能包括发送和接收的灯光的数据；管理功能，如检测节点，节点控制参数更新和发送时间码等，是一种即将普及的下一代灯光系统的协议。

DMX512协议由美国剧院技术协会最先提出的目前舞台设备中通用的一种数据协议。它的传输速率固定为250kbps，每个数据位的时间是4us，512个字节的数据传输时间为22.528ms。数据的帧头通常是88us，数据的帧头随后是一个空闲帧，空闲帧时间长度是8us-1ms。

由于Touchdesigner软件输出信号满足Art-Net协议，而舞台设备的输入类型多满足DMX协议，两类数据格式不同，所以需要Art-Net/DMX转换器。

Art-Net/DMX转换器通过设置IP地址将Art-Net信号通过各种类型的网络传输至低层的DMX设备，极大的方便了灯光控制信号的输出。

3 交互式舞台灯光控制系统软件设计

舞台灯光的交互控制效果由TouchDesigner软件设计实现。TouchDesigner是一款基于数据流的一个可视化开发平台，它可以根据不同需要创建各种的实时效果。例如可以创建互动的多媒体系统、建筑投影，也可以实现现场音乐的实时视觉效果，或者进行最原始的原型类的创作。

舞台灯光交互控制系统软件设计主要包括采集和整合表演者手臂动作信号，对动作信号进行二次处理，然后以它为控制数据实现不同的灯光效果，并输出控制信号来驱动舞台灯光设备，从而实现输入和输出信号的交互式动作[4]-[6]。

3.1 交互式灯光效果设计

系统主要针对手臂动作设计不同的灯光效果。表演者位于Kinect前方1.2-3.5米的范围，由Kinect捕捉他的手臂动作。手臂动作可以分解成三种情况，如图3所示。图(a)是代表原始状态，这时手臂自然下垂在身体两侧；图(b)对应扩展动作，两臂分别向左右两侧拉伸，上臂关节点X坐标值发生改变；图(c)两臂向上伸展，上臂关节点Y坐标值发生改变；图(d)两臂向前伸展，上臂关节点Z坐标值发生改变。通过图3可以看出，这种动作的变化可以通过手部关节点位置体现出来(图中红色圆点)，所以手臂动作的变化可以通过手部坐标显示出来。

(a) (b) (c) (d)图3 手臂的三种分解动作

根据利用左、右手各控制若干只舞台灯，由手部关节点坐标的变换设计灯光效果如下。

(1)选取左右手的空间中的X坐标信号控制左右灯具跟随左右手进行水平交互运动，即手的空间坐标值X控制灯光的水平轴，其运动范围是由初始位置(图3(a))到两手完全伸直(图3(b))对应舞台灯具的Pan轴变化到左右各120度的位置；

(2)选取左右手的空间中的Y坐标信号控制左右灯具跟随左右手进行垂直交互跟随运动，手的Y坐标控制对于灯具垂直方向的运动，其运动范围是在手自然垂下(图3(a))到完全举到最高(图3(c))对应舞台灯的Tilt轴的最低位置即135度的时候和垂直0度的时候；

(3)手的Z坐标对应灯具的亮度通道的变化，其运动范围是在手臂自然下垂时(3(a))为灯光亮度Dimmer值为0，手臂完全伸直后(图3(d))灯光的Dimmer值；

(4)其它灯光效果设计

在以上效果基础上，可以利用TouchDesigner内置函数块实现其它灯光效果。如加入滤波函数进行延时，使灯的各个轴实现波浪效果等。

3.2 程序实现

上述灯光效果程序实现过程如图4所示。首先对端口进行初始化，在Touchdesigner软件中建立Kinect输入通道用来采集深度数据。输出端口设置为dmxout输出模，令其输出口为Art-Net形式，并根据Art-Net/DMX转换器的IP地址设置dmxout模块的网络地址；然后开始采集Kinect输出的深度数据，对深度数据进行二值化处理，将表演者的数据信息从背景中分离出来，获得表演者的深度数据，再利用骨骼获取函数，得到两只手的三维坐标。根据3.1的内容，结合双手的坐标值设计灯光效果，最后将控制信号送到dmxout输出端，通过Art-Net/DMX转换器送给舞台灯，同时触发定时器，重新获取手部坐标信息，实现对表演者动作的实时跟踪和对舞台灯的实时控制[6]。

4 实验测试

为了体现舞台灯光交互式控制的效果，实验选择极强的律动性的歌曲“In The Name Of Love”为背景音乐，控制的舞台灯包括12只LED Par灯，2只摇头电脑灯和激光灯。输出设备较多，对于此演出设计控制复杂，需要来回切换控制模式，且人员的动作幅度不可能过大，所以测试实验仅用左手作为体感输入，右手控制模式的切换。具体效果如图5所示。

(a)歌曲开始

(b)歌曲高潮

(c)歌曲结束图5 舞台灯交互式控制效果

在歌曲开始时候加入了LED Par灯，照射在背后的墙上，跟随着歌曲的律动挥舞左手，令电脑灯的跟随手的动作进行摆动，灯光的闪烁的速率跟随节奏变化如图5(a)所示，在歌声高潮的时候伸出左手，增强灯光的亮度与亮区大小如图5(b)。在歌曲结束时，手回到原位，电脑灯回到原始位置并全部熄灭，激光照射在表演者的背上，形成了一个烟雾缭绕的逆光剪影效果，并保持其效果至音乐彻底结束。整个过程舞台灯光随着歌曲节奏变化而变化，充分体现了演出的交互性和实时性，烘托了舞台氛围，增强了演出效果。整个过程灯光效果跟随手部动作的变化而发生变化。

5 结论

本文将体感交互技术引入舞台灯光控制系统，设计了一种基于Kinect体感设备的舞台灯光交互式控制系统。该系统可以直接利用表演者的手臂动作控制舞台灯光效果的变化。和常规的舞台灯光控制系统相比较，本文提出的方案增强了舞台灯光控制的交互性，可以更好的激发观众的共鸣。通过测试实验说明基于体感技术的交互式舞台灯光控制系统是有效和可行的。在实际应用中可以作为传统舞台灯光控制系统的一种有效的补充形式。