舞台演出效果体感指挥系统研究

杜锦 查晨 刘畅 丁刚毅 张龙飞

摘要：随着硬件技术的快速更新，多传感方式的体感设备逐渐被用于人机交互的界面，现有的歌剧表演已经无法满足体感设备输入的需要，特别是在数字创作领域。因此，研究支持体感的远程虚拟指挥系统是本课题研究的关键技术之一。

关键词：体感设备；人机交互；歌剧表演；远程指挥系统

1研究背景

歌剧表演是一门西方舞台表演艺术，简单而言就是主要或完全以歌唱和音乐来交代、表达剧情的戏剧（是唱出来而不是说出来的戏剧）。歌手和合唱团常有一队乐器手负责伴奏，有的歌剧只需一队小乐队，有的则需要完整的管弦乐团。有些歌剧中都会穿插有舞蹈表演，如不少法语歌剧都有一场芭蕾舞表演。

随着硬件技术的快速更新，多传感方式的體感设备逐渐被用于人机交互的界面，现有的歌剧表演已经不能满足体感设备输入的需要，特别是在数字创作领域，因此研究支持体感体验的远程指挥系统是本课题研究的关键技术之一，并且如何实现高新技术和文化艺术完美结合，突破学科、领域、行业的壁垒已是影响我们文化产业快速发展的紧迫问题。充分利用现在的高新技术应用于文化服务的集成性创新，从文化创意产业内容、智能创意、虚拟世界、高效实时交互等技术人手，整合优化提升传统人工操作、人力生产的文化可持续产业发展能力，已经证明是一条可持续发展的必由之路，数字化舞美科技产业这一新兴产业形态已经出现。

2系统概述

远程虚拟指挥系统主要完成的是对Kinect运动采集设备采集好的数据进行分析与处理的过程，这里分析的数据主要是人体骨骼和指挥棒骨骼的区分与处理。可以通过分析所得的数据对捕捉到的骨骼进行区分并进行分别渲染输出。

该系统首先利用Kinect动作捕捉设备采集指挥家运动的连续图像，对采集的图像进行分析，计算输出图像中指挥家及指挥家手中的指挥棒移动的位置、方向、速度等信息。再由远程通信系统传输这些数据给底层图形渲染引擎，通过渲染引擎的计算，传输给视频输出设备，以引擎默认的笛卡尔坐标系在场景中实现指挥家及指挥棒的动作复现。

3通过Kinect获取动作捕捉数据

Kinect感应器是一个外形类似网络摄影机的装置。Kinect有三个镜头，中间的镜头是RGB彩色摄影机，左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的3D结构光深度感应器。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect也内建阵列式麦克风，由多组麦克风同时收音，比对后消除杂音。

Kinect有1080p视频传感器，能够获取更清晰的图像和视频信息。深度传感器所能支持的最大分辨率来允许捕捉更多的细节，如手指动作和肢体定位。Kinect每秒数据处理量可达2GB。微软用读取深度“飞行时间计算”的方法来替代了现有的“光照测量”的测算方法，使得Kinect更快、更准确。该方法基于单个光子从物体或人身上反弹回来的最准确的时间计算原理本课题中利用Kinect对演员动作的实时捕捉，实现对人物模型的动作捕捉用于模型库、动作库的构建以及实时交互排演操控，与舞台场景中其他物体角色进行交互等，触发其他物体或角色的既定反应，使数字表演更具真实感，并且通过对视觉效果的渲染，加以雷电等特效，令观众获得更优质更震撼的视觉体验。通过Kinect操作界面与引擎中的控制结构流程设置来实现人物模型的体感交互控制。Kinect数据可以将实时数据传人引擎并与3d引擎中对象进行互动，也可以扫描出较低精度的舞美道具及人体模型，并存入模型库。

4人体骨骼识别

在Kinect里面，是通过20个关节点来表示一个骨架的，当走进Kinect的视野范围的时候，Kinect就可以把人体的20个关节点的位置找到，位置通过（x，y，z）坐标来表示。这样，在Kinect前面做很多复杂的动作的时候，因为人的动作和这些关节点的位置的变化关系还是很大的，那么电脑接收到这些数据后，对于理解表演者做什么动作就很有帮助了。

玩家的各关节点位置用（x，y，z）坐标表示。与深度图像空间坐标不同的是，这些坐标单位是米。坐标轴x，y，z是深度感应器实体的空间x，y，z坐标轴。这个坐标系是右手螺旋的，Kinect感应器处于原点上，z坐标轴则与Kinect感应的朝向一致。y轴正半轴向上延伸，x轴正半轴（从Kinect感应器的视角来看）向左延伸。

5指挥棒骨骼提取

该模块首先获得Kinect的深度图，然后，利用NITE库跟踪手中心点的位置。在跟踪和检测到手点的位置以后，根据手中心点的z坐标，对深度图进行分割，然后将手中心点投影到二维，根据手的大小再一次二维分割。

据此会得到一个包含手臂、手和指挥棒的部分，而且由于Kinect数据的特点，会导致该区域的边缘锯齿比较明显，这样就会影响后面指尖检测算法的准确性，因此，在得到该区域之后，对它应用贝叶斯颜色模型，去除那些不是手和指挥棒颜色的地方，得到准确的手拿指挥棒的区域。

贝叶斯颜色模型是指在将位于环境矩形内的使用者手区域图像提取20组，利用20组内的中心点颜色均值与环境矩形内所有点的关系计算出使用者手区域图像的颜色阈值。然后利用二分法依次改变阈值，寻找出环境矩形区域内噪点最少的手区域图像值，最后利用这个值进行手及指挥棒势姿态图像二值化处理。…将得到的二值化图像进行特征化处理，得到手区域的特征点。通过对特征点的运算，得到最终手及指挥棒骨骼的位置信息。

6渲染并输出所有骨骼的动画效果

本模块将人体和指挥棒的骨骼信息传输给图形渲染引擎，利用图形渲染引擎对画面进行渲染，最后输出其动画效果。

可划分为以下步骤实现：（1）虚拟人几何模型创建模块。该模块由搭建骨骼部分和骨骼蒙皮绑定部分组成。（2）利用重定位技术将Kinect捕捉的运动数据映射到虚拟人模型上，进而驱动虚拟人。（3）平移补偿机制和失真处理方法模块。（4）再由图形渲染引擎输出动画。

7结论

远程虚拟指挥系统将舞台呈现效果和指挥家及某些表演对象的行为联系起来，将虚实结合的交互式呈现等最新技术引入到舞台艺术呈现中，利用传感器技术、增强现实技术、人机交互技术及实时渲染技术等，利用创作先期建立的舞台模型，利用传感器对各种实际表演元素进行定位及数据收集，并采用人机交互方式触发相关舞台呈现，不断地提供不同于以往舞台艺术的全新表演呈现方式，创新、丰富原有的舞台表演体系。通过对其关键技术的深入研究及应用规范研究，设计并提交相关的舞台虚实交互系统集成呈现技术规范及相关标准草案，使之成为提升舞台艺术呈现效果的主要技术手段之一。减少前期大量的创排时间，大幅提升工作效率，增强创作能力，为现代全新的综合舞台提供解决方案。