基于体感的大型编舞辅助系统

李啟华 古栋笙 邱金波 周俊杰 林伟豪

摘 要：针对大型舞蹈中存在的排练效率低、动作不协调等问题，提出基于体感交互的大型编舞辅助系统。系统基于Kinect体感交互摄像头实现舞者身体轨迹的实时捕获，并结合Unity3D实时匹配舞者的三维模型和躯体数据，从而达到辅助编舞的效果。录制少数舞者的舞蹈进行仿真实验，并与当前具有较好视觉冲击的大型舞蹈相比，所提出的系统有效地提高了编排效率，避免了编排过程中出现站位错误、默契不足等问题。

关键词：编舞;Kinect体感摄像头;Unity3D

Abstract：Aiming at the problems of low rehearsal efficiency and uncoordinated movement in large-scale dance，a large-scale choreography assistant system based on somatosensory interaction is proposed.The system realizes the real-time capture of the dancers body trajectory based on the Kinect somatosensory interactive camera，and combines Unity3D to match the dancers 3D model and body data in real time to achieve the effect of assisting the choreography.Recording a few dancers dances for simulation experiments，and compared with the current large-scale dances with better visual impact，the proposed system effectively improves the programming efficiency and avoids problems such as station errors and tacit understanding during the arrangement process.

Key words：choreographer;Kinect somatosensory camera;Unity3D

0 引言

大型舞蹈是一种结合各种表演因素而成的表演艺术，然而一个大型舞蹈的编排需要付出大量精力、时间去提前做好方案，排练时还要保证下达的口令无误，才能完成舞蹈编排的工作。为提高舞蹈编排效率，本团队开发出了一款在应用在大型舞蹈编排的舞蹈编排辅助系统，编舞老师可以在虚拟环境中修改编排效果，舞蹈演员则可以通过预览三维动画了解自身动作和走位等等。这使得编舞老师不再需要反复编排人员动作和走位，舞者不再身心疲累的彩排，对商业艺术行业甚至高校教学都有积极的意义。

1 基于体感交互的大型编舞辅助系统

1.1基本思路

系统利用开源的kinect体感摄像头（以下简称kinect）实时捕捉镜头前一名舞者的身体运动轨迹，并将kinect与Unity3D游戏引擎通过中间插件kinect with MS-SDK连接，将人体躯体关键点运动轨迹的位置变化数据实时上传到上位机，人物躯体数据经过Unity3D的处理呈现在可视化的虚拟场景中，再于3D max建模软件中构建舞蹈人物、舞蹈专用场景等模型，将模型导入Unity3D中，使人物的三维模型与捕捉到的躯体数据进行实时匹配，在自定义的场景中实现舞蹈动作的三维重现。在Unity 3D引擎中不断进行舞者人数的增减、一名或多名舞者舞姿的调整、整体队形或舞者形象的变换、背景音乐和环境的变化等一系列操作后，达到只需要一名舞者，一个摄像头，一台PC机便可实现大型舞蹈编排的预览效果。系统功能实现图如下图图1所示：

1.2 功能实现

1）Kinect深度信息获取算法[1]和躯体运动轨迹的捕捉。

从复杂的图像中提取具有价值的数据一直被认为是非常具有挑战性的问题，通过不同的方法实现图像的分割提取具有重大的意义。本文对Kinect提取的深度数据做不同的处理，为了进一步提高细化算法的求解质量，采用二值化的方式对得到的人体目标进行处理，从而去除带干扰的背景。细化算法是骨架提取中的主流算法，在满足骨架的连通性和单像素，以及经过二值化处理得到较好边缘二值图像的基础上，采用经典的细化算法，从边界连续、均匀地向内腐蚀直到得到骨架。最后经过细化得到的骨架如图2所示：

在Kinect体感设备中，我们获取到20多个骨骼关键关节点的位置数据，这些数据以三维坐标的形式被Unity3D游戏引擎中的骨骼跟踪脚本所记录。当用户在装置上进行运动时，主要选择了动作幅度较大的几个关节点进行采集，对这些关节点的位置信息可以以向量p的方式表示：

式中：为一个用户姿态所包含的特征向量总和。

2）在Unity3D中导入躯体运动轨迹数据、相应的模型、骨骼等，将轨迹数据与骨骼进行匹配结合，并使用开源游戏引擎 Unity3D[2]进行图形显示。

3）在 Unity3D 的主要框架及场景管理器基础上实现舞蹈动作的调整，舞者运动路径的建立，舞者人数的增减，整体队形和舞者形象的变换、背景音乐和环境的变化等一系列脚本操作，初步实现大型舞蹈的预览效果。

舞台场景和舞蹈角色等模型导入到Unity3D中是静态的，要想使这些资源能够在 Unity3D中附有动态行为，我们還需要编写相应的脚本程序，并附加到相应的三维模型多模块虚拟系统中，系统建立了如下几个主要脚本程序。

其中，ComputerUIControl主要负责虚拟场景中电脑端UI界面的交互行为;EventControl主要负责场景中对象的鼠标单击、双击、右击事件的处理;ProcessControl的功能类似于C言的main函数，用户可以通过该脚本查看整个系统的执行步骤;RoadContral复制人物的队列功能;ShowTip主要负责场景对象的标签显示。

2 结语

系统将Kinect和Unity3D等技术结合起来实现了虚拟环境的快速教学，经过试用编舞辅助系统的舞蹈编排比传统的舞蹈编排具有以下优点：1、降低了大型舞蹈编排的时间，极高了提大了编舞效率;2、实现虚拟教学，新奇的系统受到广大学生的欢迎，提高练舞者的热情。本系统的研发对商业艺术行业甚至高校教学都有积极的意义。系统将会一直完善，调研使用人员的不同需求，逐步的实现更多功能。本项目受到广东石油化工学院创新创业学院-大学生创新培育项目支助，在此表示感谢。

参考文献

[1]刘飞.基于Kinect骨架信息的人体动作识别[D].东华大学，2014.（132）：12-16.

[2]王同娟.基于Unity3D的教育游戏开发研究[J].电脑编程技巧与维护，2018（11）：7-8+27.

作者简介

李啟华（1997-03）、男、汉族、广东云浮、本科在读生、研究方向为：电子信息工程;

古栋笙（1998-3）、男、汉族、广东广州、本科在读生、研究方向为：测控技术与仪器;

邱金波（1982-2）、男、汉族、广东茂名、本科在读生、研究方向为：计算机科学与技术;

周俊杰（1998-6）、男、汉族、广东湛江、本科在读生、研究方向为：计算机科学与技术;

林伟豪（1997-9）、男、汉族、广东普宁、本科在读生、研究方向为：计算机科学与技术;