结合动作捕捉和虚拟现实的舞蹈训练系统研究

陈京东

(集美大学 诚毅学院，福建 厦门 361021)

人们学习舞蹈一般有两种方法.第一种方法是参加一个舞蹈培训班，学生可以模仿老师的动作，并在舞蹈老师的指导下，修正自己的动作，从而提高自己的舞蹈技巧.虽然这是最有效的方法，但并不是所有人都有时间去上课.第二种是通过观看视频中的示范来自学，学生自己观察动作并进行练习.但是，学生可能无法正确模仿舞蹈动作，当动作不标准或者错误时，学生也得不到指导.

舞蹈动作可以在3D虚拟环境中可视化[1-2]，但是，这种观看视频具有相同的缺点(即缺少反馈信息).本文提出了一种结合运动捕捉(Motion Capture，MC)和虚拟现实(Virtual Reality，VR)[3]的舞蹈训练应用系统.学生在身上安装能够捕捉动作的传感器，然后跟随着虚拟老师的动作进行舞蹈训练.系统处理和分析传感器所收集的动作信息，将反馈信息提供给学生.动作捕捉系统可以收集足够的数据，这对于评估学生和虚拟教师动作之间的差异是有用的.

1 舞蹈训练系统设计

1.1 系统体系结构

本系统的体系结构包括四个模块：3D图形引擎、动作匹配、动作数据库和动作捕捉模块.图1显示了每个模块之间的联系.动作捕捉系统收集了用户的动作信息后，通过动作匹配组件与动作数据库中的动作进行比较.3D图形引擎组件实现动作可视化，即将学生和虚拟教师的动作显示出来.

图1 舞蹈训练系统组成部件

1.2 动作追踪

学生通过模仿显示器上的虚拟老师来学习舞蹈动作.虚拟老师是通过使用OpenGL[4]渲染3D动画形成的.虚拟老师的速度和视角可以根据学生的学习需要进行调节.虚拟老师在学生进行舞蹈练习时会出现，学生能够对照自己与老师的动作，第一时间调整自己的错误.

为了在整个训练过程中提供合适的反馈，系统会通过学生身上的传感器[5]捕捉和跟踪舞蹈动作.动作捕捉技术可用于动画、电影制作、运动性能分析和医疗等领域.本系统采用了一种光学运动捕捉系统，具有较高的精度和较短的响应时间，提高实时反馈的性能.

1.3 反馈类型

实时的反馈可以提高学生的学习效率，本系统提供了几种反馈方式.第一种反馈称为即时反馈.即当学生练习时，学生的动作会被实时捕捉并且以虚拟人像的方式呈现在显示器上.学生的虚拟人像显示在虚拟老师旁边.其中，动作错误的身体部位会以红色标记，动作正确的部位则是黄色的.通过这种可视化的及时反馈，学生可以快速地注意到错误并及时纠正动作.第二种反馈是评分反馈.当学生完成了舞蹈训练后，系统会显示一个综合报告.综合报告显示了该学生身体各部位的评分以及总评分.学生从评分就可以得知自己那个部位需要改善.第三种反馈是慢动作回放.学生可以通过慢动作回放获悉错误发生的方式和身体部位.通过回放，学生可以观察虚拟人像的颜色来了解动作的错误.肢体部位的错误程度由颜色的深浅表示：颜色越深(红色)则动作越不正确.当虚拟人像的某肢体部位变红，学生可以参考虚拟老师的正确动作，从而纠正自己的舞蹈动作.

这三种反馈都涉及两个动作之间的比较.一个动作可以用一系列的姿势来表示，因此两个动作的比较就转化成了姿势之间的比较.为了比较两种姿势，首先要进行归一化，使姿势的根部和朝向相同.由于学生和教师可能有不同的身型，所以在计算两种姿势之间的差异时也要进行标准化.在计算中将关节的位置除以身体段的总长度.姿势由15个关节表示：左/右肩，左/右肘，左/右手腕，左/右大腿，左/右膝盖，左/右脚踝，头部，颈部和躯干.在及时反馈中，颜色取决于每个关节的姿势的准确程度.准确程度是通过动作数据库中的姿势和学生姿势之间的欧氏距离来计算的.在评分反馈中，根据动作数据库的动作与学生的姿势在所有帧上平均的关节位置的欧氏距离计算每个关节的得分.在慢动作回放反馈中，色彩方案与中间反馈中的相似.事实上，当欧几里德距离为零时，颜色是白色的，即动作是正确的.当欧几里德距离越来越大时，颜色逐渐加深，即动作错误程度增加.

2 系统评估

我们对系统进行两方面的评估：一是对评估函数的性能进行评估；二是对系统进行用户体验测试.

2.1 特征选择

两个动作之间差异的可以用关节位置、速率和角度三种特征来描述.因此，我们比较这三种不同的特征，以找出最适合评价舞蹈动作的特征.我们使用两组数据来评估特征的合适性：第一组数据包含两个相似的动作的运动对；第二组包含两个不相似的动作对.对于第一组数据，相似的动作对是由相同或不同的人做出的相同动作；对于第二组，不相似的动作对是由相同或不同的人做出不同的动作.利用不同的特征对每一个动作对进行量化，当使用某一特征对两组数据进行量化后的结果有很大的差别，则该特征是最适合的.在这三种特征中，我们进行了实验来测试他们在相似和不相似舞蹈动作之间的区分能力.为了判断两组差异是否存在显著差异，我们使用右侧T检验(right-tailed T-test)，结果如表1所示.由于P值非常小(P<0.01)，所以这三种特征都能区分两种运动是相似或不相似.

表1 三种特征的右侧T检验结果

2.2 对比实验

为了证实学生使用本系统进行舞蹈学习比自学有效，对照组中的四名学生是通过自学来学习舞蹈动作，而实验组的学生则使用本系统进行舞蹈学习.两组的学生均没有进行过任何舞蹈以及相关的训练，学生的基本信息如表2所示.

表2 学生基本信息

在进行训练前，使用T检验对实验组和对照组进行评分，以获得实验的基线(baseline).结果是：P值是0.211 6，由于P>0.01，表明两组基线并没有显著性差异.基线和训练后分数之间的变化使用成对T检验(paired T-test)进行分析，结果如表3所示.

表3 训练前和训练后的差异

由表3可知，P>0.01，结果表明训练前后差异不显著.这是因为在学习过程中，学生可能没有掌握动作的技巧.接下来是对实验组和对照组学生的动作改善情况通过另一项T检验进行分析，改善情况使用训练后分数减去基线分数计算，结果如表4所示.

表4 实验组和对照组舞蹈动作改善情况

由表5可知，由于P<0.01，表明两组改进存在显著差异.由于实验组的改善程度高于对照组，说明学生使用本系统训练后有明显的改善.与对照组相比，我们的系统能够引导学生提高学习过程的效率.分别对实验组和对照组的学生进行问卷调查，结果如图2所示.

图2 问卷调查结果

其中，问题1是“你是否会向其他学生推荐本系统？”，问题2是“通过这次舞蹈训练，你是否对舞蹈产生更浓厚的兴趣？”，问题3是“你认为舞蹈动作是否难学？”，问题4是“你觉得本课程是否有趣？”，答案分别是：是(5分)、一般(3分)以及否(1分).与实验组相比，对照组的学生在舞蹈动作学习过程中遇到更多的困难.然而，实验组的结果只比对照组的稍好一些.一些学生认为本舞蹈系统会使得舞蹈训练课程更有趣.总的来说，研究结果说明了本系统可以帮助学生更好地进行舞蹈训练，可以通过反馈及时地纠正学生的错误动作，并激发学生的学习兴趣，提高学习效率.

3 结语

本文提出了一种结合运动捕捉和虚拟现实的舞蹈训练系统，在一个虚拟的环境中模拟真实的舞蹈训练课程提供给学生.本系统捕捉学生的实时动作，将学生的形象虚拟化到系统中.虚拟老师可以演示不同的舞蹈动作，当学生跟随虚拟老师跳舞时，系统可以在分析所捕捉的动作之后向学生提供及时的反馈，反馈可以指出学生所犯的错误.实验结果说明了本系统具有如下的优点：首先，系统可以评估两个运动之间的相似性；其次，问卷调查表明，使用本系统的实验组的学习表现优于对照组；最后，学生认为本系统具有趣味性，能激发学习兴趣.