基于动作评价算法的体感舞蹈交互系统

于景华，王 庆，陈 洪

(中国农业大学信息与电气工程学院，北京 100083)

0 引 言

广场舞是一种集体性的舞蹈健身活动，通常在公园、广场等场地开阔处进行，参与者以中老年妇女居多。广场舞的音乐大多富有节奏感，同时兼具健身与娱乐的功能，能够给群众带来身心皆愉悦的体验[1]。广场舞已成为中老年娱乐项目的主要形式之一，不仅在中国占据了各个城市的广场、公园，甚至转战到了国外，例如法国巴黎、莫斯科红场等地。广场舞将传统舞蹈带来的美感和体育运动的身体锻炼功效相结合，既体现出了审美情趣，又兼具健身功能，具有多元的文化价值[2]。

人机交互技术不断发展,人们对于更加自然的交互方式的需求日益突出。同时传统的交互方式逐渐显示出了一些缺点。而人体的动作具有多种表现形式，包括手臂、头部、面部、四肢等身体姿态或者运动过程，人体的运动属于人与环境之间的信息交互，能够最大限度地体现出人类内心的想法[3]。所以使用人体的动作来进行人机交互，成为一种新颖、自然的交互方式。

对于舞蹈类交互来说，传统的视频教学是单向的信息传播，缺乏反馈机制，学习者不能实时了解自己的学习状态。体感交互方式最相近于人本身的自然运动，能够更加直观地将人的运动反应到计算机游戏的虚拟世界，具有更加真实体验的同时还能降低用户的操作难度，使得数字科技公众更加广泛化，让不同年龄层尤其是中老年人也能体验到数字科技的乐趣，满足他们的娱乐精神需求。

1 体感相关研究现状

1.1 体感技术研究

体感技术通常利用传感器或深度摄像头等设备来感知人的肢体运动，识别人体的运动轨迹，将获取的数据传入计算机进行后续的处理，是一种较新的人机交互方式。从20世纪开始，研究人员便开始针对人体运动进行研究。其中，著名的心理学专家Johansson在运动感知领域进行了大量的实验：只在人的各个关节点加附亮点，实验人员仅统计各类关节点的运动位置变化情况[4]。实验结果表明，通过自身的视觉系统观察相关运动过程中光点的时间序列，可以得出跑步、步行等运动模式，甚至运动者的性别情况。这说明关节信息能够包含人体运动的大多数信息，关节运动信息的采集对研究人体运动有极大的利用价值。近年来，在硬件不断更新且成本下降的环境下，相关的动作捕捉设施的价格也在下降，光学原理的三维人体运动捕捉方式快速成为电影行业主流的运动数据捕捉方式。与此同时，也出现了一些其他动作捕捉系统和动作数据库[5-7]。深度摄像头出现以后，人机交互与体感游戏等领域纷纷将其运用到动作捕捉[8]。由于三维动作捕捉信息能够在很大程度上还原运动细节和运动轨迹，具有高精度和高质量等优点，故其已得到虚拟教学、智能安防、体育仿真和医学康复等诸多行业的普遍青睐[9-11]。

Kinect体感控制系统是目前比较受欢迎的体感体验装置，如图1所示。Kinect具有高分辨率的深度摄像头，能够提供深度数据、红外数据、色彩数据等，能够识别人体骨架，并且提供运动力量、面部表情、肌肉信息等数据，具有即时动态捕捉、麦克风语音输入、语音影像辨识、社群互动等功能[12]。这些功能使体感这种人机交互方式更加自然，大大提升了用户的浸入感。而Kinect获取的这些数据以及微软提供的SDK给体感应用的开发提供了极大的便利。

图1 Kinect整体图

三维空间中的体感交互与基于桌面的二维界面模式相比，不仅是操作动作和显示维度的增加，由于人和环境的关系以及行动中心理的变化加入了交互的过程，人们更能获得接近于真实环境中的体验，获得更为强烈的“身临其境”的感觉。对于游戏设计来说，脱离纯桌面交互的，能够促进人们身体运动，利于身心健康的设计已然是未来的一个发展方向[13]。当前大部分游戏的操作方式基本是通过控制游戏中的虚拟代理来参与游戏，这样容易使玩家自身脱离游戏情境，在沉浸感和体验感上有所欠缺。而利用体感设备的特点，能够在三维空间以自然交互的方式与虚拟场景中的游戏元素进行互动，提高了玩家在游戏中的体验感和沉浸感，并且寓运动于娱乐中，在满足人们的娱乐需求的同时，能够最大限度地避免传统电子游戏对身体危害。

所以笔者把体感游戏作为表现广场舞的一种方式，发挥体感优势，并且充分考虑广场舞本身的集体性与个人的统一、娱乐性与秩序的统一等。体感交互的广场舞形式完全能够满足群众的需求，并且提供了一种新奇的体验形式。

1.2 体感舞蹈游戏研究现状

游戏产业近些年在世界范围内得到迅猛的发展。随着游戏产业的百花齐放，玩家对于游戏体验感、操作感以及代入感的要求不断提高。体感游戏不需要额外的控制器，肢体的控制得到许多玩家的欢迎[14]。其中最具代表性的XBOX游戏机把体感游戏推广到家庭用户，让玩家足不出户即得到游戏与运动的双重体验。而舞蹈是一项源远流长的活动方式，长久以来人们用舞蹈来表示欢乐、力量和庆祝胜利等。跳舞游戏的类型繁多，但作为一种调动全身心参与的活动，体感无疑是最好的方式。

跳舞毯、跳舞机等出现在20世纪末，首先出现在日本，后来传到台湾。这种音乐节奏类型的游戏与传统电子游戏的最大差别在于操作方式，传统的电玩多使用遥控杆或者四键手柄，而跳舞机是用玩家的双脚来完成游戏。这种使用身体部位控制游戏的交互，是一种比传统键鼠、手柄等交互方式更加先进的方式。跳舞毯、跳舞机的玩法十分简单，游戏画面中会不断出现上、下、左、右的箭头，玩家用脚踩对应的踏板，只要箭头移到与顶部箭头框重合的位置即可。跳舞毯踩节拍的玩法弱化了舞蹈本身的美感需求，主要力量训练集中在腿部，不利于全身协调调动。跳舞机主要分布在游戏厅等娱乐场所居多，玩家以年轻人为主，缺乏持久的吸引力。

随着自然人机交互的发展，出现使用手持模拟器进行的体感游戏，如使用任天堂的Wii模拟器进行的快乐组舞等跳舞游戏，玩家手持模拟器，根据画面中角色的动作提示挥动手柄，模仿角色动作进行游戏。游戏没有完全解放双手，而游戏中的动作提示等使玩家动作比较僵硬，缺乏灵活性，无法兼具舞蹈本身的流畅美感。直到深度摄像头的出现，衍生了调动全身的体感交互的跳舞游戏，典型代表如XBOX体感游戏机中的舞力全开、舞动全身等，XBOX是功能相对完善，内容丰富的视频游戏主机，使用Kinect体感外设，依靠相机捕捉三维空间中玩家的运动。XBOX中的舞蹈游戏比传统视频教学更加生动自然，内容侧重体育锻炼或者休闲娱乐，有的兼有故事情节，主要是提供家庭娱乐。对于有目的的舞蹈动作的学习以及公共场所的群体娱乐来说，有明显的不足。而本文中集成的广场舞一体机设备，主要致力于服务公共文化，广场舞的内容针对中国特有的广场文化，可以在作为学习广场舞的工具同时提供给大众新奇有趣的游戏娱乐体验[15]。

2 关键技术研究

2.1 节拍控制

音乐是舞蹈游戏中非常重要的组成部分，对于游戏整体的风格界定、节奏控制以及游戏开发过程中的系统结构划分等具有十分重要的作用。例如在游戏菜单控制部分，玩家切换选项需实时地切换当前的背景音乐，使玩家能够对歌曲有一个预览；在游戏开始阶段，标准舞蹈动作的播放以及玩家动作的实时录制及评价、游戏特效的播放、UI的节奏控制等均要依靠节拍控制。

图2 音乐节拍控制的观察者模式

由于游戏中有若干游戏对象均需依赖音乐节拍进行更新，所以需要独立的音乐节拍组件，在合适的时机为其他模块发送事件。该模块具有“一对多”的特点，并且“多”端容易变更，所以使用“观察者模式”进行设计[18]，如图2所示。观察者模式就是把观察者和被观察的对象分开，将动作评价模块、UI模块、提示模块以及背景控制模块等作为观察者，音乐节拍作为被观察的对象，观察者会根据被观察者的数据变化，自身进行相应的处理。这样就可以把各个模块清晰地划分出来，提高系统整体的重用性和可维护性。在游戏的设计开发过程中，笔者设置了专门的节拍控制模块，采用观察者模式，对游戏整体进行节奏控制。

2.2 动作评价算法

2.2.1 动作评价算法相关研究

传统的舞蹈学习方法有视频教学法、真人演示教学等，针对没有或者只有少量跳舞经验的人群，视频教学法因为缺少对照物，并且没有动作是否标准的评价，导致学习效果低下，动作偏差较大。另一方面，真人教学能达到较好的学习效果，但是要消耗大量的人力，不能随时进行学习。所以本文在设计广场舞游戏时考虑采用动作评价算法，对玩家动作进行实时反馈，达到良好的学习效果。

动作相似度评价的主要工作是让计算机能够自动地感知场景中的人“在哪里”，并判断出人在“干什么”。进行动作相似度评价第一步需要进行姿态估计。姿态评估主要是指在具体的输入图像序列的基础上，识别出每一帧人体各部位的姿态参数。例如身体的各个部位在整个三维空间内的所处位置和方向就是一组姿态参数，这部分通常由动作捕捉设备完成。动作相似度评价是在姿态估计的基础上，从运动帧中提取特征，通过计算参考动作序列和对比动作序列的特征向量之间的距离，得到2个动作序列的相似度。由于动作相似度评价算法很大程度上依赖于姿态估计的结果，所以姿态估计的准确度会对动作相似度评价的准确度有一定影响，因此需要对动作数据进行一些预处理工作，例如数据降噪等，然后再进行动作相似度评价。

笔者对几种流行的动作相似度评价方法进行了研究，分别有静态匹配法、基于DTW(动态时间归整，Dynamic Time Warping)的动作相似度评价算法、基于自适应关节权重的DTW动作相似度评价算法、基于插值小波关键帧提取的动作相似度评价算法等。动作相似度的评价具有一定的难度，因为每个动作都具有多维性，并且动作数据在采集的时候会伴有很多噪声，不同个体对动作的表现差异性也较高，还有动作相似度评价的实时性要求等，这些因素都给动作评价增加了难度[17]。

自适应关节权重的DTW动作相似度评价方法是针对骨架的结构特性对动作特征进行改进，而基于插值小波关键帧提取的动作相似度评价方法则是针对动作的时序特征进行改进，这2种改进方法在不同维度上针对动作特征进行改进，因此本文采用将这2种方法进行融合的方法，使用插值小波提取出动作序列的关键帧，再通过DTW对对比动作序列和参考动作序列进行匹配，在匹配时采用自适应关节权重的方法来计算2个动作帧的距离，最后将匹配的关键帧之间的平均距离归一化后作为动作相似度评分。

2.2.2 动作评价算法实现

自适应关节权重和插值小波的动作评价算法的具体实现过程表述如下：

1．数据降噪。

首先采用Faber-Schauder插值小波与均值滤波结合的方法对采集到的运动数据降噪。在噪声小的背景下，剧烈动作中的一些动作细节容易被当作噪声，适合使用插值小波[23]；在噪声较大的背景下，结合均值滤波能够获得较好的降噪效果。

2．自适应关节权重的评价方法。

从运动特性出发，将动作序列划分为多个子片段，采用级联的关节方向数据作为特征，计算对比得出动作的关节权重，可以计算得到任意2帧之间的距离。

为了适应不同体型的用户，采用关节方向的时间序列数据描述人体骨架姿态，动作序列可以表示为P=[p1，p2，…,pi，…，pT]，其中pi为第i个关节方向的时间序列数据，T为关节数量。采用固定时间长度的动作片段划分方法，那么使用动态时间规整的方法进行动作序列匹配时，可以对不同长度动作序列实现归一化。

自适应关节权重的计算方法如下：

1)采用级联的关节方向数据作为特征。

动作序列P由若干帧骨架数据组成，每一帧可以看作静态人体骨架结构数据，采用文献[19]中定义的2个四元数距离的度量方式对关节方向数据即关节的级联四元数对静态人体骨架结构进行相似性度量。

2)自适应关节权重计算。

自适应关节权重计算过程如下：

①选取时间片段的长度，将动作序列P划分为N个片段。

③统计每个关节ID(i=1，…，T)在向量TH中出现的次数，则可以求得关节i能量较大的片段占所有片段的比例Si。

④计算关节权重。取S′中最大的m个元素直到这些元素相加大于α，比例α可以看作运动较剧烈关节所占的总体权重，动作相似度评价结果将受到α取值的影响。这些关节的权重ωi计算如公式(1)所示。

(1)

其余关节平分剩余权重，公式(2)为权重计算公式。

(2)

(3)

通过对测试集的实验后，选择H=6、α=0.7，分割时间片段为0.8 s，此时可得到最优解。具体实验方法参考文献[21-22]。

3．确定动作序列映射关系。

使用DTW动作序列匹配算法确定参考动作序列P和对比动作序列Q之间的唯一映射关系。记录两者的匹配关系集合。

基于DTW的动作序列匹配算法描述如下：

1)从第一个节点开始，循环计算路径距离，基于帧间距离度量公式和DTW规整的3个条件，选择其中最小的一个匹配，加上当前距离即可得到路径的最小距离。

2)重复上一步骤，直到得到完整的规整路径。

3)创建数组MapFrame，记录参考动作序列P中所有帧在对比动作序列Q中的唯一映射关系。遍历规整路径，将其映射关系存入MapFrame。

4．提取多维度动作序列关键帧。

基于多尺度Faber-Schauder插值小波和基于中心仿射变换的区间插值小波[23]的关键帧提取方法对每个片段运动能量最大的关节进行小波分解，计算小波系数，提取P的关键帧，得到关键帧集合Kpr(r=1，…，R)，R为动作序列的关键帧数量，再结合第3步中得到的匹配关系集合，得到Q的关键帧Kqr＇(r=1，…，R)，其中r为动作序列的关键帧数量[18，23]。

5．进行相似度评价。

将上一步中得到的多维度的动作特征对P和Q进行相似度评价，即计算2个序列中所有关键帧的距离并进行平均，得到DIST(P，Q)。

(4)

根据公式(5)归一化之后得到相似度评价。评分越高，相似度越高。

(5)

广场舞爱好者大部分为中老年人，因此在学习一套全新的舞蹈时对教练的依赖程度较高。采用体感设备采集动作，并通过动作相似度评价算法对其进行评价打分，则可以在一定程度解决该问题。在动作实时评价系统中，跟随体感运动教练的主体数据需要具有较高的跟随性和实时性，一套较为准确的评价体系是推广农村公共文化应用的技术保障。

3 游戏设计

3.1 设计原则及策略

广场舞作为具有中国特色文化的表现形式，针对的用户主要以中老年人尤其是中老年妇女为主。他们在每天的特定时段自发聚集到广场、公园、社区空地、操场等空地，由领舞人携带音响设备，进行1～2 h的跳舞运动。研究发现，广场舞组织以及进行的过程中存在一些问题，比如初学者不能随时进行学习及练习、需要组织者携带音乐播放器、资源共享困难、舞蹈资源更新不及时等。鉴于受众人群定位、使用场景以及存在问题，本文设计该游戏有如下原则和策略：

1)考虑到用户对新鲜事物的接受能力，为了让游戏更广泛地服务于群众，游戏菜单流程设计尽量做到简单易操作。

2)游戏进行中要对玩家的表现实时反馈，让玩家及时了解自己的状态进行调整并且增加游戏乐趣，得到鼓励。

3)实时对玩家进行动作评价，进行阶段式的评价，如“太棒了”、“再接再厉”等，最后得出总的评价。

4)对伴奏歌曲对应的动作进行难度区分，能够满足不同年龄和不同活动能力的玩家。

5)采用镜像的舞蹈动作教学，提高游戏浸入感。

6)体感与传统交互结合，菜单选择不使用体感控制，避免误操作以及降低使用门槛。

笔者设计并开发这个游戏是想给中国喜爱广场舞的广大群众提供便利，享受广场舞的乐趣，它不只是一种运用体感技术的跳舞游戏，还是一个引导、教习和组织广场舞的平台。考虑到绝大多数的玩家的需求，包含的舞曲涵盖不同的年龄层，既有热情洋溢的青春舞曲，又有广为流传的流行音乐，还有针对老年人的较为舒缓，节奏较慢的活动操。另外考虑到不同的性别需求，还有针对中老年男性用户的太极拳等，种类丰富，形式多样。

3.2 游戏流程

为降低使用门槛，笔者不选择使用体感动作进行菜单选择，而是在安装广场舞游戏的一体机设备上采用触屏，玩家手动选择歌曲。歌曲具有不同的难度区分，难度对应表示节奏快慢以及动作复杂度，玩家根据自身情况进行选择。选中歌曲后，系统统一所有模块时间，然后进入跳舞的主界面。由于舞蹈游戏有节拍控制，游戏流程控制部分对动作序列预处理、动作相似度评价及舞蹈流程等做控制。预处理部分则研究了使用插值小波对动作序列进行降噪处理的方法。动作相似度评价模块是该应用系统的核心组成部分，首先根据歌曲配置文件把舞蹈动作划分成片段，并实时采集用户动作，用户动作片段与配置文件划分的动作片段时间长度相同，然后对动作数据进行降噪，对用户动作进行实时评分。节拍控制模块基于歌曲配置和Unity3D引擎的时间管理器，动态生成强、弱拍，并将其生成消息传递给动作评价模块。动作评价的流程如图3所示。

图3 动作评价流程图

整个评价过程对玩家不可见，但是系统会给出诸如“继续努力”、“完美”等评语，激励玩家继续进行游戏。歌曲结束后，系统显示总体得分以及获得星级，然后返回主界面。

3.3 系统设计

3.3.1 总体架构

广场舞体感游戏软件采用三层结构的系统设计方法，分别是数据层、控制层和表现层。

1)数据层主要负责读取歌曲配置文件和评价标准配置文件，把迭代器作为中间的抽象层，为控制层和表现层提供便捷的数据访问接口。其中，歌曲配置文件存储每首歌的节拍类型、节拍数量、动作相似度评价的节拍间隔和动作提示图片显示的节拍间隔等；评价标准文件则存储动作相似度评分和与其等级的对应关系。

2)控制层包括音乐节拍控制、动作序列预处理、动作相似度评价以及舞蹈流程控制系统。动作序列预处理模块使用插值小波对采集的动作序列进行降噪处理。动作相似度评价模块对用户动作进行实时评分。节拍控制模块基于歌曲配置和Unity3D引擎的时间管理器，将强弱拍消息传递给动作评价模块以及表现层部分模块。舞蹈流程控制模块负责整体流程控制，包括音乐与舞蹈动画同步、暂停以及舞蹈结束判定等功能。

3)表现层包括三维场景中的可视元素以及用户界面等，用于接收用户输入的数据并显示数据，为用户提供体感虚拟互动场景。其中，用户积分模块用于累计每次动作评价的积分并显示；动作提示模块用于显示上一个、当前以及下一个动作的提示图；场景互动模块控制场景中的三维模型与用户的动作实现同步；评价显示模块用于实时显示对用户的舞蹈动作的评价，其中数据来源于逻辑层的动作评价模块；完成度显示模块用于让用户了解当前歌曲的完成度；动画控制模块实现了事先采用动作捕捉系统采集的标准舞蹈动作在三维模型上的播放。系统结构如图4所示。

图4 游戏系统结构图

3.3.2 模块分工设计

本游戏软件的制作由策划、美术和程序3大部分组成，图5是根据系统的整体模块划分的分工示意图。

策划在前期进行游戏设计并且在后期进行游戏整合，包括策划方案的编写与修改与游戏合成；美术的工作是制作游戏中用到的相关美术资源，包括2D图片、3D模型、特效等，由策划描述主要需求，美术根据游戏整体风格以及策划方案的需求制作；程序的工作是将策划设计好的游戏划分为不同模块并实现这些模块，其中包括系统设计、场景搭建、UI控制以及体感游戏的体感控制部分等。

图5 分工划分示意图

3.3.3 数据配置

不同歌曲的节拍类型、节拍数量、动作相似度评价的节拍间隔和动作提示图片显示的节拍间隔等各不相同，因此对于每套舞蹈的歌曲进行独立数据配置，并在系统主场景中读取该配置文件。歌曲、动作评价和动作提示需要满足如下的层次关系：该系统共包含若干首歌，每首歌包含若干个小节、动作评价、特效以及动作提示，因此可以采用XML格式对数据进行描述。

配置文件格式如下所示，方括号的内容表示属性，项目符号及缩进表示XML的层次结构，对于单首歌曲来说，具体描述如下：

歌曲1[实际歌曲名，程序中歌曲名，场景ID，角色ID，每分钟节拍数]

·小节划分

若干相同小节[节拍类型，节拍次数]

·动作评价

单次评价[间隔节拍数，关节权重(共6个)]

·特效

单个特效[特效ID，小节位置，节拍位置，持续时间，是否设置初始位置，位置坐标]

·动作提示

单次提示[等待节拍数，文字内容]

系统数据层负责存储配置文件和解析配置文件，存储配置文件模块将运行时的歌曲配置数据按照预先定义的规则，存储为XML文件，设立专门的解析配置文件模块对XML进行解析，数据写入运行时的数据结构中。这样的数据配置方式能够保持配置文件中的数据与实际的舞蹈动作节拍一致。对系统动作评价的准确性，以及整体舞蹈的体验有很大的提高。

4 游戏实现

4.1 硬件集成

社区公共文化服务终端，需要兼具社区公共文化服务功能和现代化高科技交互式的数字体感娱乐健身功能[24]。适应社区中各层次人群，尤其是老年人和儿童。所以在设计时考虑一些因素诸如：数字化娱乐设施应具有体感技术和交互优势；产品采用超大触摸液晶屏，提供超强视觉体验，操作要快捷简单等。另外考虑到体验方式以及体验地点，设备要做到安全稳定可靠运行，防风、防雨、防沙、防尘、防盗、防触电等基本设计要求，在外形设计上要求美观和便于移动，方便远距离地运输和拆装等。设备整体外观如图6所示。

图6 体感一体机设备整体图

该一体机装置集成了电脑主机、Kinect摄像头、音响设备、大屏触摸显示器等设备。电脑主机要求操作系统为Win8及以上，USB 3.0以上接口，内存4 GB以上，硬盘125 GB以上。另外需配置与交互内容兼容的GPU，搭建了服务信息模块和基于网络技术的交互内容体验管理系统，实现远程的内容更新和日常维护。

4.2 游戏介绍

本款广场舞游戏使用Unity3D游戏引擎设计开发，使用微软的Kinect 2.0作为体感信息采集装置，同时获取深度数据和色彩数据，深度数据的图像分辨率为640×480，刷新频率为30 Hz。突破图形引擎的体感数据驱动关键技术，将体感设备捕捉的动作数据转化为平滑的骨骼运动数据，针对人体骨骼特点为游戏虚拟角色制定匹配的骨骼节点，实现三维体感动作与三维游戏引擎中的骨骼动作映射配置，实现与虚拟世界的动作操控。本文设计并集成了体感装置一体机，方便游戏内容的体验。

歌曲选择场景中显示当前系统中的歌曲列表，界面左侧显示歌曲信息。如图7所示。

图7 菜单选择界面

舞蹈动作实时评价系统主场景如图8所示。根据选择界面选定的歌曲，进入游戏核心界面。根据所选歌曲的不同，随机选中不同游戏场景，作为广场舞背景。系统在该场景中将动捕设备录制的标准舞蹈动作以三维动画的形式进行展现，通过体感摄像头将用户动作实时映射至场景中的另一个三维模型，并根据歌曲配置文件中对歌曲片段的划分，对用户动作进行评价，为用户提供了一个良好的广场舞自学平台。

图8 游戏主场景

不同歌曲匹配不同的人物模型，保持玩家在多次体验过程中的新鲜感。屏幕中间为舞蹈区域，虚拟角色展示规范的舞步，玩家在体感摄像机前模仿舞蹈动作。虚拟角色动作为镜像版本，玩家可以直接模仿。屏幕右下方为动作提示区域，根据音乐的每个小节实时进行动作提示。玩家可以通过动作提示，准备好下个小节的动作，再参考虚拟角色的舞步进行游戏。在若干个节拍完成后，游戏对玩家动作进行一次百分制评分，在虚拟角色周围显示评价结果。评价标准从高到低依次为：“超完美”、太棒了”、“再接再厉”和无评价。游戏进行评分累计，在屏幕的左上角显示当前得分。左下角为节拍进度提示器和音乐振幅显示，根据节拍的完成进度，显示百分比，并跟随节拍振动，增加节奏效果。音乐振幅显示当前歌曲的声音振幅，提升玩家游戏沉浸感。玩家在游戏过程中可以随时通过触摸屏幕暂停游戏。

当一套舞蹈动作结束以后，系统将跳转至如图9所示的结束界面，根据歌曲配置文件对采集到的用户动作进行片段划分，并对每个划分后的动作片段使用本文的预处理及动作相似度评价方法对用户动作进行实时评价，该场景显示用户的总得分以及其总体评价星级。

图9 游戏结算界面

5 结束语

本文对集成的广场舞体感一体机设备以及体感游戏进行了描述。该系统由动作捕捉系统、实时体感动作评价系统和数据配置工具3个部分组成。光学动作捕捉系统用于对舞蹈动作进行采集，结合适当的后期处理，得到标准舞蹈动作；实时体感动作评价系统采用Unity3D三维图形引擎搭建虚拟体验环境，以Kinect体感摄像头作为动作采集设备，基于动作相似度评价算法对用户动作进行评价；数据配置工具则为开发人员提供了快速准确地制作舞蹈歌曲配置文件的工作流。

体感技术作为21世纪热门的人机交互方式之一，继鼠标和多点触摸技术之后，对于自然人机交互的发展起到了极大的推动作用。而广场舞在中国城乡居民乃至国外的广泛普及与体感技术的有机结合恰好给广场舞提供了一个交互自然，内容丰富的平台[24-26]。

笔者搭建的面向农村基层公共文化服务的体感交互应用系统，以基层群众喜闻乐见的广场舞为体验内容，将体感交互技术以及动作相似度评价算法以三维可视化的方式应用于农村基层广场文化服务中，将体感交互技术与农村公共文化服务进行了融合，扩充了农村公共文化的数字内容。在今后的研究中，笔者将继续关注公共文化领域的需求，运用先进的交互方式为基层群众提供使用便利、内容丰富的数字娱乐平台。

参考文献：

[1] 国家体育总局社会体育指导中心，中国社会体育指导员协会. 全国广场舞竞赛规则(2015 试行版)[EB/OL]. https://wenku.baidu.com/view/7cb0c9ec14791711cd791799.html, 2017-11-28.

[2] 成盼攀,马鸿韬. 广场舞多元文化价值及文化建设研究——以北京市城六区为例[J]. 北京体育大学学报, 2017,40(3):33-39.

[3] 朱明茗,景红. 基于体感技术的手势追踪与识别[J]. 计算机系统应用, 2014,23(8):228-232.

[4] Johansson G. Spatio-temporal differentiation and integration in visual motion perception: An experimental and theoretical analysis of calculus-like functions in visual data processing[J]. Psychological Research, 1976,38(4):379-393.

[5] Shiratori T, Park H S, Sigal L, et al. Motion Capture from Body Mounted Cameras:US, US-8786680[P]. 2012-12-27.

[6] Sullivan S, Wooley K, Allen B A, et al. Visual and Physical Motion Sensing for Three-dimensional Motion Capture: US, US-9401025[P]. 2016-01-14.

[7] Bentley M. Portable Wireless Mobile Device Motion Capture and Analysis System and Method: US, US-8994826[P]. 2012-03-01.

[8] Clark R A, Pua Y H, Fortin K, et al. Validity of the Microsoft Kinect for assessment of postural control[J]. Gait & Posture, 2012,36(3):372-377.

[9] Choppin S, Wheat J. The potential of the Microsoft Kinect in sports analysis and biomechanics[J]. Sports Technology, 2013,6(2):37-41.

[10] 樊景超,周国民. 基于Kinect的果园定点防盗系统研究[J]. 安徽农业科学, 2013(34):13418-13420.

[11] 赵春江,郭新宇,陆声链,等. 虚拟农业园区交互式设计与体验方法及系统:中国,CN103105929A[P]. 2013-05-15.

[12] 陈静. 基于Kinect的手势识别技术及其在教学中的应用[D]. 上海:上海交通大学, 2013.

[13] 马建荣,章苏静,李凤. 基于体感技术的亲子互动游戏设计与实现[J]. 中国电化教育, 2012(9):85-88.

[14] 王俊杰,王培勇,徐坚,等. 体力活动干预新方式——体感游戏的起源、发展及应用[J]. 西安体育学院学报, 2014(2):171-177.

[15] 孙金山. 基于体感技术的人机交互设计在游戏领域的应用[J]. 艺术科技, 2017(11):103.

[16] 程杰. 大话设计模式[M]. 北京:清华大学出版社, 2007.

[17] Berndt D J, Clifford J. Using dynamic time warping to find patterns in time series[C]// Working Notes of the Knowledge Discovery in Databases Workshop. 1994:359-370.

[18] 汪成峰. 基于自适应关节权重和插值小波的体感动作评价方法研究[D]. 北京:中国农业大学, 2016.

[19] 沈军行,孙守迁,潘云鹤. 从运动捕获数据中提取关键帧[J]. 计算机辅助设计与图形学报, 2004,16(5):719-723.

[20] Shannon C E, Weaver W. The mathematical theory of communication[M]// Philosophical Review. Urbana University of Illinois Press, 1949:24-30.

[21] 应锐,蔡瑾,冯辉,等. 基于运动块及关键帧的人体动作识别[J]. 复旦学报(自然科学版), 2014,53(6):815-822.

[22] Ohn-Bar E, Trivedi M M. Joint angles similarities and HOG2 for action recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2013:465-470.

[23] 赵勇. 小波数值方法在船舶流体力学中的若干应用[D]. 大连:大连理工大学, 2011.

[24] 贵木. 新农村建设下农村基层群众文化活动的功能定位及实践[J]. 青年与社会(下), 2015(3):237-237.

[25] 徐琦燕. 因地制宜开展基层群众文化活动的几点思考[J]. 大众文艺, 2015(8):6.

[26] 任灵芝. 当前基层群众文化活动中存在的问题及对策分析[J]. 才智, 2015(32):273.