基于Kinect的智能特征提取教学平台设计

邹鹏 谌雨章 蔡必汉 陈龙彪

摘要：针对运动教学，结合摄像头与相关图像处理算法，开发了准确捕捉动作、比对分析、提出建议的智能运动分析教学平台。应用物联网经典框架，逐层设计了本平台的功能与原理，对于核心模块，进行了理论论证与落地实验。在动作捕捉方面，应用Kinect深度摄像头，测算出人体骨骼关键点三维坐标信息，配合加权递推平均滤波算法提取了欧拉角特征信息，使用模板匹配法能准确地识别用户动作。在比对分析方面，应用欧氏距离法，可准确给出量化的综合评价与相似度。

关键词：kinect;动作识别;数据提取;实时对比;综合评价

中图分类号：TP391.7     文献标识码：A

文章编号：1009-3044（2019）18-0179-02

1 引言

在运动学习需求高速增长的同时，以物联网技术为代表的信息技术也取得了突飞猛进的进展，个人电脑与手机迅速普及，计算机图形学也有较大进步，在运动辅助教学方面有了新的探索。本智能运动教学分析平台，借鉴了近年来在游戏、电影领域应用广泛的三维人体运动捕捉技术[1]。学习者只需要在深度摄像头前模仿标准教学视频中的动作，本系统就能运用图像处理算法对视频进行特征检测和识别，及时指出错误并反馈动作的相似度，从而降低舞蹈、健身等运动的学习门槛，方便用户的动作学习与训练。

2 系统方案

基于物联网经典的层次架构设计方案，本智能运动分析教学平台设计分为四个层次：智能感知层、网络传输层、数据管理层、云应用层。

智能感知层部署Kinect深度摄像头，采集用户的动作信息。感知层采集到动作信息后，进行初步的前景侦测等预处理，将特征信息经由网络传输层传递给数据库储存。

网络传输层基于目前主流的几种网络形式，如WI-FI、以太网、蜂窝通信网络等。负责将智能感知层的数据根据不同需求传输给数据管理层。

数据管理层分为数据分析、数据存储两大模块。数据分析模块根据网络传输层传递的人体关节模型，计算关节点向量，提取欧拉角等三维动作数据，传给数据存储模块保存。针对三维动作数据，设计以BVH格式存储欧拉角等特征信息的数据库。数据库主要存储标准动作的特征信息、采集的用户动作特征信息、用户基本信息，数据分析模块随时调用这些数据进行相似度计算、动作识别等处理。用户通过云应用层也可方便地调用数据库数据。

云应用层是本平台提供给用户方便使用的接口，包含跨平台的客户端、基于B/S模式的网站。用户在Andriod、Windows系统上都可以使用本平台客户端，启动智能运动分析教学服务。也可登录网站，管理自己的运动信息，或在论坛上与其他用户交流。

3 实施原理及过程

3.1 关节模型提取

在Kinect 2.0上通过其获取人体的深度信息，从而建立人体骨骼关节模型的坐标信息，完成对骨骼关节模型的提取，完成图像坐标到实际坐标的转化。假设kinect所采集到的某一节点坐标为[（xi，yi，zi）]，其转换公式为：

3.2 动作识别

由于Kinect每秒获取30帧图像，也就是关节模型每秒刷新30次，再加上人身体不可避免的抖动，因此首先采用加权递推平均滤波算法[2]对坐标进行滤波，去除关节坐标点的波动。加权递推平均滤波算法就是连续取N各采样值作为标准队列，此队列长度固定为N。之后每次采集一次新的数据就放到队尾，并丢掉队首的数据。然后针对不同时刻赋予不同权值，最后把队列的N个数据进行算术平均运算，即得到滤波结果，公式如下：

3.3 动作相似度计算

基于数据库中以BVH格式存储的欧拉角人体特征向量，本项目采用欧式距离法计算动作相似度[4]。流程图如图1所示：

经过大量的样本试验后，本平台将单通道欧氏距离阈值设置为0.05，能相对准确地给出全局评价与相似度。对确定的人体骨架，三维动作数据就是对骨架中每个骨骼的相对旋转角度的表征。我们选用旋转矩阵和欧拉角来描述刚体在三维空间中的旋转量[5]。

4 结论

本平台具有动作捕捉与识别、动作分析比对、学习管理等功能，具有良好的实时性、适用性与准确性。在用戶动作采集方面，考虑到平台精度与成本的双重要求，部署了Kinect深度摄像头作为智能感知层，以此提取人体骨骼关节模型与三维坐标信息。根据这些信息经加权递推平均滤波后，计算欧拉角为特征向量，以BVH格式存储在数据库中。本平台通过比对标准教学视频中的模板特征数据，达到动作识别的效果。在动作比对分析方面，引入了对欧拉角标准规范化的动作捕捉数据，对用户视频序列进行了良好分段，针对每段序列的每个通道计算欧氏距离，表示与标准动作的相似度。经过实验设置了良好的阈值，能做出较为准确的综合评价。在用户体验方面，基于Django框架开发了B/S模式的前端服务平台，用户登录注册此网站可以可视化选择课程、管理自己的学习进度、查看学习评价并与其他用户交流，具有良好的交互性与用户体验。

参考文献：

[1] 白正彪. 基于Kinect的运动示教系统研究与实现[D]. 天津大学， 2012.

[2] 党宏杜. 基于Kinect的人体动作识别算法研究[J].电子器件，2017，40（5）：1310-1313.

[3] Aggarwal J K， Cai Q. Human motion analysis： a review [J]. Computer vision and image understanding， 1993，73（3）， 90-102.

[4] Alexiadis D S， Kelly P， Daras P， et al. Evaluating a dancer's performance using Kinect-based skeleton tracking [J]. Association for Computing Machinery Multimedia， 2011， 28， 659-662.

[5] 陈银态. 人体轮廓提取与运动捕捉系统平台搭建[D]. 北京交通大学， 2012.

【通联编辑：梁书】