基于Kinect 2.0的八式太极拳动作评价智能系统研发

李战华，邹蕾蕾，孟 明

(1. 杭州师范大学体育学院，浙江 杭州 311121； 2. 杭州电子科技大学自动化学院，浙江 杭州 310018)

1 研究背景

计算机智能技术的迅猛发展给信息行业带来深刻变革的同时，其影响力也渗透到其他各个领域，人工智能技术在体育竞技与科研工作中的应用也日趋广泛与成熟[1].比如，鹰眼裁判辅助系统在我国排球联赛中的应用[2]，虚拟现实(virtual reality，VR)技术在足球运动训练中的应用[3].同时，计算机智能技术在运动仿真与动作评价方面的应用也取得了一定成果.例如，环屏高尔夫模拟分析系统，能够模拟多个国际标准球场，测量高尔夫球飞行参数和球杆挥杆轨迹参数，进行动作评价与诊断[4].动作识别与诊断技术在体育教学与实验中心的建设中，正发挥着日益重要的作用[5].

太极拳是中国一项受众需求很广的传统体育运动，群众基础深厚，是人民群众强身健体的重要方式之一[6].为了太极拳的普及与中国武术段位的推广，国家管理机构编制了八式太极拳，其内容重点突出，新手入门简单，一套完整动作耗时仅需2 min左右.但是由于自身特点，该项运动的发展也遇到两个难点：第一，教学问题.八式太极拳虽然入门容易，但其对动作的到位要求较高，需要注意的细节较多，传统的教师讲解、演示教学模式，其效果不甚理想[7].第二，评价规范问题.目前八式太极拳的评判，主要依靠裁判老师对于竞赛规则与标准的理解，根据个人经验对动作进行评分，其评价体系缺乏系统性、客观性[8]，评价模式亟待标准化、数字化.

八式太极拳共有十式(含起势、收势)，招式动作特征明显，人体姿态区分度较高.本研究采用Kinect 2.0深度相机，结合八式太极拳动作评价标准理论研究，设计研发了一种动作评价智能系统.通过相机采集用户八式太极拳动作的图像信息和骨骼信息，可高质量地完成动作识别和基础数据采集，从而将动作评价标准数字化.同时借助人工智能技术，实现教学引导，提升教学效果；通过实时动作评价，促进评价体系自动化、数据化、科学化.该系统将人工智能技术与传统太极拳教学相结合，为太极拳数字化、科学化评价提供了新思路，有助于太极拳的普及与推广.

2 研究方法

2.1 研究技术路线

本研究的实施过程是八式太极拳的动作评价数字体系建立与八式太极拳动作评价智能系统的软件研发相结合的过程，目的是满足对八式太极拳的数字化动作评价要求，实现教学评价一体化与科学化.以太极拳动作评价标准的理论研究为基础，运用计算机动作捕捉、人体姿态识别等人工智能技术，建立一套科学的数字化八式太极拳动作评价体系，其主要技术路线如图1所示.

图1 技术路线图

2.2 系统研发与测试

本研究涉及计算机人工智能技术在体育竞技及教育中的应用，通过多学科力量的参与，共同完成系统的基础理论研究、需求分析、功能设计、研发测试.研发与测试过程中，邀请太极拳老师与学生参与系统功能的制定，并体验系统各个迭代版本的效果.对用户的反馈与建议进行回访、分析与总结，并借此不断改进提升系统的用户体验质量.

通过梳理、总结系统各个模块功能，对系统全部52个功能点设计了近200个用例进行了测试.通过多轮迭代开发、测试，系统功能基本完善，流程与逻辑正常，软件功能均能正常使用，可较好服务于教学、社会推广等活动.

3 研究结果

3.1 系统架构

本系统通过人机交互模式，以捕获的人体动作作为输入，与系统后台数据库中存储的八式太极拳动作评价标准库进行比较分析，对运动员的运动过程进行监测与评分，最终达到动作评价的目的，其系统架构如图2所示.

系统主要包含以下关键角色和设施：

1)运动员.运动员是系统的待评价对象，是人机交互的起点，也是系统数据输入的来源.由运动员发起运动评价过程，并最终由系统将动作评价结果反馈给运动员.

2)动作评价标准库.该库是专项基础理论研究成果，包括八式太极拳动作评价的标准数据，为系统执行动作评价提供比较标准和依据.

3)Kinect 2.0深度相机.该相机由微软公司于2014年推出，传感器性能优越，能够追踪人体25个骨骼关节.同时相机可进行拇指追踪、手指末端追踪，识别打开和收缩手势，人机交互场景丰富[9].该相机姿势评估准确，人机交互体验良好，且微软公司提供完整的软件开发工具包(SDK)，为系统的数据采集和人机交互提供了技术保障.

4)服务器.服务器包括主机和显示屏，该部分是系统运行的中枢.主机搭载研发的八式太极拳动作评价软件，对深度相机采集的人体动作信息进行分析处理，并通过显示屏与用户进行交互.

其中，Kinect 2.0 深度相机和服务器是系统的硬件组成部分，包含深度相机、主机和交互屏3个设备.基于硬件一体化思路，综合考虑人机交互场景和工艺美观因素，将该系统的3个硬件设备设计成一体机，如图3所示.该一体机较好地封装了主机、深度相机等高精度设备，突出显示屏人机交互的主体地位，增强用户体验，也利于进行推广与普及.

3.2 系统模块设计

根据系统的需求分析和架构设计，设计如下3个主要模块：

1)动作评价标准库模块.根据团队太极拳专家的讨论，选取八式太极拳整个过程中的关键动作作为评价指标.八式太极拳由国家一级运动员演示，进行3次高质量的数据采样，取平均值，从而获得标准样本，由此建立动作评价的标准体系.

2)信息采集模块.利用Kinect 2.0深度相机采集八式太极拳的人体动作图像信息和骨骼信息.八式太极拳的动作包括：起式、倒卷肱、搂膝拗步、野马分鬃、云手、金鸡独立、蹬脚、揽雀尾、十字手、收势.通过Kinect 2.0软件开发包，对采集信息进行处理，得到相关人体动作的数字化信息，为动作评价提供数据支持.

3)动作评价模块.该模块是系统的核心模块，主要是基于制定的八式太极拳动作评价标准，对采集的运动员动作信息进行智能评价，给出相应得分，并进行节奏快慢判断.系统设计支持向量机(SVM)动作评价模型进行动作识别评价.以选定的关键动作和信息采集模块处理后的数字化信息，构建八式太极拳的动作评价类别及标签.借助Sigmoid函数，将支持向量机决策函数的输出映射成0到1的后验概率，用概率的大小表示待评价动作与标准动作的相似程度.最后将概率转化为百分制分数，作为动作评价分数输出反馈给用户，达到动作评价的目标.

3.3 系统功能设计与应用

系统通过采集用户演练八式太极拳期间的动作信息，对比动作评价标准库，进行动作评价与诊断.以用户识别为起点，至最终用户动作评价结果反馈，系统功能的基本流程如图4所示.选取一名有一定武术功底的受试者，按照完整的流程，对系统功能进行应用分析.

图4 系统功能流程图

3.3.1 用户识别

开启系统，确保Kinect 2.0 深度相机正常工作，交互屏展示系统主题和人体形态框，并提示引导用户站在指定位置.待用户进入有效位置并站定后，用户识别成功，即将自动进入模式选择功能，如图5a所示.需要注意的是，整个运动过程中，用户必须始终保持在深度相机的有效检测范围内，否则会导致用户信息采集失败.如果用户长时间保持静止或脱离有效检测范围，系统将会做出错误提示，并结束本次测试返回到系统初始界面.

(a)用户识别功能

3.3.2 模式选择

用户识别成功后，系统提示用户通过手势操作进行模式选择：练习模式、挑战模式.用户抬起右手臂，左右挥动，屏幕上两个模式的选择框会随之在选中状态之间切换.用户停止挥动手臂，握拳一秒，即实现模式选择成功.练习模式会在整个动作评价过程中提供八式太极拳国家一级运动员的教学视频.初学者可根据此视频的引导，循序渐进练习提升.此模式融合八式太极拳的教学与动作评价为一体，为智能教学提供新手段.挑战模式则无教学视频引导，需要用户自己独立完成整套八式太极拳动作，对用户的考核要求更高.

3.3.3 实时动作评价

系统提供八式太极拳的音乐伴奏，对用户的整个运动过程进行引导.练习模式下，交互屏中还提供教学引导视频，方便用户模仿学习.交互屏中央实时显示用户当前的运动视频，供用户观察比较，改进动作.交互屏下方动态显示用户当前得分条和节奏进度条.用户可根据得分条大致判断自身动作的标准程度，根据节奏进度条判断自身动作速度的快慢，其效果如图5b所示.

3.3.4 评分反馈

当用户跟随音乐伴奏，完成一整套八式太极拳动作后，交互屏会根据系统后台动作评价模块的计算结果，反馈显示用户8个动作的每一式得分及总分，并提供历史得分排行榜，如图5c所示.用户可从反馈结果中了解动作弱项，从而进行针对性专项练习.

3.3.5 观看回放

评分反馈结束后，用户可选择观看回放.交互屏分上下两屏分别展示教学视频和用户上一次的测试录像，方便用户以第三者的角度，进行对比分析.在竞技比赛中，观看比赛录像是很重要的总结分析手段[10].八式太极拳对动作到位要求较高，对比观看视频回放，为动作诊断分析提供了重要手段，方便用户进行对比分析，找到动作存在的问题以改进提升.

3.4 系统测试

选取33人对系统功能进行测试，按照是否有太极拳基础，将受试者分为两组：无基础组(22人)和有基础组(11人).选择练习模式进行测试，结果显示：有基础组得分(75.64±6.14)明显高于无基础组(57.82±7.89)，一定程度证明了系统动作评价的可靠性；无基础组平均分接近60分，表明了八式太极拳入手较简单；无基础组最高分才69分，有基础组的最高分为87分，说明八式太极拳对动作到位要求较高，想取得高分有一定难度.

4 结论与思考

八式太极拳动作评价智能系统，能够满足基本的动作评价需求，是多学科知识综合应用的成果.系统以太极拳动作评价理论研究为基础，运用计算机人工智能技术，为太极拳的智能教学与动作评价提供了新思路，具有以下优势和特点：

1)动作评价标准数字化.由于自身特点，相较于田径类、球类等竞技项目，八式太极拳的评价标准统一性不高，且其对动作到位要求较高.本研究将动作评价标准数字化，为自动化动作识别、诊断奠定基础.

2)实时智能动作评价.本系统对用户演练八式太极拳的整个过程进行监测，进行实时动作评价，并给出最终动作评分.可视化、科学化的数字评价体系，有利于运动项目的进一步推广与普及.

3)教学评价一体化.系统的练习模式为开展太极拳教学提供新手段，同时动作评价体系贯穿整个教学过程，使教学与评价融为一体，引导式的数字化教学模式可增强用户学习兴趣，有助于提升教学效果.

4)兼具专业性与趣味性.系统运用专业的运动理论知识与计算机智能技术，在用户体验设计时充分考虑运动的趣味性，交互场景丰富，在进行专业教学与动作评价的同时，力求使用户沉浸在运动场景中，享受运动乐趣.

在智能体育领域，已有较多基于Kinect采集的人体数据进行动作评价与诊断的研究案例.例如，借助Kinect技术，陈杰[11]研发了高尔夫辅助训练系统，任文[12]研发了羽毛球辅助训练系统，刘哲等[13]研发了篮球训练系统.这些系统在动作诊断、辅助训练方面取得一定应用效果.与已有研究相比，本系统在以下两个方面呈现出自身特点：1)系统角色的深入性.与竞技体育相比，演练性体育项目动作特征明显，借助动作评价，除辅助训练外，最终目标是希望将来在一定条件下承担裁判员的一些工作，这也为解决演练性体育项目评判主观化问题提供思路.2)兼顾动作的时空特征.该系统进行实时动作评价，对动作的分析与诊断，需加入时间轴的考量，所以在实时动作评价反馈中，包含动作评分和节奏快慢程度两个指标.

受时间及相关技术因素限制，系统在以下方面存在不足，需后续进一步优化改进：1)用户背部动作难以识别评价，尤其是进行旋转运动时，一些动作采集会出现遗漏，后续需进一步优化提升；2)表情特征难以获取，太极拳教学与竞技中，脸部表情的变化控制也是重要考核内容之一[14]，后续需将此项内容纳入到动作评价标准库中，并在动作评价时予以考虑； 3)用户动作诊断需进一步细化，在现阶段动作评价基础上，为用户提供更细粒度，具体到每个动作切面的动作诊断方案；4)动作评价标准库的开放，向专业人员开放动作评价标准库，让更多的业界专家参与到标准的制定与升级中，同时针对不同流派的太极拳，方便制定适合其自身特征的评价标准库；5)方案推广，将此研究应用推广到更多的实际教学与社会活动中，促进太极拳运动的发展.