基于关键帧的上肢运动评价方法研究

毛堃 吴小敏

摘 要：Kinect V2能够对人体上肢的骨骼实现稳定且准确的识别，因此，许多学者都将其应用于上肢运动康复的评价领域。为提高Kinect V2对于上肢运动的匹配速率，提出了一种基于关键帧的快速评价方法。通过提取整个动作序列中骨骼点的三维坐标极值，并记录对应的帧ID，从而生成新的骨骼序列，最终采用动态时间规整（DTW）对动作进行匹配。为验证该评价方法的有效性，对健康的志愿者进行了试验，试验结果表明，该方法具有较高的匹配效率。

关键词：Kinect V2;上肢康复;关键帧;动态时间规整（DTW）

0 引言

随着传感器技术和数据分析技术的飞速发展，智能运动评价系统已经得到了广泛应用，其在康复领域的应用价值也得到了学者们的广泛认可。近年来，国内外各研究机构和学者针对康复运动研制了各种智能评价系统，对于上肢康复运动数据的采集方式目前主要有两大类，一类是以加速度传感器为代表的惯性传感器，另一类则是以Kinect为代表的视觉传感器[1]。

Kinect由于其在人体骨骼识别方面优越的性能以及无须额外佩戴的便捷性，在许多学者关于康复训练和康复评价的研究中得到应用。白敬等人[2]提出了一种基于工作空间测量的居家脑卒中患者上肢偏瘫康复训练评估系统，实现患者居家康复训练与评估。该系统通过Kinect V1对患者上肢的运动数据进行采集，计算出对应的水平角和高度角，从而分析出对应的患者上肢可到达的工作空间相对表面积，并基于DTW算法计算患者上肢的水平角和高度角与标准动作之间的距离，但是并没有针对关节角度计算出的距离做进一步评价准确性的对比研究。Scano[3]基于Kinect V2对上肢运动的关节角度进行识别，并对完成特定动作时的最大角度值进行方差分析，从而实现对患者康复运动状态的评价。李志成等人[4]开发出面向患者的个性化上肢训练系统，该系统通过Kinect采集运动数据，利用xml存储康复训练方案与虚拟场景，实现了个性化的主动式上肢康复训练。北京工业大学的李俊[5]设计了基于Kinect的上肢康复训练系统，搭建了基于B/S架构的数据管理系统网站，可在Web端对康复数据进行查看和操作，并通过添加阈值限定条件对传统的DTW算法进行改进，从而降低计算量。

虽然上述学者实现了将Kinect应用于上肢康复运动评价，并具有较好的匹配精度，但是在匹配效率上仍然有很大的提升空间。因此，本文提出了基于关键帧的匹配方法，从而在保证原有匹配精度水平的前提下，能够获得较好的匹配速度。

1 关键帧的提取

关键帧的提取是指从整个运动视频序列中提取最关键的视频帧，利用这些关键帧与标准模版进行匹配，从而达到快速评价的目的。为了能够降低关键帧提取的难度，本文提出一种基于极大值和极小值的关键帧提取方法，整个关键帧提取的具体流程图如图1所示。

1.1    骨骼点坐标获取

Kinect V2是一种集合了彩色摄像头、深度摄像头和红外传感器的融合式体感传感器，其能够实现对于传感器前0.5～4.5 m距离的人体的稳定识别和跟踪，最多可同时支持识别6个人，每个人的识别信息包括人体的25个骨骼点。其中，对于单侧上肢可以识别出肩膀、肘部、腕部、手部、大拇指和指尖。

对于本文所研究的上肢运动，只需要提取上肢骨骼数据点。Kinect V2的骨骼数据输出形式是每秒30帧，因此，为了使数据具有唯一性，必须对每一帧的数据进行帧ID的编号。每一个骨骼点的坐标数据又可以分为X轴、Y轴和Z轴3个轴的坐标值，其中X轴方向是以传感器中心点为坐标原点，相对传感器向左;Y轴方向是坐标原点向上;Z轴方向则是坐标原点向前。通过对骨骼帧函数的调用，就可实现骨骼点三维坐标的读取。

1.2    极大值和极小值的获取

通过Kinect V2实时采集上肢的肘关节和腕关节的三维坐标X、Y、Z，在采集的同时，通过定义极大值数组和极小值数组来缓存对应肘关节和腕关节的X、Y、Z坐标数据和对应的幀ID。在采集到新的一帧骨骼数据时，将新的数据与缓存数据进行数值的比较。如果新的数据更大，则更新对应的极大值;如果新的数据更小，则更新对应的极小值，从而对X、Y、Z坐标值进行排序，并记录对应的极大值和极小值所在的帧ID。

在采集动作结束后，基于上述缓存的帧ID和帧数据重新生成新的骨骼运动序列。接着，将新序列与模版进行DTW匹配，最终实现运动数据与模版数据的快速匹配评价。

2 试验研究

本次试验的平台为基于Kinect V2的人体上肢动作识别系统，本系统的数据显示界面如图2所示。

2.1    试验平台简介

为了更直观地观察骨骼点的识别情况，可通过按钮实现视频流与骨骼数据的叠加显示;此外，还加入了肘关节、肩关节和腕关节的角度实时显示。

在数据呈现方面，增加了骨骼数据显示界面，通过手动输入对应的志愿者ID，以表格形式输出显示运动数据，除了骨骼点的坐标数据外，还包括试验日期、试验时间、试验次数ID以及试验帧数ID，从而使得整个数据库的每一条数据可以唯一溯源。

2.2    试验及结果分析

试验对象为一名健康的志愿者，男性，年龄19岁，身高176 mm，上肢关节都能正常运动。试验的动作为“右手触碰鼻子”，具体的试验步骤如下：

首先，演示者以3 s匀速完成该动作，并保存骨骼数据;接着，志愿者采用3种不同的方式完成“右手触碰鼻子”这一动作。

动作一：在对标准动作要求并不知情的前提下，完成触碰鼻子的动作;

动作二：在得知部分动作要领的情况下，完成触碰鼻子的动作;

动作三：在志愿者得知全部动作要领后，完成触碰鼻子的动作。