乒乓球挥拍动作识别方法研究*

张学锋, 陈雪瑞

(安徽工业大学 计算机科学与技术学院,安徽 马鞍山 243002)

0 引 言

运动模式识别是近几年比较热门的研究课题，它利用嵌入式可穿戴设备采集传感器数据，并对这些数据进行一系列的分析处理，最终达到识别运动模式的目的。此类产品和服务不仅被应用于体育赛事，而且遍及生活的方方面面。智能手机、手环等电子设备中有很多传感器，例如方向传感器、位置传感器、加速度传感器等，这些设备体积小、重量轻、携带方便，在不影响用户运动的情况下，能够采集到用户最真实的运动数据。通过分析数据，运动员可以找到自己的不足之处，以便提高技能水平；对于普通用户，可以通过计算他们每天的运动量给出一些合理的运动建议。不过这些电子设备也有许多不足之处，其一便是功能单一，仅仅实现了简单的计步功能，其二现有的运动模式识别研究只是针对跑步、走路、上下楼等这些不同类别的运动，并没有对一类运动进行更详细的划分和研究。

以往的运动识别研究方法可以总结为两大类，一是利用监控设备采集视频数据，再进行图像处理以达到识别运动模式的目的，如文献[1]基于人体动作的视频序列，使用HMM方法进行人体动作识别。二是基于可穿戴的传感器设备识别运动模式，文献[2]将单个腕戴式加速度器用于运动模式分类；文献[3]通过使用3轴加速度传感器构造了对人类活动进行分类的神经分类器，分类的准确率达到了95.24%。

第一种方法对使用场景有限制，灵活性差，不适用于日常的乒乓球运动，所以本实验采用的是第二种研究方法。另从本实验的数据量上来看，挥拍动作识别属于小样本学习范畴，尽管当前学术界中普遍在研究基于深度学习机制的小样本学习方法，但是这些方法对硬件平台的要求比较高，经常存在泛化能力不足的情况，因此不适用于集成到智能手环这类微型嵌入式设备上。综合考虑，选取了传统机器学习的方法进行分类器的设计和测试，旨在设计出一种针对乒乓球正手攻球、反手推球、正手搓球、反手搓球4种运动模式的识别方法。在乒乓球运动中，用户将运动手环佩戴在手腕上，挥球时传感器采集加速度数据，这些数据经过数据处理后，可以得到相关运动的时域和频域特征，分析这些特征有望对不同类型的运动模式进行识别和分类。本实验共提取了4种运动的22个特征，通过嵌入式特征选择进行特异性特征筛选，最后通过设计和训练支持向量机、随机森林、决策树和集成学习分类器对4种运动进行分类并对各分类器的性能进行了测试。实验流程图如图1所示。

图1 实验流程图Fig. 1 Process of our experiment

1 数据采集

1.1 采集设备

实验使用的数据采集设备为MPU9250运动传感器，该传感器集成了3轴加速度传感器、3轴角速度传感器和3轴磁力计，所有传感器支持16位精度输出。此外，它可以通过集成电路总线(IIC)接口和嵌入式微型处理器进行数据交互，传输速率可达 400 kHz/s，具有良好的动态响应特性。本文在进行数据采集时将手环内置的MPU9250传感器频率设置为200 Hz，这样的采集频率不会使数据量过于庞大，又足以捕捉到4种运动模式的细节。

1.2 数据采集

手环内嵌传感器和数据存储设备，实验中采集的数据以文本格式保存在该存储卡中。数据成列储存，格式为Acci=[x1i,y1i,z1i,x2i,y2i,z2i](i=1,2,3,…)，分别代表X轴加速度、Y轴加速度、Z轴加速度、X轴角速度、Y轴角速度、Z轴角速度。本实验截取X轴、Y轴、Z轴加速度数据作为原始样本。

为了使设计的分类算法具有很好的分类能力，本次实验充分考虑了不同年龄和性别个体运动数据的差异性，共有55名男性和47名女性参与了本次实验的数据采集，他们的年龄集中在18～45岁之间。采集数据时，志愿者采用相同的手环佩戴方式(如都使用右手，采用竖拍握姿)。数据采集完成后分别用数字1,2,3,4标记正手攻球、反手推球、正手搓球、反手搓球样本，以便训练分类器时区分4种动作。手环佩戴方式如图2。

图2 设备佩戴图Fig. 2 Equipment wearing demonstration

2 数据处理

2.1 加窗处理

挥拍数据采集时，因存在掉球或异常抖动等情况，经常会使周期性的运动波形出现明显的停顿，所以原始数据不能直接作为特征提取的样本。实验中首先需要删除因掉球或者异常抖动产生的无效数据，再使用滑动窗口对数据进行处理。考虑到4种运动模式的周期性、连贯性和降低运算成本的要求，选用4 s时长内所采集的数据量作为长度标准，且窗口覆盖率设为50%[4]，所有的原始数据加窗处理后被分为长度相同的数据段。

2.2 滤波处理

传感器采集数据会因为硬件电路、 传输噪声和人为抖动而产生一些干扰信号，可能会降低运动识别的准确率，所以在提取特征之前必须滤除这些干扰信息，实验采用了一维高斯滤波方法。高斯滤波是一种线性平滑滤波方法，能够有效消除广泛存在于信号中的各种高斯噪声，算法如式(1)所示:

Y(n)=f(-1)·X(n-1)+f(0)·X(n)+
f(1)·X(n+1)

(1)

其中，

(2)

其中，Y(n)为当前滤波输出值；X(n-1)，X(n)，X(n+1)为时间上相邻的3次采样值；f(x)为高斯滤波系数求解函数；δ为标准差。

高斯滤波不仅能够去除高频干扰信号，而且能够使运动数据的波形更加平滑。图3、图4分别展示了正手攻球Y方向任一数据段滤波前后的波形，可以发现采用高斯滤波算法进行滤波处理效果显著。

图3 正手攻球Y轴加速度滤波前波形Fig. 3 The waveform before preforming filtering of the Y-axis acceleration data of forehand attacking

图4 正手攻球Y轴加速度滤波后波形Fig. 4 The waveform after preforming filtering of the Y-axis acceleration data of forehand attacking

3 特征提取

本节将介绍如何对预处理后的运动数据进行特征提取。通过观察，发现不同的挥拍动作在时域中呈现出不同的振幅特性和变化规律，因此本实验主要采用时域分析方法来计算运动数据的特征值。具体来说，从X，Y，Z3个方向的加速度数据中提取出22个特征量，它们包括3个方向加速度的均值、方差、最大值、最小值、峰谷值，3个方向加速度两两之间的相关系数、等效运动能量、周期等。

3.1 等效运动能量

实验中不考虑方向因素，通过合成X、Y、Z3个轴的加速度得到了等效运动能量，计算公式如下:

(3)

其中，ax,k，ay,k，az,k为X，Y，Z3轴的加速度数据，ak为等效运动能量。等效运动能量的均值是数据集中趋势的量数，衡量一类运动的综合剧烈程度，公式如下:

(4)

3.2 运动周期

运动周期表征相邻两次挥拍之间的平均时间间隔，一般周期是基于信号波形求取的，较为规则的波形比如正弦波、余弦波等，只需要计算相邻的两个波峰或波谷的平均间隔就能够求出周期[5]。运动波形虽是周期性的，但是很难直接求出一段波形中符合周期性变化的所有波峰和波谷，这里引入信号处理技术——自相关分析方法[7]。

在长度为n的样本中随意截取一段连续的数据作为模板，理论上该模板长度m应大于一个完整挥拍周期，出于一般性考虑，长度m可以取为样本总长度的1/4倍。分别以样本中第1，2，3，…，n-m+1个数据为起点，构造与模板等长度的子样本数据，并将其与模板进行自相关运算。当样本中的某段波形与模板波形相似时会发生类似于声学中的“共振”现象，此时运算结果会产生局部最大值。由于样本是周期性波形，模板向后运算的过程中，每经过一个运动周期就会产生一次“共振”，因此得出的自相关序列也是周期性的且周期等于所求的运动周期。自相关运算公式如下:

(5)

其中，G(x+i)代表样本D中第x+i时刻的实际信号值；T(i)代表自相关模板函数中i个的信号值；m代表模板的长度；f(x)代表采样函数中将第x(x=1，2，3，…，n-m+1)个数据作为序列起点，m作为序列长度的信号片段与信号模板T之间的相关度。

为了更加鲁棒地获取波峰，消除次波峰对周期求解的干扰，需对样本中的数据进行去均值和归一化处理:每次进行自相关分析之前，将样本中的数据与样本均值的k倍做差(0<=k<=1)，保留大于均值的数据并将小于均值的数据置零。去均值公式如下:

(6)

图5 等效运动能量减均值前后对比Fig. 5 Comparison of equivalent motion energy before and after subtraction

实验通过等效运动能量数据求取4种运动的周期。以图5中的正手攻球等效运动能量数据为例，经过一次自相关分析之后得到的自相关序列1(图6),不能直接求出相邻两个波峰时间戳之差，因此对该序列进行第二次自相关分析，得到自相关序列2如图7所示。

图6 归一化的自相关序列1Fig. 6 Normalized autocorrelation sequence 1

图7 归一化的自相关序列2Fig. 7 Normalized autocorrelation sequence 2

3.3 统计学特征

(7)

(8)

(9)

其中，其中ax,k,ay,k,az,k为一个窗体中第k个采样点得到的X，Y，Z3轴加速度信号；n为每个窗口采样点数。

(10)

(11)

(12)

合成加速度方差σ2的计算公式算式为

(13)

运动时，每个动作都被分解为3个方向，每个方向数据各不相同，两轴之间的相关系数表示两个轴之间的一维平移量[3]。3个方向加速度两两相关系数分别为

(14)

(15)

(16)

4 特征选择

初始的22个特征含有冗余特征，下一步要进行特征筛选。特征选择方法常见的有以下3类:过滤式(filter)、包裹式(wrapper)和嵌入式(embedding)。过滤式先选择特征后训练分类器，特征选择过程中没有考虑分类器的性能；包裹式直接把最终将要使用的分类器的性能作为特征子集的评价标准，需多次训练分类器，计算开销很大；而嵌入式将特征选择与分类器训练融合到同一个优化过程中，这样能够解决前两种方法存在的问题[10]。本文中在训练支持向量机、随机森林以及决策树时分别进行嵌入式特征选择，将3种算法共同筛选出的特异性特征用于之后的分类器优化和再训练。

4.1 嵌入式特征选择

嵌入式特征选择中，假设训练集D={(x1,y1),(x2,y2),(x3,y3),…,(xm,ym)}，对于每个示例xi，yi表示xi所属类别，实验只考虑线性回归模型，以平方误差为损失函数，则优化目标为

(17)

其中ω的每一个分量分别表示xi中的每一个特征所占的权重。由于特征多而样本数量相对较少，优化过程很容易出现过拟合，为了解决这个问题，对式(17)引入L1范式正则化项:

(18)

其中正则化参数λ>0。L1范式正则化能显著降低出现过拟合的概率，并且求得的ω有更少的非零分量，即稀疏解。

4.2 特征选择结果

特征选择时，若某个特征对应的ω具有全零分量，则认为这个特征是无关特征，并筛除它；否则，该特征就是相关特征。

表1列举了3种算法分别进行特征选择的结果，其中3种算法同时打勾的特征表示被选中，未同时打勾的特征表示未被选中。选出的10个特征能够从挥拍间隔、运动幅度、两轴之间的相关性3个方面表现出4种运动的差异性。

表1 特征选择结果Table 1 The results of feature selection

5 实验分析

第4节中选出了10个相关性较强的特征，使用这些特征构建出新的训练数据集和测试数据集，并将它们用于接下来的分类器训练。在本文选择的分类器中，支持向量机的计算复杂度取决于支持向量的数目，而不是样本空间的维度，在以往的小样本学习中表现出了良好的分类性能；决策树直观运用概率统计分析，易于通过静态测试对分类器进行评估，具有较强的鲁棒性；随机森林是决策树方法的集成和升级，它能够在处理高维数据的同时保持较快的训练速度。除了对以上3种分类器进行再次训练外，本文还采用了集成学习的思想对这3种分类器进行类似“投票”方式的组合，从而构建出一个新的集成分类器。

各分类器训练期间使用网格搜索算法进行参数调优，本实验最后通过测试数据集对4种分类器进行性能测试，分析比较出效果最佳的分类器。图8—图11分别为4种分类模型的混淆矩阵:

图8 SVM混淆矩阵Fig. 8 The confusion matrix of SVM

图9 决策树混淆矩阵Fig. 9 The confusion matrix of decision tree

图10 随机森林混淆矩阵Fig. 10 The confusion matrix of random forest

图11 集成学习混淆矩阵Fig. 11 The confusion matrix of ensemble learning

综合观察以上4个混淆矩阵可以发现，正手攻球和反手搓球两种运动的识别正确率比较高，而反手推球和正手搓球的识别精度较差，具体表现为反手推球有时会被误分类为正手攻球，而正手搓球有可能被误分类为正手攻球或反手搓球，其他几种运动也存在分类误差，但混淆率相对较低。图12展示了基于“投票”机制设计的集成分类器与3种简单分类器在4种挥拍运动上的识别准确率曲线图。

从测试结果可以看出，每种分类模型都是正手攻球和反手搓球的识别准确率较高，正手搓球次之，反手推球最低。总体分析来看，集成分类器的识别准确率都要高于其他3种分类模型，它的平均分类准确度达到了94.25%。

图12 4种分类器的识别准确率Fig. 12 Comparison of recognition accuracy of four classifiers

6 结束语

基于嵌入在手环中的MPU9250传感器，提出了一种乒乓球挥拍动作识别方案。首先通过对手环采集的运动数据进行加窗和滤波等预处理操作，基于X，Y和Z轴上的加速度数据计算每一时刻挥拍的等效运动能量，使用自相关分析算法对等效运动能量进行了周期求解；然后通过支持向量机、随机森林、决策树对不同运动提取的特征进行了筛选，挑选出特异性强的10个特征，并使用集成学习的思想构造一个用于分类挥拍动作的强分类器；最后通过测试数据集对支持向量机、随机森林、决策树和集成学习4种分类模型进行性能测试，并对结果进行分析比较。数据表明：集成分类器对4种挥球动作识别效果最好，平均准确率达到了94.25%。

本文陈述的用于周期计算的方法不仅可以用于文中提到的4种挥拍动作，还可以迁移计算其他周期性运动；同时，基于MPU9250传感器的运动识别方法，也可以推广到其他运动，例如走路、跑步、上下楼、羽毛球等。