加速度数据特征在人体行为识别中的应用研究

卢先领，王洪斌，王莹莹，徐 仙

(江南大学 a. 轻工过程先进控制国家教育部重点实验室；b. 物联网工程学院，江苏 无锡 2141 22)

加速度数据特征在人体行为识别中的应用研究

卢先领a,b，王洪斌a,b，王莹莹b，徐 仙b

(江南大学 a. 轻工过程先进控制国家教育部重点实验室；b. 物联网工程学院，江苏 无锡 2141 22)

为提高基于加速度传感器的人体行为识别率，提出2种新的加速度数据特征。一种通过计算加速度矢量与重力方向夹角的小波能量来揭示加速度方向变化的本质，从时频分析的角度区分不同行为；另一种提取加速度数据重排后的关键点连线斜率，突出数据的差异和分布特点。将上述2种特征与常用的6种特征相结合，训练基于支持向量机的多类分类器，对7种日常行为进行识别。检测结果表明，独立检测法和留一交叉检测法对7种行为的平均识别率分别可达92.70%和95.08%。

加速度传感器；人体行为；数据特征；小波能量；斜率；支持向量机

1 概述

随着普适计算的深入研究，高正确率的人体行为识别作为普适计算的研究重点已经得到越来越多人的重视。而微机电系统的迅速发展，使各种类型的传感器用于人体行为识别成为可能[1]。在众多类型的传感器中，加速度传感器不仅具有高精度、低成本、便于携带等优点，而且弥补了基于计算机视觉方法[2-3]的监控范围局限、受环境变量影响较大等缺陷，应用范围越来越广。

近年来，不少研究人员采用单个加速度传感器识别人体行为取得了较好的成果。但对上楼和下楼的区分并不理想，文献[4]采用KNN作为分类器时，上楼和下楼的识别率为69.57%和47.83%，采用J48作为分类器时，两者的识别率仅为52.63%和36.84%。在文献[5]中，19个下楼行为全部识别错误，21个上楼行为仅有9个识别正确，作者也明确表示上、下楼的识别难度较大。文献[6]针对这一问题采用小波能量和四分位间距获得了比较理想的结果，但并没有加入其他行为进行研究。提取加速度数据特征是行为识别的重点，常用特征有均值[7-8]、方差或标准差[7-8]、传感器任意两轴数据的相关系数[8]、快速傅里叶变换(Fast F ourier Transform, F FT)系数[8]和基于功率谱密度(Power S pectral Density, PSD)振幅的均值和标准差等[9]。此外，不少研究采用新颖的特征来提高识别率，文献[10]提出一种基于AR模型的特征，对4种行为的平均识别率可达92.25%，文献[11]提出一种失重特征，进一步提高了上述4种行为的识别率。但是这2种方法的识别行为较少，应用范围受到局限。

本文在常用的6种时频特征的基础上添加了2种新颖特征，对7种日常行为进行识别。

2 特征提取和分类器构建

2.1 加速度数据采集和加窗处理

本文以Freescale公司生产的MMA7361L三轴加速度传感器为核心进行数据采集，采样频率设定为100 H z，灵敏度设置为–6.0 g～+6.0 g。传感器的Y轴竖直向下，X轴和Z轴分别指向人体侧方和前方，传感器模块放置于人体腰腹位置，如图1所示。为了满足系统实时性的要求，对传感器每一轴数据进行加窗处理，本文选用的窗长为512，相邻窗有256个数据重复，这种50%的重叠率被广泛应用，因此，采集一个窗口数据所需时间为5.12 s。

图1 加速度数据采集模块放置位置示意图

2.2 特征提取

2.2.1 基于角度的小波能量提取

人在运动过程中，传感器三轴的测量值包含了重力加速度，去除重力加速度后的真实值不仅体现了加速度的大小，还提供了加速度的方向信息。由于重力方向不变，加速度矢量的真实值与重力方向夹角的小波能量(Wavelet Energy, W E)(简称基于角度的小波能量)可以揭示出运动过程中加速度方向变化的本质，对包含上、下楼在内的多种行为有较强的区分能力。

根据图1所示的传感器三轴位置关系，人在静止站立时，传感器只受重力影响，计算此时X, Y和Z轴输出数据的平均值Xo,Yo和Zo，即可得到重力加速度，矢量表示为G=(Xo,Yo, Zo)。设Xi, Yi和Zi分别为传感器三轴第i个采样数据，则Mi=(Xi, Yi, Zi)表示传感器的第i个测量值，故加速度矢量第i个真实值可估算为Mi-G。根据矢量运算法则，采集第i个数据时的真实值和重力方向之间的夹角估算为(t为极小的正实数，以保证分母不为0)：

小波能量等于信号经过小波分解后细节分量系数的平方和[6]，设lϕ为第l个窗内iθ的集合，选择db5小波作为母小波，对lϕ进行8层分解，提取第7层和第8层细节分量系数，计算小波能量。

其中，cdϕlk表示对lϕ进行小波分解后第k层细节分量系数；WEl为第l个窗基于角度的小波能量值。

选择4个实验者上、下楼时的7个连续窗数据，计算基于角度的小波能量，结果如图2所示。由于上、下楼时加速度矢量与重力方向夹角的变化频率存在差异，基于角度的小波能量区别明显。此外，通过实验发现，基于角度的小波能量对上楼和行走、下楼和行走、上楼和骑脚踏车都有不同程度的区分能力，但是并不适用于行走和跑步以及下楼和骑脚踏车的区分。

图2 上下楼基于角度的小波能量值

在图3(a)和图3(b)中，行走和跑步以及下楼和骑脚踏车基于角度的小波能量出现了混淆，仅采用这一特征并不能对上述4种行为进行区分。

随着信息技术的不断发展与升级，“微媒体”得到迅速发展，媒体传播已经告别了传统的传播方式，进入了全新的“微时代”。而且“微媒体”具有着这个时代得天独厚的优势，它的信息具有开放性、资源也具有高度的共享性、信息传播的途径更为广泛而且没有门槛限制。因为他独有的多元化、高效率、低门槛、灵活性受到广大群众的青睐。而作为当代的大学生，可以通过“微媒体”来填补自己精神层面的缺失，也可以利用它独特优势来宣传积极正能量的事情，通过这样的方式来不断培养自己的精神文明。

图3 不同行为之间的混淆

2.2.2 关键点连线斜率的提取

将竖直方向的加速度数据按照从小到大的顺序重新排列后，计算某些点的连线斜率(简称关键点连线斜率)不仅可以排除异常值和极值的影响，突出数据分布特点，还能体现出人体运动的剧烈程度，解决行走和跑步以及下楼和骑脚踏车混淆的问题。

表1 5组连线斜率及混淆行为的差异值

在表1中，为了使混淆行为之间的差异最大化，应选择差异值较大时的数据点作为关键点，计算K值。drun-walk的最大值出现在第3组数据中，而ddownstairs-cycle的最大值出现在第1组数据中，但是两者的第二大值同时出现在第2组数据中。为了保证较大的区分度和算法的统一性，选择第2组中的m, n作为关键点位置，即数据重排后一个窗内的第50个和第462个数据点作为关键点。计算4种行为连续7个窗的关键点连线斜率，经规范化后，如图4所示。

图4 4种行为的关键点连线斜率

在图4(a)中，由于跑步和行走的运动剧烈程度不同，两者的关键点连线斜率区别明显。在图4(b)中，虽然两者数值接近，但下楼的关键点连线斜率大于骑脚踏车，两者不再混淆。

2.2.3 6种常用时频特征

为了进一步提高识别率，除了基于角度的小波能量和关键点连线斜率外，还对每个窗口数据提取了均值、标准差、传感器任意两轴数据的相关系数、FFT前32维系数、基于PSD振幅的均值和标准差6种特征。其中，时域特征包括均值、标准差、任意两轴数据的相关系数；频域特征有FFT前32维系数、基于PSD振幅的均值和标准差。FFT的第1维系数是信号的直流分量，与均值重复，实际仅提取剩下的31维FFT系数。

2.3 基于SVM的多类分类器

3 实验设计与结果分析

3.1 实验设置

本文在Matlab环境下对数据进行仿真处理。选择10个实验者(5名男性，5名女性)佩戴加速度数据采集模块并按照各自的习惯完成7种日常行为(上楼、下楼、站立、行走、躺卧、骑脚踏车和跑步)，每种行为的持续时间不少于3 min，选择其中的2 min数据进行实验。传感器的采样频率为100 H z，每一轴可采集12 00 0个数据，共有45个窗，计算每一个窗的多种特征构成实验样本，则每种行为有450个样本。采用独立检测法时，随机选择其中315个作为训练样本，剩下的135个作为测试样本。采用留一交叉检测法时，将所有实验样本分成5个子集，轮流将每个子集作为测试样本，剩下的4个作为训练样本，则训练样本和测试样本分别包含360个和90个样本。

3.2 检测效果和分析

为了验证本文提出2种特征的有效性，将全部特征分成3组，第1组为2.2.3节中常用的6种特征集合；第2组包含第1组的所有特征并添加了基于角度的小波能量，共7种特征；第3组包含了第2组的所有特征并添加了关键点连线斜率，共8种特征，也是全部的特征集合。

利用上述3组特征集分别训练SVM，并对7种行为进行识别，采用独立检测法和留一交叉检测法的平均识别率如图5和图6所示。

图5 独立检测的识别结果

图6 留一交叉检测的识别结果

在2种检测方法中，加入基于角度的小波能量后，多种行为的识别率有不同程度的提高。从图5(a)和图6(a)中可知，上楼的识别率提高了14.81%和14.45%，在图5(b)和图6(b)中，下楼的识别率提高了30.37%和29.96%。加入关键点连线斜率后，突出了运动的剧烈程度和数据的分布特点，行走和跑步的识别率大幅增长，下楼和骑脚踏车也得到了进一步的区分。在最终结果中，与未添加2种特征相比，如图5(b)和图6(b)、图5(d)和图6(d)、图5(f)和图6(f)以及图5(g)和图6(g)所示，行走的识别率增长了9.63%和12.22%，跑步的识别率增长了20.74%和21.11%，下楼的识别率增长了40%和43.3%，而骑脚踏车的识别率增长了17.04%和18.89%，效果令人满意。此外，在站立和躺卧2种静止行为的识别中，由于加速度变化较小，识别难度低，如图5(c)和图5(e)、图6(c)和图6(e)所示，测试样本全部识别正确。因此，基于角度的小波能量和关键点连线斜率可以有效提高多种人体行为的识别率。

3.3 识别结果

将基于角度的小波能量和关键点连线斜率与常用的6种特征结合，对7种人体行为进行识别，采用2种检测方法的混淆矩阵如图7所示。矩阵中“/”前面和后面的数字分别表示采用独立检测和留一交叉检测时被识别的测试样本个数。

图7 7种行为的混淆矩阵

在图7中，上楼虽然有小部分与骑脚踏车和行走混淆，但是和下楼的区分明显，两者仅有个别测试样本发生混淆。在下楼和骑脚踏车的识别方面，135个测试样本分别仅有19个和16个出现混淆，而90个测试样本也仅有12个和6个识别出错，正确率得到了改善。另外，在采用留一交叉检测法识别行走时，90个测试样本全部正确。除此之外，由于躺卧和站立2种静止行为的识别难度较低，采用本文的8种特征，2种检测结果均全部正确。最终识别结果显示，采用2种检测方法对7种行为的平均识别率分别可达92.70%和95.08%。

4 结束语

本文采用单个加速度传感器识别人体行为，提出了2种新的加速度数据特征：基于角度的小波能量和关键点连线斜率，从时频分析和数值差异角度区分不同行为。采用独立检测法和留一交叉检测法的结果表明了添加2种特征的有效性，最终识别率高达90%以上。今后将进一步研究优化特征集和构建分类器的方法，提高行为识别的正确率。

[1] Li Ming, V iktor R, G autam T, et al. Multimodal Physical Activity Recog nition by Fusing T emporal and Cepstral Information[J]. IEEE T ransactions on Ne ural Sy stems and Rehabilitation Engineering, 2010, 18(4): 1-10.

[2] 胡 石, 梅 雪. 人体行为动作的形状轮廓特征提取及识别[J]. 计算机工程, 2012, 38(2): 198-200.

[3] 梅 雪, 张继法, 许松松, 等. 基于运动方向的视角无关行为识别方法[J]. 计算机工程, 2012, 38(15): 159-161, 165.

[4] Maquire D, Frisby R. Comparison of Featu re Classification Algorithms for Activity R ecognition Based on Accelerometer and Heart Rate Data[C]//Proc. of the 9th IT & T Conference. Dublin, Ireland: Dublin Institute of Technology Press, 2009.

[5] Ravi N, Da ndekar N, Mysore P, et al. Activity Recognition from Accelerometer Data[C]//Proc. of the 17th Conference on Innovative Applications of Artific ial Intelligence. Pittsburgh, USA: AAAI Press, 2005: 1541-1546.

[6] Xue Yang, Jin Lianwen. Discrimination Between Upstairs and Downstairs Bas ed on Ac celerometer[J]. Emer ging T echnologies of Ubiquitous Com puting Systems, 20 11, 94(6): 1173-1177.

[7] Jennifer R K, Gary M W, Samuel A M. Activity Recognition Using Cell Phone Accelerom eters[J]. ACM SIGKDD Exploration Newsletter, 2010, 12(2): 74-82.

[8] Preece S J, Goulermas J Y, Kenney L P J, et al. A Comparison of Feature Extraction Methods for the Classification of Dynamic Activities from Accelerometer D ata[J]. IEEE Transactions on Biomedical Engineering, 2009, 56(3): 871-879.

[9] Yang Jie, Wang Shuangquan, Chen Ningjiang, et al. Wearable Accelerometer Based Extendable Activity Recognition System[C]//Proc. of IEEE International Conf erence on Robotics and Automation. Anchorage, USA: IEEE Press, 2010: 3641-3647.

[10] He Zhe nyu, Jin Lianwen. Activity Recognition from Acceleration D ata Using AR Model Representation and SV M[C]// Proc. of International Conference on Machine Learning and Cybernetics. [S. l.]: IEEE Press, 2008: 2245-2250.

[11] He Zhenyu, Liu Zhibin, Jin Lian wen, et al. W eightlessness Feature——A Novel Fe ature for Single Tri-axial Accelerometer B ased Activity R ecognition[C]//Proc. of Int ernational Conference on Pattern Recognition. Tampa, USA: IEEE Press, 2008: 1-4.

编辑 顾逸斐

Application Research on Acceleration Data Features in Human Behavior Recognition

LU Xian-linga,b, WANG Hong-bina,b, WANG Ying-yingb, XU Xianb

(a. Key Laboratory of Light Industry Advanced Process Control, Ministry of Education; b. School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China)

Two novel features for acceleration data are applied to improve recognition accuracy of human activities. One feature uncovers the essential of acceleration direction by calculating the Wavelet Energy(WE) of angle between acceleration vector and gravity direction, and distinguishes different activities from time-frequency analysis. The other feature extracts from the slope of ke y points connection after acceleration data are rearranged, which highlights the dif ference and distribution of acceleration data. The t wo novel features can b e combined with the six traditional widely used features to constitute feature sets, which allows to train the multi-class c lassifier based on Support Vector Machine(SVM), and to identify seven Activities of Daily Living(ADL). Two test results show that the average recognition accuracy of independent test method and leave one out cross test method can reach 92.70% and 95.08% respectively.

acceleration sensor; human behavior; data feature; Wavelet Energy(WE); slope; Support Vector Machine(SVM)

10.3969/j.issn.1000-3428.2014.05.037

中央高校基本科研业务费专项基金资助项目(JUSRP21129)；江苏高校优势学科建设工程基金资助项目。

卢先领(1972－)，男，副教授、博士，主研方向：行为识别，无线传感器网络；王洪斌、王莹莹、徐 仙，硕士研究生。

2013-03-13

2013-05-06E-mail：jnluxl@gmail.com

1000-3428(2014)05-0178-05

A

TP75