基于加速度传感器的连续动态手势识别*

陈鹏展， 罗　漫， 李　杰

(华东交通大学 电气与电子工程学院，江西 南昌 330013)



基于加速度传感器的连续动态手势识别*

陈鹏展， 罗漫， 李杰

(华东交通大学 电气与电子工程学院，江西 南昌 330013)

摘要:针对个体手势动作信号的差异性和不稳定性,提出了一种基于加速度传感器的连续动态手势识别方法。通过MEMS加速度传感器采集手势动作信号，并结合手势信号的动作特征，对单个手势的有效数据进行自动定位截取，经预处理和特征提取后，构建隐马尔可夫模型(HMM)以实现对特定手势的实时识别。通过设计实现了一种可穿戴手势信号采集硬件原型系统，对10类手势的1000个手势数据进行识别对比实验，统计结果表明：该方法可以对连续手势进行实时有效的识别。

关键词:动态手势识别； 加速度传感器； 隐马尔可夫模型； 特征提取

0引言

随着手机、电视和PDA等智能电子设备的出现，使得基于键盘、鼠标和触摸屏的人机交互方式的不便性日益凸显，这三种方式都限制了用户的操作空间，降低了交互体验和效率，如何使人机间的交互方式能够更自由化和人本化越来越重要。手势作为日常生活中人们广泛使用的一种自然而直观、易于学习和高效的交流方式，有很强的表意能力，因此,被逐步引入到人机交互通道中，成为了当前交互研究的热点。

目前,关于手势识别的研究主要以基于计算机视觉为主，然而通过该方法获取的的手势信号数据量大，识别算法复杂，同时对背景、光线等外部环境依赖性强，并不太适合动态实时识别。随着微机电系统技术和移动智能计算技术的不断发展与成熟，内嵌加速度传感器的电子设备可直接用于手势动作信息的测量，为手势识别带来了新的基础工具和应用环境[1～3]。

基于加速度传感器的手势识别技术本质是通过手势动作时的加速度数据来识别手势意图，国内外的一些研究机构早从20世纪90年代就开始着力研究，文献[4]主要给出了加速度信号特征的两种提取方法：小波分析与傅立叶变换，并对不同提取方法的识别结果进行了实验比较。文献[5，6]采用动态时间规整(dynamic time warping,DTW)技术对手势数据进行学习和测试。文献[7]利用采集的手势加速度信号进行了分类实验。

由于手势动作与个体相关，相同手势的加速度信号(幅度、长度等)存在较大差异[8,9]，通过以上方法获取的动态手势特征参数准确率低，构建的识别模型实时性差且适用范围有限。为此，本文提出了可自动截取手势有效加速度数据和隐马尔可夫模型(hidden Markov model,HMM)相结合的方法来对手势进行实时识别，以提升系统对个体差异的适应性，增强连续动态手势输入的实时性。

1系统流程

系统流程如图1所示。首先，用户佩戴加速度传感器设备采集手部动作的加速度信号，经过高通滤波和归一化等预处理后发送给智能主机端(PC)；数据经过特征提取等后期处理后作为HMM学习模型的训练样本，在完成训练之后，学习模型即可对用户的特定手势进行有效的识别，并可将手势识别结果与计算机操作指令相结合来完成一些人机交互应用。

图1　系统流程Fig 1　System flow chart

2手势识别算法

2.1信号截取

为了实现对动态手势信号的准确切分，第一步需让系统能够准确监测手势动作的开始与结束，以便抓取有效的单个手势信号数据段。

图2为手势动作和静止时的加速度信号，用(x,y,z)表示X,Y,Z三个轴的加速度信号，记t时刻加速度计的值s(t)=(x(t),y(t),z(t))为手势动作产生的加速度信号量。当手动作时，采集的三轴加速度计原始值变化剧烈(虚线框内);反之，则波动较小。为了监测判断手势动作的起点和终点，采用式(1)，即门限阈值和信号差分运算来凸显加速度的变化量，以便自动截取手势的有效数据

Δst=|x(t)-x(t-1)|+|y(t)-y(t-1)|+

|z(t)-z(t-1)|.

(1)

图2　动作信号Fig 2　Motion signal

同时,为了尽量滤除噪声和确保手势数据的完整性，取N个采样数据的差分运算结果进行均值计算，并分别设置两个阈值：Start,End，对应活动的开始与结束，且开始阈值大于结束阈值，如图3所示。

图3　定位检测Fig 3　Localization detection

在对手势有效动作进行识别过程中，自动截取的加速度数据可能包含了用户误操作，如轻微的抖动和手姿态的转变。为了提高识别精度和效率，必须去除这些干扰信号，通过对连续手势运动特性和实验的采样频率的分析，定义当截取的手势数据样本长度大于80时为有效手势，否则,作为误操作数据去除。

2.2数据预处理

由于所测量的三轴加速度数据包含了重力信息，且每个轴受重力分量的影响随手势动作状态而相应变化，为了更准确地反映手势动作信号，使用高通滤波去除重力分量，得出净加速度信号A(t)=(x(t),y(t),z(t))。另外，鉴于人手动作的差异性，不同个体做相同动作时加速度信号幅度和速度各不相同，这将会对识别精度造成影响，因此,通过式(2)和线性插值的方法对加速度信号进行归一化处理，如图4所示。

图4　预处理Fig 4　Preprocessing

(2)

2.3手势动作特征提取

特征提取决定了手势识别的正确率，提取的特征参数必须能有效反映手势动作特性，根据连续动态手势识别的适应性和实时性的要求，采用提取样本均值方法来计算手势样本的特征表示，以缩减识别算法复杂度，满足系统的实时性要求,即将单个手势动作的加速度数据样本分割成若干段，每段取L个样本点，通过式(3)提取每段数据的样本均值(mean)作为手势动作的关键特征

(3)

式中s(i),L分别为第i时刻手势信号分割段中的样本值和分割段样本长度。

2.4手势识别

HMM被广泛应用于时序序列的数据建模，已在语音识别领域取得了巨大成功，它的状态是由观测向量序列的结果产生，并不能直接观察到，且每个观测向量都是由一个状态时序序列产生，并通过概率密度分布表示为相应状态。一个HMM可由λ=(S，O，A，B，π)来描述，亦可简写为λ=(A,B,π)，其中,S为隐含状态集合，O为观测状态集合，A为隐含状态的转移概率矩阵，B为观测状态概率分布，π为初始状态概率分布向量。鉴于加速度数据也是时序序列，因此，选用HMM作为手势动作识别模型。

本文的连续动态手势识别技术依赖于HMM中学习、解码和评估问题的求解算法，其主要步骤分为以下4步：

1)手势定义

在系统中定义有意义的手势，将(0～9)阿拉伯数字的各自书写动作定位为有效手势，并确定其书写规范。

2)手势建模

鉴于加速度数据的时序性，选用Bakis类型HMM分别对各个手势动作进行建模，并初始化模型参数λi=(A，B，π)。

3)手势动作模型训练

分别反复采集各个手势动作信号的数据，并利用Baum-Welch算法来对手势模型λi进行训练，使模型参数尽可能趋于收敛，得出对应手势的最优λi。

4)手势识别

选用Viterbi算法作为各个手势对应的HMM识别方法，即将输入手势的加速度特征序列分别与训练好的λi进行计算评估，取其概率输出最大的λi为对应手势动作的识别结果。

3实验与分析

为了验证算法的有效性，设计了一个可穿戴手势信号采集硬件原型，该原型将采集的数据通过无线发送给PC端进行识别处理，主要由六轴运动传感器MPU6050和超低功耗的无线微处理器nRF51822组成，设备采用3 V锂电池供电。MPU6050整合了三轴陀螺仪和三轴加速器，其加速度计测量范围动态可编程，实验中,量程选±2gn，采样频率为125 Hz。用户佩戴可穿戴设备以预订的书写规范在自由空间中完成对10个阿拉伯数字(0～9)的书写动作，训练者各操作80次用于手势模型训练，测试者各操作100次用于评估系统对动态手势识别的精度和实时性。

图5为阿拉伯数字6和7的手势动作轨迹，黑点为手势起点，箭头为手势的轨迹方向，图6为数字6,7先后连续手势动作的加速度原始信号。

图5　动作轨迹Fig 5　Motion trajectory

图6　原始信号Fig 6　Original signal

图7和图8分别为连续动作手势(6,7)经自定位截取并预处理后的加速度数据。

图7　数字6的手势数据Fig 7　Gesture data of digital 6

图8　数字7的手势数据Fig 8　Gesture data of digital 7

统计结果如表1所示，竖排表示输入手势(0～9)，横排表示输入手势对应的识别结果，实验表明:所构建的识别算法能对连续动态手势的有效数据进行自动截取和识别，且准确率达到了94.8 %。

4结束语

通过自定位有效手势加速度数据和HMM相结合的方法来对手势进行实时检测识别，因构建的识别算法简单有效，具有较强的适应性，有效解决了连续输入和个体差异性对手势识别结果的影响。但该方法对于旋转或速度缓慢的手势动作识别率较不高，今后可将陀螺仪传感器引入到手势识别中，解决手势旋转的问题，从而提高识别精度。

表1　识别混淆矩阵

参考文献:

[1]Mannini A,Sabatini A M.Machine learning methods for classifying human physical activity from on-body accelerometer-s[J].Sensors,2010,10(2):1154-1175.

[2]李国峰,王锦,张勇,等.基于MEMS加速度传感器的智能输入系统[J].传感技术学报,2009,22(5):643-646.

[3]Schlomer T,Poppinga B,Henze N,et al.Gesture recognition with a wii controller[C]∥Proceedings of the 2nd International Conference on Tangible and Embedded Interaction,New York:ACM,2008:11-14.

[4]He Z,Jin L,Zhen L,et al.Gesture recognition based on 3D accelerometer for cell phones interaction[C]∥IEEE Asia Pacific Conference on Circuits and Systems,APCCAS 2008,IEEE,2008:217-220.

[5]Akl A,Feng C,Valaee S.A novel accelerometer-based gesture recognition system[J].IEEE Transactions on Signal Processing,2011,59(12):6197-6205.

[6]王尧,孙子文,周治平.一种基于手机加速度传感器的三维手势身份认证方法[J].传感器与微系统,2014,33(8):37-40.

[7]孔俊其.基于三维加速度传感器的手势识别及交互模型研究[D].苏州:苏州大学,2009.

[8]陈意,杨平,陈旭光.一种基于加速度特征提取的手势识别方法[J].传感技术学报,2012,25(8):1073-1078.

[9]Cho S J,Choi E S,Bang W C,et al.Two-stage recognition of raw acceleration signals for 3D gesture-understanding cell phones[C]∥Proc of the Tenth International Workshop on Frontiers in Handwriting Recognition,Nijmegen,Netherlands,2006:3854-3859.

陈鹏展(1975-),男，湖北武穴人，博士,副教授,主要研究方向为网络人机交互控制系统、汽车电子控制、伺服驱动控制。

Continuous dynamic gesture recognition based on acceleration sensor*

CHEN Peng-zhan, LUO Man, LI Jie

(College of Electrical and Electronic Engineering,East China Jiaotong University,Nanchang 330013,China)

Abstract:Aiming at differences and instability of individual gestures signal,a continuous dynamic gesture recognition method based on acceleration sensor is proposed.The method utilizes MEMS acceleration sensor to capture gesture acceleration signal,according to the features of gesture signal,valid data of single gesture is automatically located and intercepted,after pre-processing and features extraction hidden Markov models(HMM) to real-time identify specific gesture.A wearable gesture signal acquisition hardware prototype system is realized through design,1000 data of 10 types of gesture is selected to conducte the identification and comparative experiment,statistical results show that the method can identify continuous gesture in real-time and effectively.

Key words:dynamic gesture recognition； acceleration sensor； hidden Markov models(HMM)； feature extraction

作者简介:

中图分类号:TP 391

文献标识码:A

文章编号:1000—9787(2016)01—0039—04

*基金项目：国家自然科学基金资助项目 (61164011);江西省自然科学基金资助项目(20114BAB201023)

收稿日期：2015—03—09

DOI:10.13873/J.1000—9787(2016)01—0039—04