基于穿戴式加速度传感器的手势识别系统

陈阳黄海鹏许望

（1.广东省科技基础条件平台中心 2.华南理工大学电子与信息学院）

基于穿戴式加速度传感器的手势识别系统

陈阳1黄海鹏2许望2

（1.广东省科技基础条件平台中心 2.华南理工大学电子与信息学院）

采用ez430-chronos智能手表作为开发平台，利用其内置功能，读取手部运动产生的加速度数据，并将其传送至处理器。对目标手势采集一定量的数据，同时采集同样量的负样本—人手的自然动作，比较二者不同之处，确定目标手势的特征，并利用该特征识别目标手势。实验结果表明：该系统对目标手势有较高识别率，而对负样本有较高的误识别率，但可以通过设定更详细的识别特征进行改善。

穿戴式设备；加速度传感器；手势识别

0 引言

近年来，可穿戴式计算机（又称可穿戴设备）越来越引起人们的重视，它带来了一种新的人机交互方式。目前已有Fitbit Flex表带、谷歌眼镜和三星智能手表Gear等设备面世。未来几年，可穿戴式电子产品将市场化，并影响或改变人们的日常生活。

手势交互是近几年人机交互领域的研究热点，与传统人机交互模式相比，基于手势的人机交互更自然便捷。目前，主流的手势识别方式为基于视觉的手势识别，但由于人手是复杂形变体，手势具有多样性、多义性以及时间和空间上的差异性等特点，因此基于视觉的手势识别难以取得突破性进展。同时，微型化、低功耗电子器件技术的飞速发展极大地推动了可穿戴设备的研究，基于加速度传感器的惯性测量单元几乎能嵌入到任何界面或设备中，直接测量手势动作信息。并且，移动计算技术的发展和普及也为实时手势识别提供了支撑环境。基于可穿戴传感器的手势交互逐步引起人们的重视[1]。

穿戴设备采用的智能传感技术涉及惯性传感、生物传感和环境传感等技术，能够实现运动跟踪、数据收集、信息传输等基本功能，使“人—设备—环境”间完成信息互动[2]。随着传感器集成性、功能性和智能化的提升，各种传感功能的融合将成为智能传感技术的研发方向。

1 基于加速度传感器的手势识别

加速度传感器是一种可测量加速力的电子器件，而加速度是空间矢量，在不能预知物体运动方向时，需用三轴加速度传感器来检测物体的加速度信号。同时三轴加速度传感器可以内置于大部分便携设备中，具有体积小、重量轻等特点。且通过携带加速度传感器的方式，可以更稳定地捕捉到人手动作，对手势的识别有更稳定的识别率[2]。

本文利用ez430-chronos智能手表内置的三轴加速度传感器，获取人手加速度信息，并基于软件平台CCS编辑与调试相关代码，实现对目标手势的识别。

2 系统设计

2.1 手势识别系统结构

基于穿戴式加速度传感器的手势识别系统结构如图1所示。可穿戴数据采集模块佩戴在主手腕上，ez430-chronos内置的三轴加速度传感器采集手势动作信号。

图1 基于穿戴式加速度传感器的手势识别系统结构

当加速度传感器感知到手部的三维活动时，获取的加速度信号通过RF传输至处理终端，经过活动窗口检测、特征提取和手势动作识别转换为手势信息，再变化为终端命令[3]。

2.2 手势选取

人的手势多种多样，而实验需选取一种能让系统识别出的手势，该种手势应具有一定规律且不能过于简单，否则易与人体自然动作混淆。为此，本文将圆圈、三角形、直线作为手势轨迹候选。

圆圈，作为曲线运动的轨迹，虽能够较好地区别于其他自然动作，但根据采集的数据并未发现其固定的特征。

三角形轨迹，全由直线轨迹构成，虽然比圆的曲线更易于分辨，但实际操作时，轨迹可能有较大的分离，导致轨迹并非正确的三角形，因此这一类手势也难以识别。

图2(a) 向右手势x轴加速度值变化

图2(b) 向右手势y轴加速度值变化

图2(c) 向右手势z轴加速度值变化

直线轨迹，相对于圆圈、三角形等复杂组合的轨迹，直线仅在一条线上运动，其特征十分鲜明，唯一的缺点是该动作在自然活动中也容易产生，不易区分。然而综合考虑其优点，最终选用直线轨迹作为目标手势，并尝试用更大的动作将其与自然动作区别开来。

2.3 数据采集

ez430-chronos提供电脑接口，使用Matlab对加速度数据进行读取。首先，人手做一个快速向右甩动的动作，并采集该动作的加速度数据，进行观察，结果如图2(a)～图2(c)所示；然后再做出向左甩动手部的手势，再次进行数据采集，其结果如图3(a)～图3(c)所示。

图3(a) 向左手势x轴加速度值变化

图3(b) 向左手势y轴加速度值变化

图3(c) 向左手势z轴加速度值变化

通过对两组数据的比较，可发现它们在y轴和z轴上有相似的加速度数据，且在x轴上呈现完全相反的数据值，故可直接通过x轴上的数据特征区分手势动作的左右方向。不难发现，向右甩手，x轴先后产生1个正的加速度数值与1个负的数值，负的数值是手势完成后手往回拉所致，且回拉在手势中是必然生成的且十分自然。于是，将先1个正脉冲而后1个负脉冲作为这一手势的特征，向左的手势特征则正好相反，为先1个负脉冲而后1个正脉冲。

随后，让手部进行随意摆动，采集负样本，并观察其加速度值变化的图像，结果如图4(a)～图4(c)所示

图4(a) 负样本x轴加速度值变化

图4(b) 负样本y轴加速度值变化

图4(c) 负样本z轴加速度值变化

对比数据可发现，在自然状态下做出的动作，因无故意的发力，加速度数值较小，很少超过100，几乎都不超过120。而在有意识使力状态下，产生的加速度数值基本在120以上，因此选择120的数值作为区分目标手势和其他随意手势的阈值。

2.4 算法设定

将读取到的加速度数据存入一个1000×3的数组中，并逐个读取其中的数值，这里选取120作为识别横向甩手动作的阈值。当x轴上加速度值大于阈值时，判断目标手势已出现，并根据数值本身的正负判断其方向，即可对目标手势做出识别。

3 系统整体测试

3.1 取样与处理

为检测系统能否实现设计的功能，需对手表进行手势数据分析，在手上佩戴智能手表，进行一定次数的手势动作并记录每次的加速度数据，该套动作包含方向向左、向右的目标手势以及非目标手势，各个动作均采集100个样本。

系统对数据进行处理，并记录各个数据处理的结果，将结果与原手势进行比较，看是否相符。若不符合，则将其记录下来。最终通过出错的样本数除以总样本数，得出系统的误识别率，分析可能造成系统误识别的原因，并对系统进行改进以降低误识别率。

3.2 结果分析

本次实验采集的向左、向右的目标手势以及负样本的数据各100组，共计300组，系统分别进行识别，并记录识别错误的样本，得到结果如表1所示。

表1 实验一手势识别情况

方向向右目标手势组：经过系统的分析处理，100组样本中，有7组被错误识别，误识别率为7%。分析错误的样本数据发现，错误原因可能是向右挥手时动作过慢，导致未能识别出向右的加速度，而收手时加速度超出阈值导致系统误认为手势为向左边挥动；或是手势挥动力度不足，导致加速度值不够大，未被系统识别。要防止此类错误，还需加强判定条件，以识别出更明确的手势特征，提高识别率。

方向向左目标手势组：经过系统的分析处理，100组样本中，有11组被错误识别，误识别率为11%。分析错误样本数据发现，错误原因基本同上，而错误样本较向右目标手势组多的原因，可能是使用右手作向右目标手势和作向左目标手势动作的差异造成，实验中智能手表佩戴于右手腕，这使手向右甩时能比向左甩更为有力平稳。

负样本组：经过系统的分析处理，100组样本中，有15组被错误识别，误识别率为15%，相对较高。分析错误的样本数据发现，错误的样本数据中都有一瞬间加速度值超过了阈值，所以被系统识别为目标手势，原因可能是负样本所代表的手势无固定轨迹。为使结果更全面，采集的数据包括了大幅度、小幅度和静止动作。而在大幅度动作中，手臂与胳膊均参与动作，虽无使劲，但处于手部末端的手腕仍能获得较大的线速度，从而在判定区间产生超过阈值的加速度值，被系统误识别为目标手势。

要提高系统对负样本的识别率，需使用更严谨的条件。通过观察手势的加速度值变化图像可以发现，目标手势图像除了在做出手势时会产生一个高峰值，收回时也会反向生成一个高峰值，根据这点将筛选条件增加为识别到超出阈值的加速度，在另一方向设置阈值检测反向加速度值，当都检测到后，则判断为目标手势。使用这种方法，对300组样本再次进行处理与记录，结果如表2所示。

表2 实验二手势识别情况

负样本100组中，只有3组被误识别，误识别率3%，误识别率有明显下降。

方向向右目标手势100组中，共有14组数据被错误识别，误识别率14%。

方向向左目标手势100组中，共有17组数据被错误识别，误识别率17%。

比较2次结果可以发现：当识别手势的条件更加严格后，虽能大量筛去负样本，即一些自然的、无意识的手势动作，但目标手势却更难以被系统识别。因为目标手势的回收动作并非下意识的，较之挥出不容易产生足以超出阈值的反向加速度。

对此，再次进行改进，对反向加速度的检测取更小的阈值，这里取100，并进行再一次的处理与记录，结果如表3所示。

表3 实验三手势识别情况

方向向右目标手势100组中，共有10组数据被错误识别，误识别率10%。

方向向左目标手势100组中，共有11组数据被错误识别，误识别率11%。

负样本100组中，有5组被误识别，误识别率为5%，维持在较低水平。

改进方法后，负样本识别率虽略有升高，但系统对目标手势的识别率有着更为明显的改善。

4 结论

基于加速度传感器的手势识别较基于图像处理的手势识别方法，具有更稳定、更便携的特点。本文利用ez430-chronos智能手表内置的三轴传感器进行手势加速度的采集，通过对采集的数据进行比较、观察，分析出各种不同手势之间的特征差别，并以此决定分辨手势的方法。实验结果表明：该系统对目标手势有较高识别率；而对负样本有较高的误识别率，但可以通过设定更详细的识别特征进行改善。

[1] 刘蓉,刘明.基于三轴加速度传感器的手势识别[J].计算机工程,2011,37(24):141-143.

[2] 李扬.新一代智能终端—可穿戴设备[J].高科技与产业化,2013,12(10):33-36.

[3] 周谊成,尤树华,王辉.基于三维加速度的连续手势识别[J].计算机与数字工程,2012,40(10):133-136.

Gesture Recognition System Based on Wearable Accelerometer

Chen Yang1Huang Haipeng1Xu Wang2

(1. Guangdong Science & Technology Infrastructure Center 2.School of Electronic and Information Engineering, South China University of Technology)

The ez430-chronos of Texas Instrument is used for the ez430-chronos has acceleration sensor and RF access point itself. The data of gesture can be simply read and send to the computer. A number of data made from both the gestures which makes sense and just is done naturally can be collected. The difference between those gestures can be found out, and the gestures we need and associate them with some commands can be recognized. It is proved that this system can recognize aim gesture with higher accuracy, the gestures without related causes more mistakes. The system can be improved by changing the way in recognition.

Wearable Devices; Acceleration Sensor; Gesture Recognition

陈阳，男，1984年生，本科生，研究方向：计算机、电子信息技术应用研究。E-mail: gdcc_chenyang@foxmail.com

黄海鹏，男，1992年生，研究方向：信号与信息处理。

许望，女，1994年生，在读本科生，研究方向：信号与信息处理。