基于三维轨迹的相似手势识别研究

陈燕湄，罗兵（五邑大学 信息工程学院，广东 江门 529020）

基于三维轨迹的相似手势识别研究

陈燕湄，罗兵
（五邑大学 信息工程学院，广东 江门 529020）

为解决动态手势识别中相似手势识别率不高的问题，本文开发了基于Leap Motion设备的动态手势识别系统，即对采集到的所有动态手势的三维运动轨迹数据预处理后，以运动角为固定特征通过HMM模型区分出非相似与相似手势；对于相似手势，设计了基于角点数、子区域百分比、角点序号百分比、轨迹区域长宽比的二次识别系统.验证试验表明，相似手势的最终识别率高达92.56%，二次识别的平均识别率比基于HMM一次识别的平均识别率提高了17%.

手势识别；人机交互；手势分割；隐马尔科夫模型

手势识别是实现自然人机交互（Human-Computer-Interaction，HCI）的一种重要手段，手势识别技术从基于数据手套发展到基于视觉，业已取得了颇丰的成果［1］.然而，动态手势识别技术中还存在不少的难点，其中相似手势的存在大大降低了系统的平均识别率.

相似手势是指手势无论是在结构上还是在基于某种特征信息上均具备相同或相似的信息，使得系统难以凭借某种单一的特征对其进行辨别.人们对相似手势识别进行了研究［2-4］，方法都是通过结合多种手势特征（multi-feature-based）或者通过结合两种或两种以上的分类算法（例如HMM-FNN-based）来降低相似手势的干扰，它们能在一定程度上提高系统的识别率，但当系统的手势种类增加时，依然无法解决识别速度与准确率相矛盾的问题.本文首先对系统非相似手势与相似手势进行分离，再采用分层的方法增强对相似手势的识别.

1 基于HMM的一次识别

本文采用的手势采集设备Leap Motion是美国Leap公司开发的一款三维测量传感系统，中文翻译为“厉动”，主要用于人体体感的传感测量.本文设计的基于运动轨迹的动态手势识别流程如下：利用Leap Motion对动态手势的三维运动轨迹进行采集，再对采集到的原始数据进行预处理并对运动轨迹进行特征提取，然后利用隐马尔可夫模型（Hidden Markov Model，HMM）算法实现一次识别并得到系统的相似手势集，最后针对相似手势设计二次识别系统.

1.1 有效手势轨迹点定位以及数据采集模块

传统的有效轨迹点定位方法是运动速度阈值模型方法，即，当检测到速度低于某阈值时就认为是手势的开始或结束.这种方法存在着低稳定性、低鲁棒性的缺点.Leap Motion可实现对手指聚合、分开状态的检测，本文利用这个功能实现对有效轨迹点的定位.当Leap Motion检测到手指状态为分开时，设备开始采集手势运动轨迹；若检测状态为聚合时，设备停止采集.

本文搭建的基于视觉的手势采集平台如图1所示，当Leap Motion标记状态为绿色时，传感器内置的两个摄像头从不同的角度以200帧/秒的速度捕捉手掌心的运动位置与速度信息，并根据Leap Motion系统自动生成的空间坐标系对这两个信息进行记录，记为 pt（ x， y， z， vx， vy， vz）.本实验包含36种手势：数字“1～9”以及字母“A—Z”.为了提高系统识别的鲁棒性，15人参与了数据采集工作，每人每种手势采集10个样本，共采集5 400个样本（150×36）.

1.2 数据预处理以及固定特征提取模块

手势轨迹在起止处出现了采样点堆积的情况，本文统计分析发现，这种情况一般出现在手势轨迹序列的前10 mm以及后10 mm的地方，因此对这两处的采样点进行了删除处理，以删除后的轨迹的第一个点以及最后一个点作为该手势轨迹的新的起止点，如图2所示.

图1 数据采集实验平台

图2 堆积点删除后的轨迹示意图

本研究以运动方向角为固定特征.方向角是相邻两时刻的坐标向量与X轴按逆时针方向所组成的角，如图3-a所示.首先把所有手势的三维轨迹信息都投影到XOZ平面，则相邻两时刻的采样点坐标分别为1tp-和tp，方向角tα的计算如下：

为了降低计算量，本文将得到的方向角信息用9方向链码（如图3-b所示）量化成9个等级，量化后每个手势都可以用1～9的数字编码作为手势的特征向量输入到模型中.

图3 轨迹上的方向角以及其量化示意图

1.3 基于HMM的一次识别

本文利用五元组 λ = （M， N，A， B，π）来描述HMM模型，其中A表示与时间无关的状态转移概率矩阵；B表示在给定状态下，观测值的概率分布；π表示初始状态空间的概率分布，本文中π=［10 …0］T；N表示隐含状态数，本文结合手势的复杂度，分别对每个手势设置了N值；M表示观测状态数，本文中 M = 36.本文使用每个手势中的100个样本作为训练样本，并以Baum-Welch算法训练模型；训练结束后，每个手势都有对应的最优HMM模型（某一手势在36个HMM模型中似然概率最大值对应的手势即为HMM的分类结果）.本文利用每个手势的剩余50个样本作为测试样本对HMM模型进行测试.

1.4 一次识别结果及分析

HMM初次识别的目的是为了得到本实验手势库中所包含的相似手势集，即哪种手势与哪种或哪几种手势在分类过程中出现多次互相混淆的情况.相似手势集获取的具体方法为：若某种手势测试样本中有4个或4个以上同时被识别成另外一种或多种手势，即认为该手势与后者中的一种或多种手势是相似手势对，表1是一次识别的结果.

表1 基于HMM的一次识别结果

（续表1）

2 相似手势的二次识别

从表1可以看出，由于实验手势种类较多，因此不可避免地存在相似手势，本文利用提取的 4种二次特征对相似手势进行了增强识别.

2.1 二次特征提取

1）角点数；角点是指在手势轨迹采样点中，相邻两点之间的运动方向角度值之差 Δ αt（满足Δαt＞ T，其中T为角度阈值）.通过对每个手势中的50个测试样本的统计，确定每个手势中判断角点的阈值T，以保证从每个样本中可靠地发现角点.相似手势对应的阈值和角点数见表2.

2）子区域百分比；把手势轨迹的区域提取出来，然后将其平均分成4个子区域，分别计算每个子区域中采样点的点数占总采样点数的百分比.用式（1）计算每个手势特征的4个标准值：

其中， s ubAreai， j是指该手势第 j 个样本中第i个子区域中采样点数；k为正确分类的样本数，每个相似手势对应的k值如表2所示.

3）角点序号百分比；是指该手势对应的角点在整个轨迹采样点中的排序与该轨迹采样点总数的百分比.分别计算k个测试样本中角点序号百分比，然后取其平均值即为每个手势的角点序号百分比标准值.

4）轨迹区域长宽比；是指手势轨迹区域长和宽的比例，每个手势的轨迹区域长宽比标准值是通过对k个测试样本的长宽比求平均值得到的.

表2 相似手势对应的T、k以及角点数的取值

2.2 二次识别算法

经HMM模型一次识别为相似手势的，需提取输入手势的4种特征进行二次识别，其具体流程如图4所示.4种特征对于二次分类的可信度为：角点数＞子区域百分比＞角点序号百分比＞长宽比，二次识别系统以可信度的排名作为匹配的顺序.

图4 二次识别的具体流程图

3 对比实验及结果分析

相似手势二次识别的结果见表3.对比两次识别的识别率可知，本文提取的4种特征对相似手势的二次识别起到了关键的作用：系统对于相似手势的最终识别率高达92.56%，二次识别的平均识别率比基于HMM一次识别的平均识别率提高了17%，

表3 相似手势一次识别与二次识别的识别率对比

本文先用简单特征运动方向角识别所有采集到的手势，HMM模型将其分为非相似手势与相似手势两类，对于相似手势再采用复杂特征识别，在提高识别速度的同时也提高了识别精度，很好地解决了识别速度与识别准确率相矛盾的问题.图5对比了 36种实验手势用 multi-feature-based、MHH-FNN-based方法与本文方法识别的结果，实验表明本文的识别方法可靠高效.

图5 本文方法与multi-feature-based、HMM-FNN-based方法对36种手势的识别

4 总结与展望

本文主要对手势分割以及相似手势的识别进行了研究，通过一次HMM识别以及二次识别系统实现了对非相似手势以及相似手势的识别.在往后的工作中，需要对一次识别算法HMM进行更深入的研究；此外，本系统并没有被应用到具体实践中，在以后的研究中，本系统将用于机器人的运动控制.

［1］常亚南.基于HMM的动态手势识别［D］.广州：华南理工大学，2012.

［2］AVILES-ARRIAGA H H，SUCAR L E，MENDOZA C E.Visual recognition of similar gestures［C］//Proceedings of the 18th International Conference on Pattern Recognition：Volume 1.Hongkong：IEEE，2006：1100-1103.

［3］HERATH H M S P B，EKANAYAKE M P B，GODALIYADDA G M R I，et al.Multi-feature based hand-gesture recognition［C］//15th IEEE International Conference on Advances in ICT for Emerging Regions.Colombo：IEEE，2015：63-68.

［4］王西颖，戴国忠，张习文，等.基于HMM-FNN模型的复杂动态手势识别［J］.软件学报，2008，19（9）：2302-2312.

[责任编辑：熊玉涛]

Research on Similar Hand Gesture Recognition Based on 3D Trajectories

CHEN Yan-mei,LUO Bing
(School of Information Engineering,Wuyi University,Jiangmen 529020,China)

In order to solve the problemof low similar gesture recognition rate in dynamic hand gesture recognition,this study develops a dynamic hand gesture recognition system based on the Leap Motion equipment.After pretreatment of all the collected 3D motion trajectory data,non-similar and similar gestures are distinguished by the HMM model,using motion angles as fixed features.For similar gestures,a secondary recognition system is designed based on corner points,sub area percentage, angular point number percentage,and the track region length to width ratio.Experiments show that the final similar gesture recognition rate is as high as 92.56%and the rate of second time recognition is 17%higher than that of the first-time.

gesture recognition;human-computer interaction;gesture segmentation;Hidden Markov Model

TP18

A

1006-7302（2016）03-0049-06

2016-03-02

广东省教育厅科技创新资助项目（2013KJCX0185）

陈燕湄（1990—），女，广东云浮人，在读硕士生，主要从事机器视觉技术研究；罗兵，教授，博士，硕士生导师，通信作者，主要从事机器视觉技术及人工智能研究.