网络化手势运动跟踪系统设计*

陈鹏展， 李　杰, 罗　漫

(华东交通大学 电气与电子工程学院，江西 南昌 330013)



网络化手势运动跟踪系统设计*

陈鹏展， 李杰, 罗漫

(华东交通大学 电气与电子工程学院，江西 南昌 330013)

摘要:设计了一种基于微机电惯性传感器的数据手套。根据惯性导航和刚体动力学原理，构建了基于微型传感器的体感网络，并通过多传感器数据的融合解算以获取运动姿态信息，实现对手指各关节运动数据的捕获。结合计算机图形技术构建三维虚拟手捕获系统进行性能对比评估，实验结果表明：所设计的系统具有良好的稳定性和适应性，能够对手运动信息进行实时有效地捕获。

关键词：运动捕获； 惯性导航； 刚体动力学； 惯性传感器

0引言

手势作为日常生活中人们广泛使用的一种自然而直观、易于学习和高效的交流方式，有很强的表意能力，伴随虚拟现实技术的发展，虚拟手成为了一种新的人机接口应用，利用高效的数据手套可以有效地捕获手势动作参数，实时获取手部动作的信息，可在人机交互过程中完成操作和交流等功能，有效地拓宽了人机交互通道，在体育、医学、军事等方面有着广阔的应用前景[1]。

手势动作测量系统在工程和科学技术领域常用的检测系统主要有光学式[2,3]和机械式[4]两大类。光学式对背景、光线等外部环境依赖性强；机械式设计结构复杂，成本昂贵,且使用存在不便。

MEMS惯性传感器可实现对运动信息的检测，为手势动作信息的捕获带来了新的基础工具和应用环境[5～7]，具有结构设计简单，价格低廉，安装和使用便捷等优点，且不受光线影响。

本文针对现有技术中存在的不足，提出了一种基于惯性传感器的数据手套实现方案，利用安装在手套内部的微惯性传感器来组成传感器网络，根据惯性导航和刚体动力学原理[8]对各节点采集的数据进行姿态融合计算，并通过计算机图形技术构建虚拟手模型，将解算的结果映射到模型中对应的关节处，完成数据驱动，以便实时捕捉和还原手势的动作信息。

1数据手套系统结构

数据手套可实时有效地捕获手势的动作，并以姿态信息对其各关节进行表示，主要由安装在手套内部的多个微惯性传感器和嵌入式中央处理器构成。这些惯性传感器合理地布局于手套相关的运动部位，通过数据计算可以得出对应手关节的姿态信息，并结合计算机虚拟手模型精确地还原使用者手势的运动情况。

1.1数据手套模型与映射

人手是一个多关节相连结构，由4个手指、1个大拇指和手掌构成，因此，手势的动作变化可以通过各指段和关节的空间姿态信息来描述。

参照人手生物学模型的通用标准，定义了如图1所示虚拟手模型，其中，MP为手指的基部，除去拇指外，PIP和DIP分别为手指的中间关节处和末端关节处，大拇指则单独设置中间关节为TP,并以手掌为基点，链接5个手指，每个手指以各子关节点线性分布链接(MP→PIP→DIP)，从而组成以手掌为基点，各手指为分支的一个树形数据结构，其树中的各节点匹配对应的关节，且相互间具有运动关联特性。

图1　手部模型Fig 1　Hand model

将手部关节骨骼之间的运动特性看成是刚体和相应指段组合而成的关联树型结构，将惯性传感器安装在手套内部对应的手关节部位，并使各关节点的姿态解算信息与手模型树形结构中的节点进行绑定，将真实手和虚拟手之间的驱动关系进行数据映射。

1.2硬件设计

手势的运动信息主要由手关节在空间中的姿态、位置的变化来体现，而空间姿态和位置主要通过运动中的姿态角来阐述，姿态角最终能够通过加速度、角速度和地磁仪数据融合计算得到。基于以上关系，本系统主要通过检测手势运动过程中特征部位的加速度、角速度、磁力信息及姿态角来对手势的运动姿态进行估算。

MPU9150是一种集成了加速度传感器、陀螺仪传感器和磁力传感器的九轴MEMS传感器芯片，具有体积小、重量轻和可靠性好等特点，且可以通过内置的DMP 数字处理引擎减少复杂的融合演算数据﹑感测器同步化和姿势感应等带来的负荷，能够较为准确地诠释运动过程中的加速度、角速度和磁力信息的变化。

同时，姿态采集系统需要选择合适的运算处理核心。Nordic推出的nRF51822不仅拥有BLE 4.0低功耗蓝牙模块，而且集成了32位高速运算处理内核Cortex—M0，具备标准通信接口和低功耗等特点。

数据手套姿态采集系统由1个处理控制单元和多个传感器组成，以MPU9150为信息的采集节点，nRF51822为数据处理和收发单元，人手主要关节的运动信息通过MPU9150传感器进行测量，经过数据预处理和多传感数据融合计算后传递给计算机中的虚拟手软件捕捉系统，以使其准确地还原操作者的手势运动。系统框图如图2所示。

图2　系统框图Fig 2　Block diagram of system

1.3数据手套信号流程

在系统运行过程中，利用MPU9150传感模块采集各手关节运动过程中的加速度、角速度和磁场信息，通过I2C接口与NRF51822模块进行通信，信号经过数据滤波和姿态的融合解算处理后，借助NRF51822内部集成的低功耗蓝牙4.0通信模块传递给远程PC虚拟手模型测试环境中，以实时还原出手势运动信息的直观显示。信号流程如图3。

图3　信号流程Fig 3　Signal process

2手势姿态解算

在手姿态信息的计算过程中，用四元数对姿态角进行表示，其计算时间短，精度高，表示简便，且可对方向余弦矩阵和欧拉角等常规姿态角表示方法进行相互转换。

2.1手姿态的解算策略

陀螺仪传感器分别测量载体沿X,Y和Z坐标系方向的角速度，具有良好的动态响应性能，通过采集该角速度信息，并结合采样时间进行积分，算出传感器的姿态，并用四元数进行表示，如式(1)

(1)

考虑到联合计算的时间和结果精确性，采用FQA四元数分解算法[9]对多传感器数据进行融合计算，该方法可以很好地滤除外界磁场干扰对解算结果的影响，并且在解算过程中简化了三角函数值的直接计算，有效提升了计算的速度和系统响应性。FQA算法对应用环境的要求为载体无线性加速度和外界磁场干扰，因此,在进行传感器数据融合时加入如下约束：

约束1：加速度和磁力传感器的数据超过预设定的阈值时，即载体加速度或外界磁干扰大时，将不进入姿态信息融合解算，以陀螺仪数据解算为准。

约束2：在相反情况下，将3只传感器的数据进行协同融合，更准确地描述姿态信息。

2.2传感器的校准

1) 陀螺仪的校准：在对手势运动数据采集中陀螺仪的校准主要是去除传感器的零偏，以降低因陀螺仪漂移而产生的随机干扰，即检测值减去静止时所求偏移量即可，其偏移量的求法如下：首先将MPU9150传感器水平静止放置，将模块反面水平朝下，此时只有+Z轴方向受重力的影响，并记录一定采样时间内X,Y,Z轴的输出，并通过均值运算得到每轴角速度的偏移。

2) 磁力计的校准：当使用环境中存在着干扰磁场时，磁力计所检测到的磁场数据为外界干扰磁场数据和地磁场数据之和，本系统中通过计算大量采样数据中的磁场强度求得偏移，并以此对检测数据进行校准。

3) 加速度计预处理：在加速度信号处理中，选择限幅滤波和滑动加权平均滤波的方法进行数据预处理，以降低因抖动而引起的干扰，同时剔除外界可能突发的脉冲干扰。

2.3传感器信号漂移补偿

在传感器静止时，陀螺仪输出角度信息包括了常值漂移误差和白噪声干扰等，因积分时间不能无限小，单一依靠陀螺仪传感器计算姿态信息会造成计算结果随时间出现线性漂移和误差较大等情况，如图4所示。

图4　融合前姿态变化Fig 4　Attitude change before fusion

因此，结合加速度传感器和磁力传感器来对姿态信息进行修正和联合解算，有效地对漂移进行补偿，避免了因单一角速度数据随时间积分带来的误差累积。在系统中加速度传感器测量载体沿空间坐标系的加速度，主要感知载体水平方向的倾斜，用于修正陀螺仪所计算载体在俯仰(pitch)和滚动(roll)方向的偏移，磁力传感器测量载体所处环境的三维地磁强度，用于提供对载体航向角(yaw)的初始对准和修正所计算航向角的线性漂移，如图5所示。

图5　融合后姿态变换Fig 5　Attitude change after fusion

3实验验证

3.1单关节捕捉精度评估

将两段刚体支架通过微型电机进行连接，控制电机转动模拟手指单关节运动，为了对整个系统的性能进行评估，实验分为静态测试和动态测试。

1)静态测试:将传感器固定在一支架上，控制其绕另一支架停放不同的角度，通过对解算的姿态信息和真实转动的角度进行静态定姿对比，以评估定姿解算精度性能，如表1所示。

表1　静态测试结果

2)动态测试：通过变换传感器的安置方向和控制电机的运转速度，达到通过控制支架转动模拟关节运动的全姿态信息，观察对比控制转速结果和传感器的解算结果，图6为对比结果。

图6　动态角度对比Fig 6　Comparison of dynamic angle

3.2系统评估

为了对整个系统进行性能捕捉评估，本文在VS2012开发环境下，结合3DS MAX软件和OpenGL图形库技术，构建了三维虚拟手模型运动捕捉显示窗口，对真实手部运动过程进行实时还原，该窗口通过接收传感器解算的姿态信息对模型进行数据驱动，刷新频率为50 Hz，能较准确地对真实手运动进行跟踪和捕捉，以中指运动和手部握拳为参考姿态，进行测试，捕捉效果如图7、图8所示。

图7　中指运动过程捕捉效果Fig 7　Motion process capture effect of middle finger

图8　单手逐渐握拳的捕捉效果Fig 8　Capture effect of single-hand make fist gradually

4结束语

本文基于微惯性传感器实现了手部运动信息捕获的数据手套设计，利用惯性导航算法进行多传感器多数据的融合处理，通过树型层次化建模方法构建了一种数据驱动的三维虚拟手关节模型，并使用解算的姿态信息进行真实手部运动状态的实时跟踪与还原。本文的设计思想可为今后数据手套研究和设计提供新的借鉴思路，具有一定的创新性和应用价值。

参考文献:

[1]陈浩磊,邹湘军,陈燕.虚拟现实技术的最新发展与展望[J].中国科技论文,2011(1):1-5.

[2]刘晓平,张静,曹力,等.基于计算机视觉的虚拟手的实现[J].工程图学学报,2007(4)：30-35.

[3]刘泽华.基于MEMS传感器群的人体运动捕获[J].传感器与微系统,2012,31(9):18-21.

[4]相瑞排,石广田,李帅.机械式运动捕捉系统应用中的若干问题研究[J].兰州交通大学学报,2013(4)：44-47.

[5]Mannini A,Sabtini A M.Machine learning methods for classifying human physical activity from on-body accelerometers[J].Sensors,2010,10(2):1154-1175.

[6]李国峰,王锦,张勇,等.基于MEMS加速度传感器的智能输入系统[J].传感技术学报,2009,22(5):643-646.

[7]Schlomer T,Poppinga B,Henze N,et al.Gesture recognition with a wii controller[C∥Proceedings of the 2nd International Confe-rence on Tangible and Embedded Interaction,New York:ACM,2008:11-14.

[8]张荣辉，贾宏光，陈涛，等.基于四元数法的捷联式惯性导航系统的姿态解算[J].光学精密工程，2008,16(10)：1963-1970.

[9]Yun Xiaoping,Bachmann E R,Mc Ghee R B.A simplified quaternion-based algorithm for orientation estimation from earth gravity and magnetic field measurements[J].IEEE Trans on Instrumentation and Measurement,2008,57(3):638-650.

Design of hand motion tracking system based on sensor network*

CHEN Peng-zhan, LI Jie, LUO Man

(College of Electrical and Electronic Engineering,East China Jiaotong University,Nanchang,330013,China)

Abstract:A data glove based on MEMS inertial sensors is designed.According to inertial navigation and rigid body dynamics theory,somatosensory network based on micro-sensor is constructed and obtain motion gesture information through fusion of multi-sensor data,realize data capture of finger movement of each joint.A kind of 3D virtual hand capture systems based on computer graphics technology is constructed to evaluate performance contrast.Experimental results show that the system has good stability and adaptability,which can effectively capture motion information of fingers in real time.

Key words:motion capture; inertial navigation; rigid-body dynamics； inertial sensor

DOI:10.13873/J.1000—9787(2016)02—0067—04

收稿日期：2015—05—15

*基金项目：国家自然科学基金资助项目(61164011)；江西省自然科学基金资助项目(20114BAB201023)

中图分类号：TP 391

文献标识码：A

文章编号：1000—9787(2016)02—0067—04

作者简介:

陈鹏展(1975-)，男，湖北武穴人，博士，副教授，主要研究方向为人机交互、动作捕捉、现场总线。