基于多传感器数据融合的人体运动模式识别研究

张　毅, 任同辉, 罗　元

(1.重庆邮电大学 信息无障碍工程研发中心，重庆　400065;2.重庆邮电大学 光纤通信技术重点实验室，重庆　400065)



基于多传感器数据融合的人体运动模式识别研究

张毅1, 任同辉1, 罗元2

(1.重庆邮电大学 信息无障碍工程研发中心，重庆400065;2.重庆邮电大学 光纤通信技术重点实验室，重庆400065)

针对单一传感器在人体运动姿态监测中误差较大的问题，提出了一种基于加速度传感器和陀螺仪数据融合的人体运动模式识别方法；该方法使用陀螺仪输出的人体运动信息对加速度传感器采集到的姿态角信息进行修正，采用卡尔曼滤波算法实现多传感器信息的融合，有效提高了姿态角度测量的准确度；根据人体日常的活动状态构建了基于人体姿态角度特征的隐马尔可夫模型实现人体运动模式的识别；实验表明，该方法比采用单一传感器方法识别的准确率高，可以有效区分不同的日常活动行为。

运动模式识别；卡尔曼滤波；数据融合；姿态检测

0　引言

近几年来，我国已逐步进入老龄化人口发展阶段。老年人群体质虚弱，行动迟缓，平衡能力较差，独立生活中经常会有跌倒等危险动作的发生。调查资料显示，跌倒是造成中国65岁以上老年人死亡伤害的首位因素[1]，给老年群体的生活带来极大的负面影响，老年人健康救助服务已成为当今社会必须面对的问题[2]。为了让老年群体能够自由独立活动，在出现意外危险情况时候能够及时被发现并得到帮助，老年人行为识别和健康监测技术势必成为当下社会的研究热点。

目前，对于行为识别的研究主要有两类基本方法：1)基于视频图像的监测方法，具有代表性的是基于kinect的图像处理方法[3]，该类方法采用视频感应器获取活动目标的深度图像特征进行分析，缺点是对监测区域光线条件要求苛刻，监测范围有限，而且不能保证用户的隐私安全[4]；2)基于穿戴式装置的监测方法，采用目前技术较为成熟的MEMS传感器设备，如加速度计、陀螺仪和地磁计等组成的姿态检测系统检测人的不同活动信息[5]。该类方法可以有效的保护用户隐私，其设备价格低廉能够得到广泛的推广[6]。

在运动检测技术研究中一般使用加速度传感器，由于加速度传感器的工作特性，在匀变速状态下测量信息是非常准确的，然而人的日常活动往往都是变加速度运动，重力加速度与变加速度叠加导致测量结果误差很大。鉴于此，本文设计一种穿戴式装置，采用加速度传感器和陀螺仪两种传感器来进行信息数据的采集，通过Kaman滤波将多源信息进行融合处理从而得到改善的测量值，提高采集信息的可信度[7]。采用隐马尔科夫模型(HMM，Hidden Markov Model)的识别算法对角度信息进行分析来提取老年人日常活动的特征值，并由输入序列与建立的HMM模型的匹配实时分析当前时刻人体的运动模式，以实现上下楼梯，站立到坐下、步行和跌倒等常见的老年人运动模式的识别。

1　数据的采集与融合

1.1数据采集部位的选取和空间坐标系的构建

为了采集人体运动信息，首先需要建立人体运动的空间坐标系。由于人体运动的复杂性，身体各部位在同一运动中具有很大差别，如手腕、膝盖、肩部等部位在日常活动时情况复杂多变、抖动频繁，运动出现的随机性较高，不同运动间的转变不具有可预测性，因此不能作为运动信息的采集部位。而人体的上躯干部位(颈部以下、腰部以上)在日常活动中动作变化相对平稳，在行走、站立和跌倒等活动中躯体变化幅度大，特征明显，因此本文将人体上躯干部位作为传感器的佩戴位置进行信息数据的采集。

以传感器佩戴位置作为原点建立人体躯干坐标系oxyz，再以地面坐标系作为固定的笛卡尔坐标系OXYZ，其中Z轴与水平面相垂直，X轴和Y轴与水平面平行。躯干坐标系oxyz会随着人体的运动而运动，在躯干坐标系中，x轴指向躯干前方，y轴指向左方，z轴指向上方[8]。当身体处于静止站立状态时，人体躯干坐标系oxyz与地面坐标系OXYZ之间是相互平行的。人体坐标系如图1。

图1　人体运动空间坐标系

1.2信息数据的采集与融合算法处理

本系统选用三轴数字加速度传感器ADXL345采集人体重力加速度信息，选用MEMS三轴角速度传感器(陀螺仪)L3G4200D采集人体姿态角度信息，设置采样频率50 Hz，信息采集模块将采集的加速度数据和陀螺仪数据传给PC机来做融合处理。通过对加速度传感器和陀螺仪获取的数据进行融合来实时修正系统所采集到的角度值，达到克服单传感器在姿态角测量过程中的偏差问题。

图2加速度传感器测量角度原理

当加速度传感器处于静止状态时：

由归一化矢量值计算出重力矢量在三个坐标轴方向的夹角θacc_x、θacc_y、θacc_z，夹角的计算方法如下：

设角速度传感器绕坐标轴X、Y、Z轴测量得到的转动角速度分别为ωx、ωy、ωz，同样需要将测得的角速度转化为相应的转动角度，根据采集到的当前转动角速度，结合系统采样周期计算出陀螺仪绕三轴方向的转动角度：

其中:θgy_x、θgy_y、θgy_z表示计算后对应X、Y、Z三个坐标轴的转动角度，dt表示陀螺仪数据的采样周期。

通过Kalman滤波器对加速度传感器和陀螺仪采集的信息进行融合，将加速度传感器测量值作为预测值，陀螺仪测量值作为观测值，用观测值修正加速度传感器的预测值作为输出值。采用加速度传感器估计出陀螺仪漂移误差b作为状态向量得到系统的状态方程和观测方程：

(1)

公式(1)中，ωgy表示包含固定偏差的陀螺仪输出角速度，θacc表示经处理后得到的加速度传感器的角度值，ωg、ωa分别为陀螺仪和加速度传感器的测量噪声，二者相互相互独立的，为便于计算，假设二者为白噪声，满足正态分布。设系统测量噪声为ω(k)，采样周期为TS，得到系统的状态方程和测量方程：

(2)

(3)

公式(3)中，Kg(k)表示k时刻的卡尔曼增量，P(k|k-1)表示k-1时刻系统的协方差。H为测量系统的输出矩阵。HT为其转置矩阵。R(k)表示测量噪声的协方差。由此计算出出融合的姿态角：

(4)

公式(4)中，θgy(k)、θacc(k)分别为k时刻陀螺仪和加速度传感器输出的姿态角，θ(k)为经融合处理后的k时刻姿态角的输出值，也是该时刻卡尔曼滤波输出的最优值。同时得出k时刻系统状态的协方差：

(5)

公式(1)到公式(5)是完整的Kalman滤波计算过程。公式(3)和公式(5)用于保障滤波算法的递归性和持续性，当系统收到k+1时刻陀螺仪的角速度输出后回到方程(1)的计算，此时系统进入k+1时刻的滤波运算。

这里将采集的多传感器数据进行融合处理后，克服了单独使用加速度传感器测量角度的误差问题，使采集的人体姿态角数据更加接近真实值。为了说明本文融合算法的效果，图3与图4给出在X轴方向上测量姿态角融合前后的对比图，其中横轴表示时间，单位为ms，纵轴表示角度数值。由于该曲线图在其他两个坐标轴方向的效果是类似，此处不做赘述。

图3　X轴方向平稳步行时的角度对比

图4　X轴方向快速行走时的角度对比

图3为人体做平稳步行时测量的姿态角度曲线，从图中可以发现经过数据融合前后的运动姿态角度变化不大，曲线重合率高，融合前的数据曲线干扰也相对较小，这是由于当人体在做缓慢平稳运动时传感器的测量误差较小的原因，数据融合的效果没有很明显体现出来。图4为人体在做快速行走时测量的姿态角度曲线，此时人体的运动较为剧烈，从图中可以发现经过数据融合的测量角度相比融合前测量的角度值差别很大。分析其原因，当人体处于平稳缓慢运动状态时传感器处于测得的角度值干扰小，准确度高，当人体处于剧烈运动状态时，由于加速度传感器受重力影响以及陀螺仪的零点漂移等因素导致测量的角度值必定不准确，由图4可知本次实验中数据融合前后产生的最大角度差高达10°。因此本文引入多传感器数据融合方法可以有效计算人体运动矢量方向上的最优估计值，系统受外力干扰出现的重力矢量偏移和零点漂移将被有效的减小，从而得到平滑有效的姿态角度值。

2　基于隐马尔科夫模型的识别方法的实现

2.1对隐马尔可夫模型的定义

隐马尔科夫模型(hiddenmarkovmodel，HMM)是一种概率统计模型，其广泛应用于语音处理、生物信息等领域。在运动模式识别中本文选用HMM的方法，设运动模型经历的若干状态序列记为q={q1,q2,q3,…qM}，观察序列记为O={o1,o2,o3,…,oT}，T为观察序列的长，通过分析观察序列来分析隐状态q的转移情况。

一个有N个状态的HMM模型(记作S1,S2,S3,…,SN)可由三元组参数表示，γ={π,A,B}，各个参数的含义：

2.2HMM的识别算法的实现

对HMM的参数进行估计，本文选用标准的Baum-Welch算法，该算法计算复杂度较低，时效性高，核心思想是通过递归计算更新权重，有效降低复杂度，以此得到能更准确解释样本序列的模型参数。算法计算过程如下：

定义变量δt(i,j)对应观察序列O，设Si、Sj分别为t时刻和t+1时刻所处的状态。得：

(1)

定义变量ηt(i)，设ηt(i)为观察序列在t时刻处于状态Si的概率。得：

(2)

由公式(1)、(2)得：

aij、bj(k)、πi即为重估后的HMM参数，从而得到新的模型γ。

2.运用有效方法，衔接算理和算法。处理算理与算法的关系注意：一是算理与算法是计算教学中有机统一的整体，算理和算法并重；二是算理教学需借助直观，引导学生经历自主探索、充分感悟的过程，要把握好算法提炼的时机和教学的“度”；三要防止算理与算法间出现断痕或硬性对接，必要时进行指导。

Viterbi算法以动态规划为基础，通过观察到的输出序列，对状态序列做最佳估计得出最佳状态序列，本文选用Viterbi算法来计算似然度进行模式识别。Viterbi算法的计算过程如下：

(3)

公式(3)为系统的初始化条件，对其进行前向递归，得：

(4)

公式(4)表示在i状态下计算出t时刻σt(j)的最大值，令：

P=maxσt(j)

qT=argmax[σt(i)]

由qt+1递归运算得qt,t=1,2,3,…,T-1，取最大的概率值所对应的运动模型做为识别的结果，即判断出当前的运动状态。人体运动模式识别的流程如图5所示。

图5　运动模式的识别流程

3　实验验证与结果分析

本文定义了6种运动状态，静坐:S(1)，坐到站立:S(2)，站到坐下:S(3)，行走:S(4)，上下楼梯:S(5)，跌倒:S(6)；以这六种运动状态作为识别的目标对象建立模型。当人体做日常活动时不同运动状态之间是可以相互转变的。本文定义的六种运动状态转移关系如图6所示。

图6　运动状态转移关系

通过实验观察，平常人行走时身体偏航角(绕x轴旋转角度)变化范围为±10°，俯仰角(绕y轴旋转角度)变化范围为0°到10°；上下楼梯时偏航角变化范围为±15°，俯仰角变化范围为0°到15°；坐在椅子上时偏航角变化范围微小，不会对人体姿态的改变产生影响，俯仰角在±20°范围内变化。当人体俯仰角大于45°或者小于-30°时极易跌倒；偏航角大于30°或者小于-30°时也很容易发生跌倒。以上数值可以作为判断人体状态的阈值。

考虑老年人体质衰弱等健康因素，实验选择5名普通人作为监测对象来模拟老年人的日常活动状态，5名实验室对象年龄均在25岁—30岁之间，身高体重正常，无肢体疾病。进行了两组实验并对结果进行观察和对比：第一组实验采用单一加速度传感器采集人体运动信息作为运动模式识别的数据；第二组实验采用多传感器数据融合后的运动信息作为运动模式识别的数据。实验时将传感器装置佩戴于每位实验对象的上肢部位，在没有外界干扰的情况下进行1小时的随机活动，传感器信息采集模块获得的数据通过无线通信模块传至上位机进行数据的分析处理和运动模式的识别。实验记录结果见表1。

表1　6种活动状态的识别率

由表1可知在不同状态转移的运动模式的识别中，相比第一组实验，第二组实验的识别成功率有显著的增加，第一组实验的平均识别率为83.5%，第二组实验的平均识别率达到94.2%。在跌倒的识别中第二组实验的识别率达到了97.2%，成功率最高。分析其原因是发生跌倒时人体角度变化范围大，经过特征提取后的可观测序列所占比例大，使得跌倒动作的输出概率值较高，易于识别。由站到坐下或由坐到站立过程中情人体姿态角度的变化情况相似，因此识别率相近。上下楼梯运动的识别率最低，原因是上下楼梯过程较为复杂，运动中由于用力不均导致人体姿态变化偏离正常角度范围，导致采集的信息出现偏差，从而影响了结果的判断。实验结果验证了信息融合的方法比使用单一传感器能够更精确地识别出人体不同的日常运动状态。

4　结论

人体运动模式识别技术在助老助残、健康监护以及辅助医疗领域拥有广泛的应用前景，其潜在价值有待进一步的挖掘。本文通过使用加速度传感器和陀螺仪采集人体在不同运动模式下姿态角度的变化信息，将多传感器数据信息进行融合提取特征角度值，构建HMM运动模型，根据融合特征值识别运动模式。实验结果表明本文方法能有效识别人体不同的日常活动。下一步的工作将针对俯身弯腰、跑步以及跳跃等较复杂的动作进行分类识别研究。

[1] 李冬, 梁山. 基于加速度传感器的老年人跌倒检测装置设计[J]. 传感器与微系统, 2008,27(9):85-88.

[2] Yu X G. Approaches and principles of fall detection for elderly and patient[A]. Proceedings of the 10th IEEE International Conference on e-health Networking,Applicationsand Services[C]. Singapore, 2008:42-47.

[3] Alexiadis D S, Zarpalas D, Daras P. Real-Time, Full 3-D Reconstruction of Moving Foreground Objects from Multiple Consumer Depth Cameras[J]. IEEE Transactions on Multimedia, 2013,15(2):339-358.

[4] Mansur A, Makihara Y, Yagi Y. Inverse dynamics for action recognition[J]. IEEE Transactions on Cybernetics, 2013,43(4):1226-1236.

[5] 秦勇, 臧希喆, 王晓宇, 等. 基于MEMS惯性传感器的机器人姿态检测系统的研究[J].传感技术学报, 2007,20(2):298-301.

[6] Wingrave C A, Williamson B, Varcholik Paul D, et al. The Wiimote and Beyond: Spatially Convenient Devices for 3D User Interfaces[J]. IEEE Computer Graphics and Applications, 2010,30(2):71-85.

[7] 赵蕊, 贺建军. 多传感器信息融合技术[J]. 计算机测量与控制, 2007, 15(9): 1124-1126.

[8] 曹玉珍, 蔡伟超, 程旸. 基于MEMS加速度传感器的人体姿态检测技术[J]. 纳米技术与精密工程, 2010,8(1):37-41.

Research of Human Motion Recognition Based on Multi-Sensor Data Fusion

Zhang Yi1，Ren Tonghui1，Luo Yuan2

(1.Information Accessibility Engineering R&D Center, Chongqing University of Posts and Telecommunications,Chongqing400065, China; 2.Key Laboratory of Optical Fibler Communication Technology, Chongqing University of Posts and Telecommunications, Chongqing400065, China)

To deal with the problem of large deviation of single sensor in the human motion attitude recognition monitoring, an human motion recognition method based on data fusion between acceleration transducer and gyroscope is proposed. In the method, the attitude angle output by acceleration transducer is modified by the human motion information output by gyroscope, multi-sensor data fusion is achieved by using Kalman filtering algorithm to effectively improve the accuracy of attitude angle measurement. According to the daily movement of human body, Hidden Markov Model based on attitude angle feature is built for human motion recognition. Experiments show that, the proposed method performs better with higher accuracy rate than method using single sensor, which can effectively distinguish between different daily activities.

motion pattern recognition; Kalman filtering; data fusion; attitude detection

2015-08-02；

2015-11-11。

科技部国际合作项目(2010DFA12160)；国家自然科学基金(51075420)。

张毅(1966-)，男，重庆潼南人，教授，博士生导师，主要从事机器人、多模人-机接口与信息无障碍技术方向的研究。

罗元(1972-)，女，贵州贵阳人，教授，硕士生导师，主要从事机器视觉、智能信号处理和数字图像处理方向的研究。

1671-4598(2016)01-0303-05

10.16526/j.cnki.11-4762/tp.2016.01.084

TP391.4

A