三维惯性传感参数表征下的行人混合步态分类

2017-09-19蔡春艳张金艺李建宇王伟张洪晖

上海大学学报（自然科学版） 2017年4期

蔡春艳,张金艺,,3,李建宇,王伟,张洪晖

(1.上海大学微电子研究与开发中心,上海200072; 2.上海大学特种光纤与光接入网省部共建重点实验室,上海200072; 3.上海大学新型显示与系统应用重点实验室,上海200072)

蔡春艳1,张金艺1,2,3,李建宇1,王伟2,张洪晖2

在行人步态分类研究领域中,传统的基于微机电系统(micro-electro-mechanical system,MEMS)惯性传感器技术的步态分类方法侧重于对行人单一步态模式进行区分,忽略了两个单一步态模式之间的过渡步态模式,从而降低了行人行走过程中走、跑、停等混合步态的分类精度,还会在时间上造成缺失,进而造成行人航迹推算产生不可估量的定位误差.从人体运动学角度出发分析了行人步态特点,同时利用9轴MEMS惯性传感器采集了行人步态原始数据并对其进行剖析,设定了人体三维惯性传感参数,以供后续分类算法使用.为了进一步提高整体混合步态的分类精度,针对朴素贝叶斯算法对相反过渡步态模式区分精度不高的问题,在其基础上通过加窗判断前后两个步态的连续性,完成了行人混合步态的最终分类.验证结果表明,和传统的样本熵与小波能量相结合方法相比,提出的三维惯性传感参数表征下的行人混合步态分类方法,不仅能区分出行人混合步态中的多种单一步态模式和多种过渡步态模式,同时整体分类精度提高了14.46%,从而有效证明了该方法在行人步态分类领域具有良好的理论价值和应用价值.

混合步态;微机电系统;人体运动学;惯性传感

在围绕室内定位导航技术所展开的各种实现技术研究中,基于行人航迹推算(pedestrian dead reckoning,PDR)[1]的定位导航技术正逐渐成为一个热点.但是,PDR的难点在于行人运动时的步态变化非常复杂,很难精确测量出行人在行走过程中真正的有效跨步[2].为了得到精确的行人航迹推算,很多科研工作者致力于研究如何进行行人步态分类,同时也发现行人步态分类不仅在行人航迹推算领域,而且在运动监测[3]、临床医学[4]、智能家居[5]等领域也有着重要的研究意义.

在行人步态分类研究领域中,传统的行人步态分类[6-8]方法侧重于对行人单一步态模式进行区分,忽略了两个单一步态模式之间的过渡步态模式,从而降低了行人行走过程中走、跑、停等混合步态的分类精度,更会在时间上造成缺失,对行人航迹推算造成不可估量的定位误差.Zhang等[6]基于稀疏表示(sparse representation,SR)理论,对行人日常步态进行建模和区分.虽然对单一步态模式具有较高的区分度,但没有将它们混合在一起研究,更没有对其中的过渡步态模式进行区分.Panahandeh等[7]利用连续隐马尔科夫模型(hidden Markov model, HMM)对走、站、跑等一些行人日常步态进行分类.该研究虽然将各种步态混合在一起验证,但忽略了行人混合步态中的过渡问题.邢秀玉等[8]提出了一种样本熵与小波能量相结合的步态分类方法,分别对上楼、下楼、行走三种单一步态模式进行区分,同样也忽略了行人混合步态中的过渡问题.

为了能对行人混合步态中的多种单一步态模式和多种过渡步态模式进行区分,本工作从人体运动学角度出发,将行人走路的过程分成若干个单一步态模式和过渡步态模式,并分析了行人步态的基本特点,同时利用微机电系统(micro-electro-mechanical system,MEMS)[9]惯性传感器技术采集行人步态原始数据并对其进行剖析.设定人体三维方向角度θx,θy,θz和加速度ax,ay,az各自的峰-峰值F作为特征参数应用于步态分类算法中.为了进一步提高整体混合步态的分类精度,针对传统朴素贝叶斯算法对相反过渡步态模式区分精度不高的问题,提出了一种改进型朴素贝叶斯算法,即利用朴素贝叶斯算法初判断步态类别Lc.如果Lc为单一步态模式,则直接输出该原始步态类别Lc;如果Lc为过渡步态模式,则导入上一个滑动窗口Wp的步态类别Lp.通过判断Lc与Lp的连续性,完成对当前滑动窗口Wc的步态分类.最后采用SDK MPU 9150A开发板及计算机组成的系统进行理论验证.验证结果表明,和传统的样本熵与小波能量相结合方法相比,本工作所提出的三维惯性传感参数表征下的行人混合步态分类方法,不仅能区分出行人混合步态中的多种单一步态模式和多种过渡步态模式,同时整体分类精度也提高了14.46%.

1 人体运动学的分析及特征参数的设定

根据行人步态运动理论,行人正常的步态有赖于中枢神经系统、周围神经系统以及骨骼肌肉系统的协调工作,通过髋、膝、踝、足趾一系列的连续活动,使身体沿着一定方向移动[10].与走路不同,走路是一个过程,而步态是一种形式.行人走路的过程就是多种单一步态模式和多种过渡步态模式的混合,如走、走到跑、跑、跑到走、走到上楼、上楼、上楼到转弯等,这些步态都有可能出现在走路的过程中.如何根据这些步态的特点设定关键的特征参数,并将这些混合在一起的步态模式区分开,是行人混合步态分类的关键.

为了准确表示出人体的位置关系和形态结构,需要用到基准面与基准轴.人体基准面的定位是由3个互相垂直的面(额状面、矢状面和垂直面)来决定的,与之对应的是3个基准轴(纵轴x、横轴y和矢状轴z),如图1所示.

图1 人体的基准面与基准轴Fig.1 Datumand benchmark axis of body

按照人体运动学理论,腰椎的三维运动具有6个自由度,即左/右旋转、前屈/后伸和左/右侧弯运动6个方向上的3个角度θx,θy,θz以及上/下、前/后和左/右的3个位移sx,sy,sz[11],也就是说行人步态发生改变时对应腰椎在3个垂直面(额状面、矢状面和垂直面)围绕3个基准轴(纵轴x、横轴y和矢状轴z)进行角度θ和位移s的改变,而位移s的变化快慢通常用加速度a来表征.目前,利用3轴加速度计、3轴磁力计、3轴陀螺仪传感器,通过数据融合算法就可以得到三维角度θx,θy,θz和三维加速度ax,ay,az,而且精度非常高,误差小于1◦[12].因此,本工作采用9轴MEMS惯性传感器融合得出行人步态三维惯性传感参数.对于连续混合步态的分类,从连续的行人步态三维惯性传感参数中提取较为有用的信息是有难度的[13],行人步态分类的精度往往依赖于准确的采样数据加窗.因为通过加窗可以有效提取各个窗口的特征参数,从而高效地对各个步态模式进行分类.本工作采用常规窗口长度固定的方法进行加窗,其中窗口的长度为1 s.这是因为已有研究发现,通常情况下行人在1 s内即可完成各个步态动作.

图2为利用9轴MEMS惯性传感器所采集到的某志愿者的混合步态波形图,该波形图主要由绕x轴的角度θx及x轴加速度ax组成.经加窗发现,不同的单一步态模式和过渡步态模式各自角度θ和加速度a上变化的幅度具有其明显的特征.根据这个特征,可以选取三维角度θx,θy,θz和三维加速度ax,ay,az各自的峰-峰值Fi作为特征参数应用于步态分类算法中,即

式中,θx,θy,θz分别表示沿x,y,z轴转动的角度值,ax,ay,az分别表示沿x,y,z轴方向的加速度值.

图2 某志愿者混合步态波形图F ig.2 Waveformof a volunteer’smixed gaits

2 基于改进型朴素贝叶斯算法的混合步态分类

通过人体运动学的分析,并结合9轴MEMS惯性传感器所采集到的行人步态原始数据特点,本工作设定三维角度θx,θy,θz和三维加速度ax,ay,az各自的峰-峰值F作为特征参数,并通过对朴素贝叶斯算法的改进,完成对行人步态变化过程中混合步态的分类.

2.1 改进型朴素贝叶斯算法

朴素贝叶斯算法就是要得到实时提取的特征参数F对应每个步态类别L的后验概率,表示为P(L|F),其中使得P(L|F)最大的L值即为所属的步态类别.该算法对特征参数F具有明6显差异的步态类别L有很好的区分度,但是对相反过渡步态模式(如走到跑、跑到走)的区分度较低.这是因为相反过渡步态模式是相反的运动过程,因而在单个时间窗内三维方向角度θx,θy,θz和三维加速度ax,ay,az的变化幅度是相似的,即F相似,从而P(L|F)也相似,导致最终区分精度不高.为了提高整体混合步态的分类精度,本工作在朴素贝叶斯算法的基础上进行了改进.

首先,通过加窗实时提取所需分类步态类别L的三维角度θx,θy,θz和三维加速度ax, ay,az各自的峰-峰值F,即F={Fθx,Fθy,Fθz,Fax,Fay,Faz},其中θx,θy,θz分别表示在线阶段[14]9轴MEMS惯性传感器测得的沿x,y,z轴转动的角度值,ax,ay,az分别表示在线阶段9轴MEMS惯性传感器测得的沿x,y,z轴方向的加速度值.

然后,计算实时提取的特征参数F对应每个步态类别L的后验概率P(L|F).对于某一行人步态类别L,特征参数Fθx,Fθy,Fθz,Fax,Fay,Faz是通过各自独立的三维角度θx,θy,θz和三维加速度ax,ay,az提取的,因而其各个特征参数Fθx,Fθy,Fθz,Fax,Fay,Faz是独立的.根据贝叶斯定理,其后验概率P(L|F)可以进一步推导为

式(2)中各个特征参数Fθx,Fθy,Fθz,Fax,Fay,Faz的联合概率P(Fθx,Fθy,Fθz,Fax,Fay,Faz)是与步态类别L无关的正则化因子[15],因而可以令其为常数.由于行人的步态是随机的,所以认为每个步态类别L出现的概率P(L)服从均匀分布,因而也可以令其为常数.本工作用高斯分布来近似表示特征参数Fi在某一行人步态类别L处的概率分布,即

式中,µi和σi分别为步态类别L对应特征参数Fi的样本均值和标准差,其表达式为

其中N为步态类别L的样本总数.根据式(3)～(5)可以计算得到特征参数Fi在某一行人步态类别L处概率P(Fi|L)的估计值.

最后,判断使式子P(Fθx|L)P(Fθy|L)P(Fθz|L)P(Fax|L)P(Fay|L)P(Faz|L)最大的原始步态类别Lc为单一步态模式还是过渡步态模式.如果为单一步态模式,则直接输出该原始步态类别Lc;如果为过渡步态模式,则导入上一个滑动窗口Wp的步态类别Lp.通过判断当前滑动窗口Wc的原始步态类别Lc和上一个滑动窗口Wp的步态类别Lp的连续性,综合得出最终的分类结果.如果当前滑动窗口Wc的原始步态类别Lc与上一个滑动窗口Wp的步态类别Lp具有连续性,则当前滑动窗口Wc的最终分类结果为该原始步态类别Lc;如果当前滑动窗口Wc的原始步态类别Lc与上一个滑动窗口Wp的步态类别Lp不具有连续性,则当前滑动窗口Wc的最终分类结果为该原始步态类别的相反态L c.

2.2 混合步态分类

通过对改进型朴素贝叶斯算法的描述,本工作将行人混合步态分类流程分成以下几个步骤.

步骤1离线对混合步态样本进行训练.根据式(1)对样本加窗提取每个滑动窗口W的三维角度θx,θy,θz和三维加速度ax,ay,az各自峰-峰值F,即F={Fθx,Fθy,Fθz,Fax,Fay, Faz},其中θx,θy,θz分别表示离线阶段9轴MEMS惯性传感器测得的沿x,y,z轴转动的角度值,ax,ay,az分别表示离线阶段9轴MEMS惯性传感器测得的沿x,y,z轴方向的加速度值.根据式(4)和(5)计算每个步态类别L对应特征参数Fi的样本均值µi和标准差σi.

步骤2在线通过加窗实时提取所需分类步态类别L的三维角度θx,θy,θz和三维加速度ax,ay,az各自峰-峰值F,即F={Fθx,Fθy,Fθz,Fax,Fay,Faz},其中θx,θy,θz分别表示在线阶段9轴MEMS惯性传感器测得的沿x,y,z轴转动的角度值,ax,ay,az分别表示在线阶段9轴MEMS惯性传感器测得的沿x,y,z轴方向的加速度值.

步骤3根据式(2)和(3)计算出使式子P(L|F)最大的原始步态类别Lc.

步骤4判断Lc为单一步态模式还是过渡步态模式.如果为单一步态模式,则直接输出该原始步态类别Lc.如果为过渡步态模式,则导入上一个滑动窗口Wp的步态类别Lp,并判断当前滑动窗口Wc的原始步态类别Lc和上一个滑动窗口Wp的步态类别Lp的连续性.如果具有连续性,则最终分类结果为该原始步态类别Lc,反之,则最终分类结果为该原始步态类别的相反态

改进型朴素贝叶斯算法的混合步态分类流程如图3所示,即利用朴素贝叶斯算法初判断步态类别Lc.如果Lc为单一步态模式,则直接输出该原始步态类别Lc;如果Lc为过渡步态模式,则导入上一个滑动窗口Wp的步态类别Lp.通过判断Lc与Lp的连续性,完成对当前滑动窗口Wc的最终步态分类.

图3 改进型朴素贝叶斯算法的混合步态分类流程图Fig.3 Flowchart ofmodified Naive Bayes algorithmofmixed gaits classification

3 验证系统构建及结果分析

3.1 验证系统的构建

由于本工作要采集行人行走过程中的三维惯性传感参数,即三维角度θx,θy,θz和三维加速度ax,ay,az,所以构建了由SDK MPU9150A开发板及计算机组成的验证系统(见图4),其中SDK-MPU9150-A开发板由MPU-9150[16]、BlueRadios蓝牙模块、MSP430单片机等几个主要部分组成.将SDK-MPU9150-A开发板佩戴于人体腰部正后方,因为该位置最接近人体的质心[17],且该位置MEMS受干扰程度较低,有利于陀螺仪或磁力计进行角度估计,佩戴后的人体坐标系如图5所示.

图4 验证系统Fig.4 Experimental system

图5 人体坐标系F ig.5 Coordinates of the body

验证时,MPU9150实时存取行人9轴原始步态数据并融合得出三维惯性传感参数,即三维角度θx,θy,θz和三维加速度ax,ay,az,并通过MSP430单片机以50 Hz的采样频率读出.接着,蓝牙模块以115 200 bit/s的波特率再将其传输给计算机,由计算机进行数据的后续处理.由于蓝牙的传输距离有一定限制,为了避免其对实验数据产生影响,本工作在用蓝牙进行数据传输时,数据采集者也会跟在志愿者后面采集数据,以确保志愿者在计算机蓝牙信号可接收范围内.

3.2 验证结果分析

考虑到人体结构的差异性会导致同一步态的不同幅度变化,所以本工作选取了不同身高、体重的10名青年志愿者(四女、六男)进行常见的混合步态的数据采集.混合步态是随机的,如本工作依次选取的是走、跑、走、转弯、上楼、转弯、下楼、走、站立、晃,其中对应的单一步态模式为走、跑、转弯、上楼、下楼、站立、晃;过渡步态模式为走到跑、跑到走、走到转弯、转弯到上楼、上楼到转弯、转弯到下楼、下楼到走、走到站立、站立到晃.混合步态每人重复进行10次.对每个采集到的混合步态数据进行加窗处理,其中窗口的长度为1 s,将其中的一半作为离线样本训练,剩余的一半作为在线结果测试.

首先,根据式(1)对样本进行加窗处理,提取每个滑动窗口W内的各个特征参数Fθx,Fθy, Fθz,Fax,Fay,Faz.接着,根据式(4)和(5)计算每个步态类别L对应特征参数Fi的样本均值µi和标准差σi.最后,根据式(2)和(3),分别利用朴素贝叶斯算法和改进后的朴素贝叶斯算法对混合步态中的多种单一步态模式和多种过渡步态模式进行区分.实验结果如表1所示.

由表1可见,未改进的朴素贝叶斯算法对相反过渡步态模式的区分精度较差(如走到跑、跑到走),进而导致最终的整体混合步态分类精度降低.本工作通过对朴素贝叶斯算法的改进,使得相反过渡步态模式的区分精度有了很大的提高,平均精度提高了38.50%,整体混合步态分类精度提高了9.63%,其中整体混合步态分类精度的计算方法是对所有步态精度取平均.由于本工作提出的改进型朴素贝叶斯算法是在朴素贝叶斯算法的基础上针对相反过渡步态模式提出的,单一步态模式和未涉及相反过渡步态模式的过渡步态模式还是原来的计算过程.而且为了有效验证两种分类算法对应分类能力的差异性,代入两种算法的行人步态原始数据是相同的,因此对于单一步态模式和未涉及相反过渡步态模式的过渡步态模式其前后区分精度是一致的,并且对于相反过渡步态模式的区分精度有了很大的提高.

表1 不同方法下行人混合步态分类精度的比较Tab le 1 Comparisons ofmixed pedestrian gaits classifi cation accuracy under diff erent methods%

表1中的对比只能说明本工作提出的方法对于区分相反过渡步态模式的优越性,还不能验证其在传统区分多种单一步态模式领域中的有效性.因此,本工作比较了混合步态中3种单一步态模式(走、上楼、下楼)的分类结果与文献[8]的分类结果,结果如表2所示,其中文献[8]采用的是样本熵与小波能量相结合的步态分类方法.

表2 与文献[8]实验结果的比较Tab le 2 Comparisons of the experimental results of Ref.[8]%

由表1和2可见,和样本熵与小波能量相结合的方法相比,本工作提出的三维惯性传感参数表征下的行人混合步态分类方法,不仅能将行人混合步态中的多种单一步态模式和多种过渡步态模式区分开,同时在区分多种单一步态模式时,整体分类精度提高了14.46%,从而有效证明了本方法在行人步态分类领域具有良好的理论和应用价值.

4 结束语

针对传统的行人步态分类方法侧重于对行人单一步态模式进行区分,而忽略了两个单一步态模式之间过渡步态模式的缺点,本工作提出了一种三维惯性传感参数表征下的行人混合步态分类方法.从人体运动学角度出发分析行人步态特点,同时利用9轴MEMS惯性传感器采集行人步态原始数据并对其进行剖析,从而设定人体三维惯性传感参数的峰-峰值F作为特征参数,并在朴素贝叶斯算法的基础上通过加窗判断前后两个步态的连续性,完成对行人步态变化过程中混合步态的分类.实验结果表明,和传统的样本熵与小波能量相结合方法相比,本工作提出的三维惯性传感参数表征下的行人混合步态分类方法,不仅能区分出行人混合步态中的多种单一步态模式和多种过渡步态模式,同时整体分类精度提高了14.46%,从而充分证明了本方法在行人步态分类领域的理论和应用价值.

[1]H U Z,AI G,Z HANG L,et al.Novel research on improving global positioning systemaccuracy in the pedestrian integrated navigation monitoring system[J].Australian Journal of Electrical& Electronics Engineering,2014,11(4):411-420.

[2]李若涵,张金艺,徐德政,等.运动分类步频调节的微机电惯性测量单元室内行人航迹推算[J].上海大学学报(自然科学版),2014,20(5):612-623.

[3]W AHAB Y,MAZALAN M,B AKAR N A,et al.Low power shoe integrated intelligent w ireless gait measurement system[J].Journal of Physics:Con ference,2014,495(1):43-46.

[4]Q I Y,S OH C B,G UNAWAN E,et al.Estimation of spatial-temporal gait parameters using a low-cost ultrasonicmotion analysis system[J].Sensors,2014,14(8):15434-15457.

[5]K IVIM¨AKI T,V UORELAT,P ELTOLAP,et al.Areview on device-free passive indoor positioning methods[J].International Journal of Smart Home,2014,8(1):71-94.

[6]Z HANG M,S AWCHUK AA.Human daily activity recognition with sparse representation using wearab le sensors[J].IEEE Journal of Biomedical and Health Informatics,2013,17(3):553-560.

[7]P ANAHANDEH G,MOHAMMADIHAN,L EIJON A,et al.Continuous hidden Markov model for pedestrian activity classification and gait analysis[J].IEEE Trans on Instrumentation and Measurement,2013,62(5):1073-1083.

[8]邢秀玉,刘鸿宇,黄武.基于加速度的小波能量特征及样本熵组合的步态分类算法[J].传感技术学报,2013,26(4):545-549.

[9]T IAN Z,F ANG X,Z HOU M,et al.Smartphone-based indoor integrated W iFi/MEMS positioning algorithmin a multi-fl oor environment[J].Micromachines,2015,6(3):347-363.

[10]刘华,吴文华.高跟鞋对行走中女性躯干、下肢的力学影响[J].北京生物医学工程,2011,30(1): 105-108.

[11]蒋伟宇,于亮,马维虎,等.一种新型寰枢椎后路动态固定系统的稳定性研究[J].中国临床解剖学杂志,2014,32(1):76-79.

[12]S ABATELLI S,G ALGANI M,F ANUCCI L,et al.Adoub le-stage Kalman fi lter for orientation tracking with an integrated processor in 9-D IMU[J].IEEE Transactions on Instrumentation and Measurement,2013,62(3):590-598.

[13]高东,马昕,许欣,等.基于滑动窗口的定性趋势分析方法及应用[J].计算机应用研究,2014,31(5): 1441-1444.

[14]李娟娟,张金艺,张秉煜,等.蓝牙4.0标准规范下的模糊指纹定位算法[J].上海大学学报(自然科学版),2013,19(2):126-131.

[15]范彦勤.基于贝叶斯分类器的个人信用评估研究[D].西安:西安电子科技大学,2014.

[16]E TTELT D,R EY P,J OURDAN G,et al.3D magnetic field sensor concept for use in inertial measurement units(IMUs)[J].IEEE Journal of Microelectromechanical Systems,2014,23(2): 324-333.

[17]S HANY T,R EDMOND SJ,N ARAYANAN MR,et al.Sensors-based wearable systems formonitoring of human movement and falls[J].IEEE Sensors Journal,2012,12(3):658-670.

Mixed pedestrian gait classifi cation under 3D inertial sensor parameters characterization

CAIChunyan1,ZHANG Jinyi1,2,3,LI Jianyu1,WANG Wei2,ZHANG Honghui2
(1.Microelectronic Research and Development Center,Shanghai University,Shanghai 200072,China; 2.K ey Laboratory of Specialty Fiber Optics and Optical Access Networks,Shanghai University,
Shanghai 200072,China; 3.Key Laboratory of Advanced D isplays and SystemApplication,Shanghai University, Shanghai 200072,China)

In pedestrian gait classification research,the traditionalmethod based on the micro-electro-mechanical system(MEMS)inertial sensor technique focuses on distinguishing a single pedestrian gait,and ignoring transition gait between two single gaits.It leads to poor classification accuracy of mixed gaits such as walking,running,halting, and even causes loss of time.As a result,positioning error of pedestrian dead reckoningbecomes large.This paper analyzes gait characteristics based on kinesiology,and collects raw data of pedestrian using a 9-axisMEMS sensor.3D inertial sensor parameters are then selected to be applied to the subsequent classification algorithm.Because the Naive Bayes algorithmhas low accuracy to distinguish reverse transition gaits,the improved algorithmbased on the Naive Bayes algorithmjudges continuity of two ad jacent w indow s to realize mixed gait classifi cation.Experimental results show that the proposed mixed pedestrian gait classification method with 3D inertial sensor parameters characterization can distinguish a variety of single gaits and transition gaits frommixed gaits.It can also improve the overall classification accuracy by 14.46%as compared with the method of combining sample entropy and wavelet energy.Therefore,the proposed method has a good theoretical and practical value in gait classification.

mixed gaits;micro-electro-mechanical system(MEMS);kinesiology;inertial sensor

TP 273

1007-2861(2017)04-0491-10

DO I:10.12066/j.issn.1007-2861.1659

2015-08-26

国家高技术研究发展计划(863计划)资助项目(2013AA03A1121,2013AA03A1122);上海市教委重点学科建设资助项目(J50104)

张金艺(1965—),男,研究员,博士生导师,博士,研究方向为通信类SoC设计与室内无线定位技术.

E-mail:zhangjinyi@staff.shu.edu.cn