基于肌音信号的头部动作模式识别

, , , ,

(华东理工大学机械与动力工程学院,上海 200237)

基于肌音信号的头部动作模式识别

顾晓琳,吴清,夏春明,章悦,钟豪

(华东理工大学机械与动力工程学院,上海200237)

肌音信号(MMG)是一种肌肉收缩时发出的低频信号,通过测量分析颈部前后两侧的胸锁乳突肌和头夹肌的肌音信号,成功识别点头、抬头、左摆、右摆、左转、右转6个头部动作模式。实验中采集了4个通道的数据,经滤波、归一化的预处理后,用不等长分割法分割出动作帧。提取了动作帧的小波包系数能量及双谱对角切片特征,经主元分析法(PCA)和Fisher线性判别分析(FLDA)降维,用支持向量机(SVM)分类。最后对小波包系数能量和双谱对角切片特征进行FLDA降维,识别率达95.92%。

肌音; 头部动作; 特征提取; 小波包; 双谱

人体动作包括一系列具有丰富含义的肢体运动,如手指、手、手臂、头、面部或身体等姿态或运动模式,是表达人的行为意图或者完成人与环境的信息传递的一种方式[1]。通过传感器获得的肌肉活动状态信息可以用于疾病诊断、康复、科学训练等领域。

伴随着传感器技术的快速发展,出现越来越多的检测肌肉活动情况的方法,其中最主要的是肌电信号(EMG)[2]方法和肌音信号(MMG)[3]方法。虽然肌电信号已被长期用作评价骨骼肌特性的可靠工具,但它还是存在一些缺点,比如肌电传感器需要低噪声环境和稳定的信号分量,对外部噪声及干扰很敏感,这极大地限制了它的检测环境和应用范围[4-5];另外肌电信号的采集较为麻烦,需要将皮肤表面清理干净,并涂上特定的溶液,使皮肤阻抗维持在一定范围内。而肌音信号是一种肌肉收缩时发出的低频信号,使用特定的传感器在肌肉表面记录由内部肌纤维产生的机械振动[6],可选择的传感器包括压电接触式传感器[7]、麦克风传感器[8]、加速度传感器[9]和激光测距传感器[10]等。比起肌电信号,肌音信号具有很多优点:首先,由于其在肌肉组织中的传播特性,肌音传感器的位置不需要很精确,采集方便;其次,肌音信号是机械信号,不受出汗引起皮肤阻抗变化的影响;再有,容易结合表面肌电信号等方法检测神经肌肉的功能。因此有许多应用已用到了肌音信号,如假肢手的控制[11]、评估肌肉在体育训练中的疲劳情况[12]、监测神经肌肉阻滞[13]和人体动作的识别技术[14]等。

人们在截肢、高位截瘫、中风导致的肢体瘫痪等情况下,往往失去了大多数的行动能力,甚至语言表达能力,因此经常只能通过一些头部的动作来表达自己的想法和意图,这成为了这一群体能够和外部沟通的一种有效的表达手段。如果通过肌音信号能够实现头部动作的识别,获得这些人的想法和意图,将为后续实现对轮椅等康复辅助器具控制提供有效的控制信号源。但关于颈部肌音信号识别头部动作的相关研究鲜有报道。目前模式识别方法主要有非张量积小波[15]、隐马尔科夫模型(HMMs)[16]、GMM高斯混合模型、SVM分类等,本文在选取优良特征的基础上,运用经典模式识别算法,成功采取SVM识别头部动作,这对康复工程、老年人的健康监护领域具有现实意义。

1 实验方案

肌音信号的完整采集过程如图1所示。头部动作的信号来源为颈部肌肉,在颈部的4个部位各固定一个肌音信号传感器,这4个部位分别是左右两侧的胸锁乳突肌(Sternocleidomastoid,SCM)和头夹肌(Splenius capitis,SPL)[17]。传感器的选择需考虑其频率响应特性和质量,由于肌音信号的频率范围为0～100Hz,主要信号能量在低频段(2～50Hz),因此本研究选取了北京颐松的TD-3加速度传感器,质量为5g[15]。采集设备为美国国家仪器公司的NI9205模拟量采集卡,32路单端输入或16路差分输入,采样频率为1000Hz,采集到的信号通过Matlab进行记录和后续处理分析。

图1 颈部肌音信号采集系统示意图Fig.1 Mechanomyographic signal acquisition system

实验对象为10名志愿者,其中2名女性,8名男性,年龄在23～25周岁,均身体健康,颈部及头部无残疾,所有受试者在测试之前都对所测试项目有具体了解,并签署了符合《赫尔辛基宣言》主旨的知情同意书。实验过程中,要求受试者完成点头、抬头、左摆头、右摆头、左转头、右转头共6种头部动作,动作顺序如图2所示。要求每种动作做90次,每次动作之间间隔3～4 s。为了消除疲劳对肌肉的影响,每2种动作之间休息0.5 h左右,或看受试者情况,直至受试者休息完毕再进行下一种动作。每位受试者在此次采集前均经过训练,所做动作基本一致。

图2 头部动作顺序图Fig.2 Head action sequence diagram

2 信号预处理与信号分割

信号预处理包括对原始信号进行滤波和标准化2步操作,通过用Kaiser窗设计的FIR滤波器(2～49 Hz)对原始信号进行滤波。

滤波之后还需对信号归一化,按照式(1)进行。

(1)

其中:Mean是同一通道的电压均值;Std是标准差。

本文采用的动作分割方法为不等长分割法,其原理是:利用信号二次包络线的方法对信号进行分割,每个动作都有与之对应的包络线,而包络线的前后两处极小值点所对应的位置即为动作的开始和结束位置。

3 特征提取与降维处理

3.1特征提取

3.1.1 小波包特征提取 每一个分割好的动作帧即对应一个头部动作,为了识别出该动作帧对应的头部动作类型,需要对分割好的6类动作帧信号提取特征,特征可分为时域特征、频域特征、时频域特征3类。本文选用的是小波包变换特征和双谱特征2类,其中小波包变换特征属于时频域特征,双谱特征属于频域特征。

小波变换特征有小波(包)系数最大值、小波(包)系数奇异值、小波(包)系数能量等。经过多次实验,结果显示在头部动作的肌音信号识别中,小波包系数能量是较好的特征。小波包变换以二叉树的形式将信号分解成相等频带宽度的子空间,即当信号分解层数为i层时,一共有2i个等频带宽的子空间。本文中小波包系数能量特征如下式所示:

feature={lgEi,i=1,…,2level}

(2)

(3)

为确定小波的类型和分解层数,综合比较了生物医学信号中比较常用的sym5、db5、db4和coif4[18]4种小波,通过4种小波的分类结果对比得出 coif4更适合头部动作肌音信号的特征提取以及模式分类。对于分解层数的确定,邱青菊等[18]和Chu等[19-20]均提出4种小波分解对于生理信号来说是比较合适的,本文多次实验结果也表明分解成4层的效果最好。因此一个通道信号的小波包系数能量特征就有24=16维,一共有4个通道,即小波包系数能量特征为64维。

3.1.2 双谱特征提取 除了小波包系数能量特征外,本文还提取了双谱特征。在传统的随机信号处理中,一般假设信号是具有高斯性的平稳信号,但是肌音信号不是高斯信号,也不是平稳的,它的相位谱里面含有丰富的信息,因此,需要借助高阶统计量的方法。

高阶谱中的三阶谱(亦称双谱)阶数最低,处理方法也最简单,因此本文采用双谱分析做进一步的特征提取。高阶谱是由累积量函数定义的,因而也可称为累积量谱。设{x(n)}为零均值的k阶平稳过程,则该过程的k阶累积量定义为

Ckx(τ1,τ2,…,τk-1)=

cum{x(n),x(n+τ1),…,x(n+τk-1)}

(4)

则k阶累积量谱定义为k阶累积量的k-1维傅里叶变换,当k=3时,即为双谱,双谱定义如下:

S3x(w1,w2)=

(5)

其中:|w1|≤π;|w2|≤π;|w1+w2|≤π;C3x(τ1,τ2)是随机过程{x(n)}的三阶累积量。

双谱是二维函数,如果取所有的双谱信息作为特征还需解决二维的模板匹配问题,另外计算量也很庞大,对实时性会有影响,所以本文将取用双谱中的一维特征,即对角切片信息,作为之后分类的特征。

3.2降维处理

3.2.1 概述 由于小波包系数能量特征维数过多,需要降维处理。线性判别分析(FLDA)和主成分分析(PCA)是针对向量模式进行特征提取和降维普遍使用的典型方法[21]。PCA能使降维后的特征空间具有良好的表现能力;FLDA能使降维后的特征空间具有良好的辨别能力。本文采用这2种方法降维。

3.2.2 FLDA降维 FLDA用于寻找对不同样本类进行区分的最有效的方向。其主要思想是考虑将多维空间中的点投影到一条直线上,通过适当选择直线的方向,有可能找到能够最大限度地区分各类样本数据点的投影方向。在投影后的低维空间里能够使同类的样本数据点离得越近越好,不同类的样本之间的距离越远越好。定义类内离散度矩阵如下:

(6)

类间离散度矩阵如下:

(7)

其中:NC是样本总类数;每个子类ci分别含有ni个样本值;mi为每一个种类的样本均值;m为整体的样本均值。用类内离散度矩阵和类间离散度矩阵表示的Fisher判别准则函数为

(8)

Fisher判别的目的是要找到使得该准则函数J(P)最大化时的直线W。经过推导,J(P)最大化时P的列向量就是以下特征方程的特征向量:

SBPi=λiSWPi

(9)

其中,Pi表示矩阵P中的第i个列向量。

FLDA特征投影的计算公式:

y=PTx

(10)

由于SB矩阵的秩不大于NC-1,因此式(9)得出的非零特征值的个数将小于或等于NC-1,所以最后通过FLDA投影得到的低维特征向量维数为NC-1,本文中NC为6,所以经FLDA降维成5维。

3.2.3 PCA降维 PCA主成分分析的主要思想是对于原先提出的所有变量,建立尽可能少的新变量,使得这些新变量两两不相关。主成分分析的目的是通过特征的线性组合降低特征空间的维数。PCA是先求取原来的特征空间矩阵的协方差矩阵的特征值和特征向量,并根据从大到小的贡献率将特征值降序排列。本文选取累积贡献率达到90%的前几个特征的主成分系数为投影矩阵,将原来的高维特征空间映射到低维空间[22]。

4 分类器

对信号预处理、提取特征、特征降维处理之后,即可送入分类器进行分类,本文采用的分类器是SVM支持向量机。SVM是定义在特征空间上的间隔最大的线性分类器。针对本文的非线性问题,需要通过引入映射方法,将低维空间中的非线性问题转化为高维空间的线性问题来解决。常用的SVM分类器有4种核函数,分别为线性核函数、多项式核函数、径向基核函数(RBF)、Sigmoid核函数,本文采用的是RBF核函数,如式(11)。

(11)

其中:xc为核函数中心;σ为函数的宽度参数,控制了函数的径向作用范围。

5 信号处理结果

5.1动作分割结果

6种连续动作信号经不等长分割算法后得到的单步动作帧情况见图3。由图可见6种动作的分割情况良好,每种动作分割完整,且不同的动作之间有明显的差异性。

图3 6个动作肌音信号的分割情况Fig.3 Six actions segmentation of MMG signal

5.2双谱特征提取结果

在提取头部6个动作模式的双谱特征时,先得出这6个动作的双谱图,如图4所示。可以看出6个动作的双谱图各有不同,但某些动作之间又有一些相似之处,其中第3个动作左摆头和第4个动作右摆头的双谱图比较相似,二维图上都有较多的旁瓣;第1个动作点头和第2个动作抬头的双谱图也比较相似,相对其他4个动作来说,这2个动作的二维双谱图都比较稀疏;最后第5个动作左转头和第6个动作右转头也较为相似,它们的二维双谱图比第1和第2个动作的双谱图密集。

图4 6个动作模式的二维双谱图Fig.4 Two dimensional double spectra of 6 action modes

6个动作的双谱图的对角切片图如图5所示,它们各不相同,但某几个动作有一定的相似处。如动作3和动作4相对于其他动作,能量比较分散,但最高能量还是集中在中间部分;动作1和动作2的切片图的能量比较集中在中部,虽然最中间能量比较低,但最高能量处还是集中在中间周围,两边稍有点小小的旁瓣,另外谱峰的数量级也一致,都是1.5×10-3;动作5和动作6的切片图中的能量集中程度很高,集中在中间部分,几乎没有两侧杂波,谱峰的数量级也一致,都是4×10-3。可以看出6个动作模式的双谱图、切片特征有很明显的区分,在小波包系数能量特征的基础上,加入双谱切片特征,推测能提高识别率。

5.3特征降维结果

4个通道的小波包系数能量特征为64维,通过FLDA降维成5维,PCA降维则一般降到11～13维的特征空间。FLDA和PCA降维处理小波包系数能量特征后,分别采用特征1、特征2、特征3为坐标轴,画出三维散点图,图6所示为FLDA降维后的特征散点图,图7所示为PCA降维后的特征散点图。可以看出FLDA降维后的特征分布情况更好,同类样本更密集,不同类样本更分散,因此识别效果更好。

图5 6个动作模式的切片图Fig.5 Slice graph of 6 action modes

图6 FLDA降维后的特征值分布散点图Fig.6 Scatter plots of characteristic value distribution after FLDA dimension reduction

图7 PCA降维后的特征值分布散点图Fig.7 Scatter plots of characteristic value distribution after PCA dimension reduction

5.4动作分类结果

得到降维的信号特征后,即可对6类动作分类识别。首先识别完整的四通道信号,信号只提取小波包系数能量特征,PCA降维,输入SVM分类器中进行分类,10位受试者的识别准确率见表1。同样用PCA降维处理小波包系数能量特征,并加上双谱对角切片图特征进行识别,识别结果见表2。对于同样的小波包系数能量特征改用FLDA降维处理,并加上双谱对角切片图特征,SVM识别后的结果见表3。

同时本文也测试了去除两个传感器,只用位于左前方的胸锁乳突肌和右后方的头夹肌的传感器采集信号,FLDA降维处理小波包系数能量特征,并加上双谱对角切片图,分析此种方法的有效性,识别结果如表4所示。

表1 四通道PCA降维小波包特征所有识别结果

表2 四通道PCA降维小波包特征和双谱特征所有识别结果

6 讨 论

6.1两种特征比较

比较表1和表2,即同样是PCA降维的方法,把只提取小波包系数能量特征与同时提取小波包系数能量特征与双谱对角切片特征进行比较,可以发现:PCA降维后的小波包系数能量特征基本上能较准确地识别出6个动作模式,但加入双谱切片特征之后,平均识别率从91.13%提升至93.08%,提高了1.95% (运用T检验法分析这2种平均识别率的显著差异性,发现P<0.01,有极显著差异),可以看出属于时频域特征的小波包特征在肌音信号的模式识别方面有很强的区分性,另外频域特征的双谱特征对肌音信号的模式识别的准确率也有一定的贡献,这与上节中提到的6个动作的二维双谱图和双谱切片图有一定的区别相吻合。因此采用小波包系数能量特征与双谱对角切片特征相结合的肌音信号特征,对识别头部动作更有效。

6.2PCA和FLDA降维比较

比较表2和表3,即同样是小波包系数能量特征与双谱对角切片图特征,将PCA降维和FLDA降维进行比较,可以发现:FLDA降维后的识别效果比PCA降维后的识别效果好,平均识别率从93.08%提升至95.92% (运用T检验法分析这2种平均识别率的显著差异性,发现P<0.01,有极显著差异),分析原因,PCA方法寻找的是用来有效表示同一类样本共同特点的主轴方向,这对于表示同一类数据样本的共同特征是非常有效的。但PCA不适合用于区分不同的样本类,而FLDA可寻找最有效的对不同样本类进行区分的方向。因此FLDA比PCA更适合用于分类降维。

6.3二通道与四通道的比较

从表4中可以看出二通道的平均识别率比四通道的识别率有明显的下降,为90.08%,但基本还能较准确地识别出动作。

6.4动作比较分析

从表1～表4可以看出,6个动作模式中识别率最低的都是左摆头和右摆头动作。志愿者在测试过程中普遍反映,左摆头和右摆头动作不是日常生活中常有的动作,进行实验时感觉不自然,无法保证动作的一致性,这可能是导致这两个动作识别率较低的原因。

表3 四通道FLDA降维小波包特征和双谱特征后所有识别结果

表4 二通道识别结果

7 结 论

本文将肌音信号用于头部动作的模式识别,通过采集颈部左右两侧胸锁乳突肌和头夹肌的肌音信号,采集了4个通道的肌音信号。经过前期去噪、归一化的预处理,不等长分割法分割动作帧后,首先提取各个动作帧的小波包系数能量特征,PCA降维后进行识别,识别率达到91.13%,说明小波包系数能量特征可基本区别6类不同的头部动作;而在PCA降维小波包系数能量特征的基础上,加上双谱图中的对角切片强化特征后,平均识别率提高至93.08%,说明双谱特征有独立于小波包系数能量特征的有用特征信息,可进一步提高识别准确率;再用FLDA降维小波包系数能量特征,并加上双谱对角切片特征后,识别率又有所提高,为95.92%,说明FLDA更适用于对区分不同类型的样本进行特征降维。所以选用FLDA对coif4小波包系数能量特征降维,结合双谱对角切片特征送入SVM分类器进行动作识别的方法最有效,能取得最高识别率。

对位于左前方的胸锁乳突肌和右后方的头夹肌的这两个传感器采集到的二通道的数据进行模式识别,识别率也能达到90.08%,但整个系统简化,成本降低。因此在考虑成本和识别率要求在90%的情况下,可以只用两个传感器进行采集。

[1] 张旭.基于表面肌电信号的人体动作识别与交互[D].合肥:中国科学技术大学,2010.

[2] CHO Youngjin,KIM Jungyong.The effects of load,flexion,twisting and window size on the stationarity of trunk muscle EMG signals[J].International Journal of Industrial Ergonomics,2012,42(3):287-292.

[3] SHIGEHISA K,NAOKI K,NAOTO M,etal.Mechanomyographic activity in the human lateral pterygoid muscle during mandibular movement[J].Journal of Neuroscience Methods,2012,203(1):157-162.

[4] MA Martin.MMG sensor for muscle activity detection-low cost design,implementation and experimentation[D].Auckland,New zealand:Massey University,2010.

[5] ANDERSON E,WYBO C,BARTOL S.An analysis of agreement between MMG vs.EMG systems for identification of nerve location during spinal procedures[J].The Spine Journal,2010,10(9) :93-94.

[6] JOTTA B,GARCIA M,SOUZA M.An alternative method of muscle force analysis based on the mechanomyographic signal[C]//Progress in Motor Control:VI.International Society of Motor Control.Mendes Convetion Center,Santos,São Paulo:ISMG,2007:65-66.

[7] TRAVIS B,HOUSH T,GLEN J,etal.Comparison of Fourier and wavelet transform procedures for examining the mechanomyographic and electromyographic frequency domain responses during fatiguing isokinetic muscle actions of the biceps brachii[J].Journal of Electromyography and Kinesiology,2005,15(2):190-199.

[8] ALVES N,FALK T H,CHAU T.A novel integrated mechanomyogram-vocalization access solution[J].Medical Engineering and Physics,2010,32(8):940-944.

[9] ZUNIGA J M,HOUSH T J,CAMIC C L,etal.The effects of accelerometer placement on mechanomyographic amplitude and mean power frequency during cycle ergometry[J].Journal of Electromyography and Kinesiology,2010,20(4):719-725.

[10] BECK T W,DILLON M A,DEFREITAS J M,etal.Cross-correlation analysis of mechan- omyographic signals detected in two axes[J].Physiological Measurement,2009,30(12):1465-1471.

[11] 曹炜.基于肌音信号的手部多动作模式识别与假肢手控制研究[D].上海:华东理工大学,2012.

[12] SHIN I,AHN S,CHOI E,etal.Fatigue analysis of the quadriceps femoris muscle based on mechanomyography[J].International Journal of Precision Engineering and Manufacturing,2016,17(4):473-478.

[13] GUILLAUME T,GUILLAUME M,STEPHANE D,etal.Comparison of phonomyography,kinemyography and mechanomyography for neuromuscular monitoring[J].Canadian Journal of Anesthesia,2006,53(2):130-135.

[14] 宋中建.基于肌音信号的指部动作模式识别研究[D].上海:华东理工大学,2013.

[15] YOU Xinge,DU Liang,CHEUANG Yiuming,etal.A Blind watermarking scheme using new nontensor product wavelet filter banks[J].IEEE Transactions on Image Processing,2010,19(12):3271-3284.

[16] ARIKI Y,ISHIKAWA N.Recognition of head gestures using hidden markov models[C]//International Conference on Pattern Recognition.Vienna,Austria:IEEE,1996:461-465.

[17] 孙子军,吴东苏,邵正.虚拟座舱环境头颈部sEMG采集相关肌肉研究[J].航空计算技术,2014,44(1):115-122.

[18] 邱青菊.表面肌电信号的特征提取与模式分类研究[D].上海:上海交通大学,2009.

[19] CHU JU,MOON I,LEE Y J,etal.A supervised feature-projection-based real-time EMG pattern recognition for multifunction myoelectric hand control[J].IEEE/ASME Transactions on Mechatronics,2007,12 (3):282-290.

[20] CHU Ju,MOON I,Kim S K,etal.Control of multifunction myoelectric hand using a real-time EMG pattern recognition[C]//International Conference on Intelligent Robots and Systems.Center Edmont Alberta Canada:IEEE,2005:3511-3516

[21] 朱玉莲.基于矩阵模式和向量子模式表示的特征提取及其分类[D].南京:南京航空航天大学,2003.

[22] 陈彦钊.基于sEMG信号的上肢自主康复训练动作模式识别[D].济南:山东大学,2015.

PatternRecognitionofHeadMovementBasedonMechanomyographicSignal

GUXiao-lin,WUQing,XIAChun-ming,ZHANGYue,ZHONGHao

(SchoolofMechanicalandPowerEngineering,EastChinaUniversityofScienceandTechnology,Shanghai200237,China)

Mechanomyography (MMG) is a low frequency signal when muscle is contracted.Four channel MMG signals are collected from the sternocleidomastoid (SCM) muscles and splenius capitis (SPL) muscles in the subjects’ neck when they bowed head,raised head,bent side to left,bent side to right,turned to left,and turned to right,i.e.,six action modes,which could be successfully recognized.The four channel MMG signals were then filtered,normalized,and divided using unequal length segmentation algorithm.After extracting the energy features of wavelet packet coefficients and the feature of diagonal slices of spectrum,the dimension of features were reduced by principal component analysis (PCA) or fisher linear discriminant analysis (FLDA).Finally,all the features were classified by SVM classifier.When the features of wavelet packet coefficients energy and diagonal slices of spectrum went through FLDA dimension reduction,the recognition rate were up to95.92%.

mechanomyography; head movement; feature extraction; wavelet packet; bispectrum

R496

A

1006-3080(2017)05-0704-08

10.14135/j.cnki.1006-3080.2017.05.016

2017-01-10

顾晓琳(1992-),女,硕士生,研究方向为肌音信号应用。E-mail:905399099@qq.com

夏春明,E-mail:cmxia@ecust.edu.cn;吴 清,E-mail:qwu@ecust.edu.cn