一种基于EEG和sEMG的假手控制策略

吴常铖 熊鹏文 曾洪 徐宝国 宋爱国

假手是一类典型的人机交互设备,对于辅助手臂截肢患者恢复手部功能有着重要的作用.针对残疾人的需求,国内外学者开展了大量的研究工作[1−5],研制了众多的假手,包括:美容师式假手、拉索控制式假手、开关控制电动假手、肌电控制假手.其中基于肌电控制的假手由于动作自然、符合人体的操作习惯而受到广泛的关注.

为全面描述肌电假手的控制过程,Losier提出了一种包含3个大层共8个子层的肌电假手控制模型[6],该模型明确了肌电假手各个环节的任务和功能.按可活动关节的数量分类,肌电假手可以分为单自由度假手和多自由度假手,目前学者更多地关注多自由度假手的研究.基于肌电信号的多自由度假手研究中,常用的方法有人工神经网络(Arti ficial neural network,ANN)[7−9]、支持向量机 (Support vector machines,SVM)[9−12]、局部加权投影回归(Locally weighted projection regression,LWPR),线性映射等,这些方法的目的都是在于寻找一种从肌电信号特征到人体肢体动作的映射关系.国内外学者利用多层感知器网络(Multi-layer perception network,MLP)[13−18]和递归神经网络(Recurrent neural network)在该领域做了大量的研究.此外,文献[19]基于肌电信号的生成模型并采用非负矩阵分解方法(Nonnegative matrix factorization,NMF)从多通道肌电信号中同步识别肢体的多关节运动信息;文献[16,20−22]采用线性分类方法实现上肢多关节的同步运动识别,并将线性分类识别的结果与MLP、ANN和SVM的识别结果进行比较,其结果显示线性映射的训练时间远远小于ANN、SVM等复杂的方法所需的训练时间,同时线性映射方法也表现出了较好的运动意图识别效果.

总结现有研究文献,多自由度肌电假手的控制依赖于多通道的肌电信号,对于截肢后肌肉出现萎缩、截肢部位较高等情况的患者,他们手臂上残留的可以进行肌电信号测量的部位较少,无法采用多个传感器测量多路信号来进行动作模式的识别,给假手的使用带来困难.本文针对这一类患者的需求,提出了一种基于脑电信号(Electroencephalogram,EEG)与表面肌电信号(Surface electromyogram signal,sEMG)结合的假手控制策略.本文采用1个便携式脑电传感器和1个表面肌电传感器实现了二自由度假手的控制.脑电传感器用于捕获头部前额区域的EEG信号,将从中提取到的眨眼信息用于假手动作的编码;表面肌电传感器用于捕获手臂上的肌电信号,经过处理后用于估计手部动作的强度;为了实现EEG和sEMG在假手控制中的协同工作,设计了用于触觉反馈的振动袖带,袖带可向佩戴者提供假手当前的动作模式,便于佩戴者及时调整假手的控制模式以达到最佳控制效果.

1 控制策略设计

EEG是人机交互中常用的一种信号,基于EEG的假手控制,最大的优势在于不受限于肢体的残疾程度,即使是手臂高位截肢的残疾人,只要其脑功能完整,能够发出肢体的控制指令就可以利用EEG来实现假手的控制.但是,与sEMG相比,基于EEG的肢体运动意图识别准确率较低,存在较大的随机性,表情、情绪、注意力等的改变都会影响到大脑产生的EEG信号.为此,本文提出一种基于EEG和sEMG协同控制假手的方法.

本文设计的假手控制策略框图如图1所示,主要包括基于EEG的动作类型判别、基于sEMG的动作强度估计和动作类型的触觉提示等几个部分.

图1 控制策略框图Fig.1 Diagram of the control strategy

首先,当用户需要控制假手时,根据预先编码做出相应的动作,控制器根据EEG信号进行特征提取和动作类型判别.然后通过触觉反馈将动作的类型反馈给用户,用户在接收到触觉反馈后可以根据需要对动作进行确认和取消;若用户确认,则控制器根据sEMG信号对动作的期望强度进行估计,并控制假手动作的强度;若用户取消,则控制器重新检测用户期望的动作类型.

1.1 动作类型编码

在测试者的头皮粘贴导电电极来捕获信号是脑电信号测量的常用方法,这种方法需要专业人士操作,且操作过程复杂、测量设备庞大,给实际应用带来了不便.本文采用Neurosky公司生产的便携式测量设备MindWave进行脑电信号的测量,由于MindWave只在测试者前额设置一个测量点,因此很难从测量得到的信号中提取到脑部的运动想象信号.通过观察信号发现,眨眼动作的信号可以在MindWave的测试中明显地体现出来,因此本文拟从测试者前额的EEG信号中提取眨眼动作的信息,并将单位时间内检测到的眨眼信息用于假手动作的编码.

本文设计基于单位时间内眨眼次数的假手动作编码,如图2和表1所示.动作编码分两个环节进行,第一环节为手爪动作和手腕动作的判别,第二环节为具体动作类型(手爪张开、合,手腕顺、逆旋转)的判别.后续实验中本文选择单位时间长度为2s.

图2 动作编码环节Fig.2 Process of the motion coding

当用户有手部动作需求时,根据预设的编码作出相应的眨眼动作,控制器通过分析EEG信号的特征来进行动作的判别.本文选取方差作为特征来进行眨眼动作的检测.

表1 单位时间内眨眼次数与假手动作类型的关系Table 1 The relationship between the blink times and the motion type of the prosthetic hand

其中,Et为当前采样时刻的EEG信号,N为窗口长度,AE为EEG信号的均值.

MindWave测量得到的EEG信号以及信号的方差如图3所示.通过统计EEG方差信号中极值点的数量即可得到单位时间内受试者的眨眼次数.

图3 MindWave测量得到的EEG信号及其方差Fig.3 EEG signal and its variance

1.2 动作强度估计

表面肌电信号(sEMG)是由肌肉兴奋时所募集的运动单元产生的一个个动作电位序列(Motor unit action potential trains,MUAPT)在皮肤表面叠加而成,是一种非平稳的微弱信号.它既与肌肉本身的组织生理特性有关,也与神经控制系统有关.

由于肌电信号存在很强的个体差异,不同测试者在手臂相同位置测量得到的肌电信号差异较大;测量部位不确定,同样会带来肌电信号的差异,如图4所示,在人体手臂尺侧腕屈肌上粘贴两个肌电传感器,测量得到的两路信号如图5所示,从图中可以看出,同一佩戴者在其手臂同一块肌肉不同位置测量得到的肌电信号是存在差异的,而在使用过程中,传感器在手臂上的贴合位置不可避免地会发生变化,这导致使用过程中肌电信号会发生变化;此外由于环境温、湿度的变化会引起传感器和皮肤之间阻抗的变化,从而导致测量得到的肌电信号发生变化.这些因素导致残疾人在安装佩戴假手时,需要先对其残臂上的肌电信号进行测量,然后根据其肌电信号的强度对假手的控制参数进行调整,并且往往需要经过一段较长时间的训练和适应,佩戴者才能够较为灵活地控制假手.而且对于同一个佩戴者,在使用假手一段时间后,其假手的控制参数也可能需要重新进行调整,这给假手的使用带来极大的不便.

图4 肌电传感器贴合位置示意图Fig.4 Sketch of the measurement locations of the sEMG sensors

图5 同一块肌肉不同位置测量得到的两路肌电信号Fig.5 Two channels of sEMG captured from different locations of the same muscle

为了消除肌电信号个体差异和传感器测量位置差异等因素给假手控制带来的不便,本文采用自适应方法进行假手开合速度/握力的估计[23],如图6所示.图6中传感器采集得到肌电信号经过绝对值均值处理后送入肌电记录器,肌电记录器实时记录并更新肌电绝对值均值的最大值和最小值,并将其用于调整比例因子KE.

图6 基于肌电信号的手部动作强度估计Fig.6 Action strength estimation based on sEMG

传感器采集得到原始肌电信号,在幅值上表现出很强的随机性,无法直接用于假手的控制.肌电信号的绝对值均值(Mean absolute value,MAV)是能够直观地反映出肌肉的收缩强度的一个时域特征,因此本文选用MAV进行动作强度的估计,MAV的计算如下:

其中,EMG(i)为第i个采样时刻采集得到的肌电信号,N为滑动窗口的长度.

设计调节因子KE为

其中,K为预设的常数,MaxE和MinE分别为肌电绝对值均值的最大值和最小值.MaxE和MinE的更新过程如下:

步骤1.计算MAV的均值

其中,MAV(t)为当前采样时刻的 MAV值,MAV(t−n)为前n采样时刻的MAV值.

步骤2.数据更新

为了减少假手佩戴者的手臂在放松状态下由于微小干扰而造成假手误动作,在动作强度估计中增加了去抖动环节f(E)[24].

其中,E0为手臂放松状态下测量得到的肌电信号的绝对值均值.

动作强度的估计值为

将Fd对应于假手手爪的开合速度、握力、手腕旋转速度,即可实现假手动作强度的控制.对于手爪而言,在自由空间内Fd对应于手爪的期望开合速度,在约束空间内对应于手爪的期望握力;对于手腕而言,Fd对应于手腕的旋转速度.本文后续实验中采用文献[25]中所述的基于刚度模糊观测的反演控制方法进行假手动作的控制.

1.3 触觉提示

人体皮肤表面分布有大量的触觉感受器,能够感知外界的刺激.在触觉刺激的研究中,常用的方法有电刺激、顶针刺激、热刺激和振动刺激等,其中机械振动刺激是一种较为理想的触觉刺激方式,其装置简单小巧、感知舒适性好、响应速度快、可调范围大、平均功耗低、一致性好且易于驱动控制.振动刺激装置产生的机械振动作用于人体不同部位皮肤,可以通过控制机械振动信号的波形、频率、幅值和作用方式等产生不同的触觉刺激.因此,本文选择振动刺激来实现向人体进行信息反馈.

为了便于使用,本文将触觉提示装置设计成袖带形式,如图7所示,主要包括4个微型振动器、振动器驱动模块、控制模块、蓝牙模块以及锂电池等.蓝牙模块接收假手当前的动作信息并输入控制模块,控制模块根据接收到的信息输出相应的振动编码控制振动器的振动.振动器在袖带上的位置可以根据需要进行调整,使用时将袖带绑在测试者的上臂,调整振动器的位置即可得到如图8所示的振动器分布.

图8 振动器分布示意图Fig.8 Distribution sketch of the vibrators

振动器是本文触觉提示装置的核心,选用振动型空心杯电机作为振子,直径10mm,厚度4mm,该电机最大工作电压为5V,最大工作电流100mA,由脉冲宽度调制PWM控制.本文依据前人研究采用频率100Hz,占空比50%,电平5V的PWM控制振动器的振动[26].

本文设计振动袖带的目的在于实现EEG和sEMG对假手的协同控制.为了便于测试者准确把握假手当前的状态,设计了6种振动刺激编码用于向佩戴者反馈假手当前的工作状态.如图9所示,设计的6种振动刺激分别对应于手爪动作、手腕动作、手爪闭合、手爪张开、手腕顺时针旋转、手腕逆时针旋转.

图9 触觉反馈提示编码Fig.9 Coding of the tactile feedback

2号和4号振子同时振动代表动作类型为手爪开合动作,只有2号振子振动代表动作类型为手爪的闭合动作,只有4号振子振动代表动作类型为手爪的张开动作.

1∼4号振子同时振动代表动作类型为手腕的旋转动作,4个振子的振动顺序为1-2-3-4时代表动作类型为手腕的逆时针转动,4个振子的振动顺序为1-4-3-2时代表动作类型为手腕的顺时针旋转.

图10为本文设计的EEG和sEMG协同控制流程.控制器首先进行手爪动作和手腕动作的判别,并给出相应的触觉提示,随后进行具体动作类型(手爪张开、合,手腕顺、逆旋转)的判别.

以手爪闭合动作为例,用户首先眨眼两次,触觉反馈系统会控制振动袖带中2号和4号振子振动,提示用户当前为手爪动作;用户继续眨眼三次,触觉反馈系统会控制振动袖带中2号振子振动,提示用户当前为手爪闭合动作;随后控制器根据sEMG信号对动作的期望强度进行估计,并控制假手动作的强度;闭合动作完成后,用户只需再眨眼三次即可停止当前的动作.

2 实验

为验证该控制策略的可行性,进行了实验.10名健康受试者(5男,5女;年龄:22∼29岁)参与了本文实验.实验包括动作编码实验、触觉感知实验和假手取物实验.实验场景如图11所示.

实验中采用MindWave测量EEG信号,如图12所示,该设备将一个干电极贴合在测试者前额部位进行EEG信号的测量,设备通过蓝牙接口实时输出采样率512Hz的脑电信号.

实验中采用实验室自行研制的表面肌电传感器进行sEMG信号的测量,如图13所示.该传感器在一个3.5cm×5cm的塑料板上设置两个用于连接电极片的按扣,两个按扣的中心距为2.5cm,所用的电极片为上海钧康医用设备有限公司生产的JK-1(A)型一次性电极片,该电极片由Ag/AgCl电极板、导电胶和背衬等组成,背衬粘贴面积为3.4cm×4.8cm,能够很好地满足粘贴要求.使用时将该传感器粘贴在手臂肱侧腕屈肌皮肤表面即可进行肌电信号的测量,实验中设置sEMG信号的采样率为512Hz.

实验中所用的假手为实验室与丹阳假肢厂有限公司联合研制的假手,如图14所示.该假手为二自由度假手,由两个直流电机分别控制手爪开合机构和手腕旋转机构的动作,戴上硅胶手套后该假手具有与自然人手一样的外形.

2.1 动作编码实验

动作编码实验过程中,受试者根据电脑屏幕的动作提示,结合图2和表1所示的编码流程进行眨眼动作.电脑屏幕随机输出4种动作提示,每种动作输出25次,对于每个电脑屏幕给出的动作,要求受试者在5秒钟内完成相应的眨眼动作.图15为某受试者对手爪闭合动作进行眨眼编码时测量得到的EEG数据.

图10 EEG和sEMG协同控制流程图Fig.10 Flow chart of the coordinated control based on EEG and sEMG

图11 实验场景Fig.11 Experimental scene

图15中,T1时间段内眨眼两次代表选择的动作为手爪动作,T2时间段内振动袖带中的2号和4号振动器会发生振动提示用户当前的动作类型为手爪动作,T3时间段内眨眼3次代表选择的动作为手爪闭合,T4时间段袖带中的2号振动器会发生振动提示用户当前动作为手爪闭合,T5时间段内眨眼3次代表取消了手爪的动作.

统计10位受试者的实验结果如表2所示.从表2可以看出,10位受试者对手部4个动作进行眨眼编码的平均正确率均达到92%以上,受试者可以很好地通过眨眼来实现手部动作的编码.

图12 EEG测量设备Fig.12 EEG measuring device

图13 表面肌电传感器Fig.13 sEMG sensor

图14 两自由度假手Fig.14 Two DOF Prosthetic hand

图15 对手爪闭合动作进行眨眼编码时测量得到的EEGFig.15 EEG captured in the process of blink coding of the hand closing

2.2 触觉感知实验

将振动袖带佩戴于受试者的上臂,触觉感知实验过程中(如图8所示),计算机通过蓝牙接口随机向振动袖带发送6种振动编码,每种编码发送20次,受试者根据自身感觉记录当前振动编码对应的动作类型.统计10位受试者的实验结果如表3所示.从表3可以看出,10位受试者对手部动作的触觉编码感知的平均正确率均达到98.33%以上,受试者可以很好地分辨出4种手部动作对应的触觉编码.

2.3 假手取物实验

进行动作编码实验和触觉感知实验后,进行了假手取物实验,即受试者采用本文提出的控制策略控制假手抓取物体.实验前每位受试者有5分钟时间熟悉假手的控制,实验内容分为硬物抓取实验和纸杯抓取实验,如图16所示.

表2 手部动作识别结果Table 2 Results of the hand motion recognition experiments

表3 触觉感知实验结果Table 3 Results of the tactile perception experiments

硬物抓取实验:要求每位受试者控制假手抓取并移动重量为200g的砝码20次,砝码掉落视为抓取失败,统计10位受试者的实验结果如表4所示.

纸杯抓取实验:要求每位受试者控制假手抓取并移动装有水的纸杯20次,纸杯掉落或杯中的水溢出视为抓取失败,统计10位受试者的实验结果如表5所示.

图16 物品抓取实验场景Fig.16 Experimental scene of the grasping objects

表4 砝码抓取实验结果Table 4 Results of the grasping weights

表5 纸杯取实验结果Table 5 Results of the grasping paper cups

从表4和表5可以看出,在硬物(砝码)的抓取实验中,10位受试者的抓取成功率均达到90%以上,在纸杯的抓取实验中,10位受试者的抓取成功率均达到70%以上.纸杯抓取实验的成功率明显低于砝码抓取实验的成功率.纸杯抓取过程中受试者由于紧张等因素易造成手臂上的sEMG出现波动,从而导致将抓取失败.

3 结论

本文针对残臂较短或残臂上肌电测量点较少的残疾人使用假手的需求,提出了一种基于EEG和sEMG协同处理的假手控制策略,仅用1个肌电传感器和1个脑电传感器实现了多自由度假手的控制.从头部前额捕获脑电信号并从中提取出眨眼动作信息,提取得到的眨眼动作信息用于假手动作的编码;从人体手臂上获取肌电信号,经过自适应处理后用于估计手部动作的强度;设计用于触觉反馈的振动袖带,可将假手当前的动作类型反馈给假手的佩戴者,佩戴者在振动袖带的帮助下可以及时把握当前假手的动作模式,以便更好地控制假手.为验证该控制策略的有效性,进行了实验,实验结果表明本文提出的方法具有有效性.

References

1 Maat B,Smit G,Plettenburg D,Breedveld P.Passive prosthetic hands and tools:a literature review.Prosthetics and Orthotics International,2018,42(1):66−74

2 Clement R G E,Bugler K E,Oliver C W.Bionic prosthetic hands:a review of present technology and future aspirations.The Surgeon,2011,9(6):336−340

3 Brunelli D,Tadesse A M,Vodermayer B,Nowak M,Castellini C.Low-cost wearable multichannel surface EMG acquisition for prosthetic hand control.In:Proceedings of the 6th IEEE International Workshop on Advances in Sensors and Interfaces.Gallipoli,Turkey:IEEE,2015.94−99

4 Tong Li-Na,Hou Zeng-Guang,Peng Liang,Wang Wei-Qun,Chen Yi-Xiong,Tan Min.Multi-channel sEMG time series analysis based human motion recognition method.Acta Automatica Sinica,2014,40(5):810−821(佟丽娜,侯增广,彭亮,王卫群,陈翼雄,谭民.基于多路sEMG 时序分析的人体运动模式识别方法.自动化学报,2014,40(5):810−821)

5 Wu C,Song A,Ji P.A control strategy for prosthetic hand based on attention concentration and EMG.In:Proceedings of the 8th International Conference on Intelligent Robotics and Applications.Portsmouth,UK:Springer,2015.307−318

6 Losier Y G.Shoulder Complex Motion Based Input Strategies for Prosthetic Limb Control[Ph.D.dissertation],University of New Brunswick,Canada,2009.

7 Tamura H,Gotoh T,Okumura D,Tanaka H,Tanno K.A study on the S-EMG pattern recognition using neural network.International Journal of Innovative Computing,Information and Control,2009,5(12):4877−4884

8 Caesarendra W,Lekson S U,Mustaqim K A,Winoto A R,Widyotriatmo A.A classi fication method of hand EMG signals based on principal component analysis and arti ficial neural network.In:Proceedings of the 2016 International Conference on Instrumentation,Control,and Automation(ICA).Bandung,Indonesia:IEEE,2016.22−27

9 Yang S X,Yang G Y.Emotion recognition of EMG based on improved L-M BP neural network and SVM.Journal of Software,2011,6(8):1529−1536

10 Elhariri E,El-Bendary N,Hassanien A E.A hybrid classi fication model for emg signals using grey wolf optimizer and SVMs.In:Proceedings of the 1st International Conference on Advanced Intelligent System and Informatics(AISI2015).Cham,Germany:Springer International Publishing,2016.297−307

11 Alkan A,Günay M.Identi fication of EMG signals using discriminant analysis and SVM classi fier.Expert Systems with Applications,2012,39(1):44−47

12 Li N,Yang D P,Jiang L,Liu H,Cai H G.Combined use of FSR sensor array and SVM classi fier for finger motion recognition based on pressure distribution map.Journal of Bionic Engineering,2012,9(1):39−47

13 Ziai A,Menon C.Comparison of regression models for estimation of isometric wrist joint torques using surface electromyography.Journal of Neuroengineering and Rehabilitation,2011,8:Article No.56

14 Nielsen J L G,Holmgaard S,Jiang N,Englehart K,Farina D,Parker P.Enhanced EMG signal processing for simultaneous and proportional myoelectric control.In:Proceedings of the 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Minneapolis,MN,USA:IEEE,2009.4335−4338

15 Nielsen J L G,Holmgaard S,Jiang N,Englehart K B,Farina D,Parker P A.Simultaneous and proportional force estimation for multifunction myoelectric prostheses using mirrored bilateral training.IEEE Transactions on Biomedical Engineering,2011,58(3):681−688

16 Fougner A,Kyberd P J,Stavdahl Ø.EMG feature selection for simultaneous proportional control of multifunctional upper-limb prostheses.In:Proceedings of the 13th World Congress of the International Society for Prosthetics and Orthotics(ISPO).Leipzig,Germany:ISPO,2010.

17 Pulliam C L,Lambrecht J M,Kirsch R F.Continuous and simultaneous EMG-based neural network control of transradial prostheses.In:Proceedings of the 2011 MEC011 conference.Fredericton,Canada:University of New Brunswick,2011.

18 Muceli S,Farina D.Simultaneous and proportional estimation of hand kinematics from EMG during mirrored movements at multiple degrees-of-freedom.IEEE Transactions on Neural Systems and Rehabilitation Engineering,2012,20(3):371−378

19 Jiang N,Englehart K B,Parker P A.Extracting simultaneous and proportional neural control information for multiple-DOF prostheses from the surface electromyographic signal.IEEE Transactions on Biomedical Engineering,2009,56(4):1070−1080

20 Fougner A L.Proportional Myoelectric Control of a Multifunction Upper-Limb Prosthesis[Master dissertation],Institutt for Teknisk Kybernetikk,Norway,2007.

21 Kyranou I,Krasoulis A,Erden M S,Nazarpour K,Vijayakumar S.Real-time classi fication of multi-modal sensory data for prosthetic hand control.In:Proceedings of the 6th IEEE International Conference on Biomedical Robotics and Biomechatronics(BioRob).Singapore,Singapore:IEEE,2016.536−541

22 Geethanjali P.A mechatronics platform to study prosthetic hand control using EMG signals.Australasian Physical and Engineering Sciences in Medicine,2016,39(3):765−771

23 Wu C C,Song A G,Ling Y,Wang N,Tian L.A control strategy with tactile perception feedback for emg prosthetic hand.Journal of Sensors,2015,2015:Article No.869175.

24 Wu Chang-Cheng,Song Ai-Guo,Zhang Hua-Tao.Adaptive fuzzy control method for EMG prosthetic hand.Chinese Journal of Scienti fic Instrument,2013,34(6):1339−1345(吴常铖,宋爱国,章华涛.一种肌电假手的自适应模糊控制方法.仪器仪表学报,2013,34(6):1339−1345)

25 Wu Chang-Cheng,Song Ai-Guo,Zhang Hua-Tao,Feng Chao.A backstepping control strategy for prosthetic hand based on fuzzy observation of stiffness.Robot,2013,35(6):686−691(吴常铖,宋爱国,章华涛,冯超.基于刚度模糊观测的假手反演控制策略.机器人,2013,35(6):686−691)

26 Sherrick C E.A scale for rate of tactual vibration.Journal of the Acoustical Society of America,1985,78:78−83