基于上臂关节角度和肌电信号的二自由度假肢控制方法

孙文涛 佘浩田 李鑫 朱金营 姜银来 横井浩史 黄强

残肢患者对灵巧、稳定、智能假肢的需求推进着假肢行业的发展.中国肢体残疾人口超过2400万,社会对假肢和康复辅助器具的需求量很大[1].上肢假肢用来弥补患者由于上臂肢体残缺而造成的生活不便,根据驱动方式的不同,大致分为被动式假肢和主动式假肢.被动式假肢又称传统假肢,这类假肢多采用绳驱动,佩戴者通过背部肌肉拉伸绳索,实现对假肢的控制.这种机械式的控制方式受绳索驱动的限制,功能有限,不能很好地满足人们的日常生活需求,正在逐步被电机驱动、肌电信号控制的主动式假肢所取代.主动式假肢采用从截肢患者残留的肌肉处提取的肌电信号作为控制源,利用假肢中集成的微处理器对肌电信号进行处理并控制假肢随佩戴者的意识而动[2].

主动式上肢假肢的研究目前主要集中在肌电信号提取和使用者意图识别两个方面.肌电信号一般通过金属电极采集,按电极对人体入侵程度分为植入式电极和表贴式电极两种,肌电信号反映的是人体神经—肌肉系统的活动状况.由于采集到的肌电信号是由多根肌肉纤维束的信号叠加而成,因此对肌电信号的分析多采用统计学方法,例如利用肌电信号的时序特征[3−4]和频域特性分析肌肉的出力状态[5−6],同时基于肌肉电生理模型的分析方法在估计肌肉状态中也取得了很好的效果[7].在意图识别方面,近年来,基于模式识别的方法非常热门,其利用监督学习建立肌电信号和动作间的映射关系.目前,模式识别方法已经取得了很多让人振奋的研究进展,例如利用神经网络、支持向量机等机器学习算法的肌电信号识别算法,对多达10种以上动作的离线识别准确率超过90%[8],利用模式识别方法实现了假肢的同时比例控制[9].2015年1月第一个基于模式识别算法的上肢假肢产品COAPT在美国通过产品化审核[10].

基于模式识别方法的肌电假肢正在蓬勃发展中,但是也暴露了很多问题.模式识别方法在实际使用中受空气湿度、患者体表出汗、肌电信号采集位置变动和肌肉疲劳等诸多因素的影响[11−13],使采集到的肌电信号发生特征的变化,进而导致模式识别方法准确率下降,影响患者使用.由于这些原因,目前市场上最先进的假肢,Touch Bionics的BeBionic3、OttoBock的Michelangelo和RSL Steeper的iLimb均采用开关量控制方式[14].开关量控制是指当肌电信号的幅值超过阈值时即触发假肢动作,一般这种控制方法通过在一组拮抗肌上安装两个肌电信号传感器实现,单侧肌肉的收缩使假肢沿对应方向运动,当一组对抗肌同时收缩时触发动作的切换.这种控制方法简单可靠,但是在控制多自由度的假肢时需要繁琐的顺序动作切换过程[15],给假肢使用者带来不便.

为了解决模式识别方法受肌电信号采集环境影响的问题,本文提出一种基于上臂关节角度和肌电信号实现对二自由假肢(手掌一自由度+腕部旋转一自由度)的控制方法.方法通过模式识别建立肩关节角度和肌电信号与假肢动作间的映射关系,由于关节角度值的测量不易受外部环境的影响,将其作为信号源能够避免单独利用肌电信号中的不稳定问题.方法利用肩关节角度控制腕关节旋转,利用肌电信号控制手部开合,这种方式可以避免开关控制在控制手、腕两个自由度间的动作切换.通过与开关量控制方法的抓取实验对比证明了所提出控制方法在使用上的稳定性和高效率.

1 方法

本文利用肩关节在抓握物体时关节角度变化规律的不同,将上肢的抓握动作分为侧握、抓取和托起三类,对应腕关节为竖直、掌心朝下和掌心朝上三种姿态.通过将人体在执行抓握动作时归一化的关节角度值和关节角度变化方向作为特征数据,利用支持向量机实现对三种动作的分类.同时利用上臂的肌电信号控制假肢手部的开合,保证对使用者意图识别的准确率和稳定性.

本文选用由Thalmic Labs公司生产的MYO腕带作为测量传感器,MYO具有8通道表面肌电信号传感器,6轴姿态传感器(加速度计+陀螺仪),通过蓝牙和计算机连接,MYO肌电信号的采样频率为200Hz,精度为8位,姿态传感器的采样频率为50Hz,精度为8位.MYO腕带的自身姿态坐标系和传感器通道编号如图1所示,MYO腕带具有穿戴简单,使用方便等优点.

图1 MYO的佩戴方式以及肩关节角度的定义Fig.1 De finition of shoulder joint angles and the position of MYO

1.1 肩关节角度测量

MYO输出的姿态四元数是经由Kalman滤波后的结果,利用MYO输出的姿态四元数经逆运动学可求解肩关节角度.在使用时,将MYO戴在上臂处,佩戴方向如图1所示,MYO的第4通道位于体侧,同时假设使用中佩戴者不发生大幅位移.MYO在使用前需要校准,佩戴者保持手臂自然下垂,将MYO此时输出的姿态作为姿态求解的参考坐标系.

人体肩关节是一个复合关节,既可旋转又能平移,但是由于肩关节平移对手臂姿态影响较小,因此本文将肩关节简化为由三个旋转副构成,则MYO在参考坐标系的角速度W表示为

其中,为肩关节三个转动轴在参考坐标系中的坐标,均是单位向量.θ1,θ2,θ3为肩关节的旋转角度.

将MYO的角速度转换为其姿态四元素q的导数

则从关节角速度到四元数导数的雅可比矩阵J为

利用Levenber−Marquardt方法求解逆运动学[16],该方法保证每次迭代中关节角度的更新Δθ使下面的值取最小.

其中,e表示目标姿态四元数与当前姿态四元数的差值.

关节角度的更新值为

其中,I为3×3的单位矩阵.

图2是四元数姿态误差的模长随迭代次数变化曲线.迭代初始时的关节角度θ1,θ2,θ3均设为0,λ的值选择为0.8,此值由观察误差随迭代次数变化曲线得出.每次最大迭代次数为5次,误差的模小于0.001后则停止迭代.

1.2 上臂肌电信号的提取与识别

本节利用MYO采集的肌电信号来判断上臂的静态收缩.上臂的肌肉状态可以分为上臂放松、上臂静态收缩和上臂自由运动三种状态.上臂放松是人手臂自然下垂时的状态;上臂静态收缩是指有意识地收缩上臂肌肉,此时肌肉出力大,但是上臂保持静止或慢速运动;上臂自由运动即自然驱动上臂运动,此时上臂的运动速度随肌肉出力变化.本节利用MYO输出的肌电信号分辨上述三种状态.

图2 四元数姿态误差的模长随迭代次数变化曲线Fig.2 Plot of the norm of the state error in each iteration

利用支持向量机对三种动作进行区分,需要获得不同动作对应的肌电信号.MYO肌电信号采样频率为200Hz,训练集采样时长为1.6s,共获得320个点的8路肌电信号序列,由于某个时间点的肌电信号没有意义,肌电信号需要成段处理[17].如图3所示,设置采样窗长为320ms,则每个采样窗内64个点,窗间重叠为280ms,这样在训练集上形成33个窗,即33个样本点.对于窗内的数据,每路信号提取4个特征值,分别是信号的均值差(Mean absolute value,MAV),过零点数(Zero crossing,ZC),波长(Waveform length,WL)和斜率变换数(Slope sign changes,SSC).

每个通道4个特征值,8路通道,共32个特征值.因此每个训练集内是33个32维的向量,由于上臂放松、上臂静态收缩和上臂自由运动中,上臂自由运动出现的概率较大,同时在对动作的识别中,允许将上臂收缩识别为上臂自由运动,但是反之将上臂自由运动识别为上臂静态收缩影响较大,此时后果比较严重,在假肢控制中容易出现误动作,因此,采用上臂自由运动的样本量为上臂静态收缩的3倍,即上臂放松33个样本,上臂静态收缩33个样本,上臂自由运动99个样本.

图3(a)是肌电信号数据,图3(b)为训练样本集的特征平均值在不同动作下的分布,A为上臂放松,B为上臂静态收缩,C为上臂自由运动.从图中可以看出,不同动作时,肌肉各个通道的信号特征有显著的差别.图3(c)是将信号由32维特征空间利用主成分分析(Principal component analysis,PCA)投影到二维平面的结果,投影保留原数据94.46%的方差.图中信号分布有显著的差异,利用线性支持向量机就可以实现对不同动作的区分.图3(d)是3名健康被试者利用此方法区分动作准确率的结果,是3名被试者动作识别准确率随时间变化曲线.准确率的测试集是由被试者在特定时间做上臂放松、上臂静态收缩和上臂自由运动,每个动作各5.12s所构成的数据集.

1.3 肩关节角度和抓取动作

肩关节的运动带动人体整个上肢的运动,上肢的运动中存在着协同关系[18],人的抓握姿态与肩关节的运动具有一定的协同关系.本文将人的抓握过程按手腕的最终动作分为三类,分别是用于抓握直立物体的侧握,单手可以掌握的抓取以及用于托起诸如盘子等物体的托起,如图4所示,三者的主要区别在于腕部旋转角度不同.本节利用支持向量机,通过肩关节角度和关节角度变化量来区分这三类不同的动作.

图3 肌电信号的提取与识别Fig.3 The extraction and recognition of myoelectric signal

图4 三种不同的抓握动作Fig.4 Three different types of grasping

为了分析通过肩关节区分抓握姿态的可行性,采集了6名被试者(5名男士和1名女士(编号6))在抓握图4中的物品时的肩关节角度值,采集过程中,被试者将MYO佩戴在左上臂,当被试手臂自然下垂时,MYO的4通道标志朝向体侧,并将此时的肩关节角度设为零位.实验中,被试者坐于椅子上,胸口距桌子边缘25cm左右,所抓取物体摆放在身体正前方50cm左右.实验开始时,被试者左臂自然下垂,此时被试者面前的屏幕会提示此时处于校准状态,被试者此时持续保持左臂自然下垂,当屏幕上的校准字样消失后,此时被试者按照自己习惯的方式抓取面前的物体,当抓到面前的物体后,被试者做出上臂静态收缩动作,数据采集停止,此时屏幕显示采集完毕字样提示被试采集结束,被试者可以恢复到左臂自然下垂的姿态,每名被试者每组3个动作,共采集10组.

从图5的肩关节角度空间曲线可以看出,虽然被试者抓取的关节角度轨迹间没有明显的一致性,但是对于每名被试者,其在以三种不同的姿态抓取时,肩关节角度曲线在空间上的分布有明显的区别,由于难以利用明确的规则区分不同的抓取姿态,因此对每名被试者的抓取动作采用模式识别的方法加以区分,用于模式识别的第i个特征为

其中,θ=[θ1,θ2,θ3]T表示肩关节角度,由于肩关节角度变化在−180°∼180°之间,因此除以180进行归一化,而同样角度变换值除以其模长进行归一化.由于三种抓取姿势在开始阶段差别并不明显,因此数据中θ1≤10°的肩关节角度点去掉不作为训练数据.

利用高斯核支持向量机分类方法对每名被试者的10组数据3种动作进行区分,采用10折交叉验证方法对结果进行验证,每名被试者的结果如图6.

图5 6名被试者抓握动作在肩关节空间的分布Fig.5 Curves of the grasping of 6 subjects in the space of joint angles

图6 6名被试三类动作分类准确率和标准差Fig.6 Classi fication accuracy and standard deviation of the three movements for 6 subjects

从图6可以看出,利用模式识别方法,根据肩关节角度对三类抓取方式分类的准确率高达90%以上,同时10组验证数据的标准差浮动不大,说明被试者在每次抓取相同物体时都遵循类似的运动模式,即习惯的方式,因此根据肩关节的运动来控制腕关节的方法是可行的,而且也比较稳定.但是离线数据测试的是反复对同一物体抓取的结果,在实际使用中的表现在第2节中进行了测试.

1.4 假肢控制策略

将肩关节角度和肌电信号应用在假肢腕关节的控制上,利用肩关节运动特征判断抓取姿势,侧握、抓取或是托起物品,利用上臂的静态收缩作为判断抓取姿势的结束以及手部在开合间的切换信号.系统的控制流程如图7所示,为单片机中完成肌电信号和运动信号异步处理的流程图.

本文方法在假肢上的控制在θ1≥10°时起作用,而且每次判断抓取姿态后,必须将θ1再次置于10°内才能进行下次抓取姿势的判断,同时利用上臂静态收缩动作作为抓取姿势判断的结束和手部动作的切换,上臂的静态收缩会锁定手腕的角度.对于抓取动作的判断根据FIFO缓冲区内数量最多的动作,目前缓冲区存储动作的数目为25个,即通过前0.5s内的运动判断抓取动作.

2 抓取实验

为了对比具备腕关节控制和无腕关节控制对假肢在使用中的影响,设计实验如下:实验所采用平台是一个具备二自由度的上肢假肢(如图8所示),其中手部1个自由度(两个关节联动),可以实现手部的张开和握紧,腕关节1个自由度,可以实现腕部的旋转,整体重量为794.2g,该假肢是为健康人模拟残疾人佩戴情况设计,具有一个供健康人穿戴的承筒用以将假肢固定在健康人前臂.实验计数2分钟内假肢佩戴者将指定物品移动的次数,每次佩戴者将物品放置在指定方框内,并拍击按钮,视为成功完成一次物品的移动.

图7 假肢控制流程图Fig.7 Control flow of the prosthetic hand

图8 假肢构造Fig.8 Mechanism of the prosthetic hand

实验仍由上面的6名健康被试者参与,本次为11件日常物品的移动,通过统计这11件物品在使用本文的控制方法和利用开关控制时的物体成功被移动次数,对比两种控制方法对假肢使用的影响,每名被试每件物品移动3次,取平均值作为该被试移动该物品的次数.在实验中利用本文的方法时,仅在实验开始前进行一次训练,在实验进行中不进行训练.实验中抓取和移动的物品如图9所示.

图9 实验中抓取和移动的物品Fig.9 Objects used in the grasping experiment

图10所示为被试者在抓取物品中的截图,每次将物品移动至白色方框内放下,敲击圆形按钮视为成功移动一次.

图10 实验过程截图Fig.10 Snapshots of the grasping experiment

图11统计了被试者在实验中移动物品次数的平均值,即该图评价的是控制方法对各种物品抓取的表现,从图中可以看到,相对于开关量控制方法,本文所提出的方法表现优异,尤其是涉及到对物体的抓取需要腕关节运动的时候.利用开关量控制方法驱动腕关节时需要利用静态收缩将控制信号切换到腕部,这个切换过程耗费时间,使得被试者在2分钟内的抓取物品移动的次数较少.同时在实验中发现,被试者在追求快速搬运物体时,基本不会主动切换控制腕关节,而是靠身体动作的动作补偿实现对物体的抓握,这也说明了开关量控制在实际使用中对于多自由度假肢存在实用性不高的问题.

图11 抓取次数统计Fig.11 Statistics of the grasping experiment

3 结论

高效、稳定、简单是假肢控制的三个重要方面,尤其伴随着科学技术的发展,假肢可控的自由度越来越多,如何利用肢体的各种信号实现对多自由度假肢的控制已经越来越受到研究者的关注[19].本文利用肩关节角度和肌电信号实现了对二自由度假肢的控制,并与开关量控制在抓握方面的表现进行了对比.所提方法利用在不同抓握动作下肩关节运动轨迹的不同区分抓握的物体,进而控制腕关节旋转到相应角度,方便使用者抓握物体.所提方法在使用者抓取物体的过程中判断腕关节角度,可以提高使用者抓取物品的效率,同时由于关节角度测量计算简单,在较长时间的使用中表现稳定.利用关节角度的控制方法在下肢假肢中已经取得了应用,由于下肢的运动具有明显的周期规律性,利用关节角度信息可以直接判断下肢运动所处于的相位,但是上肢的运动具有物体导向性,上肢的运动会随着抓取物品位置和形状的不同发生变化,本文利用上肢在运动时肩关节角度变化的不同,完成了对假肢的控制.上肢的关节运动轨迹中蕴含着大量有关抓取的信息[20],充分利用这些信息可以作为肌电信号的辅助,提高假肢控制的准确率和稳定性.未来的工作将会围绕利用上肢的运动学信息与肌电信号并行控制假肢.

References

1 Hou Zeng-Guang,Zhao Xin-Gang,Cheng Long,Wang Qi-Ning,Wang Wei-Qun.Recent advances in rehabilitation robots and intelligent assistance systems.Acta Automatica Sinica,2016,42(12):1765−1779(侯增广,赵新刚,程龙,王启宁,王卫群.康复机器人与智能辅助系统的研究进展.自动化学报,2016,42(12):1765−1779)

2 Zhang Liang-Qing,Su Yi-Feng,Yang Wan-Zhang,Li Guang-Lin.Research progress of multifunctional upper-limb prosthesis systems.International Journal of Biomedical En-gineering,2013,36(5):311−316(张良清,苏沂峰,杨万章,李光林.多功能上肢假肢的研究进展.国际生物医学工程杂志,2013,36(5):311−316)

3 Tong Li-Na,Hou Zeng-Guang,Peng Liang,Wang Wei-Qun,Chen Yi-Xiong,Tan Min.Multi-channel sEMG time series analysis based human motion recognition method.Acta Automatica Sinica,2014,40(5):810−821(佟丽娜,侯增广,彭亮,王卫群,陈翼雄,谭民.基于多路sEMG时序分析的人体运动模式识别方法.自动化学报,2014,40(5):810−821)

4 Kamavuako E N,Scheme E J,Englehart K B.Determination of optimum threshold values for EMG time domain features;a multi-dataset investigation.Journal of Neural Engineering,2016,13(4):Article No.046011

5 Liu J.Feature dimensionality reduction for myoelectric pattern recognition:a comparison study of feature selection and feature projection methods.Medical Engineering and Physics,2014,36(12):1716−1720

6 Politti F,Casellato C,Kalytczak M M,Garcia M B S,Biasotto-Gonzalez D A.Characteristics of EMG frequency bands in temporomandibullar disorders patients.Journal of Electromyography and Kinesiology,2016,31:119−125

7 Li Yang,Tian Yan-Tao,Chen Wan-Zhong.Modeling and classifying of sEMG based on FFT blind identi fication.Acta Automatica Sinica,2012,38(1):128−134(李阳,田彦涛,陈万忠.基于FFT盲辨识的肌电信号建模及模式识别.自动化学报,2012,38(1):128−134)

8 Ortiz-Catalan M,H˚akansson B,Br˚anemark R.Real-time and simultaneous control of arti ficial limbs based on pattern recognition algorithms.IEEE Transactions on Neural Systems and Rehabilitation Engineering,2014,22(4):756−764

9 Jiang N,Rehbaum H,Vujaklija I,Graimann B,Farina D.Intuitive,online,simultaneous,and proportional myoelectric control over two degrees-of-freedom in upper limb amputees.IEEE Transactions on Neural Systems and Rehabilitation Engineering,2014,22(3):501−510

10 Ciancio A L,Cordella F,Barone R,Romeo R A,Bellingegni A D,Sacchetti R,Davalli A,Di Pino G,Ranieri F,Di Lazzaro V,Guglielmelli E,Zollo L.Control of prosthetic hands via the peripheral nervous system.Frontiers in Neuroscience,2016,10:Article No.116

11 Li Q X,Chan P P K,Zhou D L,Fang Y F,Liu H H,Yeung D S.Improving robustness against electrode shift of sEMG based hand gesture recognition using online semi-supervised learning.In:Proceedings of the 2016 International Conference on Machine Learning and Cybernetics.Jeju,South Korea:IEEE,2016.344−349

12 Cipriani C,Sassu R,Controzzi M,Carrozza M C.In fluence of the weight actions of the hand prosthesis on the performance of pattern recognition based myoelectric control:preliminary study.In:Proceedings of the 2011 Annual International Conference on Engineering in Medicine and Biology Society.Boston,USA:IEEE,2011.1620−1623

13 Staudenmann D,Roeleveld K,Stegeman D F,van Dieën J H.Methodological aspects of SEMG recordings for force estimation-a tutorial and review.Journal of Electromyography and Kinesiology,2010,20(3):375−387

14 Young A J,Smith L H,Rouse E J,Hargrove L J.A comparison of the real-time controllability of pattern recognition to conventional myoelectric control for discrete and simultaneous movements.Journal of Neuroengineering and Rehabilitation,2014,11:Article No.5

15 Clement R G,Bugler K E,Oliver C W.Bionic prosthetic hands:a review of present technology and future aspirations.The Surgeon,2011,9(6):336−340

16 Tabandeh S,Melek W,Biglarbegian M,Won S H P,Clark C.A memetic algorithm approach for solving the task-based con figuration optimization problem in serial modular and recon figurable robots.Robotica,2016,34(9):1979−2008

17 Montagnani F,Controzzi M,Cipriani C.Exploiting arm posture synergies in activities of daily living to control the wrist rotation in upper limb prostheses:a feasibility study.In:Proceedings of the 37th Annual International Conference of Engineering and Medicine and Biology Society.Milan,Italy:IEEE,2015.2462−2465

18 Vandenberghe A,Levin O,Schutter J D,Swinnen S,Jonkers I.Three-dimensional reaching tasks: effect of reaching height and width on upper limb kinematics and muscle activity.Gait and Posture,2010,32(4):500−507

19 Ding Qi-Chuan,Xiong An-Bin,Zhao Xin-Gang,Han Jian-Da.A review on researches and applications of sEMG-based motion intent recognition methods.Acta Automatica Sinica,2016,42(1):13−25(丁其川,熊安斌,赵新刚,韩建达.基于表面肌电的运动意图识别方法研究及应用综述.自动化学报,2016,42(1):13−25)

20 Papaleo E,Zollo L,Garcia-Aracil N,Badesa F J,Morales R,Mazzoleni S,Sterzi S,Guglielmelli E.Upper-limb kinematic reconstruction during stroke robot-aided therapy.Medical and Biological Engineering and Computing,2015,53(9):815−828