智能肌电控制假手研究进展
2019-05-30宋爱国胡旭晖祝佳航
宋爱国 胡旭晖 祝佳航
摘要 智能肌电假手研究作为康复医疗领域中的重要研究内容,始终是国内外研究的热点.随着机器人技术的进步,假手正往仿人型、灵巧性、直觉控制、智能感知方向发展.智能肌电假手应当具有与人手相近的功能,其不仅能通过运动功能重建辅助残疾人进行日常生活,而且还应通过感知反馈功能重建让残疾人产生人机共融的本体感.本文通过对国内外多年的肌电假手研究成果进行分析比较,从质量、灵巧程度、抓取性能、设计原理等多角度分析了假手的机械结构设计要素;另外,本文还较系统地对基于肌电信号的手势识别研究现状进行概述,介绍了目前基于残肢生物信号识别的多种研究思路,并分析了多种基于不同原理的假手信息感知技术,介绍了利用指尖力触觉传感器实现对假手的自适应控制和用户的感知反馈.最后总结了未来假手的研究发展过程中面临的问题与挑战,提出了肌电假手的未来研究方向.
关键词 肌电假手;运动意图识别;力触觉感知;仿人灵巧手
中图分类号 TP241;TP273
文献标志码 A
0 引言
手是人体最为重要的肢体部位之一,人们的各种日常活动均离不开手.意外伤害和疾病导致的肢体残缺不仅影响外表的美观而且也会严重影响患者的生活质量.据不完全统计,目前我国使用肌电假手的残疾人有数万人.假手的研究作为康复医疗中的重要环节得到了各界学者的广泛关注.初期的假手只是人体缺失肢体的装饰物,并没有实际的功能,在漫长的发展过程中,假手渐渐开始具备自然手的功能,并不断改进和完善.然而,人手是个复杂的结构,如何打造一个复杂的系统并满足残疾人的需要,是目前该领域的一个重要研究方向[1].
现阶段智能假手控制方式繁多,例如基于视觉的假手、基于脑电的假手和基于肌电的假手等.随着时间的推移,智能假手的设计目标早已不局限于成为残缺肢体的装饰物,而是希望能够在最大程度上实现自然手的功能.其中利用肌电信号控制的假手因其可控性强、实现难度相对较低、操作方式符合自然习惯等特点,成为目前假手领域的主流研究方向.肌电假手通过采集一种典型的生物电信号,即人体动作时肌肉产生的包含肢体位置、力度等信息的信号,而后进行信号处理,从而实现其动作控制.这种模式不仅实现了人体对假手完美的控制,而且能够控制力的大小,使人体能够根据自己的想法控制假手的运动.
国外开展假手研究的时间较国内更早,技术也更加先进,但价格昂贵,我国一般的残疾人家庭无力负担.目前,美国、欧洲等发达国家对肌电假手的研究重点已开始向假手的可控性和可感知性等深层研究过渡.人手皮肤上集成有17 000多个机械感受器,假手的可感性,即“触觉”,能够帮助残疾人更好地实现控制,从而使假手更大程度模拟自然手的运动.通过可感性,假手能够通过了解自身的位置即力度大小,结合抓握状态及时调整控制策略,优化控制效果,实现自主调节.智能假手的研究具有重大的意义,它不仅促进科技的进步,同时其实用性为社会康复事业做出了巨大贡献.通过佩戴假手,残臂人士将拥有和正常人一样生活的能力,具有更高的生活质量和幸福感[2].
1 发展历史
残疾人前臂假肢经历了索控假肢到肌电假肢的发展历程[3].索控假肢是在20世纪初发展起来的,目前依旧是截肢患者一种经济实用的选择.索控假手如图1所示.索控假肢末端包含两个钩形的金属尖头,通常通过使用者背部的张紧弹力带把这些尖头夹在一起.在拉紧的情况下,用一根缆绳把尖头挂钩打开.弹力带由横跨躯干和双肩的肩带组成,最终通过肩带牵引.这意味着用户必须弯曲他们的背部或肩膀来完成终端钩形手的动作.
自20世纪50年代以来,表面肌电信号功率与运动意图的相关性原理已经被应用于肌电假肢控制[4].20世纪60年代开始,苏联、加拿大、意大利、日本等国对肌电控制假肢进行了广泛的研究[5-9].图2为早期肌电假手实物.早期的肌电假肢控制系统通常采用开/关的方式.该方法将一个假肢功能分配给一个表面肌电图通道.对于每个处理间隔,将表面肌电信号的振幅与一个预定义的阈值进行比较,当阈值被超过时,响应函数将以固定的速度启动,或者与肌电信号的振幅成比例.利用多个信号位点,将不同的功能分配给不同的信道,达到直接控制的目的.这种方法可以提供直观的控制,因为可以选择控制位置,使预期的功能对应于生理上适当的肌肉.例如,对于经桡动脉截肢者,手腕屈肌和伸肌的信号可以分别用来控制手部的打开和关闭功能.然而,使用这种方法至少需要两个信号源来实现一个生理自由度,例如,手腕内翻被分配到一个通道,手腕外翻被分配到第二个通道.但这一要求在多自由度肌电假手中很难满足,对于高水平的肢体缺陷是不切实际的,该类型肌电假手常被称为阈值控制假手.
Dorcas等[8]在1966年提出了有限状态机的方法,其预设有限个等级编码将肌肉活动的范围(从检测阈值到最大收缩时的值)划分为几个区间,每个区间对应一个假肢功能.域由一组预定义的决策边界分隔.计算EMG(肌电信号)振幅后,控制逻辑将其值与决策边界进行比较,确定最可能的域,并激活相应的函数.由肌电通道中肌电图的最大方差和加噪声的方差确定误差概率最小的决策边界.等级编码方法通过允许一个表面肌电信号通道表示多个假肢功能,使得多功能假肢比直接比例控制方法[10]更容易实现.临床实验结果中,采用该控制策略,假肢使用者可以可靠控制的最大自由度数最多为3個,这使得多功能设备的控制较直接控制困难、不直观.但该方法目前仍广泛使用于商业假肢中,如德国Otto Bock公司的Sensor Hand、Bebionic Hand、Michelangelo Hand等.
2 肌电假手关键技术及发展现状
正常人手加手腕具有至少26个可支配自由度,受31条肌肉协同控制,其中手部具有19条肌肉、19个关节,腕部具有18根肌腱,是人体最复杂的部分之一.近年来,随着机器人传感与控制技术的发展,智能肌电假肢在机械结构、残肢意图识别、假肢力觉感知等方面都取得了重要的技术突破.因此本文将从仿人假手结构、表面肌电信号识别、指尖力触觉感知3个关键技术点对前臂神经义肢的研究现状做出概述.
2.1 仿生假手结构设计
仿生假手的机械结构设计始终是国内外研究的热点[11-17].德国工业设备制造商Schunk公司销售的仿人型机械手SVH,是世界上第一个受国家社保认证的人机协作工业机械手[18],其集成有9个电机用于控制20个关节的活动.德国宇航局(DLR)自2001年起开始研发多指灵巧机械手设计[19],在2006年和哈尔滨工业大学合作研发了DLR/HITHand[20].Shadow Hand 被称为最灵巧的机械手,其通过绳索驱动可以主动控制手部的20个关节.UR机器人公司于2018年上市了柔性工业抓取仿人手QB Hand.除此以外,国内外的高校、开源组织也设计了大量结构各异的假手.
残疾人假肢作为一种生机电一体化的人机共融型机器人,其体积、质量都会受到实际使用者的约束,因此一定程度上牺牲了部分灵巧度[21-22].德国的Otto Bock和冰岛的Ossur是国际上主要的假肢生产企业,Otto Bock公司的假手包括Sensor Hand(图3a)、Michelangelo Hand(图3b)和Bebionic Hand(图3c);Ossur以研发下肢假肢为主,近年收购了Touch Bionics公司的iLimb[23](图4).假肢高昂的价格是让众多截肢患者无法使用上仿人肌电假肢的主要原因,因此,英国的Open Bionics 公司、日本的Exiii公司设计了基于3D打印的低成本假手,如图5所示.
随着仿人机器人技术的发展,越来越多的高校与研究单位开始进行假手的机械设计与肌电控制研究.上海交通大学[24]设计了基于连续体差速机构的五指仿人机械假手,如图6所示.华中科技大学[1,25]设计了由4个电机驱动的五指仿人手,如图7所示.该假手通过一种通用理论,使假手利用更少的电机实现自然的抓握功能.为分析人手在日常生活中的抓握机理,建立了抓握实验范式,研究了手指在抓取过程中手指关节间、手指间的运动关系以及手指的姿态协同特性.自2009年起,东南大学机器人传感与控制技术实验室与丹阳假肢厂合作,对假肢的动作意图识别、力触觉感知、力触觉反馈等方面提升了商业化假手的控制性能[26].目前相关的研究成果已经进入生产销售阶段,其中图8为研制的第二代肌电假手,图9为正在研发的多指灵巧手,所利用的基于表面肌电图像的手势识别算法能自如控制假手完成8种手势动作[27].
表1所示为目前主流的商业假肢与处于研发阶段的假肢,表中列出了各假肢的质量、尺寸驱动器数量、假手驱动方式和最大加持力.所有假肢的尺寸基本都和人手尺寸保持一致,假肢的质量是设计过程中的重要指标,若手部太重,会使得残疾人产生肌肉疲劳,不利于肌电信號的识别,一般认为假肢手部质量不超过500 g[28].此外,驱动器数量决定机械手的
灵巧程度,但减少驱动器数量又能降低假手质量,因此一些假手在设计中采用一个电机协同控制多关节,如Michelangelo Hand,RIC Hand,Exiii Hand,Soft Hand.表1中各假手的另一差异是驱动方式,绝大多数商业化假手采用连杆机构,而Azzurra Hand和 Soft Hand 采用线轮传动,该方法具有自适应抓取功能[29],且机构有柔顺性.连杆机构优势在于结构更稳固、运动轨迹固定,且装配简单.假肢的抓握力是衡量各假肢性能的重要指标,其中iLimb的抓取力最大能达到136 N[4].
2.2 肌电假手的运动控制
表面肌电信号是一种非平稳信号,概率密度函数是均值为0的高斯分布,因此对每一个采样点进行信号识别有一定的难度.目前,国内外学者对肌电信号的预处理已经有较为统一的认识,Losier[30]将肌电信号的拾取到识别分为3层:
1)信号预处理层:该层主要包括原始信号的放大和滤波.由于原始肌电信号是一种微弱的生物信号,极易受到外界电磁波干扰,因此通常要经过工频陷波和低频带通滤波,常用截止频率为20 Hz的4阶高通滤波以及截止频率为400 Hz的2阶低通滤波器.
2)运动意图解码层:该层主要包括对预处理信号的特征提取,主要方法包括提取肌电信号的功率特征、时域特征、频域特征、时频域特征等.另外还有基于选取特征的运动信息解码.
3)输出控制层:该层主要包括识别到的运动信息到假手执行器的映射,使假肢能受使用者自如控制.
2.2.1 特征提取
肌电信号特征提取是肌电信号动作识别的重要组成部分,MAV(绝对值均值)和RMS(均方根)是两种最常用的估计表面肌电信号功率的时域特征.Englehart等[31]将时域和频域特征融合,提升了假手的控制精度.另外,文献[32]采用不同的肌电信号时频域特征进行手部动作识别,其结果表明基于小波包变换(WPT)的分类结果比快速傅里叶变换(FFT)的分类结果更好.表2所示为常用的肌电信号特征.图10为经过信号预处理层,并采用RMS特征得到的表面肌电信号及曲线.由图10可知,该曲线的幅值与肌肉的收缩程度有直接关系.
2.2.2 基于肌电信号的手部多动作识别
早期的假肢最多只有2~3个主动自由度,控制方式常采用序列策略(sequence strategy),即识别算法一次只能对假肢的一个自由度进行控制,当需要进行其余自由度的控制时,需要激活一种“模式切换信号”进行不同自由度的切换[33].随着假肢制造技术的发展,假肢的自由度不断增加,但直接沿用传统的序列策略极大增加了多自由度假手的控制复杂度,使残疾人无法自如操作义肢.究其原因,在于正常人通常依靠手部和腕部的多个自由度进行同步(simultaneous)协同动作,而非传统的序列控制.为了克服传统控制方式的缺陷,目前的研究方向主要分为基于深度学习的模式识别[34-35]和基于生物力学的运动意图解码两种.
基于深度学习的模式识别,是目前解决多动作识别的常用方法,早期的模式识别算法基于浅层神经网络[36-37]、线性分类器[38-39]、支持向量机[40-43]、统计学预测方法[44]等.近年来借助深度神经网络强大的学习能力,基于深度神经网络、卷积神经网络[45]、循环神经网络[46-47]的肌电识别算法被提出,这些方法可以直接建立表面肌电信号到手部运动信息的映射关系.
基于表面肌电信号的模式识别可细分为手势分类预测和手部运动回归估计[48].目前基于模式识别的商业假肢均采用手势分类预测的方法,该方法虽然不需要额外的模式切换信号就能控制更多的自由度,但是人手部的运动是自然连续的,分类预测得到的离散手势不能表达手部不断运动过程中的过渡状态,使用这样的假肢依然缺乏本体感.Amsuess等[49]提出了基于共空间模式的手部运动回归估计方法,并应用于实际假肢控制场景中,该方法通过估计肌力进行假手的速度控制,实现同步比例的(simultaneous and proportional)控制效果,与单一的模式识别方法相比增强了残疾人的本体感.
增加肌电信号源的数量有助于识别更丰富的手部运动信息,Twardowski等[50]采用多通道肌电信号监测特定肌群的表面肌电信号进行手势识别,Geng[51]采用128高密度肌电信号识别手部、腕部的52种手势动作,Amma等[52]采用高密度192通道肌电信号识别27种手势,Moin等[53]提出基于超维计算的高密度阵列肌电识别,能缩短训练时间和在线识别延时.高密度的肌电信号希望得到更充足的信号源,但也面临诸多缺陷,如电极接触效果差、设备穿戴不方便、对于前臂截肢残疾人而言没有充足的穿戴空间等,因此目前仍较难应用于商业化假肢中.
基于生物力学的动作意图解码,以手部运动的生物学原理为基础,Jiang等[54]提出了基于肌肉协同(muscle synergies)的假手控制策略.肌肉协同假设是基于协同运动的肌肉共享脊髓神经驱动信号,Jiang等采用非负矩阵分解(nonnegative matrix factorization)识别了手腕的3种自由度(手腕顺/逆时针旋转、手腕内/外翻、桡骨侧/尺骨侧翻转)的连续运动估计,并且能识别2种手势的组合.Lin等[55]使用16个单极电极识别手腕2自由度的连续运动,采用改进的稀疏非负矩阵分解取得了更好的实验效果.非负矩阵分解方法的优势在于其为半监督式学习,较有监督学习而言降低了训练复杂度,也缩短了训练时间.
文献[50,56-57]提出了基于运动单元解码(motor unit decoding)的假手控制策略,该思想在肌肉协同概念的基础上更进了一步.协同运动的肌肉由不同运动神经统一支配,利用高密度肌电信号可以提取运动单元发放的神经脉冲序列,因此开辟了从表面肌电信号中直接解码神经信号的道路.文献[56]提出了基于盲源分离的运动单元解码方法,该方法需要借助高密度肌电信号才能解碼出运动单元动作电位序列(MUAPs).文献[50]提出了从肌肉的动态循环收缩过程中提取MUAPs的方法,采用增量方法增强对动作电位波形的理解,以提高MUAPs的识别率.
此外,Satori等[58]提出了基于肌肉模型的线上手势识别方法,其采用表面肌电信号驱动肌肉骨骼模型,针对下肢的多个自由度模拟了肌肉从兴奋起始到机械扭矩产生的所有转换.Zhang等[59]提出了基于电阻抗断层成像(electrical impedance tomography)的手势识别方法,其利用肌肉在协同运动过程中肌肉的截面积变化以及肌肉位移变化识别受试者的多种手势动作.
综上所述,虽然表面肌电信号识别手部动作的研究自20世纪60年代以来从未间断,但直至目前仍然是一个具有挑战性、开放性的研究课题.目前肌电识别效果除了受识别算法的内因影响,信号在采集过程中的质量外因也不可忽略.表面肌电信号是一种体表微信号,容易被外界的电磁波干扰淹没.除此以外,对于手臂健全者而言,肌肉疲劳、皮肤阻抗、出汗、电极接触情况、手臂姿态、个体性差异均会对手势识别产生较大影响;对于前臂截肢残疾人而言,还包括残肢肌肉缺失度、萎缩度的差异,因此很难用一个统一的泛化模型对不同使用者进行识别[60].对手势识别对象进行测试训练是提高识别率的重要方式,有针对性的训练过程可以采集具有个体特异性的肌电特征,结合有监督式学习可以提升手势识别的精度.
2.2.3 信息感知技术
近几十年来,假肢控制技术在世界范围内取得了很大的进步,假肢的实用性也得到了很大的提高.虽然一些仿生假体可以实现多自由度的运动,但大部分仍然是开环控制,并没有将假手抓握信息反馈给人体[61].因此,在抓取的过程中,不可避免地会因为握力过大而导致物体被破坏.理想的假手应具有与人体相似的信息感知功能,能够感知物体的外形、纹理、刚度、滑动等信息[62].因此,假手在应用中需要人工触觉传感器[63].从人工传感系统获取的信息可用于寻找接触位置、重建和识别物体形状、测量接触力[64-65]和温度.
现有的人工触觉传感器由于手指空间等问题,从原理上主要有这几类:压阻式、压电式、电容式[66-67].例如意大利的热那亚大学(University of Genoa)采用压敏导电橡胶作为敏感材料为MAC-HAND四指机器人灵巧手研制了触觉传感器[68],该触觉传感器由64个电极组成,蚀刻在导电橡胶层覆盖的柔性PCB上;德国Schunk公司与Karlsruhe大学合作开发的三指灵巧手IPR-Schunk-Hand的每个手指指尖及近指关节处均安装了基于电容原理的触觉传感器,该触觉传感器敏感单元个数为14×6个,分辨率为3.4 mm;美国耶鲁大学开发的iRobot-Harvard-Yale (iHY)灵巧手集成了基于气压测量的“Takktile”阵列传感器,手掌上有48个“Takktile”阵列,手指近指节有2×6个“Takktile”阵列,远指节有2×5个“Takktile”阵列,其中2个“Takktile”位于手指末端(图11).
Edin等[63]研制了一种名为BioTac sensor的仿生触觉传感器,使用一种不可压缩液体作为声学导体,将振动从皮肤传递到一个宽带压力传感器,从而达到检测滑动和辨别纹理的效果,传感器如图12所示.
Choi等[69]研制的基于聚偏氟乙烯(PVDF)和壓力可变电阻墨水的复合型触觉传感器与拟人机械手SKKU hand II相结合,具有足够的物理灵活性,可以变形成任何三维几何形状.
哈尔滨工业大学以HIT/DLR Hand型多指灵巧手为平台研制了基于压阻原理三维力传感器.如图13所示,该传感器具有36个触觉单元,其空间分辨率能达到3 mm×3 mm.
此外,文献[26]设计了基于触点力传感器和应变片的仿生假手手指来对假手的握力进行检测;文献[70]利用光纤嵌入在刚性手上集成的软聚合物材料制成传感器,能够准确地检测被操作对象的尺寸和刚度(精度分别为99.36%和100%).
人类手部的触觉传入提供了有关手与环境相互作用的基本信息,大脑利用这些信息使运动输出适应被操纵对象的物理特性[71-72].手部截肢会破坏从手到手的传入和传出通路,使个体的运动机能完全丧失.虽然使用肌电假体可以部分恢复运动功能,但为假肢使用者提供功能上有效的感官反馈仍是一个很大程度上尚未解决的挑战[73-74].目前,假手信息的感知反馈主要有两个主体——假手用户(佩戴者)及假手内部控制器,如图14所示.根据不同的反馈信息,假手控制器能够给予不同的响应(力、运动速度、位置等),以实现对假手的精准控制[75].同时,反馈信息将回传给佩戴者,该信息使其拥有“触觉”,感知假手的抓握状态[76-77].例如,在进行杯子的抓握动作时,信息感知反馈系统能够进行抓握力和摩擦力大小的匹配判断[78],当握力不足以抓住杯子时,反馈系统会将判断结果回传给控制器,从而不断改变握力大小,直到握力大小满足要求.
此外,国外还有学者研究通过神经重建、桥接等方式来向假手用户进行信息反馈[79],研究人员通过手术将袖套电极植入一名前臂截肢男子的上臂神经,部分或暂时恢复了他的触觉,并提高了他操作电动假体的能力[80].电极对假肢手上的传感器作出反应,刺激上臂神经,上臂神经一旦延伸到假肢上,这种感觉会让使用者觉得是来自他失去的那只手.神经重建能大幅度提高假手用户的信息感知能力,是未来假手感知技术发展的一个重要领域.
3 面临的主要问题与挑战
综上所述,肌电假手的研究目前仍然是机器人领域的研究热点,但依然有诸多问题与挑战亟待攻克:
1)肌肉信号仍然是控制上肢假肢唯一可行的生物信号.尽管该领域已有几十年的学术研究,但目前的商业假手仍然完全由60年前提出的方法控制.虽然基于模式识别的方法取得了不错的效果,但这是以鲁棒性显著降低为代价的,因此仍然需要探索更可靠、自然的运动意图识别方法.
2) 假手所能获取的感知信息还过于贫乏,虽然大部分假肢都在指尖安装有触觉传感器,但还无法模拟人皮肤的感知系统.
3) 目前的商业肌电假肢还缺乏本体的力触觉反馈,虽然已有大量研究表明反馈闭环有助于提升假手的控制精度,但目前还较少地在假手上集成力触觉反馈装置,因此即便假手上集成有大量的触觉传感器,这些信息依然无法直观被使用者获取.
4)理想的上肢肌电假手应该同步、比例、直观地控制多个自由度.同时假手应有更高的鲁棒性,使用更少电极,经过较少甚至没有训练.尽管国内外已经投入了大量的努力,但到目前为止,所列文献中提出的系统还未能够满足所有这些标准.
4 结论
本文通过对国内外多年的肌电假手研究成果进行分析比较,从质量、灵巧程度、抓取性能、设计原理等多角度分析了假手的机械结构设计要素,残疾人假肢的设计需要在灵活度和质量上直接进行取舍.另外,本文较系统地对基于肌电信号的手势识别研究现状进行概述,介绍了目前基于残肢生物信号识别的多个主流研究思路,提出基于生物力学的手势识别方法是未来进行精细手部动作识别的有效途径.本文还分析了多种基于不同原理的假手信息感知技术,介绍了利用指尖力触觉传感器实现对假手的自适应控制和用户的感知反馈技术,提出融入力触觉传感的电子皮肤是有触觉的智能肌电假手的未来发展趋势.
参考文献
References
[1] 张可科,熊蔡华,贺磊,等.基于DSP的仿人形假手控制系统研究[J].机电工程,2013,30(4):450-453,458
ZHANG Keke,XIONG Caihua,HE Lei,et al.Control system for prosthetic hand based on DSP[J].Mechanical & Electrical Engineering Magazine,2013,30(4):450-453,458
[2] 卫生部,民政部,财政部,等.关于进一步加强残疾人康复工作的意见[J].中国康复医学杂志,2002,17(6):324-325
Ministry of Health,Ministry of Civil Affairs,Ministry of Finance,et al.Views on further strengthening the rehabilitation of persons with disabilities[J].China Journal of Rehabilitation Medicine,2002,17(6):324-325
[3] Orr F,James V,Bahrani S.The history and development of artificial limbs[J].Engineering in Medicine,1982,11(4):155-161
[4] Belter J T,Segil J L,Dollar A M,et al.Mechanical design and performance specifications of anthropomorphic prosthetic hands:a review[J].The Journal of Rehabilitation Research and Development,2013,50(5):599
[5] Battye C K,Nightingale A,Whillis J.The use of myo-electric currents in the operation of prostheses[J].The Journal of Bone and Joint Surgery British Volume,1955,37-B(3):506-510
[6] Berger N,Huppert C R.The use of electrical and mechanical muscular forces for the control of an electrical prosthesis[J].American Journal of Occupational Therapy Official Publication of the American Occupational Therapy Association,1952,6(3):110-114
[7] Asghari Oskoei M,Hu H S.Myoelectric control systems:a survey[J].Biomedical Signal Processing and Control,2007,2(4):275-294
[8] Dorcas D S,Scott R N.A three-state myo-electric control[J].Medical & Biological Engineering,1966,4(4):367-370
[9] Parker P A,Stuller J A,Scott R N.Signal processing for the multistate myoelectric channel[J].Proceedings of the IEEE,1977,65(5):662-674
[10] Fougner A,Stavdahl O,Kyberd P J,et al.Control of upper limb prostheses:terminology and proportional myoelectric control:a review[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2012,20(5):663-677
[11] Kamikawa Y,Maeno T.Underactuated five-finger prosthetic hand inspired by grasping force distribution of humans[C]∥IEEE/RSJ International Conference on Intelligent Robots & Systems,2008
[12] Pons J L,Rocon E,Ceres R,et al.The MANUS-HAND dextrous robotics upper limb prosthesis:mechanical and manipulation aspects[J].Autonomous Robots,2004,16(2):143-163
[13] Lotti F,Tiezzi P,Vassura G,et al.Development of UB hand 3:early results[C]∥IEEE International Conference on Robotics & Automation,2006
[14] Gaiser I N,Pylatiuk C,Schulz S,et al.The FLUIDHAND Ⅲ:amultifunctional prosthetic hand[J].JPO Journal of Prosthetics and Orthotics,2009,21(2):91-96
[15] Kyberd P J,Light C,Chappell P H,et al.The design of anthropomorphic prosthetic hands:a study of the southampton hand[J].Robotica,2001,19(6).DOI:10.1017/S0263574701003538
[16] Kragten G A,Herder J L.The ability of underactuated hands to grasp and hold objects[J].Mechanism and Machine Theory,2010,45(3):408-425
[17] Dalley S A,Wiste T E,Withrow T J,et al.Design of a multifunctional anthropomorphic prosthetic hand with extrinsic actuation[J].ASME Transactions on Mechatronics,2009,14(6):699-706
[18] Light C M,Chappell P H.Development of a lightweight and adaptable multiple-axis hand prosthesis[J].Medical Engineering & Physics,2000,22(10):679-684
[19] Butterfass J,Grebenstein M,Liu H,et al.DLR-Hand Ⅱ:next generation of a dextrous robot hand[C]∥IEEE International Conference on Robotics & Automation,2001
[20] Liu H,Wu K,Meusel P,et al.Multisensory five-finger dexterous hand:the DLR/HIT hand Ⅱ[C]∥Proc IEEE/RSJ Int Conference on Intelligent Robots & Systems,2008
[21] Controzzi M,Cipriani C,Carrozza M C.Mechatronic design of a transradial cybernetic hand[C]∥IEEE/RSJ International Conference on Intelligent Robots & Systems,2008
[22] Huang H,Jiang L,Zhao D W,et al.The development on a new biomechatronic prosthetic handbased on under-actuated mechanism[C]∥IEEE/RSJ International Conference on Intelligent Robots & Systems,2007
[23] van der Niet O,Bongers R M,van der Sluis C K.Functionality of i-LIMB and i-LIMB pulse hands:case report[J].Journal of Rehabilitation Research and Development,2013,50(8):1123-1128
[24] Kai X,Liu H,Liu Z,et al.A single-actuator prosthetic hand using a continuum differential mechanism[C]∥IEEE International Conference on Robotics & Automation,2015
[25] Xiong C H,Chen W R,Sun B Y,et al.Design and implementation of an anthropomorphic hand for replicating human grasping functions[J].IEEE Transactions on Robotics,2016,32(3):652-671
[26] Wu C C,Song A G,Ling Y,et al.A control strategy with tactile perception feedback for EMG prosthetic hand[J].Journal of Sensors,2015,2015:1-15
[27] 胡旭暉,宋爱国,李会军.基于表面肌电图像的灵巧假手控制系统[J].控制理论与应用,2019,35(12):1707-1714.
HU Xuhui,SONG Aiguo,LI Huijun.Dexterous robot hand control system based on surface electromyography image.Control Theory & Applications,2018,35(12):1707-1714
[28] Cipriani C,Controzzi M,Carrozza M C.Objectives,criteria and methods for the design of the SmartHand transradial prosthesis[J].Robotica,2010,28(6):919-927
[29] Dechev N,Cleghorn W L,Naumann S.Multiple finger,passive adaptive grasp prosthetic hand[J].Mechanism and Machine Theory,2001,36(10):1157-1173
[30] Losier Y G.Shoulder complex motion based input strategies for prosthetic limb control[C],2009.
[31] Englehart K,Hudgins B.A robust,real-time control scheme for multifunction myoelectric control[J].IEEE Transactions on Biomedical Engineering,2003,50(7):848-854
[32] Zhang X,Yang Y,Xu X,et al.Wavelet based neuro-fuzzy classification for EMG control[C]∥IEEE International Conference on Communications,Circuits & Systems & West Sino Expositions,2002
[33] Farina D,Jiang N,Rehbaum H,et al.The extraction of neural information from the surface EMG for the control of upper-limb prostheses:emerging avenues and challenges[J].IEEE Transactions on Neural SystemsandRehabilitation Engineering,2014,22(4):797-809
[34] Simon A M,Stern K,Hargrove L J.A comparison of proportional control methods for pattern recognition control[C]∥2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society.IEEE,2011
[35] Lee S,Saridis G N.The control of a prosthetic arm by EMG pattern recognition[C]∥IEEE Conference on Decision & Control,2007
[36] Muceli S,Farina D.Simultaneous and proportional estimation of hand kinematics from EMG during mirrored movements at multiple degrees-of-freedom[J].IEEE Transactions on Neural SystemsandRehabilitation Engineering,2012,20(3):371-378
[37] Begg R,Kamruzzaman J,Sarker R.Neural networks in healthcare[M].IGIGlobal,2006.DOI:10.4018/978-1-59140-848-2
[38] Matsumura Y,Fukumi M,Akamatsu N,et al.Wrist EMG pattern recognition system by neuralnetworks andmultiple principal component analysis[M]∥MatsumuraY,FukumiM,AkamatsuN,etal.eds.LectureNotesin Computer Science.Berlin,Heidelberg:Springer Berlin Heidelberg,2004:891-897.DOI:10.1007/978-3-540-30132-5-120
[39] Yang G,Yang S.Emotion recognition of electromyographybased onsupport vector machine[C]∥International Symposium on Intelligent Information Technology & Security Informatics,2010
[40] Hargrove L,Losier Y,Lock B,et al.A Real-Time patternrecognition based myoelectric control usability study implemented in a virtual environment[C]∥International Conference of the IEEE Engineering in Medicine & Biology Society,2007
[41] Kawano S,Okumura D,Tamura H,et al.Online learning method using support vector machine for surface-electromyogram recognition[J].Artificial Life and Robotics,2009,13(2):483-487
[42] Orabona F,Castellini C,Caputo B,et al.Model adaptation with least-squares SVM for adaptive hand prosthetics[C]∥IEEE International Conference on Robotics & Automation,2009
[43] Alkan A,Günay M.Identification of EMG signals using discriminant analysis and SVM classifier[J].Expert Systems with Applications,2012,39(1):44-47
[44] Sebelius F,Eriksson L,Balkenius C,et al.Myoelectric control of a computer animated hand:a new concept based on the combined use of a tree-structured artificial neural network and a data glove[J].Journal of Medical Engineering & Technology,2006,30(1):2-10
[45] Geng W D,Du Y,Jin W G,et al.Gesture recognition by instantaneous surface EMG images[J].Scientific Reports,2016,6:36571
[46] Quivira F,Koike-Akino T,Wang Y,et al.Translating sEMG signals to continuous hand poses using recurrent neural networks[C]∥2018 IEEE EMBS International Conference on Biomedical & Health Informatics (BHI).IEEE,2018:166-169
[47] Hu Y,Wong Y,Wei W T,et al.A novel attention-based hybrid CNN-RNN architecture for sEMG-based gesture recognition[J].PLoS One,2018,13(10):e0206049
[48] Ziai A,Menon C.Comparison of regression models for estimation of isometric wrist joint torques using surface electromyography[J].Journal of NeuroEngineering and Rehabilitation,2011,8(1):56
[49] Amsuess S,Goebel P,Graimann B,et al.A multi-class proportional myocontrol algorithm for upper limb prosthesis control:validation in real-life scenarios on amputees[J].IEEE Transactions on Neural Systemsand Rehabilitation Engineering,2015,23(5):827-836
[50] Twardowski M D,Roy S H,Li Z,et al.Motor unit drive:a neural interface for real-time upper limb prosthetic control[J].Journal of Neural Engineering,2019,16(1):016012
[51] Geng W,Du Y,Jin W,et al.Gesture recognition by instantaneous surface EMG images[J].Scientific reports,2016,6:36571.
[52] Amma C,Krings T,Boer J,et al.Advancing muscle-computerinterfaces withhigh-density electromyography[C]∥Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems-CHI15,2015:929-938
[53] Moin A,Zhou A,Benatti S,et al.Adaptive EMG-based hand gesture recognition using hyperdimensional computing[J].arXiv.org:1901.002234
[54] Jiang N,Englehart K B,Parker P A.Extracting simultaneous and proportional neural control information for multiple-DOF prostheses from the surface electromyographic signal[J].IEEE Transactionson Biomedical Engineering,2009,56(4):1070-1080
[55] Lin C,Wang B H,Jiang N,et al.Robust extraction of basis functions for simultaneous and proportional myoelectric control via sparse non-negative matrix factorization[J].Journal of Neural Engineering,2018,15(2):026017
[56] Barsakcioglu D Y,Farina D.A real-time surface EMG decomposition system for non-invasive human-machine interfaces[C]∥2018 IEEE Biomedical Circuits and Systems Conference (BioCAS).IEEE,2018:1-4.
[57] Liu L K,Bonato P,Clancy E A.Comparison of methods for estimating motor unit firing rate time series from firing times[J].Journalof Electromyography and Kinesiology,2016,31:22-31
[58] Sartori M,Durandau G,Doen S,et al.Robust simultaneous myoelectric control of multiple degrees of freedom in wrist-hand prostheses by real-time neuromusculoskeletal modeling[J].Journal of Neural Engineering,2018,15(6):066026
[59] Zhang Y,Xiao R,Harrison C.Advancing hand gesture recognition with high resolution electrical impedancetomography[C]∥Proceedings of the 29th Annual Symposium on User Interface Software and Technology-UIST16,2016:843-850
[60] Castellini C,Bongers R M,Nowak M,et al.Upper-limb prosthetic myocontrol:two recommendations[J].Frontiers in Neuroscience,2016,9:496
[61] Liu H,Greco J,Song X,et al.Tactile image based contact shape recognition using neural network[C]∥Multisensor Fusion & Integration for Intelligent Systems,2012
[62] 姜明文,王人成,罗志增,等.具有触滑觉功能的肌电假手[J].清华大学学报(自然科学版),2004,44(8):1051-1053
JIANG Mingwen,WANG Rencheng,LUO Zhizeng,et al.Myoelectric prosthetic hand with tactile and slip feedback functions[J].Journal of Tsinghua University(Science and Technology),2004,44(8):1051-105
[63] Edin B B,Ascari L,Beccai L,et al.Bio-inspired sensorization of a biomechatronic robot hand for the grasp-and-lift task[J].Brain Research Bulletin,2008,75(6):785-795
[64] Song A G,Wu J,Qin G,et al.A novel self-decoupled four degree-of-freedom wrist force/torque sensor[J].Measurement,2007,40(9):883-891
[65] Ma J Q,Song A G,Pan D C.Dynamic compensation for two-axis robot wrist force sensors[J].Journal of Sensors,2013,2013:1-5
[66] Aukes D M,Heyneman B,Ulmen J,et al.Design and testing of a selectively compliant underactuated hand[J].The International Journal of Robotics Research,2014,33(5):721-735
[67] Mouri T,Kawasaki H,Yoshikawa K,et al.Anthropomorphic robot hand “gifu hand III” and real time control system[J].The Proceedings of JSME Annual Conference on Robotics and Mechatronics (Robomec),2002:112-113
[68] Cannata G,Maggiali M.An embedded tactile and force sensor for robotic manipulation and grasping[C]∥IEEE-RAS International Conference on Humanoid Robots,2005
[69] Choi B,Lee S,Choi H R,et al.Development of anthropomorphicrobothand with tactile sensor:SKKU hand II[C]∥IEEE/RSJ International Conference on Intelligent Robots & Systems,2006
[70] Leonardis D,Solazzi M,Bortone I,et al.A 3-RSR haptic wearable device for rendering fingertip contact forces[J].IEEE Transactions on Haptics,2017,10(3):305-316
[71] 張济川.仿生肌电假手的触滑觉功能及其实现[C]∥全国康复医学工程与康复工程学术研讨会,2010
ZHANG Jichuan.A study on tactile and slip sensory functions for the EMG controlled bionic arm prostheses and its realization[C]∥The 7th National Symposium on Rehabilitation Medicine Engineering and Rehabilitation Engineering,2010
[72] 尹云.基于触滑觉控制的智能假手关键问题研究[D].大连:大连理工大学,2004
YIN Yun.Research on key problems of intelligent artificial hand based on touch and slip sense control[D].Dalian:Dalian University of Technology,2004
[73] Lanzetta M,Perani D,Anchisi D,et al.Early use of artificial sensibility in hand transplantation[J].Scandinavian Journal of Plastic and Reconstructive Surgery and Hand Surgery,2004,38(2):106-111
[74] Li N,Yang D P,Jiang L,et al.Combined use of FSR sensor array and SVM classifier for finger motion recognition based on pressure distribution map[J].Journal of Bionic Engineering,2012,9(1):39-47
[75] Chen C H,Naidu D S,Perez-Gracia A,et al.A hybrid adaptive control strategy for a smart prosthetic hand[C]∥International Conference of the IEEE Engineering in Medicine & Biology Society,2009
[76] Kim G,Asakura Y,Okuno R,et al.Tactile substitution system for transmitting a few words to a prosthetic hand user[C]∥International Conference of the Engineering in Medicine & Biology Society,2005
[77] Fassih A,Naidu D S,Chiu S,et al.Precision grasping of a prosthetic hand based on virtual spring damper hypothesis[C]∥Biomedical Engineering Conference,2010
[78] Philipson L,Larsson P G.The electromyographic signal as a measure of muscular force:a comparison of detection and quantification techniques[J].Electromyography & Clinical Neurophysiology,1988,28(2/3):141
[79] Delgado-Martínez I,Badia J,Pascual-Font A,et al.Fascicular topography of the human median nerve for neuroprosthetic surgery[J].Frontiers in Neuroscience,2016,10:286
[80] Svensson P,Wijk U,Bjorkman A,et al.A review of invasive and non-invasive sensory feedback in upper limb prostheses[J].Expert Review of Medical Devices,2017,14(6):439-447
Research progress on intelligent myoelectric control prosthesis
SONG Aiguo1,2,3 HU Xuhui1,2,3 ZHU Jiahang1,2,3
1 School of Instrument Science & Engineering,Southeast University,Nanjing 210096
2 National Key Laboratory of Bioelectronics,Southeast University,Nanjing 210096
3 Key Laboratory of Remote Measurement and Control Technology in Jiangsu Province,Southeast University,Nanjing 210096
AbstractAs an important research content in the field of rehabilitation,intelligent myoelectric prosthetic hand research has always been a hot research spot through the world.With the advancement of robotics,the prosthetic hand is moving toward humanoid type,dexterity,intuitive control,and intelligent perception.The intelligent myoelectric prosthetic hand should have similar function with human hand.It not only assists the daily life of the disabled by rebuilding motor function,but also recreate the proprioception by restoring the perceptual feedback function.This paper reviews years of domestic and foreign research results on myoelectric prosthetic hand and analyzes the mechanical design of the prosthetic hand from the perspectives of weight,dexterity,grasping performance,and design principle.In the area of user motion intention decoding,this study systematically summarizes the state-of-the-art in gesture recognition based on surface electromyography signals,and introduces various of research ideas based on residual limb biological signal recognition.In addition,a variety of prosthetic hand tactile perception technologies based on different principles are analyzed,and adaptive control and user awareness feedback using the finger tip force tactile sensor are introduced.Finally,the problems and challenges faced in the research and development of prosthetic hands are summarized,and the direction of future research in myoelectric prosthetic hand is proposed.
Key wordsmyoelectric prosthetic hand;motion intention recognition;force tactile perception;anthropomorphic hand