基于柔性阵列肌电信号的空间外骨骼运动意图辨识方法
2022-06-29胡源渊吴庆勋刘瑞达张利剑
胡源渊, 吴庆勋, 刘瑞达, 刘 昊, 张利剑
(北京机械设备研究所, 北京 100854)
1 引言
舱外航天服作为航天员出舱活动的核心装备,为其提供生命保障支持的同时也带来了关节阻力偏大、活动受限等问题,引起体能下降,影响作业时长。 外骨骼作为一种人体机能增强装备,与舱外服相结合可以有效解决其带来的不利影响,从而提高作业效率。 然而由于太空微重力环境的影响,用于人体运动意图感知的IMU(Inertial Measurement Unit)等传感器可能存在失效风险,且IMU 等传感器必须在人体产生初步运动行为后才可判断运动趋势,这降低了外骨骼克服舱外服阻力的效果。
NASA 和佛罗里达人机认知机器人研究所研制的X1 空间主动外骨骼航天服采用关节编码器作为意图辨识的传感器,存在响应滞后的问题,降低了助力体验;刘奇林等设计了主动航天服关节助力外骨骼,采用惯性测量器件与编码器结合的方案,虽然解决了部分响应的滞后问题,但响应能力仍不能满足穿戴实时性需求。
本文采用柔性阵列肌电信号作为意图感知器件,提出了柔性阵列电极以及扫频筛选通断检测方法,将人体运动时与皮肤不接触电极点进行物理隔离,并研制分布式肌电采集系统,精确获取人体运动时各个肌肉群的肌电信号;然后通过比较分析确定了基于样本熵的运动意图辨识方法;最后,在搭建的模拟低重力试验系统上进行运动意图辨识测试。
2 系统结构
基于分布式柔性阵列肌电信号的外骨骼整体系统结构如图1 所示,由外骨骼本体和分布式柔性阵列肌电采集系统组成。
图1 基于柔性阵列肌电信号的外骨骼整体系统结构Fig.1 Overall exoskeleton system structure based on flexible array EMG signal
分布式柔性阵列肌电采集系统包括柔性阵列电极和肌电采集系统两部分。 柔性阵列电极与下肢肌肉对应皮肤表面接触,将表皮肌电信号传递给肌电采集系统,肌电采集系统具备通断检测和肌电采集功能,首先通过通断检测筛选出阵列电极中与皮肤未接触点并将其隔离,然后通过肌电采集将所有与皮肤接触点传递的肌电信号完整精确采集,并根据采集的肌电信号实时辨识出当前外骨骼运动意图。
3 基于扫频筛选的柔性阵列电极通断检测方法
传统肌肉电信号传感电极由单独一整块电极组成。 当人体在运动时,肌肉蠕动会造成皮肤表面与电极间产生不接触点,容易引入噪声干扰。 本文基于扫频筛选的柔性阵列电极通断检测方法,实现对柔性阵列电极中各个电极点与皮肤之间接触情况的实时检测,精确辨识出与皮肤未接触点并进行物理隔离,隔缺未接触点因天线效应引入的环境干扰,用以提高肌电采集精度。
3.1 柔性阵列电极设计
在柔性阵列电极的设计上,为了提高与皮肤的匹配特性,并降低周围环境对电极的注入干扰,柔性阵列电极采用柔性电路板(Flexible Printed Circuit,FPC)方式做内埋式一体化设计,如图2 所示。 除了与皮肤接触的16 个独立阵列电极点以外,所有通路都从第2 层信号层走,在第1 层和第3 层都使用屏蔽地层覆盖,同时信号地层的四周均留出宽2 mm 的屏蔽地层,将信号完整覆盖屏蔽,有效消除周边环境注入干扰
图2 内埋式一体化设计原理图Fig.2 Schematic diagram of embedded integrated design
综合考虑覆盖密度以及单点接触面积,确定柔性电极为4×4,共16 个电极点的阵列排布,单个电极点为圆形电极,直径为4 mm,相邻两电极边沿间距为1.6 mm。 任意两电极间不导通,实物如图3 所示。
图3 柔性4×4 阵列电极Fig.3 Flexible 4 × 4 array electrode
3.2 基于扫频筛选的通断检测方法
基于扫频筛选的通断检测方法原理图如图4所示。 1 个通道的肌电检测由2 个柔性4×4 阵列电极和1 个通断检测电路组成,通断检测电路可以自由通断每一路阵列电极点间的连接。
图4 基于扫频筛选的通断检测方法原理图Fig. 4 On⁃off detection technology based on frequency sweep screening
为了避免未接触点对采集的影响,需要在肌电采集前实时检测出未接触点的位置并将其有效隔离。 本文基于扫频筛选的柔性阵列电极通断检测技术,从源头对未接触点进行实时隔离,流程如图5 所示。
图5 技术实现流程图Fig.5 Flow chart of technical implementation
1)系统总测试点确定。 肌电采集模块从阵列电极1 的电极点1 开始作为输入点,依次测量与阵列电极1 中的其他电极点间的接触阻抗,以最先测得输入阻抗低于10 kΩ 的2 点中的任意1点作为系统总测试点;
2)无效接触点辨识及隔离。 以系统总测试点为输入,分别在其他所有电极点端计算出与系统总测试点间的接触阻抗,若阻抗低于10 kΩ,则该电极点为有效接触点,若阻抗高于10 kΩ,则该电极点为无效接触点。 所有电极点测试完后,将无效接触点与肌电采集模块间的连接线路断开,确保无效接触点能完全隔离,从而有效屏蔽无效接触点引入的噪声干扰。
3)有效接触点耦合与采集。 将阵列电极1、阵列电极2 中的有效接触点分别通过采集模块耦合连接于一点,并进行差分放大采集,从而得到隔离无效接触点影响的纯净肌电信号。 同时为了保证每次肌电采集时均能隔离无效接触点的影响,每隔一个固定的时间周期,系统重复一次上述步骤,从而确保了实时肌电信号采集的精确性。
为了辨识出未接触点,需要测量各个电极点与皮肤间的接触阻抗,传统电极-皮肤接触阻抗测试方法需要产生1 个和肌肉电频率类似的正弦波信号,从1 个电极点注入皮肤,再测量其他点正弦波的峰峰值,并计算出等效阻抗,该种方式可以精确测量各个电极点间的接触电阻值,从而判断电极点与皮肤间的接触情况,辨识并隔离出未接触点。 但由于注入信号的存在,系统无法进行有效的肌电数据采集,极大地破坏了肌电数据的连续性。 针对这种情况,本文研究得到肌电电压纹波幅值变化情况与接触阻抗间的关联特性,如图6 所示,由图中可以看出,肌电电压纹波幅值差与接触阻抗间呈近似线性的变化关系,基于本文应用目的是为了判断电极与皮肤是否断开或者接触,因此在肌电电压纹波幅值差与接触阻抗的变化趋势一致且具有一定线性相关性的基础上,可以用电压纹波幅值差来直接表达电极与皮肤的接触状态。
图6 肌电纹波差与接触阻抗关联特性Fig.6 Correlation between EMG ripple difference and contact impedance
从图6 中可以看出,当肌电纹波差大于2 mV时,接触阻抗超过了100 kΩ,此时肌电采集精度会很不理想,因此,以2 mV 作为电极断开的判据,在每次采集各个通道肌电数据的同时,通过计算各个通道肌电电压纹波差来反向计算出各个电极点与皮肤的接触阻抗,从而实现对各个电极点与皮肤间接触阻抗的实时计算,在不影响肌电信号采集的同时,实时检测出未接触点并予以隔离。具体流程如图7 所示。 为消除突刺对判定的干扰影响,当系统连续1000 次采集的肌电纹波差值都大于2 mV 时,判定该路电极与皮肤未接触,并将其与皮肤物理隔离,其他所有通道也都按照这种方法进行,从而极大地消除了未接触电极给肌电采集精度带来的干扰。
图7 控制流程图Fig.7 Flow chart of the control
4 分布式肌电采集系统设计
针对肌电信号的幅值在0.05~2 mV 时,有效频率主要在0 ~150 Hz这一特性展开设计。 其工作原理图如图8 所示。
图8 肌电采集系统工作原理图Fig.8 Working principle diagram of EMG acquisition system
为了保证设计电路的抗干扰性,系统设计时将模拟电路以及数字电路部分进行隔离,以降低系统数字部分对微弱模拟信号的干扰。
4.1 肌电采集系统模拟电路设计
肌电采集系统模拟电路包括低通滤波模块、50 Hz 陷波模块、百倍差分放大模块以及共模抑制模块。 信号经导线输入到采集模块后,首先经过50 Hz 陷波模块和低通滤波模块的滤波处理,将信号中的无用部分滤除,避免了后续高倍放大时造成放大电路过饱和。 滤波后的信号经过百倍差分放大后变成容易采集的大电压信号,并通过24 位高精度模数转换电路进行精确采集。 同时为了有效抑制人体共模信号的干扰,引出共模抑制电路来消除共模信号。
图9 所示为50 Hz 陷波以及低通滤波模块,为了保证信号处理中噪声干扰尽可能的小,选用具有1.2 μV 峰峰值的低噪声运放AD8639 和opa4376,完全满足系统精度要求,可有效抑制50 Hz噪声以及150 Hz 以上的高频噪声。
图9 陷波及低通滤波电路Fig.9 Notch and low⁃pass filter circuit
100 倍差分放大电路选用AD8222 高精度仪表放大器,该芯片具有0.25 μV 的极低噪声输入,在100 倍放大倍数下有140 kHz 的带宽,同时还具有126 dB 的高共模抑制能力,可以保证对信号的精确放大,同时选用AD8639 芯片搭建共模抑制电路,能将差分电路上的共模信号精确提取并放大反馈到人体表皮,从源头抵消了共模信号的产生,有效抑制了干扰。 其电路图如图10所示。
图10 100 倍差分放大及共模抑制电路Fig.10 100 times differential amplification and com⁃mon mode suppression circuit
4.2 肌电采集系统数字电路设计
肌电采集系统数字电路包括模数转换电路以及控制模块。 模数转换电路负责将模拟信号转换为数字信号,便于后期计算机分析处理。 本文选用TI 公司生产的并行采样24 位模数转换器ADS1298,此款器件具有8 个独立∑-△调制解调器和数字滤波器实现8 路信号同步采集,支持通道休眠,而且方便独立地控制每一个通道的工作状态。 其电路图如图11 所示。
图11 24 位高精度模数转换电路Fig.11 24 bit high precision analog⁃to⁃digital conver⁃sion circuit
控制模块采用STM 公司的STM32F405 芯片作为主控制器,其主频高达168 MHz,自带多种扩展协议接口,且具有10 mm×10 mm 的极小封装尺寸,满足系统高速小型化需求,其设计电路如图12 所示。
图12 控制模块电路Fig.12 Circuit of control module
5 基于肌电信号的运动意图辨识算法
5.1 基于肌电样本熵的踝关节运动意图辨识
踝关节发力的时机是影响助力效果的主要因素之一。 为了实现良好的助力效果,需要在稍微提前于人体关节发力的时刻给踝关节相应部位提供助力。 人体踝关节在整个步态周期内的功率曲线如图13 所示,由图可以看出,踝关节在步态周期的57%~68%时间内以较大的功率快速发力,总时间仅占步态周期的10%左右。 人体踝关节快速集中发力的特点对外骨骼踝关节发力控制提出了更高的要求。 传统的人体步态检测方法根据关节处编码器或者足底压力对关节运动意图进行辨识并进行发力控制,存在发力滞后的问题,严重影响助力效果。 本文采用肌电信号作为关节发力控制的参考信号,由于肌电信号先于关节运动产生,可以提前预测关节发力时机。
图13 步态周期内踝关节功率曲线Fig.13 Medial ankle power curve in gait cycle
关节发力时机的识别问题可转化为对肌电信号的起始点识别问题。 尽管肌电信号具有提前预测功能等优点,但是肌电信号容易受伪迹噪声、电磁干扰等因素影响。 当肌电受到噪声干扰时,容易造成起始点的虚警。 样本熵(Sample Entropy,SampEn)通过衡量时间序列复杂性来度量信号中产生新模式的概率大小,克服了数据偏差,具有更强的抗噪能力和优异的一致性,同时采用较少的数据段即可得到稳定的熵值。
踝关节周围的肌肉包括腓肠肌、比目鱼肌和胫骨前肌。 比目鱼肌为深层肌肉,不能采集其表面肌电信号,胫骨前肌在小腿前侧,肌电采集模块若安装在胫骨前肌部位,会与空间外骨骼发生干涉,因此选择腓肠肌作为采集信号的发力肌肉。
5.1.1 样本熵计算
设每帧信号为{()},其中=1,2,…,,为数据长度总和。 将每帧信号序列中连续个值构成一个维矢量如式(1)所示:
定义() 与() 的距离[(),()] 为两者对应元素中差值最大值,如式(2)所示:
给定相似容差,对于每一个≤,统计[(),()]的个数(也称模版匹配数),并对距离总数-+1 求均值,得到所有-条件下的模版匹配数,对矢量个数总和-求平均,如式(3)所示:
将矢量维度改为+1,得到(),如式(4)所示:
那么,对于每帧数据长度为的肌电信号,其对应的样本熵值计算函数如式(5)所示:
由此可以看出函数()取决于,和,一般取(0.1~0.25)×(),其中()为信号的标准差。当为每帧数据时,相似容差是局部的;当为某一段完整的数据时,相似容差是全局的。 本文中取全局相似容差。
5.1.2 基于样本熵的踝关节运动意图辨识方法
基于样本熵的肌电信号实时起始点检测算法流程如图14 所示。 其中代表样本熵,表示设定的样本熵阈值。
图14 基于样本熵的肌电信号实时起始点检测算法流程Fig.14 Algorithm flow of EMG real⁃time starting point detection based on sample entropy
基于样本熵的关节发力控制流程如图15 所示。 其中表示设定的时间间隔。 样本熵优异的抗噪性能加上双层确认条件,可以大幅降低关节发力误判的概率。
图15 基于样本熵的关节发力控制流程图Fig.15 Flow chart of joint force control based on sample entropy
采集人体小腿腓肠肌肌电信号,曲线如图16中的蓝线所示。 首先进行零均值处理,然后调用样本熵计算子函数,得到的样本熵曲线如图17 所示,可以看出,所得到的样本熵曲线呈单峰状,因此可以通过设定合适的阈值,判断小腿开始运动的起始点。 图16 中的红线为设定阈值后的起始点辨识结果,可以看出,样本熵算法可以准确有效地实现对肌电起始点的判断。
图16 肌电原始信号与起始点辨识结果Fig.16 Identification results of EMG original signal and starting point
图17 样本熵曲线Fig.17 Entropy curve of sample
5.2 基于能量算子的脚踝动作意图辨识
利用能量算子(Teager⁃Kaiser Energy,TKE)特征提取对肌电信号进行能量算子非线性变换运算,并将计算后的值作为踝关节运动辨识特征,其中能量算子变换公式为[()]=()(+1)(1) ,其中() 为肌电信号。 对于具有零均值、震荡特性肌电信号cos(+) 而言,能量算子变换后的值为sin() ,同时涉及到幅值和频率信息。 与静息状态下肌电信号相比,动作状态下的肌电信号不仅幅值变大,而且频率增高,具有较高的可区分性和可靠性,可解决在低信噪比肌电条件下的踝关节动作的实时辨识,并且具有算法简单、准确度和鲁棒性高、响应速度快等特点。 如图18 所示,上图为采集到的原始肌电信号,下图为经过能量算子处理之后的特征信号,静息状态下肌电基线噪声被明显抑制,而动作状态下的肌电信号得到显著增强,大大提高了对动作/非动作意图的辨识性。
图18 腓肠肌原始肌电与TKE 能量算子处理Fig.18 Primitive electromyography of gastrocnemius and treatment of TKE energy operator
在人体运动过程中,会有不确定的毛刺噪声信号引入到肌电中,严重影响了基于肌电的运动辨识。 针对此问题,通过基于时间-动作校正的双阈值判断方法,降低因毛刺噪声而引起的误判概率,如图19 所示。 基于时间-动作校正的双阈值方法是通过判断TKE 能量算子值连续超过阈值一定时长后,才更新识别状态标记,否则维持其当前状态不变。 通过该方法,实现对脚踝动作的辨识,显著提升了辨识的准确性,如图20 所示。但时间-动作校正的双阈值方法方法降低了动作辨识的时效性,因此需根据具体时效应用需求,对时间长度阈值进行合理设置。
图19 基于时间-动作校正的双阈值判断方法Fig.19 Double threshold judgment method based on time⁃action correction
图20 踝关节动作意图(趾屈/背屈)辨识结果Fig.20 Identification results of ankle movement in⁃tention (toe flexion / back flexion)
从基于肌电样本熵的踝关节运动意图辨识和基于能量算子的脚踝动作意图辨识2 种方法的算法和辨识效果可以看出,2 种算法都具有较好的辨识效果。 样本熵的优势在于一次计算就可以实现起始点的准确识别,而能量算子需要双阈值进行判断;样本熵的缺点是运算量比能量算子要大,但是由于现在处理器的主频和计算能力比较高,综合考虑,本文采用基于样本熵的方法进行识别。
6 运动意图辨识试验
6.1 预试验
在常规的跑台上开展运动辨识预试验,构建基于肌电信号的辨识模型。 选取8 名身体健壮、状态良好的被试者,在小腿腓肠肌绑缚柔性阵列肌电采集模块用于采集肌电信号。 利用室内光学动作捕捉系统采集踝部动作,在足部粘贴反光球用于标记足跟触地时刻,如图21 所示。 被试者以5 km/h 速度在跑台上行走60 min,同时以500 Hz的采样频率采集肌电和动作捕捉数据。 计算肌电信号的样本熵,用动作捕捉数据进行标记。
图21 运动意图辨识试验Fig.21 Test of motion intention identification
当脚跟触地瞬间,柔性外骨骼开始助力踝关节运动,此时刻为发力起始时刻。 采用肌电信号样本熵阈值辨识的方法计算发力起始时刻。 利用试验结果,优化算法的阈值,计算模型的ROC 曲线下方面积(Area Under Curve,AUC)。
根据柔性外骨骼的控制系统要求,助力时机起始时间误差应在±0.1 s 以内。 样本集包括小腿腓肠肌肌电信号和与之对应的动作捕捉数据,依据动作对样本集进行分解,1 个步态周期为1个动作。 如图22 所示,利用肌电样本熵阈值判断发力起始时机,以动作捕捉系统记录的足跟触地时机作为标记,当判断的发力时机与触地时刻的时间误差在±0.1 s 内,则认为该动作辨识正确,对样本集所有动作辨识结果进行统计,可以计算出该算法的准确性。
图22 发力起始时间辨识Fig.22 Identification of starting time of force
阈值的选取直接影响样本熵方法辨识效果的准确性,阈值设定过低,则结果的假阳性率增加;阈值设置过高,则结果的真阳性率降低。 因此,有必要基于样本集找到最佳的阈值,平衡算法的敏感性和精确性,提高发力时机判断的准确性。
本文采用受试者的工作特征曲线(Receiver Operating Characteristic Curve,ROC)找到检测样本熵的最佳阈值点。 ROC 曲线是根据一系列不同的二分类方式(分界值或决定阈),以真阳性率(True Positive Rate,TPR)为纵坐标,假阳性率(False Positive Rate,FPR)为横坐标绘制的曲线,可以反映模型在选取不同阈值的时候其敏感性和其精确性的趋势走向。 根据8 名受试者发力起始时刻的肌电信号样本熵范围,选取寻优区间,样本熵最大值为1.42,最小值为0.86,因此,选取阈值的寻优区间为0.86 ~1.42,梯度为0.02。 计算不同阈值状态下识别结果的真阳性率和假阳性率,绘制ROC 曲线,如图23 所示,图中蓝色线为ROC 曲线标准形式。
图23 动作意图辨识ROC 曲线Fig.23 ROC curve of action intention identification
从图23 中可以看出,依据ROC 曲线原理,左上角A 点位置为阈值选取的最佳位置,此状态下FPR 为0.09,TPR 为0.94,此时阈值为1.12,因此设定1.12 为最终的动作辨识阈值,此时AUC为95%。
不同的肌电采集系统采样频率、信噪比不同,不同人体的肌肉特性不一样,导致肌电信号复杂度不同,因此其样本熵也存在差异。 为了提高模型的泛化能力,实现在不同传感系统、不同被试间完成运动意图辨识,本文提出提出样本熵阈值缩放算法,如式(6)所示:
式中,为原模型肌电信号样本熵峰值的平均值,为改变采集系统或被试者后肌电信号样本熵峰值的平均值,为原模型肌电信号模型的阈值,为新状态下的肌电信号模型的阈值。
6.2 低重力模式试验
为了验证本文方法在低重力环境下的有效性,开展低重力模式试验。 搭建模拟低重力试验系统,用弹性吊绳将人半吊在空中,模拟1/6 重力环境。 被试者穿着空间助力外骨骼,以3.5 km/h速度行走,按照预实验的方法分别记录肌电信号和足跟触地过程运动学数据,如图24 所示。
图24 模拟低空微重力环境运动意图辨识试验Fig.24 Test of motion intention identification in sim⁃ulated low altitude micro⁃gravity environ⁃ment
以光学捕捉系统采集的触地数据为真值,采用阈值缩放的样本熵方法对采集结果进行辨识。设足跟触地时为1 状态,摆动时为0 状态,结果如图25 所示,纵坐标为足跟状态,蓝色线为真值,黄色线为预测值,准确率为94.2%,证明了采用肌电信号样本熵可以实现低重力环境下下肢行走动作的精准辨识,为后续助力控制提供了精确的发力标志。
图25 真值与预测值辨识结果对比Fig.25 Comparison of identification results between true value and predicted value
7 结论
本文提出了基于柔性阵列电极的分布式肌电步态辨识方法,并研制了分布式肌电采集系统,通过常规运动测试及模拟低重力试验验证辨识准确率及动态响应速率。 试验结果表明,辨识准确率大于90%,动态响应速率在±0.1 s之内,可以满足航天员实际穿戴需要,为后续助力控制提供了精确的发力标志。
后续有待进一步研究的问题包括:
1)肌电采集系统的穿戴便捷性,研究如何保证穿戴肌电系统与空间外骨骼在结构与电气上良好匹配不干涉;
2)肌电电极目前通过绑缚的形式保证与皮肤的紧密贴合,但这样长时间工作会给穿戴者带来不舒适的体验,如何提高穿戴舒适性与长久性也是后续研究的重点方向。