人体下肢康复运动意图识别与人机交互训练方法研究
2024-05-29李科岐姚固林吴全玉潘玲佼刘晓杰
李科岐 姚固林 吴全玉 潘玲佼 刘晓杰
摘 要:家用小型下肢康复器因其诸多优势正逐步取代传统的康复治疗手段,如何提高家用小型下肢康复器的治疗效果与安全性成为设备研究的重要内容。本文在牵引式下肢康复器的控制基础上,提出了一种基于表面肌电信号的下肢运动意图识别方法与主动控制模式。首先,对表面肌电信号进行分析,并建立基于BP神经网络的运动意图分类模型。其次,将下肢运动时分类模型产生的输出结果作为下肢康复器的控制信号,实现患者的动作识别与主动训练。最后,在实时训练中测得设备的平均识别率为86.67%,证明该主动训练模式的可行性,进而提高了设备的柔顺性。另外,在训练过程中还监测下肢异常动作产生的信号并及时处理,提高了设备安全性,为后续进行深入研究主动康复奠定了理论与实践基础。
关键词:下肢康复机器人;表面肌电信号;运动意图识别;主动模式
中图分类号:TP242;TH122 文献标识码:A 文章编号:1673-260X(2024)04-0011-05
下肢康复器能够帮助肌肉损伤、下肢偏瘫或下肢关节手术后的患者尽快恢复下肢运动功能。特别是在人口老龄化加剧、我国康复医疗人员与患者之间数量差距悬殊这两大社会问题的背景下,它提供了一种有效的解决方案[1-3]。当前传感器技术的发展使得人与机器人间的交互方式变得更加多样且高效。然而,在人机交互的控制问题中,如何保证机器人自然地根据人体运动意图做出相应动作成为下肢康复器控制系统所面临的挑战之一[4]。
表面肌电信号被广泛应用于康复机器人的运动意图识别中。近年来,Saeed等人[5]提取了肌电信号数据的4种时域特征,之后对比人工神经网络与线性判别分析两种分类器对手势动作数据集的分类结果,得出人工神经网络的分类准确性更高的结果,对后续的分类器选择提供了帮助。Rohit Gupta等人[6]在处理肌电信号时,对窗口大小、特征向量组合类型以及分类器进行多方面比较,得到了一套对运动意图识别较为有效的流程。同时对信号处理以及模型建立涉及的相关因素提供了有价值的成果。史小华等人[7]设计了一种座椅型的下肢康复机器人,将收集到的肌电信号特征值经BP神经网络模型进行动作分类,实现了运动意图的识别,证明了该模式的可行性和安全性。目前,多数研究人员主要通过建立不同的模型来提高识别率,但是较少使用结果实现具体的机械控制,而且上述提到的下肢康复器是座椅型设计,对于膝关节术后卧床和偏瘫患者来说使用较为不便。
1 材料与方法
本文基于已设计好的牵引式下肢康复器平台,通过PC端获取肌电采集设备采集的信号,并对信号的时域特征进行实时处理,利用BP神经网络模型进行动作分类,通过分类结果对下肢康复器进行实时控制。如图1所示为下肢康复器平台与肌电信号采集设备。其中,肌电采集设备为Sichiray的双通道肌电采集设备,通过双通道可以分别对两处目标肌肉进行肌电信号的采集,之后将采集到的肌电信号,通过蓝牙4.0通讯实时传输给PC端。
1.1 信号的采集
肌电信号的采集使用的是双通道采集设备,采集方式为非侵入式采集,设备通过电极貼贴在相应肌肉即可实现信号采集且对人体几乎没有伤害,采样频率为1000Hz,采集的数据通过蓝牙4.0配适器传输到PC端进行读取。基于卧式下肢康复器的训练动作主要是围绕膝关节进行的关节运动,通过对比主要提供力量的肌肉以及肌电信号的采集难易程度,将采集股直肌和股内侧肌的肌电信号进行膝关节屈膝和伸展意图的识别[8,9]。
本次实验共选择10名健康受试者,其中男性5名,女性5名,年龄为25±5岁,身高分布在158 cm~185cm之间。受试者进3天未进行过剧烈运动,受试者以平躺或坐卧的姿势依次进行屈膝和伸展两个动作,每个动作保持2秒,单个动作每人采集40次数据,单个动作10人共400组数据,两个动作共800组数据,作为原始肌电信号数据集。为防止肌肉疲劳产生的影响,单个动作间隔6~8秒,每组数据采集过程中引入10分钟休息[10]。采集到的肌电信号图如图2所示。
1.2 信号处理
表面肌电信号是一种随机且不稳定的信号,为了降低采集过程中噪声信号、工频信号等干扰,影响模型的分类效果,故对肌电信号进行相应的预处理[11]。使用MATLAB对肌电信号进行低通滤波来去除高频噪声,平滑信号,保留较低频的生理相关成分,可以减少高频干扰,并提高信号的质量和可分辨性[12]。还采用高通滤波来去除直流偏移或低频基线漂移,使信号相对于基线更加稳定[13,14],使用4阶巴特沃斯带通滤波器(Butterworth)对表面肌电信号进行滤波去噪。最后,使用陷波器滤除信号中的电源干扰或特定频率的干扰信号,尤其是工频干扰[15]。图3为通过以上处理得到的信号对比图。
1.3 特征值提取
常用的表面肌电信号特征包括时域、频域和时频分析三大类[16]。时域特征在肌电信号分析中具有直观性、计算简单和与运动关联性等优点而被广泛使用[17]。本文主要计算时域特征的均方根值、平均绝对值和过零点率进行提取与分析。
(1)均方根值(Root Mean Square, RMS)
均方根可以衡量肌电信号的离散程度或波动性,较大的均方根通常意味着信号的波动范围较大,而较小的均方根表示信号的波动范围较小[18]。通过计算均方根,可以比较不同运动意图下的信号波动性。例如,对于运动意图判断,如果股内侧肌的均方根较大,则表示信号的波动范围较大,可能对应着较强的肌肉收缩和运动力度,预示患者想要进行伸展行为,计算肌电信号均方根值所用计算方法如公式(1)所示。
(2)平均绝对值(Mean Absolute Value,MAV)
平均绝对值反映了表面肌电信号在下肢运动中的能量平均变化[19]。通过计算不同肌肉群的平均绝对值,可以对不同运动意图进行分类和识别。计算肌电信号均方根值所用计算方法采用公式(2)。
(3)过零点率(Zero Crossing Rate,ZCR)
过零点率是肌电信号的时域特征之一,反映了信号通过零点(从正变为负或从负变为正)的次数,它可以用于估计肌肉活动的频率特征,即肌肉信号在时间上的变化频率。通过比较不同动作的过零点率,可以将收集到的肌电信号进行运动检测和分类。
在提取到相应特征值后,通过MATLAB的仿真,如图4所示。可以看出在同一动作下,选取的特征量呈现出较高的同步性。不同的动作间,特征值的数值也有较明显的差别,故选取的特征具有研究的可行性。
1.4 建立识别模型
神经网络,又称为人工神经网络(Artificial Neural Networks, ANNs),是一种数学模型,模仿动物中枢神经系统的结构和功能,用于进行分布式并行信息处理[20]。其中,误差逆传播算法(error Backpropagation, BP)是一种非常成功和经典的神经网络算法,由于其对未知信息有一定的泛化能力,在肌电信号的分类和识别任务中被广泛应用[21]。本文实验使用双通道肌电设备采集,每次动作分别对这两条通道,可以提取出三个特征值,总共得到6个特征值,我们将这6个特征值作为一个特征向量。
由于特征向量是6维的,所以我们将输入层的神经元个数设置为6个。考虑到任务是进行2分类,需要输出层有2个神经元来表示两个类别的结果。神经网络模型是一个多层前馈神经网络,包括输入层、隐藏层和输出层。输入层有6个神经元,输出层有2个神经元。根据经验公式(3)所示。
其中,m,n分别为输入层和输出层的神经元个数,当不能整除时,选择整数值,结合后续测试得隐层的神经元个数x为4。BP算法的核心思想是通过反向传播误差来更新神经网络的权重和偏置,以逐步减小网络的预测误差。先将训练集提供给输入层神经元,然后逐层信号前传,直到产生输出层的结果,例如,在训练例(xp,yp)中,若记神经网络的输出为■p如公式(4)所示。
则该训练例的输出层的均方误差Ep可以采用公式(5)计算。
其中连接权是神经网络中神经元之间连接的强度或权重值。在神经网络的每个连接上,都有一个连接权来表示该连接的重要程度或贡献度,大小会根据逆向传播的误差进行调整,不断迭代循环,网络模型的计算在训练误差最小时停止。具体的,若记隐层到输出层的两个神经元α和β的连接权为v,在给定学习率?浊后,如公式(6)所示。
连接权v的影响顺序从输出层神经元β的输入值βi开始,通过连接权将输入值转换为输出值■p。然后,连接权的影响传递到误差项Ep,隐层神经元α的输出值为αt,可得到BP算法中关于v的更新公式(7)。
以上是连接权的更新过程,阈值的更新是通过计算误差对阈值的偏导数,然后根据学习率和梯度下降的方向更新阈值的值,以逐步优化网络的性能。
2 实验结果
2.1 对比三种识别模型
本文实验共测得800组数据,其中屈膝,伸展动作各400组,各选取300组与其对应标签作为BP神经网络的输入,在训练好的模型中对剩余200组数据进行测试,最终测试集结果如图5所示。
为了比较BP神经网络分类模型与其它机器学习算法模型的分类效果,使用了同样的训练集和测试集,构建了基于支持向量机与可优化树算法的模型并进行验证。其中支持向量机学习的基本想法是求解能够正确划分训练数据集,并且几何间隔最大的分离超平面,这对于目前实验动作的二分类是非常合适的。决策树是一种有监督的机器学习,该模型可用于拟合人们的决策行为,也可用于解决分类或回归问题。以上三种算法的分类比较结果见表1。
在对单独两种动作平均准确率进行对比后,发现基于BP神经网络的分类模型效果最好,支持向量机次之。经过分析,其中支持向量机分类准确率略低的原因是表面肌电信号具有随机性,这导致了各个数据间并不存在明显的线性关系,因此在计算划分数据集的分离超平面时易出现误差。然而,可优化树可能是因为在训练集中产生了过拟合现象,在测试集中没有较好的泛化能力,导致准确率下降。其中,三种算法构建的分类模型对屈膝动作的识别率都要高于伸展动作的识别率,BP神经网络的分类模型在该样本量下取得了很好的识别效果,因此将BP神经网络的分类模型作为接下来系统的分类使用。
2.2 测试流程
整个控制系统的主要部分由下肢康复器、PC端与肌电采集设备组成。由STM32F407ZGT6为主控芯片作为下肢康复器的主控单元,搭配LCD屏通过可视触摸界面进行人机交互,负责对下肢康复器的控制。其中,主控单元延伸出的排线连接了下肢康复器内的一块拓展板,拓展板负责与底层部件进行连接并给主控单元供电。下肢康复器的主控单元与PC端,采用了串口通讯的方式接收肌电信号分类识别的结果。根据实时结果进行判断并控制拓展板输出不同频率的脉冲进而控制下肢康复器的步进电机,配合下肢实现主动运动。如图6为整体的主动训练控制算法流程图。
通过图6可以更直观的看到,在手持终端发出训练开始的指令后,肌电采集设备分别从两个通道开始采集信号,之后通過蓝牙通讯发送给PC端。由于在实时的主动训练中,信号是接连不断的进行发送的,所以PC端在收集信号的同时,也在不断执行预处理操作。处理后的数据通过滑动窗口来分段并进行特征值提取,其中肌电采集设备的采集频率设置为1000Hz,故程序刷新频率设置为0.001s,为得到较好的特征值,在经过多次实验后把滑动窗口的大小设置为100ms,重叠量为50ms。之后将特征值输入训练好的分类模型来得到分类结果,并通过串口通讯传输至手持终端,由其解码并执行控制指令。而当下肢因疼痛或突发状况向机构的既定运动方向的反方向行动时,系统也能实时监测到异常的动作信号,及时停止设备,防止二次伤害的发生。
2.3 实验测试
选取三位之前参与肌电信号采集的受试者在下肢康复器上以坐卧的姿势分别主动进行膝关节10次屈膝和伸展的动作。在进行训练时,下肢康复器的主控单元会根据接收的动作分类标签显示计数。计数结果与对应动作的准确率如表2所示。
根据表2可以看出膝关节的屈膝动作的识别率要明显高于伸展动作,由于膝关节的屈膝动作幅度较大,股直肌产生的肌电信号较强,提取的特征明显更容易被识别。这里总体的识别率较模型识率下降,还可能与下肢康复器的电机在运行时产生的机械振动相关,导致采集的肌电信号受到额外的干扰,可以通过增加采集肌电信号的通道个数或者采取减震措施进一步改善。
3 结论
本文在对肌电信号进行提取处理并比较多个分类模型后,得到了具有较高准确率的神经网络模型,开始在下肢康复器上进行实时训练的研究,初步实现进行自主个性化的康复训练,使训练更加符合患者的实际需要。相比传统的牵引式康复机器人,基于表面肌电信号控制的康复机器人能够更好地激励患者主动参与训练,提高康复效果,同时避免被动训练时机械本体可能造成的二次伤害,这种新型的康复训练方式具有广阔的应用前景和重要的临床价值。
参考文献:
〔1〕邹波.中国老龄化的现状与积极应对[J].中国民政,2017,30(20):42-44.
〔2〕Xue Z, Zan Y, Jing W. Robotics in Lower-Limb Rehabilitation after Stroke [J]. Behavioural neurology, 2017,9(03): 1-13.
〔3〕张鹏程,牛建业,刘承磊,等.牵引式下肢康复机器人机构参数优化及轨迹规划[J].工程设计学报,2022,29(06):695-704.
〔4〕杜妍辰,孙洁,汪晓铭,等.一种基于表面肌电信号映射人体下肢运动意图的方法[J].生物医学工程学进展,2023,44(02):158-162.
〔5〕Saeed B, Zia-ur-Rehman M, Gilani O S, et al. Leveraging ANN and LDA Classifiers for Characterizing Different Hand Movements Using EMG Signals [J]. Arabian Journal for Science and Engineering, 2020, 46(02): 1761-1769.
〔6〕Rohit G, Ravinder A. Electromyographic Signal-Driven Continuous Locomotion Mode Identification Module Design for Lower Limb Prosthesis Control [J]. Arabian Journal for Science and Engineering, 2018, 43(12): 7817-7835.
〔7〕史小华,卢浩,廖梓宇,等.基于表面肌电信号的下肢康复主动训练[J].科学技术与工程,2018,18(17):61-66.
〔8〕Kyoungsoon K, Tunc A, Robert L, et al. Self-modulation of rectus femoris reflex exc-itability in humans[J]. Scientific Reports, 2023, 13(01): 1-11.
〔9〕宋娜,蒋金金,马琪,等.髌股关节炎患者膝周肌群表面肌电信号特征研究[J].中国康复医学杂志,2022,37(04):509-514.
〔10〕轩运动,孙应飞,黄志蓓,等.基于表面肌电信号的脑卒中上肢肌肉性能研究[J].工程研究-跨学科视野中的工程,2016,8(06):598-604.
〔11〕Tang C, Xu Z, Occhipinti E, et al. From brain to movement: Wearables-based motion intention prediction across the human nervous system[J]. Nano Energy, 2023, 115(12): 2211-2855.
〔12〕冯艳梅,仲雪飞,王俊俊,等.基于DSP的肌电信号采集处理[J].电子器件,2014,37(05):830-834.
〔13〕顾旋,张伟,刘东华,等.基于IIR数字滤波器消除心电信号的基线漂移[J].信息技术与信息化,2021,11(12):177-179.
〔14〕Rao B B, Rao P B. Power line interference cancellation from ECG using proportionate normalised least mean square sub-band adaptive algorithms[J]. International Journal of Biomedical Engineering and Technology, 2022, 38(03): 286-304.
〔15〕劉光达,董梦坤,张守伟,等.基于KPCA-SVM的表面肌电信号疲劳分类研究[J].电子测量与仪器学报,2021,35(10):1-8.
〔16〕Pornchai P, Sirinee T, Khairul A, et al. Evaluation of feature extraction techniques and classifiers for finger movement recognition using surface electromyography signal[J]. Medical & biological engineering & computing, 2018, 56(12): 2259-2271.
〔17〕张小栋,陈江城,尹贵.下肢康复机器人肌电感知与人机交互控制方法[J].振动.测试与诊断,2018,38(04):649-657+866.
〔18〕章亚男,景银平,沈林勇,等.下肢表面肌电信号的降维和映射分析[J].传感技术学报,2018,31(07):1046-1053.
〔19〕郑海鹏,李玉榕.基于双通道表面肌电信号的在线手势识别系统研究[J].物联网技术,2022,12(03):17-20+23.
〔20〕Zhang Z, Yang K, Qian J, et al. Real-Time Surface EMG Pattern Recognition for Hand Gestures Based on an Artificial Neural Network[J]. Sensors, 2019, 19(14): 1-15.
〔21〕于擎,杨基海,陈香,等.基于BP神经网络的手势动作表面肌电信号的模式识别[J].生物医学工程研究,2009,28(01):6-10.
〔22〕李沿宏,江茜,邹可,等.融合注意力机制的多流卷积肌电手势识别网络[J].计算机应用研究,2021,38(11):3258-3263.