采用表面肌电信号的手指关节角度精确感知方法

王海,陶庆,苏娜,张小栋,张天乐

(1.新疆大学机械工程学院,830047,乌鲁木齐;2.新疆医科大学第一附属医院,830054,乌鲁木齐;3.西安交通大学机械工程学院,710049,西安)

肌电信号意图感知技术的发展为高性能肌电假手的发展提供了可能,这无疑是截手残疾人的福音[1]。1948年,Reiter成功研制了世界上首个肌电控制假肢原型系统[2]。目前大多数肌电假手的控制主要是在对固定的几种动作的识别上。胡旭晖等使用人工神经网络进行了8种手部动作分类,提出了一种网络空间搜索算法,大大提高了训练速度及预测精度[3]。赵诗琪等提出了一种基于Fisher Score特征降维方法结合机器学习的新模型,用于识别4种手势动作[4]。Yamanoi等构建了卷积神经网络来应用具有长时间识别鲁棒性的算法模型,从而解决肌电假手需要经常进行调试的现状[5]。席旭刚等通过对肌电复杂度和平均功率,实现肌电假手离散动作以及运动速度控制[6]。隋修武等通过PSO-SVM对离散手部动作进行了分类,并引入了滑觉控制[7]。Ulysse等通过迁移学习实现以更少的数据量进行机器学习算法训练过程[8]。Yong等通过创新构建的加入注意力机制的卷积-循环神经网络实现了优良的手势解码[9]。但只通过分类算法进行的手势识别会遇到随着动作数目的增多而导致的识别正确率的快速下滑[10]。

目前国内外已经有学者在基于肌电信号的动作连续性解码上取得了一定的成果。Zhang等使用稀疏高斯过程进行前臂8块肌肉的肌电信号与手指5个掌指关节角度的映射,其在线运动相关系数可达0.91[11]。Chen等通过将长短期神经记忆网络进行空间上的叠加实现了对于上肢关节连续动作角度的精准识别[12]。Chen等通过高密度的肌电信号采集设备提取相应的运动神经元动作电位,从而为高性能的智能义肢控制提供可靠的信号来源[13-14]。Ameri等首次应用卷积神经网络在手腕运动肌电信号实时解码中,并达到0.99的决定性系数[15]。Lin等通过稀疏性非负矩阵分解实现手部运动的连续实时控制[16]。Ameri等通过回归卷积神经网络实现了对上肢运动的连续在线识别[17]。Nielsen等[18-19]分别独立开展了基于镜像对称训练的同步比例控制实验,实现了对腕关节力矩和角度的同步比例控制。Ngeo等通过使用肌肉激活度模型并将得到的8个通道的肌肉激活度输入人工神经网络或者是使用高斯过程进行求解可以得到了较好的效果,其相关系数可达到0.71、0.84[20]。Celadon等利用高密度电极,采用最大自主收缩力(MVC)建立肌电信号和手指关节角度的比例变化映射关系,具体采用的算法是共空间模式算法和线性差别分析算法,最终的效果两种算法都可以实现在线控制均方误差小于3.6%[21]。Michele等采用高斯过程的方法通过将上一时刻解码角度和这一时刻的肌电肌音信号输入得到此刻的解码的手指关节角度,皮尔逊相关系数在0.6左右[22]。Bao等提出了CNN-LSTM混合模型进行手腕的角度连续解码[23]。Koch等通过循环神经网络实现了对于手部动作的回归解码[24]。

为解决基于肌电信号的手指关节角度连续解码的问题,拟通过开展手指关节角度与肌电信号同步采集实验,获取有对应角度标签的肌电数据。与此同时,针对实验数据处理中,7个深度回归森林模型获得的输出曲线都存在着不同程度的抖动问题,拟将其再输入到人工神经网络中进行滤波、识别处理,以期望提高整体模型的回归效果。

1 手指关节角度连续精确解码模型

1.1 深度森林回归器的工作原理

深度森林是传统随机森林算法在广度和深度上的一种集成,该算法具有3点深度神经网络不具备的优点:①可以由不同大小规模的训练数据进行训练,其结构深度可以根据训练数据的规模进行自主调整;②不需要进行超参数的设置,可以在数据集上通过最小化训练误差进行自动设定;③深度森林的算法结构具有更强的可解释性,因为其来源于经典的决策树模型[25]。

深度森林算法的流程是首先进行多粒度扫描,这一过程有点类似滑动时间窗,主要目的是提取尽可能多的时域信息作为特征,这一方案可以充分考虑到肌电信号的时序关系。深度森林的算法结构主要特点是将上一层的输入和这一层的输出作为下一层的输入向量。其中深度森林的每一层都由数量相等的随机森林和完全随机森林组成。算法会在构建好的新一层训练好之后进行交叉验证方法验证估计模型性能,如果没有显著的性能提高,则会自动停止构建新一层,即算法训练结束。

1.2 深度回归森林模型构建及其特征提取

在模型构建中,采用了一种新颖的思路,就是将上一时刻经过回归模型计算得到的角度以及上一时刻的肌电信号处理得到的8个通道的总共8个特征值,连同这一时刻的肌电信号处理得到的8个特征值,组成一个大小为17的向量,同步输入到深度森林算法里进行学习训练,训练得到7个基于不同肌电特征的深度森林回归器,并取得到了优异的表现。相关的特征计算公式如下。

平均绝对值TMAV为

(1)

式中:N为采样点数;xi为肌电信号值。

过零点值TZC为

(2)

积分肌电值Ti为

(3)

均方根TRMS为

(4)

波形长度TWL为

(5)

肌电信号对数值TLOG为

(6)

肌电信号斜率正负变化数TSSC为

(7)

(8)

式中:Vth为设置的阈值。

1.3 人工神经网络参数选择及其模式分类

1.4 综合回归模型的创建

基于以上分析研究,本文构建了一种结合深度回归森林算法和人工神经网络的综合回归模型,用于手指关节角度肌电信号连续解码,如图1所示。从8个肌电通道采集的信号首先经过梳状滤波器进行去噪处理,再通过特征提取器经过有50%重叠窗的时间窗计算获得8个通道的各一个肌电特征值,将初始角度值结合上一时刻的8个肌电通道的特征值与这一时刻8个特征值形成一个大小为17的输入向量,输入7个对应不同肌电特征值的深度回归森林模型得到解码角度值。将总共7个回归模型解码的角度值输入到结构为7-13-1的神经网络结构中,经过处理,最终得到对应一个手指掌指关节角度的解码角度。

图1 综合回归解码模型示意图

2 模型参数获取与实验方法

2.1 模型参数获取方法

人的神经系统对人手的控制,可谓是人体神经系统中最复杂、精巧的控制。这个问题的解决难在它牵涉到复杂的力学与神经科学的耦合,而且缺少人工肌肉还使之难上加难。目前假肢的控制方式都和传统机器人差不多,因此难以复现人类肢体的一些基本特性,比如连续性、柔顺性、抗干扰性等。为了能建立起肌电信号和手指关节角度的连续映射模型,就需要同步采集手指关节角度与手臂前臂8块肌肉的肌电信号,寻求真正能够实时从肌电信号中获取手指关节角度变化信息的回归映射。

13名实验对象,分为7名年龄在22～30岁的健康男性和6名年龄在23～26岁的健康女性。在实验对象的左手粘贴VICON采集反光点,左前臂上按照提前选定的8块肌肉的肌腹位置粘贴表面肌电电极,电极以及局部皮肤预先使用酒精棉签清洁。为了避免电极与桌面的接触和不稳定挤压影响肌电信号的采集,在实验对象的腕部、肘部分别设置了一个EVA泡沫支撑物,实验对象将前臂放置在支撑物上,手臂保持水平并且朝向正前方。实验对象可以适当调整支撑物的位置,以获得最为舒适的实验姿势。这样做的目的是防止对手腕起支撑作用的肌肉,如桡侧腕伸肌的激活影响实验数据的记录。

实验使用VICON光学动作捕捉、Naxon肌电采集系统进行手指关节电位空间坐标数据以及8通道肌电信号数据的实时同步捕捉。

2.2 实验方案

根据生理学研究,人体手部(包括腕部)共有28块骨骼,一般认为具有22个或23个自由度。前臂的大多数肌肉在手部活动时都存在一定程度的活动,手指的活动是手掌内部肌肉与前臂处肌肉共同活动的结果。对手部运动的研究认为手部的自由度高度冗余,4指内部及相邻的手指之间的运动具有较高的相关程度,第2指间关节及与第3指节关节的关节角度近似比例为3∶2。

对于5根手指的运动,由于屈伸运动中手指内部的3个关节角度存在高度协同关系,因此仅选择5根手指的掌指关节(MCP)角度作为回归估计目标。

2.2.1 参数设定

实验肌肉(共8块肌肉),分别为拇长展肌、拇长屈肌、桡侧腕屈肌、指浅屈肌、指深屈肌、指伸肌、示指伸肌、桡侧腕伸肌。

每一根手指的掌指关节角度的测量通过贴于手背的一个反光点、掌指关节处的一个反光点以及距离掌指关节最近关节的一个反光点进行测量。实验过程将全程同步采集3个反光点的三维坐标和8块肌肉的肌电信号。

2.2.2 实验步骤

在数据采集试验中包括3种物体(分别为普通条状U盘、玻璃质高脚酒杯、普通书籍)的抓握动作和手指的单独与组合运动,对于每个动作,重复5次,每个周期持续20 s。

图2展示了整个动作捕捉及肌电采集的实验场景。告知每名实验者在实验过程中保持腕部在中立位置,抓握中使用适当且稳定的力度。每种实验动作完成后,实验对象可以进行短暂的休息。

图2 实验场景图

2.3 数据预处理

获得的肌电数据需要进行滤波处理,从而消除工频干扰。鉴于中国的电力系统采用的是50 Hz交变频率,所以本研究采用梳状滤波器对50 Hz的整数倍频率进行滤波操作。具体的滤波频率是50、100、150、200、250、300、350、400 Hz。

通过VICON光学动作捕捉设备采集的手指关节点位的三维空间坐标的变化,需要提前通过余弦公式进行角度变化的对应计算。以便后面进行模型的训练学习。

2.4 特征提取

为了从采集的8个通道的肌电信号中提取出具有代表性的信息,需要对经过降噪处理的表面肌电信号进行不同种类特征值的提取,计算特征值采取了具有重叠部分的滑动时间窗的方法。图3展示了肌电信号处理过程中的时间窗设置。选择的特征值皆为时域特征,采用了目前在肌电信号领域常用的特征,即肌电信号的平均绝对值、积分肌电值、均方根、波形长度、对数特征、过零点数、斜率符号变化数来进行肌电信号的特征提取。滑动窗口的时间大小设置为200 ms,相邻2个时间窗口的重叠部分设置为100 ms。8个通道的肌电可以分别计算7个特征值,可以分别形成8组7维数据。分别按照特征各维度的最大、最小值进行归一化,使其数值处于[0,1]之间,这是因为在使用高斯过程进行对比分析时,需要对输入数据进行归一化操作。

图3 滑动时间窗示意图

2.5 网络训练

基于7种特征值的单独深度森林模型训练经过其特有的自适应层数构建算法,最终每个回归器都是3层随机森林结构。事实上,层数较少能够很大程度上提升模型的运行效率。7个深度森林回归器的输出角度得到记录,输出的角度结果组成7维向量,之后提供给经过经验公式构建的神经网络进行进一步回归训练。

在最终的效果测试中,运用7-13-1结构的神经网络进行优化的综合回归模型可以比单一7特征所训练的深度森林回归器的相关系数提高12个百分点。图4展示了结合深度回归森林和人工神经网络的综合模型的整体训练算法。

图4 结合深度回归森林和人工神经网络的综合模型训练算法

为了进行对比分析,本研究选用高斯过程作为对比模型。对其训练的过程中需要对数据进行归一化,这是由其算法的特点造成的。

3 实验结果分析

3.1 性能度量

为了能够度量估计误差和角度解码算法的性能,本研究用到了运动相关系数,即

(9)

式中:X、Y分别为两组样本;cov为协方差;E为期望;σ为方差。本研究将ρ>0.7视为模型拥有较好的回归表现,当ρ=1时代表模型输出结果与实际结果完全线性相关。

3.2 对手指关节角度的连续估计和分析

图5展示了5根手指的掌指关节角度的连续解码效果。从图5中可以非常清晰地看出,本研究提出的模型从上肢前臂8个肌电信号中可以精准地解码出实际手指关节角度。

(a)大拇指掌指关节

在对13个受试者的实验数据进行分析的过程中,采用的是十折交叉验证的分析方法。

图6显示的是基于DRF、DRF+ANN、GP方法的13名受试者的平均运动相关系数的对比。图7显示的是基于DRF、DRF+ANN、GP方法的5根手指的平均运动相关系数的对比。图8是基于DRF、DRF+ANN、GP方法的3种抓握任务的平均运动系数的呈现,其中的酒杯抓取实验中,3个模型的效果都较差,猜想原因可能是玻璃对于VICON光学捕捉设备的干扰所致。

图6 不同受试者解码效果

图7 不同手指掌指关节角度解码效果

图8 不同任务解码效果

从图6中可以看出,在总共13名受试者中,结合了人工神经网络的深度回归森林模型具有最高的皮尔逊相关系数,平均可达0.824,受试者间的效果方差为0.032 1;其次是融合7种特征值的单一深度回归森林模型,其皮尔逊相关系数也很高,达到0.740,方差为0.042 4。这两种模型的相关系数都超过了0.7,具有相当优秀的角度解码效果。与近几年世界部分研究组通常采用的高斯过程方法(在该任务上的平均相关系数为0.455,方差为0.095)相比具有很大的进步,且有很强的个体适应性,从侧面验证了该算法模型具有很强的鲁棒性。

4 结 论

本研究提出了一种结合深度回归森林算法和人工神经网络的新型综合回归模型。其中深度回归森林使用了7种肌电信号特征值(肌电信号的平均绝对值、积分肌电值、均方根、波形长度、对数特征、过零点数、斜率符号变化数)训练形成7个深度森林回归器,再通过输入到一个结构为7-13-1的人工神经网络中做滤波及曲线优化,从而形成一个完整的综合回归模型对手臂前臂处的肌电信号进行对应于手部5个掌指关节角度进行回归映射。实验结果呈现了一种优异的解码精度,其皮尔逊相关系数达到0.821 2,相比融合多个特征值的单一回归器的0.731 18提高了12%,相比近些年集中研究的高斯过程回归器有较大的提升。