基于表面肌电信号的虚拟现实控制系统设计

，

(1.上海理工大学 医疗器械与食品学院，上海 200093; 2.上海健康医学院 医疗器械学院，上海 201318)

0 引言

人体生物电信号是人在生理、心理、情绪、思维和运动及与外部环境信息交互时各部位器官、组织、细胞及其神经元集群所产生电活动的时间与空间综合叠加结果，含有丰富的思维意念、感知信息、动作意向、运动功能等人体信息，被广泛关注的生物电信号有脑电、肌电、眼电等[1-3]。表面肌电(surface electromyography, sEMG)信号是由活跃运动单元激发的动作电位序列沿肌纤维传播，传导至皮肤表面，并通过电极从表面皮肤传导并且记录下来的一种时间序列信号[4]。它蕴含信息丰富并且与肌肉活动和运动状态有很大的关联，它可以用来预测运动意图和肌肉功能状态，sEMG信号非常微弱，其幅值在0.01～10 mV，主要能量集中在10～500 Hz[5]。人机接口(Human-Computer Interface, HCI)是在人体和计算机或其它电子设备之间建立不依赖于常规信息交互操作方式的全新人机信息交流与控制技术。通过sEMG判断人体动作类型并转换成设备输入指令，成为一种新颖的人机接口，即肌电-计算机接口。sEMG采集技术相对成熟，因其无创性、实时性和操作简便等特性而被广泛应用于肌肉生物电信号的检测，成为肌电-计算机接口的首选[6]。sEMG广泛应用于智能假肢控制、康复治疗等领域[7-8]，近几年发展到用于手语手势识别、游戏控制和可穿戴设备中[9]。

虚拟厨房场景有很强的沉浸感和真实感，更加贴近于真实生活场景，能为使用者增加很多乐趣。本文利用虚拟厨房与肌电-计算机接口相结合，利用人体表面肌电信号通过采集，无线传输至上位机，通过自主开发的训练控制系统，可以实现对sEMG信号的实时采集、波形显示、特征提取、训练、存储、实时识别动作并控制虚拟厨房。不用通过鼠标或键盘等交互设备完成与虚拟厨房中的动作交互，后续可用于运动功能障碍患者，对其进行肌肉康复训练。

1 系统架构

系统整体框架如图1所示，整个系统主要有肌电采集模块、软件控制模块和虚拟现实环境模块三个部分构成。肌电采集模块利用DELSYS公司生产的便携式无线表面肌电采集系统对使用者进行手臂表面肌电信号采集，电极与接收器之间所有数据均通过无线传输。软件控制模块又包括实时肌电信号的检测与分割，特征值提取，分类识别以及生成控制指令四部分。虚拟现实环境模块则根据分类控制模块提供的指令驱动虚拟厨房完成不同动作，反馈给使用者，从而实现整个系统的交互。

图1 系统整体框架

2 系统设计

2.1 肌电采集系统

肌电信号检测采用的是DELSYS公司生产的便携式无线表面肌电采集系统，电极与接收器之间所有数据均通过无线传输。每个DELSYS肌电电极由线型差分电极、前置电压放大器(增益40～80 dB)和20～500 Hz的带通滤波器组成。该采集系统传感器采用内置电极，电极间距离小，任何情况下间距都固定为10 mm，保证实验重复的准确性，能有效防止肌肉肌电信号的干扰。

2.2 活动段检测与分割

活动段检测利用均方值与移动平均窗相结合算法[10]，将采集得到的原始sEMG信号序列sEMGk(i)按照公式(1)进行平方，得到瞬时平均能量序列sEMGM，i为当前sEMG信号序列标号：

sEMGM(i)=[sEMGk(i)]2

(1)

取一个固定窗长为N(N可以调整)的移动窗，对瞬时平均能量按照公式(2)计算窗长的能量平均值sEMGma(i)：

(2)

将上式中移动平均后能量信号序列与固定阈值TH对比，判断动作信号。保留大于阈值的信号点，把低于阈值的信号点置零，以判断动作活动段的起始点和终止点。其判别方法如公式(3)：

(3)

信号分割变化如图2所示，其中sEMG为原始信号，Ema为瞬时能量，将瞬时能量最大值记为Emax，sEMGrec为分割后信号。利用其瞬时能量和移动平均窗可以有效地区分活动段和非活动段信号包络和强度信息，实现活动段检测与分割。本实验中选取该段时间序列信号瞬时最大能量的2%为阈值TH[11]。

图2 信号分割变化

2.3 特征提取方法

自回归模型(Autoregressive model, AR)是用自身做回归变量的过程，即利用前期若干时刻的随机变量的线性组合来描述以后某时刻随机变量的线性回归模型，它是时间序列中的一种常见形式。AR模型如下：

(4)

其中：sEMG(k)是当前sEMG的采样值，w(k)是输入噪声激励值，p是模型的阶次，而am是模型的第m个系数，此参数可以作为特征用于表面肌电信号的分类。AR模型阶次p为3～6时，运算量相对较小，并且得到的特征值对sEMG信号分类识别效果最好，本文中选取AR模型的阶数为4[12]。

频域分析的信号段的频谱需要具有一致性和平稳性，而表面肌电信号是一种典型的非平稳信号，因此不提取其频域特征。时频域分析方法则是将时域与频域分析结合起来，既可以描述频率在信号内的强度，也能体现信号在时域的信息[13]。小波理论的思想源自于傅里叶变换，它既能提供信号序列的全部信息，又能提供某一局部时段内信号变化程度的信息，进行任意细节上的信号分析，这一特性特别适用于处理肌电信号一类的突变信号[14]。

离散小波变换公式如下：

(5)

小波系数表达式如下：

dj,k=[g(t),ψj,k(t)]

(6)

其中：g(t)为时序信号，φ(t)为尺度函数，ψ(t)为小波函数。针对肌电信号非常微弱、易受干扰的非平稳随机特性，利用离散小波变换对原始肌电信号进行多尺度分解。sym小波函数系是一种近似对称的小波函数，它是对db函数的一种改进[15]。本文选取了分类较好的正交sym3小波基函数对肌电信号进行3层尺度分解，并提取各级小波系数的奇异值作为特征矢量。

2.4 分类器

支持向量机(Support Vector Machine，SVM)基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解[16]。假定存在一个输入特征空间到k维空间的映射：

x∈Rl→Rk

(7)

这些都可以用一个超平面分类，即计算出最优超平面(w,w0)即可根据上式符号的正负分类，即：

(8)

线性判别分析(Linear Discriminant Analysis, LDA)基本思想是将高维模式样本投影到最佳判别矢量空间，压缩特征空间维数，保证样本投影空间中有最大的类间间距和最小的类内间距，即有最佳的可分离性[17]。其判别准则表达式为：

(9)

其中：Sb代表类内散度矩阵，Sw代表类间散度矩阵，w为投影向量。

2.5 控制系统界面设计

虚拟厨房控制界面是在MATLAB平台下，利用图形用户界面 (Graphical User Interface, GUI)设计。如图3所示为交互界面示意图，该界面主要分为四个模块：(1)按键控制部分：控制实时sEMG信号的接收与虚拟厨房的启动以及特征提取、动作分类和动作控制；(2)实时sEMG信号波形显示区域：实时显示当前采集到的原始肌电信号波形；(3)特征提取结果显示区域：显示肌电信号数据特征值分布情况以及特征值；(4)信号识别结果显示区：显示当前所做动作分类识别结果。

虚拟厨房动作控制界面工作过程：该部分控制使用者与虚拟厨房的实时交互。控制界面按键操作简易方便，需要启动虚拟厨房时只需在“控制”面板中按下“启动厨房”按键即可启动虚拟厨房。开始采集和存储原始sEMG信号时只需在“控制”面板中选择“开始接收”并按下按钮，然后做相应的手势动作即可实时采集并存储该手势的原始sEMG信号。进行手势动作sEMG信号特征提取时需要在“控制”面板中选择“特征提取”按钮并按下，系统就会开始提取相关动作sEMG信号特征数据，并将特征值以及特征分布情况显示在图3中“特征值”和“特征空间分布”区域内。然后点击“开始训练”按钮，利用获取的手势动作特征作为训练样本进行分类器模型训练。最后，利用训练好的分类模型对采集的sEMG信号进行分类，此时需点击“动作控制”按键，系统会对已采集的sEMG进行活动段检测与分割，提取有用的活动段，进行动作识别，然后将识别结果作为虚拟厨房动作控制指令对其进行动作控制。

图3 虚拟厨房控制系统界面

2.6 系统参数设置

系统参数设置如表1所示，系统参数设置成功后利用该系统进行虚拟厨房动作控制实验。

表1 系统设计参数表

3 虚拟厨房动作控制实验及结果

本系统分别对4名被试者进行离线肌电信号采集以及在线实时控制测试。其中男性2位，女性2位。年龄在21～25岁之间。在最近的6个月内前臂没有发生过扭伤等影响运动功能的伤病，没有运动神经类疾病。在实验人员指导下，被试者理解实验过程，愿意参加试验。由于所采集的握拳、展拳、屈腕、伸腕4种动作动力源与尺侧腕伸肌、尺侧腕屈肌有关，所以将两个肌电传感器分别放置并固定在受试者尺侧腕伸肌和尺侧腕屈肌位置，作为通道1和通道2，进行双通道表面肌电信号采集[18-19]。

3.1 标准动作实验结果与分析

首先对4名被试者分别进行放松以及曲腕、伸腕、握拳、伸掌4种动作的sEMG信号采集，采集每名被试者不同动作各50组，分别提取绝对值均值、标准差、均方根三个时域特征，并对每种特征的50组特征值取平均值和标准差，通道1数据结果如表2所示。

表2 4种动作时域特征的平均值和标准差

通过数据对比，不同动作绝对值均值特征差异最大，对应的标准差相对较小，聚类性比较好，可用于动作分类。幅值绝对值均值可以在时间维度上反映肌电信号振幅变化特征，在一定程度上反映了动作程度。

利用sym3母小波对肌电信号序列进行小波3层分解，获得低频分量a3与第一、二、三级高频分量d1、d2、d3。计算不同频段系数矩阵奇异值。对通道1中每种动作50组数据得到小波系数奇异值取平均值,结果如表3所示。

表3 4种动作小波系数奇异值特征值

通过对表3分析，可以发现4种动作不同频段小波系数奇异值均有差异，但低频分量a3以及第三级高频分量d3差异最明显。因此，可以将d3和a3奇异值联合作为特征向量，对肌电信号进行动作模式表征。

利用4种动作的不同特征值进行动作分类，然后将3种特征值进行融合，再重复上述步骤，得到结果如表4所示。

表4 不同特征的识别果(%)

通过对表4中分类识别结果分析，使用单一特征进行识别时MAV和小波系数奇异值特征值平均识别率只有75%，AR系数平均识别率仅为37.5%。但将识别率较高的MAV和小波系数奇异值进行特征融合后进行分类，识别率可以达到94.5%，动作识别效果得到很大提升。将MAV、小波系数奇异值、AR系数3种特征值融合，在分类器中进行识别，得到分类结果并未得到改善。考虑到该算法要用于虚拟厨房系统的实时识别，需要计算量尽量减小，因此舍去效果不明显的AR系数特征值。最终，采用MAV与小波系数奇异值融合作为特征值，4种动作特征值空间分布如图4，从三维空间分布可以明显看出不同动作的特征值具有很强聚类性，可用于分类。

图4 4种动作特征值空间分布图

利用上述提取到的融合特征向量在LDA分类器中进行模型训练和分类，得到不同动作识别率结果与SVM对比。如图5所示，不同动作SVM分类器识别率均高于LDA分类器。因此，该系统选取SVM作为分类识别分类器。

图5 两种分类器识别率对比

3.2 sEMG对虚拟厨房动作实时控制结果与分析

利用MAV和小波变换进行特征提取，将两通道特征值再次进行特征融合，变成六维特征值，并利用四名被试者肌电数据分别进行分类器模型训练。其中握拳控制虚拟厨房中开门动作，屈腕控制擦桌子动作，伸掌控制切菜动作，伸腕控制开油烟机动作。然后分别对四名被试者进行实时控制测试，实验场景如图6所示，厨房界面及动作时实时肌电信号如图7。通过双通道肌电信号采集，该系统能有效识别出4种动作的实时肌电信号，平均识别结果如图8，其中开门识别率为87.5%，擦桌子识别率为91.25%，切菜识别率为93.75%，开油烟机识别率为88.75%。4种动作平均识别率为90.31%，可对虚拟厨房动作进行实时控制。

图6 双通道实时控制测试图

图7 厨房动作与对应肌电信号

图8 4种动作平均识别率对比

4 结束语

本文研究并实现了利用手臂肌肉表面肌电信号对虚拟现实场景中厨房相关动作进行实时控制。通过对手臂尺侧腕伸肌和尺侧腕屈肌位置握拳、伸掌、屈腕、伸腕4种动作肌电信号采集和分割，选取时域特征MAV和4阶AR模型系数以及时频特征小波系数奇异值作为特征值。通过对比，MAV与a3,d3层小波系数奇异值特征融合后分类效果最佳，离线分类正确率可达94.5%。利用以上两种特征提取方式分别与LDA分类器和SVM分类器结合，经过对比，最终将SVM分类器用于系统中，对实时肌电信号动作识别。最终实现了双通道肌电信号对4种虚拟厨房动作的控制，平均识别率为90.31%。该系统可用于需要进行肌肉康复训练的患者，通过完成在厨房中做菜的过程来完成康复训练。这不仅为患者增加乐趣，而且虚拟厨房场景有很强的沉浸感，更加贴近于真实生活场景，能使患者积极参加训练，更加有利于康复。