基于脑肌电融合的混合脑机接口研究

谢 平 陈迎亚 郝艳彪 陈晓玲 杜义浩 吴晓光

(燕山大学电气工程学院河北省测试计量技术及仪器重点实验室，河北 秦皇岛 066004)

基于脑肌电融合的混合脑机接口研究

谢 平 陈迎亚 郝艳彪 陈晓玲 杜义浩 吴晓光*

(燕山大学电气工程学院河北省测试计量技术及仪器重点实验室，河北 秦皇岛 066004)

动作模式识别是脑机接口技术的核心内容之一。针对目前脑机接口动作识别模式单一、识别率低等问题，基于混合脑机接口思想，提出一种脑电和肌电特征融合策略，可实现单侧肢体不同动作模式的有效分类，进而可用于脑机接口技术。同步采集9名健康受试者单侧手腕屈/伸两种动作模式下的脑电信号和表面肌电信号，分别提取脑电信号事件相关去同步化特征和表面肌电信号的积分肌电值特征，构建基于支持向量机和粒子群优化算法的脑肌电融合及运动模式识别模型，通过调整“特征融合系数”来实现动作模式最优分类，从而提高模式识别的准确率；进一步通过递降健康人的肌电信号幅值来模拟患者和运动疲劳状态下的肌电信号，验证所提出方法对动作模式识别的有效性。实验结果表明，基于脑肌电融合特征的动作模式识别率(98%)比单纯依靠脑电特征的识别率(73%)提高25%；在运动疲劳状态下，基于脑肌电融合特征的识别率稳定在80%以上，比单纯依靠肌电特征的识别率提高14%。可见，脑肌电融合策略能提高动作模式识别的准确性和鲁棒性，为混合脑机接口技术提供条件。

脑肌电融合；事件相关去同步化；粒子群优化；动作模式识别

引言

脑机接口(brain-computer interface, BCI)是一种不依赖于由大脑外周神经与肌肉组成的正常运动控制通路而直接在人脑与外部设备之间建立通信的控制系统[1]，它可以帮助肢体运动功能障碍的人群(老年人、中风患者等)实现对外部设备的有效控制。基于运动想象(moter imagery, MI)脑电信号(electroencephalogram, EEG)信号BCI的研究已经开展，即基于运动想象EEG特征来获取人体运动意图，进而控制外部设备。例如，通过分析左手或右手运动想象所产生的EEG信号实现光标移动[2]、基于右手和右脚运动想象进行打字[3]等。由于运动想象脑电信号由受试者自主想象肢体运动产生，因此基于运动想象的BCI系统具有训练时间短、易于实现等优点。然而，目前基于运动想象的BCI仍存在两个主要局限：一是绝大多数研究都基于运动想象EEG判别人体某一部位(左手、右手、舌头等)是否存在运动意图，但无法有效识别同一部位的不同运动模式，限制了对输出设备的精细控制；二是由于脑电信号的微弱性、混叠性和信噪比低等特点，使得基于EEG特征进行多模式动作识别的准确率有待提高。可见，如何有效识别精细动作模式并提高准确率，对于脑机接口技术的发展具有重要意义。

混合脑机接口(hybrid brain-computer interface, hBCI)是将EEG和另外一种生理信号融合进行混合控制的BCI系统，它的提出在一定程度上弥补了现有脑机接口的不足。Pfurtseheller等进行过多种混合模式BCI的尝试，如基于运动想象和稳态视觉诱发电位(steady-state visual evoked potential, SSVEP)的hBCI[4]、基于SSVEP的BCI引入心率控制近红外光谱开关[5]等；高上凯等基于运动想象和运动起始时刻视觉诱发电位，实现了可用于字符输入的hBCI系统[6]。虽然融合眼动、心率、多模式脑电等生理信号的hBCI研究已取得一定的进展，但是对于运动功能障碍患者而言，以上生理信号不能有效体现患者肌肉的运动状态，为此，研究能够融合大脑运动意图和肌肉运动状态的hBCI系统，对运动功能障碍患者更有意义。表面肌电信号(surface electromyographic, sEMG)能够充分体现肌肉的运动状态并且易于获取，它充分利用患者残存的运动能力，将sEMG与EEG融合，理论上有利于提高多模式动作的分类精度。Robert Leeb提出了基于EEG和sEMG两个信源的决策层融合策略，实现了左右手运动意图识别[7]，提高了BCI系统的准确率和稳定性。决策层融合处理信息量小，但要求脑电、肌电信号的每个信源必须具有独立决策能力，忽略了脑电与肌电间的协同互补性。罗志增等将脑电和肌电信号的特征值简单地组合在一个特征向量中，实现手部多模式动作的识别[8]，但未考虑到肌肉疲劳状态。

本研究基于hBCI思想，通过脑电与肌电特征层融合，实现单侧手腕屈、伸动作模式的分类识别。提取运动想象和运动执行下EEG事件相关去同步化(event-related desynchronization, ERD)/同步化(event-related synchronization, ERS)特征，并与sEMG的积分肌电值特征进行融合，构建基于支持向量机(support vector machine, SVM)和粒子群优化(particle swarm optimization, PSO)的脑肌电特征融合模型，利用脑肌电间的协同互补性来提高系统识别率。此外，针对患者运动功能不健全和长时间运动时出现疲劳、肌力不足等情况，通过递降肌电信号幅值来模拟患者患侧的肌电信号和运动疲劳肌电信号[7]，并调整脑肌电融合系数，以避免由于肌电信号幅值降低导致的动作识别率下降，提高系统的识别准确性和鲁棒性。

1 方法研究

1.1 数据采集

选取9名无任何病史的健康受试者(在校大学生，女性1名)，均签署了知情同意书。实验在安静的屏蔽室内进行，受试者端坐在舒适的座椅上，与屏幕水平距离为80 cm。根据屏幕提示，进行相应的手腕屈伸动作想象，同时手腕做相应的屈伸动作(见图1(a))。为避免受试者精神疲劳，实验分成2个部分，每个部分包含40个试次(trial)，屈和伸各20个。单个试次持续7 s，如图1(c)所示，具体实验过程包括3个步骤。

步骤1：t=0～2 s时，屏幕中央出现一个十字光标，同时伴有短暂的蜂鸣声，以提示受试者实验即将开始，需集中注意力，等待动作提示指令出现。

步骤2：t=2～5 s时，屏幕上出现手腕伸/屈运动的图片提示，如图1(c)所示，受试者根据提示进行手腕伸/屈运动的想象，同时做相应的动作，两种动作任务出现的次序随机。

步骤3：t=5～7 s时，显示器处于黑屏状态，受试者休息2 s。

数据记录采用Neuroscan脑电采集系统，同步采集脑电和肌电信号，脑电如图1(b)所示。选取乳突部位为电极参考，AFZ额头中央接地，同时采集水平和垂直两通道眼电信号。利用Neuroscan脑电采集系统的预留通道，采集受试者前臂尺侧腕屈肌(flexor carpi ulnaris, FCU)和桡侧腕长伸肌(extensor carpi radialis longus, ECRL)两块肌肉处的表面肌电信号。采样频率设定为1 000 Hz，并进行50 Hz陷波处理。

图1 信号采集及实验内容。(a)脑肌电采集实验；(b)脑电信号采集通道；(c)单个试次实验过程Fig.1 Signal acquisition and experiment paradigm. (a) Acquisition of EEG and EMG signals; (b) EEG channels; (c) Time sequence of one trail

1.2 EEG与EMG预处理

由于脑电信号的ERD/ERS特征主要体现在alpha频段(8～13 Hz)和beta频段(13～30 Hz)，因此对原始脑电信号进行5～40 Hz带通滤波，同时滤除了基线漂移的噪声干扰。此外，应用独立分量分析(independent component analysis, ICA)去除眼电、肌电等伪迹。ICA能够将多通道EEG分成多个相互独立信号，并可分离出明显的眼电、肌电等干扰成分。图2(a)为存在眼电伪迹的原始脑电信号，图2(b)为分解出来的部分独立分量，第1个分量代表眼电信号源，去除此分量，得到去除眼电干扰后的脑电信号(见图2(c))。

图2 基于ICA的EEG去眼电过程 (a)含有眼电伪迹的EEG；(b)ICA分解后各成分信号；(c)去除眼电伪迹成分后的EEGFig.2 Removing of ocular artifact from EEG based on ICA. (a) Raw EEG containing ocular artifact; (b) Components based on ICA decomposition; (c) EEG after removing ocular artifact

肌电信号的有效频率成分分布在0～500 Hz，其中主要能量集中在10～200 Hz范围内，主要噪声来源为50 Hz的工频干扰。采用自适应滤波器去除工频干扰，然后进行10～200 Hz的带通滤波。sEMG预处理的结果如图3所示，这有效地去除了肌电信号中各种噪声干扰。

图3 肌电信号的预处理前(上)和预处理后(下)Fig.3 EMG signal before preprocessing(the top) and EMG signal after preprocessing(the bottom)

1.3 EEG与EMG信号特征提取

1.3.1 基于ERD/ERS的EEG特征提取

当大脑皮质某区域被激活时，该区域的代谢和血流量增加，同时大脑信息加工可以导致alpha(8～13 Hz)和beta(13～30 Hz)频段震荡的幅度降低或者阻滞，这一电生理现象被称为事件相关去同步化[9]。alpha和beta频谱在大脑静息或惰性状态下表现出明显波幅增高的电活动，此即为事件相关同步化。运动想象和实际运动过程都能够激活相应的大脑感觉运动区，并且特定频率段将会产生ERD/ERS现象。笔者在传统ERD/ERS量化方法的基础上，研究单个试次ERD/ERS的脑电特征提取方法。

1.3.1.1 对脑电信号进行局部频带分解

由于ERD/ERS产生在特定时间的特定频段并且具有个体差异性，因此需要对脑电信号进行频带分解，以分析不同脑电节律随时间变化的情况。通过FIR带通滤波器，将7～34 Hz的频带宽度分割成若干频率分辨率为1 Hz的子带，覆盖较重要的EEG事件相关同步和去同步的频段变化范围。对于0～16、16～23和23～34 Hz的频带，子带宽度各设为2、4、8 Hz[10]。

1.3.1.2 ERD/ERS平均量化

ERD/ERS是一种对刺激触发非锁相的诱导电位，因此引入试次间方差(intertrial variance, IV)的算法[11]来量化ERD/ERS。对每个通道的每个频带EEG计算IV，有

(1)

由相对于参考时间内每个采样点方差变化的百分比来表示ERD/ERS量化值[12]，有

(2)

(3)

式中，R表示参考时间段内的平均能量，n0表示参考时间的起始点，k表示参考时间的长度。

1.3.1.3ERD/ERS显著频带和时段提取

通过时频图，可视化每个受试者各个频段的平均ERD/ERS序列；设置合适的阈值，选取每个受试者ERD/ERS显著的频带和时间段。ERD/ERS显著的各频段EEG信号记为EEGF={EEGf1,EEGf2,…,EEGfk}。对于每个频段，ERD/ERS显著的时间段记为Time={t1,t2,…,tm}。

1.3.1.4 单个试次的ERD/ERS量化

(4)

2) 计算第j个试次中ERD/ERS显著时间段内所有采样点的ERD/ERS平均值，则第j个试次的ERD/ERS特征向量为

(5)

式中，[ ]Τ代表向量的转置。

3) 重复上述过程，计算N个试次脑电序列的ERD/ERS值，并组成特征向量组，有

(6)

以上方法基于传统的试次间方差ERD/ERS量化方法，通过时频图可视化ERD/ERS现象并提取出显著频带和时间段，进而量化单个试次的ERD/ERS，可作为进一步识别手腕运动模式的有效特征。

1.3.2 肌电信号特征提取

肌电能量幅值的变化是肌肉在运动状态下的主要特征。积分肌电值(intergratedelectromyogram,iEMG)是指肌电信号经整流滤波后单位时间内曲线下面积的总和，它表征肌电信号振幅在时间维度上的变化特征，本研究选取积分肌电值作为肌电特征。对于离散的EMG，其计算公式如下：

(7)

(8)

由于运动功能障碍患者表面肌电信号极其微弱，而且在长时间运动时会出现疲劳、肌力不足等现象，所以此时脑电信号在动作识别中应该占主导地位。如图4所示，本实验室人员采集了一名中风患者(脑出血导致右上肢瘫痪)在手臂屈伸动作模式下患侧和健侧肱二头肌的肌电信号，可以看出患侧肌电信号幅值明显低于健侧肌电信号幅值。有研究表明，随着疲劳程度的增加，运动神经系统会募集更多周围的运动神经元，以维持输出力的恒定输出，从而导致肌电幅值增大；但随后当无法维持力恒定时，肌电幅值会急剧下降[13]。为此，本研究通过递降健康受试EMG信号幅度来模拟不同程度运动功能障碍或运动疲劳状态下患者的肌电信号，幅度衰减范围为20%～100%，即分别为80%、50%和10%EMG。

图4 患者患侧(上)和健侧(下)的肌电信号Fig.4 EMG signals from affected(the top)and unaffected (the bottom) side of a stroke patient

图5 基于脑肌电特征层融合模型(SVM-PSO)的运动模式识别原理Fig.5 Flow chart of motion pattern recongnition based on the fusion model (SVM-PSO) of EEG and EMG feature

以上研究分析获取EEG的ERD/ERS特征和EMG的iEMG特征，既能体现运动过程中EEG和EMG的生理学变化，同时又便于在时域计算，有助于进一步实现脑肌电特征融合，并提高hBCI中的分类速度。

1.4 脑肌电特征融合

EEG和EMG分别包含了大脑对躯体运动的控制信息和肌肉对大脑控制意图的功能响应信息，并在运动过程中脑、肌电信号间表现出一定的相关性。1995年，Conway等发现在运动过程中，脑、肌电信号之间具有相关性[14]。同时，患者在长时间运动时的疲劳、肌力不足等现象也会影响肌电信号的质量，此时应使脑电信号在动作识别中占主导地位，通过利用脑肌电之间的协同互补性提高hBCI的控制精度。因此，为实现运动控制信息与功能响应信息之间的特征融合，进而实现运动模式的有效分类，将EEG和sEMG的特征向量进行关联，构建基于支持向量机和粒子群优化算法的脑肌电融合模型(SVM-PSO)，实现运动模式识别(见图5)。该模式识别的工作原理为：定义“融合系数”来表示各脑肌电特征向量的权重系数和信任程度，进而构成脑肌电融合特征向量；利用SVM进行脑肌电特征向量学习并实现运动模式分类，进而基于运动模式识别率来构造PSO算法的适应度函数，实现融合系数的自适应优化，最终实现脑肌电特征的有效融合及运动模式的准确分类。

1.4.1 脑肌电融合特征向量构建

令A=[a1,a2,…,ap+q]为各脑肌电特征向量的融合系数矩阵，组成脑肌电融合特征向量，有

(9)

N个试次脑肌电特征向量融合构成融合特征向量组，即

(10)

脑肌电融合特征向量V将被分为训练集VT和测试集VP，训练集输入SVM网络进行学习，输出模式识别正确率以构造PSO算法的适应度，寻找到最优“融合系数”。测试集将基于最优“融合系数”进行构造，并输入训练好的SVM网络，实现动作模式的有效分类。

1.4.2 基于SVM-PSO的脑肌电特征融合

由上述脑肌电特征融合原理可知，如何寻找最优融合系数A以提高识别准确率，是本研究的关键。基于粒子群优化算法[16]具有规则简单、收敛速度快、易于实现等优点，笔者构建基于SVM-PSO的脑肌电特征融合模型(见图5)，即基于SVM训练网络的分类结果构造粒子群算法的优化函数，进一步利用PSO算法，搜索有效运动模式识别结果对应的最优特征融合系数A，具体步骤如下：

步骤1：粒子群初始化。将融合系数矩阵A看做是一个粒子群，为保证所提取的p+q个脑电和肌电特征均能有效影响融合特征，事先对融合特征系数A给定下列约束，即

(11)

根据式(10)随机产生一组A=[a1,a2,…,ap+q]，按照式(9)组成融合特征向量训练集VT。同时，初始化各参数，即最大遗传代数maxgen、种群规模sizepop、学习因子c1和c2、惯性权重w、适应度预设值eps等。

(12)

由此得到分类函数如下：

(13)

式中，sgn(·)表示分类函数，ai为权值系数。

(14)

式中：K为识别错误的样本数目，因此0≤K≤m；C1、C2分别为代价函数对于这两项的权值系数，需根据实际情况确定。

步骤3：种群更新及融合系数A优化。基于每个粒子的适应度fitness，更新个体极值p和全局极值pg，有

p=fitnesspg=min(fitness)

(15)

同时，更新粒子速度和位置，产生新的种群A，代入式(9)构造新的特征训练集VT。

步骤4：重复步骤2和步骤3，直至使pg≤eps(预设值)，或已达到设定迭代次数，所得的即为最优融合系数A。

1.4 基于最优融合系数A的运动模式识别

利用上述寻优得到的融合系数A，代入式(9)构造测试数据集VP，送入经步骤2)和3)训练好的支持向量机模式分类函数，即可实现运动模式的有效分类。

2 结果

2.1 ERD/ERS分析

运动过程产生的ERD/ERS主要出现在大脑皮层感觉运动区，取具有代表性的C3、C4两个通道的脑电信号进行分析，按照本文第1.3.1节的方法计算所有试次的平均ERD/ERS并进行加窗平滑，图6为受试者S1右手手腕屈伸动作下的C3、C4两个导联ERD/ERS时频图，左侧两个图为右手手腕运动对应的大脑对侧区域C3通道的ERD/ERS时频图，右侧两个图为对应的大脑同侧区域C4通道的ERD/ERS时频图。0～2 s为动作准备期，2～5 s为动作执行期，5～7 s为动作返回期。由图6可以得出：从ERD/ERS的时域表现来看，当动作开始执行后，2.5 s左右对侧先出现ERD现象，随着运动的执行，4 s左右ERD扩展到双侧感觉运动区，但始终表现为对侧显著，动作结束后并未出现明显的ERS现象；从ERD/ERS的频段分布来看，运动过程中ERD现象主要出现在μ节律(10～12 Hz)和高β频段(19～30 Hz)；从手腕屈与伸动作下的ERD表现区别来看，相对于手腕弯曲动作，手腕伸展动作下手腕ERD现象更为显著。

图6 受试者S1在手腕弯曲(上)和伸展(下)状态下的ERD/ERS时频分析。(a)C3导联；(b)C4导联Fig.6 Time-frequency analysis of ERD/ERS of subject 1 under wrist flexion(the top) and extension(the bottom). (a) C3 channel; (b)C4 channel

图7为受试者S2右手手腕屈伸动作下的C3、C4两个导联ERD/ERS时频图，由图可见： 从ERD/ERS的时域表现来看，S2与S1基本一致；从ERD/ERS的频段分布来看，运动过程中ERD现象主要出现在μ节律(10～12 Hz)和低β频段(15～20 Hz)；从手腕屈与伸动作下的ERD表现区别来看，手腕弯曲动作与伸展动作下的ERD现象无明显差别。

图7 受试者S2在手腕弯曲(上)和伸展(下)状态下的ERD/ERS时频分析。(a)C3导联；(b)C4导联Fig.7 Time-frequency analysis of ERD/ERS of subject 2 under wrist flexion(the top) and extension(the bottom). (a) C3 channel; (b)C4 channel

对其他7名受试者进行同样的分析，表1为每名受试者的ERD显著频段，可以看出所有受试者ERD显著的频段范围都集中在α频段(8～12 Hz)和β频段(13～30 Hz)范围内。为进一步量化分析手腕弯曲和伸展两种动作下的ERD现象，表2给出了所有受试者α频段范围内的基线参考时段(0～2 s)和动作段(3～5 s)范围内的ERD量化平均值，以及分别对0～2 s和3～5 s内的ERD做配对样本t检验的结果。结果表明：相对于0～2 s的基线状态，3-5s动作段内感觉运动皮层双侧C3和C4均出现显著ERD现象(C3:P<0.01; C4:P<0.01)，且表现为对侧更为显著(C3和C4运动段平均ERD成对样本t检验：P<0.05)；手腕弯曲和手腕伸展两种动作下运动段平均ERD做成对样本t检验，手腕弯曲与伸展动作下的ERD现象无显著差别(C3:P>0.05; C4:P>0.05)。β频段ERD现象和α频段ERD现象类似。

因此，对于单个试次的脑电序列，ERD显著频段如表1所示，显著时间段取运动执行期3～5 s。对C3、C4两个通道分别按照本文第1.3.1节的方法进行单个试次的ERD特征提取，式(5)中单个试次的特征向量sj可具体化为

sj=[ERDC3,α,ERDC3,β,ERDC4,α,ERDC4,β]Τ

(16)

进而构成如式(6)所示的特征向量组F。

表1 每名受试者ERD显著的频段范围Tab.1 Significant frequency bands of ERD in all subjects

表2 9名受试者α频段ERD量化值Tab.2 Quantization value of α-band ERD in all subjects

2.2 肌电特征分析

对采集到的尺侧腕屈肌(FCU)和桡侧腕长伸肌(ECRL)两块肌肉处的肌电信号进行预处理，然后按照式(7)对每1 000个点(1 s)计算一次积分肌电值。图8为手腕弯曲和伸展时两块肌肉的肌电信号与积分肌电值时域图，可以看出：在手腕弯曲动作下(2～5 s)，FCU的肌电信号幅值和积分肌电值明显高于ECRL，在动作返回时(5～7 s)，FCU的肌电信号幅值和积分肌电值降低；而ECRL的肌电信号幅值和积分肌电值出现小幅值的增大，说明ECRL参与了返回动作的执行。当手腕伸展时，ECRL的肌电信号幅值和积分肌电值明显高于FCU，动作返回时，ECRL和FCU的肌电信号幅值和积分肌电值均降低至接近于零点。

图8 FCU、ECRL肌电信号及其积分肌电值。(a)手腕弯曲；(b)手腕伸展Fig.8 EMG signal and iEMG over FCU and ECRL. (a) Wrist flexion; (b) Wrist extension

图9 积分肌电值量化。(a)～(f)分别为t=2 s,t=3 s, t=4 s, t=5 s, t=6 s, t=7 s时的积分肌电值Fig.9 Quantization of iEMG. (a)-(f) represent the iEMG at t=2 s, t=3 s, t=4 s, t=5 s, t=6 s, t=7 s respectively

(17)

进而构成式(8)所示的特征向量组F′。

2.3 特征融合与分类结果

将脑电特征与肌电特征融合时，每个通道的特征赋予一个融合系数，第j个试次的脑肌电特征融合向量(即式(9))可具体为

vj=[a1ERDC3,α,a1ERDC3,β,a2ERDC4,α,a2ERDC4,β，a3iEMGt=3,FCU,a3iEMGt=4,FCU,a3iEMGt=5,FCU,a3iEMGt=6,FCU,a4iEMGt=3,ECRL,a4iEMGt=4,ECRL,a4iEMGt=5,ECRL,a4iEMGt=6,ECRL]

(18)

预处理后，直接去除仍存在明显眼电和肌电伪迹的试次，共剩余794个试次(屈344，伸350)。为验证本方法应用于脑机接口的有效性，通过递降所有试次肌电幅值，建立6组不同的数据模型：EMG、100%EMG+EEG、80%EMG+EEG、50%EMG+EEG、10%EMG+EEG、EEG。对每种数据模型分别进行特征提取后，各得到794组特征样本。对于每种数据模型的特征集，随机选取一半作为训练集，单独采用SVM-PSO方法搜索使识别结果最优的特征融合系数A，并训练好SVM识别网络；所有数据模型特征集的另一半作为测试集一起进行分类，通过检测活动段的肌电信号幅值大小，选择相应的、已经训练好的融合系数和SVM识别网络。同时，为进行对比，将EEG和EMG特征向量分别送入SVM网络进行训练和识别；并利用贝叶斯网络，将单独基于EEG和EMG的识别结果在决策层上进行融合。图10为单独基于脑电或肌电、基于SVM-PSO特征融合及基于贝叶斯网络决策层融合的识别结果，可以看出：当肌电信号较强时，3种识别方法的识别正确率均很高。随着肌电幅值降低，单靠肌电特征识别的正确率和决策层融合的正确率明显下降，尤其在肌电信号降到10%时，决策层融合结果已降到65%，这是由于贝叶斯决策层融合对每个信源识别结果具有依赖性，而10%的EMG已经失去了独立决策能力。通过与脑电信号特征融合，达到了更准确稳定的识别效果。

图10 分别基于肌电、脑肌电融合及脑电特征的识别正确率Fig.10 Correct recognition rate based on sole EMG, sole EEG or both EEG and EMG features

随着肌电幅值的下降，融合系数的相应变化见表3。可以看出，在运动疲劳状态(肌电幅值降低)下，肌电特征的融合系数显著下降，而脑电的融合系数显著升高，说明肌电特征的参与决策的权重下降，在SVM网络识别过程中脑电信号起主要作用。实验证明，笔者构建的SVM-PSO网络有效利用了脑肌电间的协同互补性来提高系统识别率，并通过调整脑肌电融合系数来避免由于肌电信号幅值降低而导致的动作识别率下降，提高系统的识别准确性和鲁棒性。

表3 不同肌电幅值下的融合系数的变化结果

Tab.3 The change of fusion coefficients with different EMG amplitudes

特征源融合系数EEGEMGa1a2a3a480%EMG+EEG0.540.211.281.9750%EMG+EEG0.90.561.051.4910%EMG+EEG1.820.870.660.65

3 讨论

首先，本研究对单侧手腕屈/伸运动下大脑皮层产生的ERD/ERS现象进行分析，结果表明，实际运动时皮层感觉运动区会出现对侧主导的alpha ERD和beta ERD。在运动准备期，对侧感觉运动皮质首先出现alpha ERD和beta ERD；随着运动执行的开始，可以观察到双侧皮质区域出现对称的ERD[17]，这与Pfurscheller等的研究结果一致；当运动结束后，双侧感觉运动区均未出现明显的ERS现象。不同学者关于ERS的研究结论存在争议：Nam等的研究没有发现明显的具有半球形特异性的beta ERS现象[18]；Pfurtscheller等的研究表明，运动结束后beta ERD不仅很快恢复到基线，而且显示短暂运动后的ERS现象；然而，alpha ERD大约需两三秒才能恢复到基线。在本研究中，可能由于最后两秒是运动返回阶段，受试者并未完全放松，休息时间过短，所以未出现明显的ERS现象。从手腕屈与伸动作下的ERD表现区别来看，部分受试者手腕伸展动作产生的ERD现象比弯曲动作产生的ERD现象要明显，而部分受试者并未存在明显差异，这可能与肢体屈伸运动在神经生理、行为和临床上存在差异性有关。例如，Salonikidis等研究发现，相比手腕伸展动作，手腕弯曲的运动精度更高(力的变动系数低)[19]；Little等的研究表明，中风病人手腕弯曲运动功能的恢复要比手腕伸展运动的恢复更快[20]；Yue等通过对大脑进行功能核磁共振成像，发现相比手指弯屈动作，手指伸展时神经系统的活化容积更大[21]；Nikhil等研究发现，手腕伸展较手腕弯曲时脑肌电之间的一致性更强[22]。在日常生活中，人们更习惯于手腕的弯曲运动，因此手腕伸展时所需的大脑激活区域更大，对神经元群的抑制越强，由此导致相关神经元群振荡同步性的下降，这也可能是本研究中部分受试者出现手腕伸展时ERD现象更明显的原因之一。

对于单侧手腕屈与伸动作模式的分类问题，由于不同受试者产生的ERD在大脑激活区域和强度上的差异性不明显，导致单纯基于脑电ERD特征的分类正确率较低(74%)。而通过与sEMG融合，识别率明显提高，即使融合微弱的sEMG(10%EMG)识别率显著提高9%。另外，在肌电信号正常的情况下，单纯依靠sEMG的动作识别率接近100%；但随着疲劳程度的增加，识别率明显下降；在肌电信号接近缺失时，识别率降到70%以下；而在与EEG融合后，达到了更准确、稳定的识别结果。将本方法与Robert Leeb所做的相关研究[7]进行对比分析，该文献研究将分别基于脑电和肌电特征的识别结果送入贝叶斯网络进行决策融合，当模拟疲劳肌电幅值高于50%时，识别结果较好；但当EMG降低到10%的水平时，脑肌电融合的识别率明显下降(甚至低于单独基于脑电的识别率)。究其原因，是贝叶斯决策层融合对每个信源识别结果具有依赖性，而10%的EMG已经失去了独立决策能力。与之不同，本研究在脑电和肌电特征提取的基础上实现了脑肌电特征层的融合，降低了对每个信源识别结果的依赖性，并通过SVM-PSO模型自适应调整脑肌电融合系数，提高模式识别准确性，在肌电信号极其微弱的情况下也具有较好的鲁棒性，降低了患者运动功能部分缺失和运动疲劳的影响。因此，本研究提出的SVM-PSO融合模型充分利用了EEG与sEMG之间的协调互补性，提高了单侧肢体不同动作模式的分类精度，弥补了脑机接口的不足。

4 结论

在本课题中，研究了一种可用于混合脑机接口的脑电与肌电特征融合方法，并用于实现单侧手腕屈/伸两种动作模式识别。分别提取受试者运动过程中的脑电信号的ERD特征和肌电信号的iEMG特征，构建基于支持向量机和粒子群算法的脑肌电融合模型，通过调整“特征融合系数”来实现动作模式最优分类；调节肌电信号幅值大小来模拟患者和运动疲劳状态下的肌电信号，降低了运动功能部分缺失和运动疲劳因素对模式识别结果的影响，提高了动作模式识别系统的准确性和稳定性。

(致谢 感谢实验工作人员郭子晖在研究工作中给予支持。)

[1] Wolpaw JR, Birbaumer N, McFarland WJ, et al. Brain-computer interface technology: A review of the first international meeting [J]. IEEE Trans Rehabil Eng, 2000, 8(2): 164-173.

[2] Pfurtscheller G, Flotzinger D, Kalcher J. Brain-computer interface-a new communication device for handicapped persons [J]. Journal of Microcomputer Applications, 1993, 16(3): 293-299.

[3] Blankertz B, Dornhege G, Krauledat M, et al. The Berlin brain-computer interface presents the novel mental typewriter Hex-o-Spell [C]// Proceedings of the 3rd International Brain-Computer Interface Workshop and Training Course. Graz: Verlag der Technischen Universität Graz, 2006: 108-109.

[4] Brunner C, Allison BZ, Krusienski DJ, et al. Improved signal processing approaches in an offline simulation of a hybrid brain-computer interface [J]. Journal of Neuroscience Methods, 2010, 188(1): 165-173.

[5] Scherer R, Müller-Putz GR, Pfurtscheller G. Self-initiation of EEG-based brain-computer communication using the heart rate response [J]. Journal of Neural Engineering, 2007, 4(4): L23-L29.

[6] 李翔, 高小榕, 高上凯. 一种基于两种不同范式的混合型脑-机接口系统 [J]. 中国生物医学工程学报, 2012, 31(3): 326-330.

[7] Leeb R, Sagha H, Chavarriaga R, et al. A hybrid brain-computer interface based on the fusion of electroencephalographic and electromyographic activities [J]. Journal of neural engineering, 2011, 8(2): 1-5.

[8] 罗志增, 李亚飞, 孟明. 用于手部动作识别的脑电和肌电信号混沌特征融合方法 [P]. 中国专利: 101732110, 2012-11-07.

[9] Pfurtscheller G, Lopes da Silva FH. Event-related EEG/MEG synchronization and desynchronization: basic principles [J]. Clin Neurophysiolo, 1999, 110(11): 1842-1857.

[10] Graimann B, Pfurtscheller G. Quantification and visualization of event-related changes in oscillatory brain activity in the time-frequency domain [J]. Progr Brain Res, 2006, 159: 79-97.

[11] Kalcher J, Pfurtscheller G. Discrimination between phase-locked and non-phase-locked event-related EEG activity [J]. Electroencephalography and Clinical Neurophysiology, 1995, 94(5): 381-384.

[12] Tangwiriyasakul C, Verhagen R, van Putten MJAM,etal. Importance of baseline in event-related desynchronization during a combination task of motor imagery and motor observation [J]. Journal of Neural Engineering, 2013, 10(2): 1-9.

[13] Dimitrova NA, Dimitrov GV. Interpretation of EMG changes with fatigue: facts, pitfalls and fallacies [J]. Electromyogr Kinesiol, 2003, 13(1): 13-36.

[14] Conway BA, Halliday DM, Shahani U, et al. Common frequency components identified from correlations between magnetic recordings of cortical activity and the electromyogram in man [J]. J Physiol, 1995, 483: 35.

[15] 王勇. 数据融合技术综述 [J]. 计算机测量与控制, 2002, 10(11): 706-709.

[16] Poli R, Kennedy J, Blackwell T. Particle swarm optimization [J]. Swarm Intelligence, 2007, 1(1): 33-57.

[17] Pfurtscheller G, Neuper C. Motor imagery and direct brain computer communication [J]. Proc IEEE, 2001, 89(7): 1123-1134．

[18] Nam CS, Jeon Y, Kim YJ, et al. Movement imagery-related lateralization of event-related (de)synchronization (ERD/ERS): Motor-imagery duration effects [J]. Clin Neurophysiol, 2011, 122(3): 567-577.

[19] Salonikidis K, Amiridis I, Oxyzoglou N, et al. Wrist Flexors are Steadier than Extensors [J]. Int J Sports Med, 2011, 32(10): 754-760.

[20] Little JW, Massagli TL. Spasticity and associated abnormalities of muscle tone [C] //DeLisa J, Gans B, eds. Rehabilitation Medicine Principles and Practice. Philadelphia: Lippincot-Raven Publishers, 1998: 997-1013.

[21] Yue GH, Liu JZ, Siemionow V, et al. Brain activation during humannger extension andexion movements [J]. Brain Res, 2000, 856(1): 291-300.

[22] Divekar NV, John LR. Neurophysiological, behavioural and perceptual differences between wrist flexion and extension related to sensorimotor monitoring as shown by corticomuscular coherence [J]. Clinical Neurophysiology, 2013, 124(1): 136-147.

[23] 谢平, 陈晓玲, 苏玉萍，等. 基于EMD-多尺度熵和ELM的运动想象脑电特征提取和模式识别 [J]. 中国生物医学工程学报, 2013, 32(6): 641-648.

Multimodal Fusion of EEG and EMG Signals for a Hybrid BCI

Xie Ping Chen Yingya HaoYanbiao Chen Xiaoling Du Yihao Wu Xiaoguang*

(KeyLabofMeasurementTechnologyandInstrumentationofHebeiProvince,InstituteofElectricEngineering,YanshanUniversity,Qinhuangdao,Hebei066004,China)

Pattern recognition is one of the hot researches in the brain-computer interface technology. In order to solve the problems in BCI, such as movement pattern singleness and low recognition rate, a hBCI-based strategy fusioning the features of EEG and EMG was proposed to realize the classification of different motor patterns with unilateral limb. In the present study, the event-related desynchronization features and intergrated electromyogram features were abstracted based on the EEG over brain scope and EMG from flexor carpi ulnaris and extensor carpi radialis longus under wrist flexion or extension in 9 healthy subjects. Secondly, the pattern recognition model fusioning the features of EEG and EMG, based on the theories of support vector machine and particle swarm optimization, was designed to classify optimally by adjusting the feature fusion coefficient. Furthermore, the proposed method was verified based on the EMG signals of patients or healthy subjects under fatigue state, which were simulated by descending the EMG amplitude of healthy subjects. Results showed that the recognition rate based on the fusion of EEG and EMG (98%) improved 25% compared to sole EEG feature under natural condition (73%); the recognition rate reached a stable level above 80% and improved 14% compared to sole EMG feature under fatigue state. It is revealed that the fusion of EEG and EMG feature contributed to improve the accuracy of pattern recognition and stability of movement, and provided the basis for the application of hybrid brain-computer interface.

fusion of EEG and EMG; event-related desynchronization; particle swarm optimization; movement pattern recognition

10.3969/j.issn.0258-8021. 2016. 01.003

2015-02-24， 录用日期:2015-09-14

国家自然科学基金(61271142)；河北省自然科学基金(F2015203372、F2014203246)

R318

A

0258-8021(2016) 01-0020-11

*通信作者(Corresponding author)， E-mail: wuxiaoguang@ysu.edu.cn