基于多模式EEG的脑-机接口虚拟键鼠系统设计

谢松云，刘畅，吴悠，张娟丽，段绪

(西北工业大学电子信息学院，陕西西安 710072)

基于多模式EEG的脑-机接口虚拟键鼠系统设计

谢松云，刘畅，吴悠，张娟丽，段绪

(西北工业大学电子信息学院，陕西西安 710072)

现有的脑-机接口系统大都只基于单模式的脑电特征，系统能实现的功能非常有限，从而制约了脑-机接口系统的应用。采用基于多种模式脑电信号（electroencephalogram，EEG）的脑-机接口技术来实现虚拟键鼠系统，使得被试可以利用自身的脑电信号控制鼠标和键盘的操作。研究了脑-机接口中常用的3种脑电信号，分别是P300波、alpha波以及稳态视觉诱发电位（steady state visual evoked potential，SSVEP），通过设计实验成功的诱发出了被试相应的特征脑电信号。利用SSVEP的脑电特征设计6频率LED闪烁刺激的虚拟鼠标系统，实现控制鼠标光标移动、单击左键和单击右键的任务；利用P300波的脑电特征设计6×6的字符矩阵虚拟键盘系统，实现字符输入的任务；利用被试自主闭眼增强alpha波的脑电特征，实现鼠标和键盘应用切换的任务。研究了适宜这3种脑电特征的最佳测量电极组合及模式识别算法，使得对3种脑电信号的识别正确率均达到了85%以上。测试结果显示，文中设计的基于多模式EEG的脑-机接口虚拟键鼠系统能有效地实现鼠标控制以及键盘输入的任务。

脑电信号；脑-机接口；虚拟键/鼠系统；机器学习；模式识别

脑-机接口(Brain-Computer Interface，BCI)是一种不依赖于大脑外周神经与肌肉组成的正常输出通路的脑-机通讯系统，是一种新型的人机交互系统，它在人体与计算机之间建立连接，利用从人脑采集到的脑电信号控制计算机或者其他外部电子设备从而实现人机交互。脑-机接口系统的研究使得大脑与外界直接进行交互成为可能，在医学、智能控制和军事等领域都有着广泛的潜在应用［1］。

随着现代电子科技的发展，计算机、手机等电子设备已经成为人们的生活和工作中不可缺少的工具，其中电子设备的拼写器应用研究是脑-机接口系统研究中的一个热门方向。鼠标和键盘是计算机必备的控制配件，现今很多拼写器和光标控制脑-机接口系统的功能单一，如仅能实现拼写器或者光标任务，且不能很好地和普通计算机结合，需要开发相应的特殊应用才能供用户使用，增加了脑-机接口系统的研发成本，限制了脑-机接口应用的推广。而且，现有的脑-机接口系统大都只基于单模式脑电特征，系统能实现的功能很有限，限制了脑-机接口系统的应用。多模式脑-机接口技术能大大提高现有脑-机接口系统的性能，提供更丰富的控制信号，但同时这也为BCI的研究带来了新的挑战，比如多模式脑-机接口系统的刺激范式的设计，多模式脑电信号的特征提取与识别分类等。这些方法的研究成果将促进脑-机接口技术的发展，为BCI走向实用化打下坚实的理论基础。

P300(也称为P3b)是能反映高级认知处理过程的一个内源性成分，是事件相关电位中投入研究最多、应用最广、最引人注目的成分之一，这种信号峰值一般出现在相关事件发生后大约300ms的时刻。它是脑-机接口中经常使用的一种信号，其幅值与相关事件出现概率成反相关。Farwell和Donchin研发出基于P300的脑-机接口P3Speller［2］，利用字符矩阵行列扫描的方式诱发P300电位，通过检测P300实现字符的输入，之后又有很多关于改进这个范式的相关研究［3］。稳态视觉诱发电位(SSVEP)，是当被试者注意特定频率(3.5～75 Hz)闪烁的视觉刺激时，在脑中产生相应的电位响应变化，其振荡频率与闪烁基频一致，有研究利用SSVEP信号设计的拼写器［4］。alpha波是种自发脑电，通过眼部运动可以增大alpha波幅度或阻断alpha波。根据这个机理，可以通过检测alpha波来检测人的睁眼和闭眼状态，以实现信息的传递，具有典型例子的是通过检查人在闭眼后alpha波幅度的升高来控制电子开关。由此，本文选取P300波实现用户字符输入，选取SSVEP波实现光标控制，并利用alpha波实现字符输入与光标控制之间的状态转换。

根据以上研究背景，本文研究设计了基于多模式EEG的脑-机接口虚拟键鼠系统，使脑-机接口系统应用多元化；研究实时脑电特征提取和模式识别方法，提高脑-机接口系统的信息传输率、降低系统的差错率；研究最优测量脑电信号的电极数目，降低系统成本和使用复杂度。结合相关模块设计，通过实时分析头皮上采集的脑电数据解码人的主观意愿，获取大脑所发出的命令信息，转换为外部设备的驱动信号，实现输入字符，鼠标移动以及单击左右键任务，并使系统能够很好地与普通计算机应用结合。实验结果表明，基于本文提出的虚拟键鼠系统可以有效的实现被试利用脑电信号完成对鼠标的控制以及完成键盘输入的任务。

1　多种脑电特征提取及识别方法的研究与实现

1.1基于多模式EEG的脑-机接口虚拟键鼠系统

设计的总体方案

基于所采用的特征脑电P300波，SSVEP，alpha波的诱发机理和应用需求，设计如下实验方案进行实验验证，总体方案示意流程如图1所示：

1)设计实验范式

采用BCI2000编程实现字符扫描界面及FPGA编程实现LED视觉刺激界面。

2)脑电数据采集

采用EGI公司脑电采集放大器采集脑电数据，输出至BCI2000平台进行实时脑电数据的接收。

3)脑电信号处理

图1　基于多种EEG特征的脑-机接口虚拟键鼠系统

在BCI2000平台对源数据进行去噪，特征提取及模式识别以获取被试者意愿。

4)驱动外设

将获取的被试者意愿，通过计算机指令转化为键鼠控制指令。

在该实验范式下，P300波对应虚拟键鼠任务，扩展屏幕上的6×6的字符矩阵随机行列扫描加亮，诱发P300信号，识别出P300信号后即可得出目标字符的行列坐标，确定要输入的字符，再驱动计算机虚拟摁键任务，输入要输入的字符。放置在不同位置的6频率LED的闪烁刺激分别对应鼠标6种任务：光标左上移动、光标左下移动、光标右上移动、光标右下移动、单击鼠标左键、单击鼠标右键。LED闪烁会诱发对应频率SSVEP脑电波，提取出相关特征识别出此时SSVEP频率，即可得到被试关注的LED灯，进而得到鼠标任务，驱动计算机虚拟鼠标任务完成相关鼠标动作。被试还可以通过闭眼诱发alpha波增强来实现虚拟鼠标任务和虚拟键盘任务之间的切换。

1.2多模式脑电信号的特征提取及识别方法与实现

被试在本文的实验中将分为训练阶段与测试阶段，训练阶段用以研究特征提取方案以及最优化分类器参数，测试阶段用以测试整个系统的性能。

1.2.1P300波的特征提取与识别方案

由于P300波是锁时信号，对相位敏感，故首先将训练阶段的数据信号用1～15 Hz无相移的带通滤波器滤除其部分噪声。之后截取刺激出现前0.1 s到刺激呈现后0.7 s的0.8 s的数据作为一个样本，将该数据放入由黄广斌在2003年提的出极限学习机(extreme learning machine，ELM)［5］中进行训练，以得到最优的分类器参数。本实验中，在训练阶段，每个被试共有300个样本，其中随机选取150个样本作为训练集，其余150个样本作为测试集，并经过交叉验证以保证结果的可靠性。最终数据处理结果表明，当设置极限学习机的网络隐藏层为2 500个神经元，激活函数为sigmoidal函数时，分类器性能最好，并在选取O1导联时，达到最高的正确率。如图2a)所示，将该算法与支持向量机(SVM)以及反向神经网络(BPNN)相比，正确率最高。

1.2.2alpha波的特征提取与识别方案

由于alpha波是在8～13 Hz的特征脑电信号，故将原始脑电数据经过6～15 Hz的带通滤波后分割成长度为2 s的数据段，每个被试共有160个数据段样本，其中80个睁眼状态样本，80个闭眼状态样本，对每一样本提取均方差，作为最终的特征，放入SVM分类器中进行分类。正确率如图2b)所示，在选取O1导联时，该方法对所有被试的分类正确率都可达到85%以上。

1.2.3SSVEP波的特征提取与识别方案

由于本文实验设计的LED闪烁刺激的闪烁频率为18～23 Hz，因此，本文采用10～30 Hz的带通滤波器滤除信号的部分噪声。在不同的时间尺度下，采用基于典型相关性分析(CCA)的特征提取方法［7］，将所得的特征用SVM进行分类，不同的电极组合的结果如图2c)所示。综上，本文选取CH35 (O1)，CH37(Oz)，CH39(O2)作为测量电极，对P300波，alpha波，SSVEP波进行测量。

图2　3种特征脑电信号的识别正确率

2　基于多模式EEG的脑-机接口虚拟键鼠系统的设计和测试

2.1基于多模式EEG的脑-机接口虚拟键鼠系统设计

基于前文对不同脑电特征的诱发实验设计和信号处理方法的研究，本文设计了一个基于多模式EEG的脑-机接口系统，实现虚拟键鼠功能。系统包括脑电采集帽和计算机，由脑电帽采集数据，计算机处理脑电波信号并实现相关虚拟键鼠应用。本系统只需要在普通计算机上外接一个扩展屏幕即可实现。扩展屏幕的4个角和上下边的中间均放置LED灯，灯位置如图1所示，从左上角顺时针顺序闪烁频率依次为20 Hz、18 Hz、22 Hz、23 Hz、19Hz以及21Hz。系统使用过程中，会在扩展屏显示一个6×6的字符矩阵，作为虚拟键盘刺激界面诱发P300信号，如图1中所示。脑电帽所用电极为O1、Oz、O2这3个电极。将采集到的信号传输至计算机，由计算机处理，最后驱动计算机的键盘任务和鼠标任务。

计算机上安装了BCI2000平台，EGI脑电采集设备通过Netstation采集后传输至BCI2000。整个脑-机接口系统由BCI2000平台控制和实现信号的接收、信号处理和应用驱动。信号处理过程为脑电预处理、脑电特征提取和脑电模式识别。脑电预处理包括信号的降采样、信号滤波。原始采集的脑电信号采样率为1 000 Hz，降采样至200 Hz。再根据要处理的不同特征进行不同的信号滤波。预处理好数据后先通过检测alpha波识别是否切换任务，确定要提取特征的信号类型是P300还是SSVEP，再根据前文研究的特征提取及模式识别方法识别相关脑电特征。信号处理模块使用MATLAB语言编写。后根据信号的不同特征驱动相关任务。P300波对应虚拟键鼠任务，扩展屏幕上的6×6的字符矩阵基于row/column(RC)行列扫描范式随机行列扫描加亮，诱发P300信号，识别出P300信号后即可得出目标字符的行列坐标，确定要输入的字符，再驱动计算机虚拟摁键任务，输入要输入的字符。放置在不同位置的6频率LED的闪烁刺激分别对应鼠标6种任务：光标左上移动、光标左下移动、光标右上移动、光标右下移动、单击鼠标左键、单击鼠标右键。LED闪烁会诱发对应频率SSVEP脑电波，提取出相关特征识别出此时SSVEP频率，即可得到被试关注的LED灯，进而得到鼠标任务，驱动计算机虚拟鼠标任务完成相关鼠标动作。被试还可以通过闭眼诱发alpha波增强来实现虚拟鼠标任务和虚拟键盘任务之间的切换。

2.2基于多模式EEG的脑-机接口虚拟键鼠系统的测试

根据前文的设计，如图3所示，本文搭建了脑-机接口虚拟键鼠系统，并进行了测试。图中左边的显示器为计算机的主显示器，右边显示器为扩展屏幕。右边显示器上粘贴有6个LED灯，以不同的频率闪烁，闪烁灯由屏幕旁边的一个FPGA开发板控制。屏幕中央显示基于P300的拼写器虚拟键盘，由BCI2000平台实现行/列加亮。实验任务为被试在普通计算机桌面上新建文档并打开文档输入字符。

图3　脑-机接口虚拟键鼠系统测试实验图

实验时给被试佩戴EGI公司的64导联的脑电帽设备(BCI系统仅用3个导联信号)，并让其舒适地坐在电磁屏蔽室里显示器前面。实验设备信号采样率设为1 000 Hz，参考电极为Cz。启动BCI2000平台，配置好相关参数后进行脑-机接口虚拟键盘系统测试实验。在实验过程中，被试成功地完成在桌面上点击右键，移动鼠标，新建一个文本文档，并通过点击右键选择“打开”选项卡实现打开文档，随后在文档内输入字符任务。根据实验测试验证，本系统能有效地在普通计算机上完成鼠标和键盘任务。

3　结 论

本文利用SSVEP的脑电特征设计了6频率LED闪烁刺激的虚拟鼠标系统，实现控制鼠标光标移动、单击左键和单击右键的任务；利用P300波的脑电特征设计了6×6的字符矩阵虚拟键盘系统，实现字符输入的任务；利用被试自主闭眼增强alpha波的脑电特征，实现了鼠标和键盘应用切换的任务。同时，研究了适宜这3种脑电特征的最佳测量电极组合及模式识别算法，使得对3种脑电信号的识别正确率均达到了85%以上。测试结果显示，本文设计的基于多模式EEG的脑-机接口虚拟键鼠系统能有效地实现鼠标控制以及键盘输入的任务。

［1］ Wang Y，Chen S，Lin C.An EEG-Based Brain-Computer Interface for Dual Task Driving Detection［J］.Neurocomputing， 2014，129：85-93

［2］ Farwell L A，Donchin E.Talking off the Top of Your Head：Toward a Mental Prosthesis Utilizing Event-Related brain Potentials［J］.Electroencephalography and Clinical Neurophysiology，1988，70(6)：510-523

［3］ Marchetti M，Priftis K.Effectiveness of the P3-Speller in Brain-Computer Interfaces for Amyotrophic Lateral Sclerosis Patients：A Systematic Review and Meta-Analysis［J］.Frontiers in Neuroengineering，2014，7：12-14

［4］ Long J，Li Y，Yu T，et al.Target Selection with Hybrid Feature for BCI-Based 2-D Cursor Control［J］.IEEE Transactions on Biomedical Engineering，2012，59(1)：132-140

［5］ Huang G，Zhu Q，Siew C.Extreme Learning Machine：Theory and Applications［J］.Neurocomputing.2006，70(1/2/3)：489-501

［6］ Lin Z，Zhang C，Wu W，et al.Frequency Recognition Based on Canonical Correlation Analysis for SSVEP-Based BCIs［J］. IEEE Trans on Biomedical Engineering，2007，54(62)：1172-1176

A Hybrid BCI(Brain-ComPuter Interface)Based on Multi-Mode EEG for Words TyPing and Mouse Control

Xie Songyun，Liu Chang，Wu You，Zhang Juanli，Duan Xu
(Department of Electronics and Engineering，Northwestern Polytechnical University，Xi′an，710072，China)

The existing BCI systems are mostly based on single EEG(Electroencephalogram)feature；thus，the functions of these systems are very limited.A hybrid BCI system based on multi-mode EEG for words typing and mouse control has been designed in this paper.This paper studies three commonly used EEG features in BCIs， namely，P300，alpha waves and SSVEP.Three experiments are designed using software E-Prime to evoke the features.According to the different evoking experiments and signal processing methods，SSVEP is used to design 6 flashing LED virtual mouse to move the mouse cursor and click left key and right-click，P300 is used to design a virtual keyboard of 6x6 character matrix to input the characters.The switch of the mouse and keyboard application is controlled by the enhancement of the alpha wave through closing the eyes.The real-time processing method of the three EEG features that include data segment，signal preprocessing，feature extraction and pattern recognition has also been studied；this study makes the average accuracies of the recognition of these three EEGs attain more than 85%.Test results and their analysis showed preliminarily that the BCI system designed in this paper can effectively implement the mouse and keyboard input tasks.

back propagation，computer simulation，computer software，control，data acquisition，design，efficiency，feature extraction，field programmable gate arrays(FPGA)，light emitting diodes，MATLAB，matrix algebra，mean square error，neural networks，pattern recognition，real time systems，signal processing，support vector machines；BCI(Brain-Computer Interface)，EEG(electroencephalogram)， virtual keyboard，virtual mouse

TP391.4

A

1000-2758(2016)02-0245-05

2015-10-12基金项目：国家自然科学基金(61273250)、陕西省工业攻关项目(2015GY003)及西北工业大学研究生创业种子基金(Z2015112)资助

谢松云(1968—)，女，西北工业大学教授、博士生导师，主要从事神经信息处理与脑认知及动态目标识别与跟踪研究。