基于极限学习机的“模拟阅读”脑-机接口异步化研究

李　洋　谢国栋　官金安，

（1.认知科学国家民委重点实验室　武汉　430074）（2.医学信息分析及肿瘤诊疗湖北省重点实验室　武汉　430074）

1　引言

脑-机接口（Brain Computer Interface，BCI）是指不依赖于语言或肢体动作在人脑和计算机或其它电子设备之间建立直接交流或控制通道的一种新颖的人-机通信与控制系统［1］。

依据BCI系统不同的工作方式，常把BCI系统分为同步BCI和异步BCI。同步BCI是通过对使用者接受系统发出相关提示信息后的固定时间段内诱发的脑电信号进行处理，输出指令实现对外部设备的控制，而对于异步BCI，使用者可以根据自己的意图对系统自主控制［2］。在异步BCI系统中，将使用者有意图的控制外设的过程称为工作状态，反之没有意愿去控制外设的过程称之为空闲状态。由于异步BCI能在工作状态和空闲状态间自由切换，更贴合实际应用。

实现异步BCI的关键是如何区分开工作状态和空闲状态。现阶段对空闲状态的检测方式主要采用基于阈值算法和分类器算法这两类［3］。文献［4］依据训练集中各类运动想象样本的类内散度和正确检测率，用接收机曲线确定分类阈值，以设计最佳三分类器，并采用模糊化技术对预测标签进行处理，有着较好的识别效果。文献［5］运用把近似熵与公共空间模式（CSP）结合的方法，基于二级分类策略的前提下，通过近似熵与CSP方法分别从时间复杂度和空间模式上提取不同类型的脑电特征，从而训练出不同的分类器，进而使用多分类器投票的方法将它们综合以提高判断空闲状态的正确率。文献［6］采用离线训练，基于最大化两类运动想象正确判别率、最小化空闲状态错误判别率的思想，利用接收机检测特性曲线，寻找最优的上下阈值，对应上下阈值之间的过程定义为空闲状态。

本文是在“模拟阅读”脑-机接口（Imitating-Reading，IR-BCI）模式下，通过极限学习机（Extreme LearningMachine，ELM）对采集到的脑电信号的工作状态和空闲状态进行检测识别。在实验中设计了三种空闲状态情景：闭眼、自由思想、文本阅读，用以代表一般性的空闲状态。在实验时，先基于极限学习机对工作状态的特征进行选择，进而将工作状态与闭眼、自由思想、文本阅读等三种空闲状态以及与三种空闲状态的混合进行分类识别。

2　实验模式及数据描述

2.1　实验模式

模拟阅读脑-机接口是中南民族大学认知科学国家民委重点实验室提出的一种人机交互范式［7～10］。通过让受试者在该模式的实验过程中，像日常阅读文本时一样，以获得视觉上的刺激，从而产生事件相关电位。与通常阅读不同，整个实验过程中，受试者的视线和视觉诱发界面这两者是保持静止的，转而通过刺激符号串相对于视线滚动达到移动效果，以减少通常阅读文本时视线移动引起的眼电信号对脑电信号的污染。在这种刺激模式中，将一个靶标符号（图1（a））随机放到多个相似的非靶标符号（图1（b））中，构成刺激符号串（图1（c）），实验时，符号串匀速移过小视窗。一个试次的运行时间指的是符号串刚开始进入小视窗到符号串全部离开小视窗的时间间隔。图1（d）为一个试次中符号串移动的示意图，一旦靶标通过小视窗就会产生稳定的事件相关电位，其中，靶标符号、非靶标符号和小视窗的尺寸都是30*30像素，靶标符号和非靶标符号具有相同的结构，两种符号的差别在于靶标符号的中间竖线被染成红色，非靶标符号则没有。

图1　“模拟阅读”模式下的诱发字符串

2.2　数据描述

实验使用Biosemi Active Two多导生理信号采集装置，采样频率为2048Hz。实验受试者7人，年龄23～26岁，均为右利手，无病史，自愿参加实验，视力校正正常。实验采集了受试者在不同状态下32个通道的脑电数据。工作状态为受试者处于正常进行IR-BCI实验模式下的数据，而空闲状态则是受试者仍处于IR-BCI的实验模式，闭眼状态时只采集受试者处于闭眼休息状态下的脑电数据，自由思想时采集受试者处于不看屏幕自由发散思维状态下的脑电数据，文本阅读时采集受试者处于阅读自己喜爱的书籍状态下的脑电数据。

7位受试者的数据分别编号S1，S2，S3，S4，S5，S6，S7。工作状态的一个数据集是由180个试次数的靶刺激和非靶刺激时间段的数据组成，数据截取时，分别选取600ms的非靶刺激数据和600ms的靶刺激数据，即截取中间1.2s的数据作分析使用。三种空闲状态同样采集180个试次数的数据，截取与工作状态对应的1.2s时间段内的数据作分析使用，数据的存储格式为：通道数×通道的采样点数×实验的试次数。

3　极限学习机原理

3.1　极限学习机概述

极限学习机是一种针对单隐含层前馈神经网络（Single-hidden Layer Feed-forward Neural Network，SLFN）的新算法。相对于传统前馈神经网络训练速度慢，容易陷入局部极小值点，学习率的选择敏感等缺点，ELM算法随机产生输入层与隐含层的连接权值及隐含层神经元的阈值，且在训练过程中无需调整，只需要设置隐含层神经元的个数，便可以获得唯一的最优解。与之前的传统训练方法相比，ELM方法具有学习速度快泛化性能好等优点。

3.2　极限学习机理论［14～16］

给定任意 N 个训练样本{(xi，tj)}∈Rn×Rm，隐含层神经元数目L，激励函数选择一个非常数的连续函数 G(ai，bi，x) ，随机选取隐含层参数 ai，bi，i=1，2，…，L，标准单隐含层前馈神经网络可表述为表示为

其中，ai是输入权值，bi是隐含层神经元阈值，xi是输入向量，βi是第i个隐含层元和输出节点的连接权值，Oj是输出向量。上式可以简化为Hβ=T，H为隐含层输出矩阵，其中：

计算输出权值 β=H+T，H+是隐含层输出矩阵的左伪逆矩阵。

图2　极限学习机单隐含层前馈神经网络结构图

根据黄广斌提出的相关理论知识，当训练集样本数比较大时，隐含层神经元个数可以比样本数小，此时，单隐含层前馈神经网络的训练误差可以无限小，即

其中ε为误差。

其解为：β=H+T，其中 H+为H的穆耳-潘洛斯（Moore-Penrose）广义逆。

标准的ELM算法过程为

1）设定隐含层神经元的个数L，给出连接权值a和隐含层神经元阈值b；

2）选择合适的激活函数，计算隐含层输出矩阵H；

3）根据公式β=H+T计算输出权值β。

4　实验过程

4.1　脑电信号的预处理

实验中为提高信噪比，有效地提取脑电信号的特征，需将采集到的脑电信号中所包含的噪声去除。对脑电信号进行了以下预处理［2］：1）去均值；2）低通滤波，实验中采集到的原始脑电信号难免掺杂有各种噪声信号，脑电信号主要集中在20Hz以下，所以采用了20Hz低通滤波器进行滤波处理；3）降采样，为提高对脑电信号的后续处理速度，在满足采样定理的前提下对滤波后的信号进行了4分频降采样处理。

4.2　数据集获取及模式识别

本文把实验数据分两种组合方式导入ELM进行分类。为了使分类结果准确、可信，在每次分类选取数据集前，分别以单个试次的数据为单位，将工作状态和三种空闲状态的数据进行随机打乱。然后按照以下两种组合方式进行组合，第一种组合方式为：将工作状态分别与三种空闲状态进行分类识别；取工作状态试次数的1/2（90个试次）和每个空闲状态试次数的1/2（90个试次），分别组成3组包含180个试次数的训练集数据，取工作状态剩余的1/2试次数和三种空闲状态剩余的1/2试次数，分别组合成3组包含180个试次数的测试集数据；第二种组合方式为：将工作状态与混合空闲状态进行分类识别；先取每个空闲状态试次数的1/3（每种空闲状态取60个试次）的数据，组合成包含有180个试次数的混合空闲状态数据，再取工作状态试次数的1/2和混合空闲状态试次数的1/2，组合成1组包含180个试次数的训练集数据，最后将工作状态剩余的1/2试次数和混合空闲状态剩余的1/2试次数，组成包含180个试次数的测试集数据。

实验中进行5次数据选取，每次选取完后导入ELM分类器中进行分类，获取7名受试者脑电数据在ELM分类方式下的分类正确率。

利用ELM进行分类时，首先要设定ELM的隐含层神经元个数L，随机产生连接权值a和隐含层神经元阈值b，选择合适的激活函数，本文选择的是“sigmoid”激活函数。由于隐含层的神经元个数会对分类正确率有影响，所以在训练前需对隐含层神经元数进行寻优，通过多次训练和参数调整，进而获得最佳的分类器模型。

5　结果与分析

在IR-BCI实验模式下，通常选定靶刺激出现的时刻为0ms时间点，工作状态分为靶刺激和非靶刺激这两种时间段，把受试者的靶刺激和非靶刺激时间段的数据叠加平均后，分别与各空闲状态数据进行时域对比，从图3中可以看出：IR-BCI模式下的工作状态的靶刺激时间段内的脑电数据与非靶刺激时间段内的脑电数据相比，更容易与各个空闲状态区分开来，基于实验室累积的研究成果［7，11～13］，选取单次提取N2-P3成分作为特征，也就是选取由靶刺激诱发的N2-P3成分所处的150ms～600ms时间段数据，作为工作状态特征参与后续分类。由于每个受试者的不同通道的效果不同，因而本文选取最佳单通道的数据用于分析使用。

为了更有力地说明选取靶刺激比用非靶刺激作为工作状态特征更有效，实验中将靶刺激和非靶刺激时间段的数据分别导入ELM中与空闲状态进行分类。表1为使用ELM对7位受试者进行5次分类时，靶刺激和非靶刺激分别与空闲状态（三种空闲状态的混合）进行分类时的正确率。可以看出，使用靶刺激时间段的数据作为工作状态特征一致比使用非靶刺激时间段的数据作为工作状态特征，与空闲状态进行分类时有更高的正确率，所以选择靶刺激作为工作状态特征有明显的优势。

图3　靶刺激和非靶刺激与各空闲状态的时域对比

表1　靶和非靶与空闲状态的识别正确率（%）

在确定把IR-BCI实验模式下的靶刺激作为工作状态特征后，根据3.2节的数据组合方式，将数据集导入ELM进行分类，图4为靶与闭眼、自由思想、文本阅读、混合空闲状态的数据载入ELM进行5次分类的平均正确率。从图中可以看出，选择三种不同的空闲状态及三者的混合空闲状态都可以有效地作为空闲状态用来识别。对于一些受试者而言，混合的空闲状态与单独的空闲状态相比，其分类识别的正确率并没有多少下降，反而比某些单独的空闲状态有所提高，总体上，混合空闲状态的识别正确率相对稳定，因此，可以选择用混合形式的状态作为普遍适用的空闲状态，同时增加混合空闲状态的形式对识别的正确率影响较小，可以考虑增加更多的空闲状态形式，拓展系统处于空闲状态的场景。

图4　靶与各空闲状态识别的平均正确率

6　结语

本文利用基于典型的单隐含层前馈神经网络的极限学习机对IR-BCI模式下的工作状态的特征进行选择，实验表明靶刺激相对于非靶刺激作为工作状态特征在分类时有很好的识别正确率，设计的三种空闲状态形式都可以作为空闲状态参与分类识别，但三种空闲状态的混合形式与三种空闲状态的单独形式相比对受试者有着的较高正确率，把混合形式作为空闲状态提高了系统的普遍适用性，且ELM具有学习速度快，泛化性能好等优点，对IR-BCI系统性能有着良好的提升。

［1］高上凯.浅谈脑-机接口的发展现状与挑战［J］.中国生物医学工程学报，2007，26（6）：801-803.GAO Shangkai.Comments on Recent Progress and Challenges in the Study of Brain-Computer Interface［J］.Chinese Journal of Biomedical Engineering，2007，26（6）：801-803.

［2］曹巧玲，官金安.模拟阅读脑-机接口异步化研究［J］.计算机应用，2014，34（3）：771-774.CAO Qiaolin，GUAN Jinan.Research of Asynchronous Reading Imitating of Brain-Computer Interface［J］.Journalof Computer Applications，2014，34（3）：771-774.

［3］杨红宇，徐鹏，陈彦.异步脑-机接口技术现状及发展趋势［J］.中国生物医学工程学报，2011，30（5）：774-780.YANG Hongyu，XU Peng，CHEN Yan.Current Status and Trend of Asynchronous Brain-Computer Interface［J］.Chinese Journal of Biomedical Engineering，2011，30（5）：774-780.

［4］刘美春，谢胜利.异步脑-机接口的空闲状态检测新方法［J］.计算机应用研究，2010，27（1）：151-153.LIU Meichun，XIE Shengli.Novel Method for Detection of Idle State in Brain-Computer Interface System［J］.Application Research ofComputers，2010，27（1）：151-153.

［5］罗登，方慧娟，徐鑫.基于近似熵与CSP的异步BCI空闲状态检测方法［J］.计算机系统应用，2014，23（6）：153-157.LUO Deng，FANG Huijuan，XU Xin.Test Method of Idle State in Asynchronous BCIBased on Approximate Entropy and CSP［J］.Computer Systems&Applications，2014，23（6）：153-157.

［6］Townsend G，Graimann B，Pfurtscheller G.Continuous EEG Classification During Motor Imagery-Simulation of an Asynchronous BCI［J］.IEEE Trans Neural Syst Rehabil Eng，2004，12（2）：258-265.

［7］官金安.脑-机接口及其信号的单次提取［D］.武汉：华中科技大学，2005.GUAN Jinan.Brain-Computer Interface and the Single-Trial Estimaion of Its Communication Carriers［D］.Wuhan：Huazhong University of Science and Technology，2005.

［8］官金安，陈亚光.脑控双页虚拟键盘的设计与性能分析［J］.中国组织工程研究，2006，10（9）：124-126.GUAN Jinan，CHEN Yaguang.Design and Performance Analysis of Mental Controlled Dual Virtual Keyboard［J］.Chinese Journal of Clinical Rehabilitation，2006，10（9）：124-126.

［9］贾贝.在线IR-BCI系统软件设计［D］.武汉：中南民族大学，2015.JIA Bei.The Software Design of Online IR-BCI System［D］.Wuhan：South-Central University For Nationalities，2015.

［10］Gao W，Guan J A，Gao J，et al.Multi-ganglion ANN Based Feature Learning with Application to P300-BCI Signal Classification［J］.Biomedical Signal Processing&Control，2015，18：127-137.

［11］官金安，陈亚光.通道选择对诱发脑电单次提取精度影响的研究［J］.计算机应用，2006，26（8）：1932-1934.GUAN Jinan，CHEN Yaguang.Channel Selection in Single-Trial Evoked Potentials Estimation［J］.Journal of Computer Applications，2006，26（8）：1932-1934.

［12］官金安，荆汉娜，李梅.“模拟阅读”脑-机接口信号的核Fisher分类［J］.中南民族大学学报（自然科学版），2013，32（2）：87-91.GUAN Jinan，JING Hanna，LIMei.Kernel Fisher Based EEG Classification for“Imitating Reading”Brain-Computer Interface［J］.Journal of South-Central University for Nationalities（Natural Science Edition），2013，32（2）：87-91.

［13］官金安，陈亚光.用多通道特征组合和SVM单次提取诱发脑电信号［J］.华中科技大学学报（自然科学版），2006，34（8）：19-22.GUAN Jinan，CHEN Yaguang.Single-Trial Estimation of Visual-EvokedPotentialsUsingSVMwith Multi-Channel Feature Montages［J］.Journal of Huazhong University of Science and Technology（Natural Science Edition），2006，34（8）：19-22.

［14］Huang G B，Zhu Q Y，Siew CK.Extreme Learning Machine：a New Learning Scheme of Feedforward Neural Networks［C］//IEEE International Joint Conference on Neural Networks，2004.Proceedings.IEEE，2005：985-990 vol.2.

［15］Huang G B，Zhu Q Y，Siew C K.Extreme Learning Machine：Theory and Applications［J］.Neurocomputing，2006，70（1-3）：489-501.

［16］Huang G B，Ding X，Zhou H.Optimization Method Based Extreme Learning Machine for Classification［M］.Elsevier Science Publishers B.V.2010，74（1-3）：155-163.