新型多脑运动想象脑机接口系统

王鑫洋,朱 莉,孔万增,2

(1.杭州电子科技大学计算机学院，浙江 杭州 310018；2.浙江省脑机协同重点实验室，浙江 杭州 310018)

0 引 言

脑机接口系统(Brain Computer Interface，BCl)是指一个不依靠外周神经系统和肌肉等常规传递通道来控制外部设备的通信系统[1]。运动想象(Motor Imagery,MI)是最常见的脑机接口范式[2]。运动想象BCI广泛应用于肢体康复和运动训练等医疗领域[3]。实际应用中，传统的单一用户BCI依然存在一些问题，如识别准确率低、稳定性差、在线识别难等[4]。同时，人的社会属性决定了人机交互的社会化发展，缺乏交互性的传统BCI难以满足多人联合作业的任务要求[5]，因此，将BCI向多脑扩展成为一种新的应用形式。

多脑脑机接口，即在同一脑机接口系统内同时采集处理多名被试的脑电信号(Electroencephalogram,EEG)信号，并与外界设备建立交流控制通道[6]。目前，以MI范式为基础的多脑BCI还处于起步阶段，在实验设计、融合策略、系统架构等方面有待进一步探索和研究[7]。在此背景下，本文设计并实现了一款新型多脑运动想象脑机接口系统，通过识别多位被试之间的MI脑电信号，有效融合多脑EEG特征，使用多脑共同进行决策，充分发挥群体优势，提升了脑电识别的分类准确率和系统稳定性。

1 系统设计与实现

1.1 系统架构

本文设计的多脑运动想象脑机接口系统总体架构如图1所示。以2人1组为例，S1代表第1位被试，S2代表第2位被试。首先，根据设定好的实验参数开始播放运动想象提示，脑电采集设备获得多用户的EEG数据，并通过局域网使用传输控制协议(Transmission Control Protocol，TCP)传输到后端软件系统；然后，后端软件系统利用缓存池对多用户脑电数据进行对齐拼接等处理，并传递给多脑运动想象算法模型；最后，多脑运动想象算法模型通过计算分析得到S1，S2和多脑融合分类结果，通过局域网发送到其他设备进行结果展示。

图1 多脑运动想象脑机接口系统的总体架构

在总体的架构下，系统进行模块化设计和开发，由交互模块、输入解析模块、多脑运动想象脑机算法模块以及决策输出模块组成，如图2所示。系统运行在Windows平台上，采用Python后端结合Javascript前端开发。前后端分离的开发方式使得设备分离，在后端启动服务后，前端页面可以展现在局域网中的任意客户端上。

图2 多脑运动想象脑机接口系统模块

为了协同模块间的传输与控制，本系统软件使用多线程技术。共调用N+4个线程，其中N表示被试的数量，N个线程接收和控制各自被试的EEG数据包，线程1负责控制交互模块，线程2将被试数据和标签整合成EEG数据包，线程3运用多脑运动想象脑机算法模块解码运动想象EEG，线程4将解码结果通过TCP发送给输出模块。N+4个线程之间的信息交互采用生产者-消费者模式来实现，也就是说，在2个线程端之间都有1个对应的缓冲区，有效解决了生产和消费速度不匹配的问题[8]。

1.2 交互模块

交互模块通常由人机交互界面实现，是一种用户与硬件系统之间的信息交互方式。交互模块如图3所示，由参数选择页面和任务提示页面组成。

图3 交互模块

参数选择页面用于设定实验参数，如算法模型、实验阶段数、阶段间的休息时间、阶段包含的试验数等。点击开始按钮后，根据参数选择页面设定的参数，任务提示页面开始更改视频提示画面，提示用户进入休息阶段或者任务阶段。视频提示随机呈现，并在呈现视频提示的同时，将任务类别标签发送给决策输出模块。

1.3 输入解析模块

输入解析模块通过分析接收的TCP数据包获得EEG数据。为了匹配2台采集设备的脑电信号，本系统通过设置全局缓冲区来完成多段运动想象EEG的拼接与缓存，避免了在线读取数据的延迟与遗失。待全局缓冲区接收到所有采集设备的EEG后，将S1和S2的EEG拼接成单个多脑数据包，预处理后发送到多脑运动想象脑机算法模块。

1.4 多脑运动想象脑机算法模块

多脑融合算法主要包括信号层融合、特征层融合和决策层融合[9]。决策层融合先对单用户脑电数据进行决策，再根据单用户表现等因素赋予不同的决策权重，最后使用数学方法获得群体判断结果，选择加权决策、贝叶斯推理、经典推理等数学方法进行分类结果的整合。本文使用决策融合的加权决策方法，数学表达式如下：

(1)

式中，di为第i名用户的决策结果，wi为第i名用户的决策权重。

以单用户的离线训练分类准确率作为决策权重的参考，决策权重计算表达式如下：

(2)

式中，L为分类任务数，ai为第i位被试的离线训练分类准确率。

本文采用集成学习的软投票方式获取多脑分类结果。首先，将S1和S2分别导入算法模型，获得S1和S2在L分类任务中各类别的概率，并通过Softmax激活函数获得各自的分类结果；其次，将概率矩阵加权平均，通过Softmax激活函数获得多脑分类结果；最后，通过多脑运动想象脑机算法模块将S1，S2和多脑融合的分类结果作为决策数据包发送给决策输出模块。多脑运动想象脑机算法模块的融合算法如图4所示。

图4 多脑运动想象脑机算法模块的融合算法

值得注意的是，图4中的算法模型可以是计算单脑运动想象EEG各任务类别概率的任一算法，在图3(a)参数选择页面中选择算法模型，但是，要求该算法模型提供相应的输入输出接口，用于接收输入矩阵和输出概率矩阵。

1.5 决策输出模块

决策输出模块接收交互模块的标签和多脑运动想象脑机算法模块的决策数据包后，可视化展示分类精度。为了增加趣味性，本文使用N+1个仪表盘来动态展示多脑运动想象脑机接口算法模型的结果。N为被试数量，以2位被试为例，2位被试各自的决策结果和多脑融合的决策结果如图5所示。3个表盘之上设置了顶部标题，用于显示当前试验数和任务类型。表盘左右分别标记为左手与右手，当指针撞到表盘左侧，表明决策结果为左手运动想象；当指针撞到表盘右侧，表明决策结果为右手运动想象；当指针在单个试验时间内并未撞到左侧或者右侧，表明决策结果是空闲态。表盘中部数字记录的是不同被试分类正确的个数。

图5 决策输出模块的仪表盘

2 脑电采集实验与分析

2.1 实验参与者

实验招募了12位健康的被试，按2人1组分为6组。被试的年龄在23～25岁，均为未进行过大脑外科手术的大学生。所有被试均在受试同意书上签字，表示自愿主动配合实验。由于脑电波信号较弱，容易受环境干扰，故选择在隔音效果良好的实验室进行实验。

2.2 采集设备

实验采用Neuroscan公司的62通道电极帽和SynAmps 2/RT放大器作为EEG的采集设备，一共2套设备，每位被试使用1套。电极帽使用国际10/20系统电极放置法，电极位置分布如图6所示[10]。实验采样频率为1 000 Hz，使用62通道电极帽的所有62个电极和2个参考电极，所有通道的阻抗均小于5 kΩ[10]。

图6 EEG电极位置分布图

2.3 离线实验

离线实验用于获取训练算法模型的数据。数据采集包括3种不同运动想象任务，即左手、空闲和右手，同时记录2位被试的数据。实验流程如图7所示，共包含4个阶段，阶段之间的休息时间为30.0 s。测试阶段用于调试设备并确认被试的状态，后3个阶段为采集阶段，每个采集阶段包含125个试次(trial)，中间有短暂休息。每次实验共采集375个trial。

图7 离线实验流程

脑电采集流程如图8所示，2位被试并排坐在电脑屏幕前。每个trial开始时，屏幕机出现1个视频提示，可能为左手抓握、右手抓握、无抓握的演示视频，对应于左手、右手、空闲任务类别中的1个，演示视频在屏幕上停留1.0 s。被试根据提示信息主动执行所需的运动想象任务，即左手运动想象、右手运动想象、无想象，并持续5.5 s。为了保证数据的可靠性，实验要求被试反复进行想象[11]。实验没有提供任何反馈，仅要求被试执行运动想象任务，直到屏幕上出现休息提示，开始进入2.0 s的休息阶段，随后进入下一个trial。

图8 离线脑电采集流程

实验获得的EEG通常含有多种类型的伪迹，严重影响分类过程和分类精度，需要进行预处理。本文运用独立成分分析(Independent Component Analysis，ICA)的方法对脑电波中的独立成份进行分离[12]。EEG一般都在低频频段，电器设备的工频干扰一般在50 Hz左右，故本文对EEG进行1～40 Hz的带通滤波。预处理后，考虑提示产生瞬间刺激的影响，本文只截取任务阶段后面4.0 s的想象数据。将每组多脑运动想象脑电样本格式设置为2×375×62×4 000，其中2代表被试人数，375代表样本量，62代表通道数，4 000代表样本长度。根据不同任务的视频提示，为各个样本分别打上标签0，1，2，分别表示左手运动想象、空闲、右手运动想象，标签格式设置为{375×1}，其中375代表样本量，1代表标签类型。

本文选用共空间模式(Common Spatial Patterns,CSP)算法作为多脑运动想象脑机算法模块的算法模型，对于运动想象任务而言，共空间模式具有优秀的分类效果[13]。为了保证实验结果的合理性，随机抽取总数据的70%作为训练集，其余30%作为测试集。每组都进行5次实验，每次实验都重新随机取样，取5次实验的平均准确率作为实验结果。采用多脑融合与2个单脑进行运动想象脑电分类实验，得到多脑融合与单脑的运动想象脑电分类结果如表1所示。

表1 多脑融合与单脑的运动想象脑电分类准确率 单位：%

从表1可以看出，多脑融合的分类准确率均高于同组单被试准确率，最高值达到91.11%，说明多脑融合增强了分类效果。此外，多脑融合的平均准确率显著高于单被试平均准确率，说明多脑融合分类效果更稳定，不易受单被试实验状态的影响。

2.4 在线实验

通过离线实验训练好算法模型后，邀请所有被试进行在线实验。在线实验环境和流程与离线实验一致。与离线实验不同的是，采集设备的数据不是直接保存在本地，而是通过TCP传输到本文系统的输入解析模块，在线获得分类结果。在线实验只进行1个采集阶段，采集阶段包含100个实验。在线实验的结果如图9所示。

表2 多脑融合与单脑的运动想象脑电分类准确率 单位：%

从表2可以看出，6组实验中，多脑融合的分类准确率均高于同组单被试准确率，平均准确率比单脑平均准确率分别提升了9.04%和18.85%，对比表1可以发现，所有被试的综合表现不如离线实验的分类准确率，这是因为跨时段的EEG表现有所差异。

综上分析可知，本文设计的多脑运动想象脑机接口系统能有效融合多脑EEG特征，提升了脑电识别的分类准确率和系统稳定性。

3 结束语

本文设计并实现了一款多脑运动想象脑机接口系统。采用加权决策方法，有效融合多脑EEG特征，充分发挥群体优势，共同进行决策，提升了运动想象EEG的平均分类准确率，验证了将单脑运动想象BCI向多脑扩展的可行性。目前，本文系统还处于实验阶段，后续设计中，使用多脑融合结果作为指令，协同控制外部设备，将本文系统投入到实际应用中。