新颖的稳态视觉诱发电位脑机接口系统

乔 敏，张德雨，刘思宇，闫天翼，相 洁

1.太原理工大学 信息与计算机学院，太原030600

2.北京理工大学 机电学院，北京100081

3.北京理工大学 生命学院，北京100081

脑机接口（Brain-Computer Interface，BCI）可以自动识别人的意图，利用的是大脑的信号，能不依赖于神经系统和肌肉去控制外部设备，进而与外界交流互动。该技术广泛用于术后康复训练、重症及残障人士的护理、智能假肢以至机械设备控制等方面[1-3]。与其他方法相比，SSVEP需要记录的脑电数据通道少，无需训练，还可以获得较高的识别度。然而，目前研究通常采用在一块静态背景的不同位置上输出不同频率闪烁，每一个闪烁对应一种固定频率，同时对应着某个固定的指令，如用于脑控轮椅的方向信息，用于脑控打字的字母信息等。例如，Omid及其团队[4]就在黑色屏幕背景的上、下、左、右四个方向上分别施加不同频率的闪烁刺激，实现了重症病人的医护人员召唤及食物请求等不同需求。国内清华大学高上凯教授团队的陈小刚博士[5]实现了利用SSVEP脑控打字，可以输出26个英文字母、10个数字以及部分功能按键等，在他们的研究中，字母、数字等以阵列闪烁的形式存在，使用者依次注视不同的字母，即可实现字符的输入与输出。

这些范式主要是在静态背景下输出刺激闪烁，被试无法直观地获取被脑电控制物体的实时状态，而且可能更容易导致视觉疲劳。所以近期部分研究者提出了基于增强现实的SSVEP研究。例如：Si-Mohammed及其团队[6]在2018 年使用基于增强现实的SSVEP 实现了脑电对智能车的控制，研究者们使用固定摄像机的采集图像，而非纯色背景，在增强现实背景上叠加SSVEP闪烁刺激，分别对应前进、左转、右转，并以此控制车按指定路线前进。Yang Chenguang及其团队于2018年基于物体追踪实现了增强现实背景与增强现实刺激的脑控机械臂系统，并以脑电控制机械臂直接抓取物体。然而，对于当前基于增强现实（AR）的SSVEP 研究存在以下问题：（1）其刺激方式为闪烁的黑白块，固定在某些位置，而实际应用中所识别的目标物体大多是动态的。（2）当前研究中，由于SSVEP 需要快速的闪烁，使得其对物体识别的速率要求极高，所以在识别增强现实SSVEP 脑电信号时引入了滤波器组相关分析方法（FBCCA）[7]。（3）当前研究中，增强现实SSVEP对脑电影响的分析较少，因此限制了其在增强现实SSVEP 系统的优化空间。

1 系统设计

1.1 系统框架

增强现实脑机接口系统由以下几个部分构成，系统框架结构如图1所示：（1）增强现实刺激模块，采用基于视觉与多线程异步运行的方法，向使用者输出场景感知与追踪指定物体的视觉刺激。（2）脑电采集模块，在研究的系统结构中，脑电采集设备通过LSL（Lab Streaming Layer）[8]进行数据传输，所以增强现实脑机接口可支持多种脑电采集设备。（3）脑电分析模块，采用滤波器组典型相关分析（FBCCA）[7]方式实现对人脑意图的分类。（4）机械臂控制模块，外部设备根据实时分析出来的结果，通过TCP/IP协议传输到机械臂控制系统，完成相应动作，实现使用者的操作意图。

图1 增强现实脑机接口系统框架

当系统开机以后，增强现实刺激模块通过预设的模型库匹配场景中的指定物体，将物体以一定的频率标记，作为刺激显示呈现给被试。

1.2 脑电分析模块

实验采用德国Brain Products公司的放大器和脑电采集设备，利用公司自带的BrainVision Recorder 记录软件记录并保存数据，在线实验中该软件可以作为服务器通过LSL 协议传输数据，实验记录数据时设置0.5～48 Hz的带通滤波。

目前SSVEP脑机接口系统的脑电在线分类有两种代表性思路，第一种先对信号先进行频域变换，然后使用机器学习算法进行分类；第二种是对时域信号使用相关性算法进行分类，其中具有代表性的算法就是CCA（Canonical Correlation Analysis，典型相关分析算法）[9-11]。第一种思路需要对被试首先采集一段脑电数据，然后训练模型，最后进行在线分类；而第二种思路具有不需训练、能够直接进行在线分类的优势。因此，在系统设计中，采用滤波器组典型相关分析方法（FBCCA）[7]，对传统的CCA方法进行了改进。在SSVEP范式中，CCA方法经常被用到，该方法用来量化两个多维变量之间的相关性。而本研究采用的滤波器组典型相关分析方法，是利用SSVEP 信号中的谐波信号提高频率识别准确率。FBCCA 的基本思想是SSVEP 电位中，基频信号的幅度常常会大于谐波信号，并且谐波信号会随着谐波数增加而减弱，但对应的信噪比却减弱得很小，这表明谐波信号相对于周围的噪声信号仍具有很强的辨识性。图2是该算法的流程框图。

图2 FBCCA算法框图

FBCCA基本流程：

步骤1 滤波器组分析。

首先，滤波器组分析用多个具有不同带通的滤波器进行子带分解。带通滤波提取EEG 信号中的子带成分，滤波使用IIR滤波器。滤波分析后，各子带分量分别进行标准CCA，得到子带分量和预定参考信号（与刺激频率相一致的频率）的相关值。其中第k个信号的向量ρk包含n个相关值，定义如下：

其中，ρ(x,y)表示x和y之间的相关系数。目标识别特征是由一个相关值的平方加权和计算得到，对应所有子带成分（如ρ1k）。

其中，n是子带的索引。根据研究发现，SSVEP 谐波的SNR随着响应频率的增加而降低，子带分量的权重定义如下：

其中，a和b是使分类器性能最大化的常数，可以使用离线分析的网格搜索方法确定a和b。公式等号左边ρ用来确定SSVEP频率，对应所有刺激频率。其中，ρ的最大值所对应的参考信号的频率就被确定为SSVEP的频率。

步骤2 稳态视觉诱发电位脑电信号的子带成分与参考信号计算CCA。

构造脑电信号模板。由于10 Hz 的SSVEP 刺激信号会在10 Hz及倍频（如20 Hz、30 Hz等）处产生诱发脑电，同时考虑到较高倍频处诱发的SSVEP信号较弱，因此在本研究中只分析10 Hz与20 Hz处的诱发脑电。构造模板信号X,X维度为12×N（其中N为分析信号点数，N=f×T,f为信号频率，T为分析信号时间长度）。X的前六行为频率10 Hz，相位间隔为60°的正弦波；后六行为频率20 Hz，相位间隔为60°的正弦波。同理，也可以将8 Hz、10 Hz、15 Hz的脑电模板构造出来。

数据标准化。实验中获取一段时间的脑电信号Y,Y维度为C×N（其中C为通道数；N为分析信号点数，N=f×T,f为信号频率，T为分析信号时间长度）。为了便于计算，第一步需要对原始数据进行标准化，得到均值是0方差是1的数据。这里，默许X、Y都是标准化后的数据。

CCA 求解问题简化。分别线性表示这两个矩阵，投影到一维空间，对应的投影向量命名为a、b。因此，

算出最大化后对应的投影向量a、b是典型关联分析的思路，即：

同时：

由于X,Y均值为0：

令SXY=cov(X,Y)，则优化目标转化为：

固定分母，优化分析，优化目标在此可以转化为：

其中，aTSKXa=1,bTSYYb=1。

步骤3 CCA 算法的SVD 求解。令，可以得到：

优化目标转化为：

其中，uTu=1,vTv=1。

在这里，可以将u和v视作矩阵的某一个奇异值对应的左右奇异值向量。利用奇异值分解，可以得到M=UΣVT，其中M与V为M的左右奇异向量矩阵，Σ为M的奇异值构成的对角矩阵。因此可以得到：

这样，目标接下来就是M的最大奇异值。接下来，利用左右奇异变量u与v可以求出X与Y的投影矩阵a与b（在本研究中只需要求出最大相关系数即可）。在以上的步骤中，可以分别求解出脑电信号Y与四种刺激频率（8 Hz，10 Hz，12 Hz 和15 Hz）下参考信号X的最大相关系数。

步骤4 目标识别。

相关系数ρ的最大值所对应的参考信号的频率就是受试者当时所看到的刺激目标频率，也就是SSVEP的频率。

2 实验设计

2.1 被试者

北京理工大学研究生，共8人，年龄23～30岁，实验前均表示无疾病，视力正常或者经过矫正后正常。受试者均有过做脑电实验的经历，在本项实验前保证了充足的睡眠时间，并将头发洗干净。离线数据采集和在线实验均在正常环境中进行，没有屏蔽外界的电磁干扰和周围同学走动的干扰等。

2.2 实验范式设计

为模拟真实的脑机接口应用场景，实验数据采集时未在屏蔽室进行，而是在日常的实验室环境下，所以周围会有人员走动的干扰和环境中的其他干扰。视觉刺激显示在27 英寸的LED 屏幕上，屏幕帧速率为60 Hz，最高亮度为600 nit。受试者坐在离屏幕60 cm[12]的地方。采用干电极（O1，O2，Oz，P3）对被试者的脑电进行采集，电极位置分布采用10-20 国际标准放置法[13]，放大器中记录脑电图（EEG），电极以（Cz）作为参考，以前额为地。这样的电极配置可以覆盖视觉皮层。使用ActiCHamp-32 放大器（BrainProduct，德国）以500 Hz的频率记录脑电图数据，使用工作站（Intel 8700K CPU、16 GB-DDR5 RAM、Nvidia GTX1060 图形卡）做刺激呈现以及数据分析。图3 显示了实验的环境配置及电极位置。

图3 实验环境配置及电极位置

当被试者被告知实验方案，并完全同意后，他们按上述方案佩戴脑电采集设备，并完成4组SSVEP数据采集实验。每组实验由20 个Block 组成。在每个Block中，都有4 个目标以不同频率闪烁，参与者按照提示注视某一目标。每一个Block 持续12 s，包括6 s 的刺激，以及6 s 的休息时间。在第一组实验中，静态背景下呈现4个固定目标（分别以8、10、12、15 Hz频率闪烁）。被试在每个Block中被提示随机注视其中的一个目标。第二组实验中，闪烁块以1 000 px/s的速度左右移动，闪烁块的大小与第一组实验中的一致，同样的，实验进行4组，每组20个block。在线实验中，利用一个实时高速摄像头，被试可以直观感受到外部环境，摄像头置于机器人头部，置物架以预先设定好的采用机器视觉追踪并以特定频率闪烁块标记物体（如图4（c）中橙子的标记是12 Hz闪烁块），机器视觉追踪采用深度学习方法追踪目标，实时获取目标坐标位置信息并进行频率标记。系统语音提示受试者需注视目标后，被标记的物体开始闪烁，系统分析1 s 后给出分类结果，机械臂进行抓取动作（比如分类结果是12 Hz，机械臂执行抓取橙子动作）。此组在线实验系统提示受试者0.25 s，采集1 s，休息0.25 s。

图4 AR-SSVEP实验设计

2.3 目标检测及跟踪

在目标检测中，使用迁移学习方法，对计算机视觉领域前沿算法模型进行再训练。本系统采用TinyYOLOv3模型，首先，下载已有的YOLOv3 模型[14]；第二步，获取200 张要追踪的物体照片；第三步，划分训练集与验证集（此处，使用对数据集使用了样本增强办法，扩充到了2 000 个样本）；第四步，与YOLOv3 论文中进行相同的参数设置，单独修改模型最后一层，冻结前面的模型层，使用实验室的GPU 进行训练；第五步，使用验证集对模型进行评估，同时在真实场景下对模型识别率进行测试。然后，将迁移学习得到的模型用于实时物体检测当中，可以实时输出每一帧中的检测目标（多个）的Bounding Box（矩形框的四个点坐标）。

接下来，使用密度直方图估计方法，对前后两帧中识别的多个检测目标进行匹配。从而实现物体追踪。

具体实现过程如下：对摄像头第n帧采集的画面进行物体检测，检测出m个动态物体，计算出m个物体所在的区域（Bounding Box）密度直方图。之后，将第n+1 帧画面中的计算结果与第n帧画面中的计算结果进行匹配。以此类推，实现了整个物体的追踪过程。

3 实验与结果

3.1 静态刺激下实验数据分析

时间窗口长度（Time Window Length，TWL）[15-16]是在稳态视觉诱发电位范式中频率识别正确率的影响因素，是指算法每次进行频率识别所利用的信号时间长度，它等于信号长度与采样率的比值[15-17]。

离线数据分类利用FBCCA 算法对SSVEP 信号进行频率识别，分别在时间窗口长度为0.5 s、1 s、1.5 s、2 s、2.5 s、3 s、3.5 s 时，对8 名受试者脑电信号进行频率识别。图5 所示为不同时间窗口下各个受试者信号分类准确率。由图可知：随时间窗口长度增加，信号的分类准确率逐渐增大。这是因为时间窗口长度越大，选取不同的刺激频率，由通道信号和参考信号得到的相关值ρ越精确，此时ρk对应的参考信号的频率就是SSVEP 的刺激频率。

图5 静态刺激信号分类准确率（0.5～3.5 s，步长0.5 s）

3.2 动态刺激下实验数据分析

在第二组实验中，把动态刺激作为在增强现实和SSVEP 结合下的模拟实验，分析在真实背景下，大脑视觉区域对移动刺激的反应。实验结果表明，除受试者S5 外，其余受试者在动态刺激下的目标识别准确率均高于静态刺激，如图6 所示，这表明增强现实和SSVEP结合更够有效提高准确率，进一步提高人机互动性，为以后的脑机接口研究发展提供新思路。

图6 动态刺激信号分类准确率（0.5～3.5 s，步长0.5 s）

在脑机接口系统中，时间窗口长度会影响系统通信速率。通信速率可以通过信息传输速率（Information Transmission Rate，ITR）[15，18]来表示，其计算公式如下：

其中，T为时间窗口长度（TWL），N为实验中闪烁块频率个数，P为准确率，ITR单位是bit/min。在线系统中TWL的选择需考虑到其对分类正确率以及系统通信速率的影响。TWL包括目标的刺激时间和两次目标之间的停顿时间，不同时间窗口下对应的ITR 显然不同，表1 列出了不同的SSVEP 刺激方式下，8 个受试者的平均准确率对应的ITR。

表1 静态和动态SSVEP下不同时间窗对应的ITR bit/min

由此可以得到，增强现实和SSVEP 相结合的这种动态刺激方式下，脑机接口系统的性能高于传统的静态刺激。同时，在这两种情况中，信息传输速率随着时间窗口的增大先变大后减小，在1 s时得到最大ITR，分别为70.31 bit/min 和74.27 bit/min。当然，在动态刺激下，刺激模块移动的速度和方向可能也会对结果产生影响，本实验中刺激模块的移动速度设置为每秒1 000 像素点，是人眼可以轻松跟随的速度。采用极限思维思考，移动速度达到最快，人眼无法识别和追踪，那自然SSVEP 无法诱发。关于这些因素的影响也是之后需要研究的一个内容。

不同受试者在这两种刺激下的准确率和ITR 有所不同，图7就是不同受试者在两种范式下的准确率比较。

在以上研究的基础上，让同一批受试者进行在线实现，实验场景如图4（c）所示，继续以8、10、12、15 Hz 频率闪烁标记不同实物。然后分析1 s内识别的平均准确率，并计算相应ITR。实验结果如表2 所示，结果表明，所有受试者在在线实验中均取得了较高的正确率，平均正确率为87.66%，平均ITR为50.69 bit/min，达到了较好的分类效果。系统的在线实验结果表明将增强现实和SSVEP结合研发的动态SSVEP脑机接口系统的可行性。

4 总结

图7 受试者在两组实验中准确率随TWL的变化及两组的平均

表2 在线实验中的分类准确率和ITR

本文研究增强现实和SSVEP 结合的脑机接口系统，利用机器视觉算法实现目标追踪，设计了一个动态视觉诱发电位的BCI系统。离线数据分析中利用FBCCA算法对SSVEP信号分类，证明了FBCCA算法对所采集的脑电数据分类的有效性，并对在线系统中的参数的选择进行了分析和说明。在线系统中，八名受试者通过动态视觉诱发电位BCI系统控制机器人抓取，四类任务下取得了87.66%的平均准确率。相对目前大多数脑机接口研究只进行离线数据分析的研究，本文设计实现了增强现实和SSVEP 相结合的脑机接口系统，设计了动态视觉诱发电位的离线和在线实验，验证了人脑电信号处理算法在外部设备控制中的有效性，为将未来的脑控机器人用于军事、安防、医疗护理、教育、智能家居提供了新思路。