神经反馈提升注意及SSVEP脑机接口使用技能
2021-04-25孙劲男张山根高小榕
孙劲男 张山根 高小榕
(清华大学医学院生物医学工程系,北京 100084)
引言
脑机接口和神经调控是未来实现脑机交互缺一不可的两个重要组成部分,近来关于神经信号的解读取得了不少突破性的进展,而神经调控方面依然有很大的研究潜力。
在脑电图(electroencephalogram, EEG)中可以观察到各个频段的振荡,而这些振荡一直都是EEG研究的热点。随着研究的深入,各个节律对人的作用和影响也逐渐被发现。神经振荡最早是由Hans Berger在1929年发现的[1],但是其确切的生理功能至今仍然有待研究。神经振荡的作用可能包括特征绑定、信息传递以及节律运动输出等,但到目前为止,仍然缺乏实验证据来说明神经振荡的确切功能,因此还无法对神经振荡的作用做出一个完善的解释。神经科学对这一神经现象的研究重点在于确定神经振荡源头以及神经振荡的功能,以便更进一步地调控振荡的某些特性,从而实现脑功能上目的性的改变。
在神经振荡中,最为人所熟知的宏观神经振荡活动就是alpha波振荡。Alpha波振荡的起源被认为和丘脑皮质结构有关[2-7],越来越多关于alpha波振荡功能的研究指出alpha波振荡作为一种人脑的主要振荡起着“抑制”的作用[6]。当然,alpha波振荡在信息传递处理中也起着重要的作用,更有研究表明,alpha波振荡的中心频率与完成任务的能力和认知状态有着密切关系[3]。鉴于alpha波振荡具有抑制任务不相关脑活动的作用,因此它与注意力也有着相当密切的关系。
神经反馈训练(neurofeedback training, NFT)作为一种操作性生物反馈调节方法,可以控制或改变这些神经振荡,从而影响人的行为表现。根据加拿大心理学家赫布(Donald Olding Hebb)提出的学习规则[8],特定神经元(突触)组若经常激活,则其功能连接也会得到加强,甚至形成新的回路。而长久不活跃的神经元或回路将逐渐衰退,这也是神经可塑性的核心理论之一,是神经反馈训练的生理基础。目前,神经反馈训练已有多种应用场景[9],如治疗注意缺陷多动障碍[10-11]、癫痫[12]、亨廷顿病[13]、提高认知能力[14-15]和加强情绪和行为控制的自我调节[16]。
稳态视觉诱发电位(steady-state visual evoked potential, SSVEP)作为脑机接口的经典范式,有着诸多应用场景,也是脑机接口发展中重要的一环。SSVEP可以理解为一种自发的锁相刺激响应振荡,常用信噪比去评价其信号质量。尽管经过几十年的研究,SSVEP脑机接口的使用技能表现依然有着被试和算法依赖性。综上所述,本研究希望探索一种神经调控方法,以提升注意和SSVEP脑机接口使用技能。
1 方法
1.1 噪声RSVP实验
为了后续可以通过神经反馈训练的方式对注意力进行调节,从而实现增强任务执行能力的目标,首先要针对注意模式的一些基本规律进行研究。这部分将在一个高注意需求的实验任务中探究注意的一些网络性质和高注意状态的可用特征。
1.1.1实验设计
实验的总体流程是:被试者注意屏幕上的RSVP刺激,并持续保持寻找目标状态。本实验中,视觉RSVP刺激的目标和非目标分别是有人的照片和无人的街景照片,即被试者需要持续注意寻找人物。在被试者注视刺激的过程中,记录脑电信息以备分析。每个试次设计为100张图片以10 Hz的速度呈现,其中有2~3张目标;且目标不会出现在前15张和最后15张里面,目标与目标之间至少间隔15张图。在刺激的呈现过程中,为了使被试者处于不同的注意程度,一些试次的图片被增加了加性噪声。在这个实验中,刺激物被添加了4种不同程度的噪声(加清晰图片共5种噪声程度),具体的处理细节在下面详述。在实验中,每个噪声程度进行40个试次,全实验共计200个试次,分为4个block完成,整个进程大约耗时1.5 h。
1.1.2被试群体
本实验共有30名受试者参与,他们均视力正常或矫正视力正常,且无癫痫或其他易诱发疾病,适合参与脑电实验。所有参与者均签署了实验知情同意书并承诺积极配合实验,同时该项目也通过了清华大学医学院伦理委员会的审查。最终采集到的可用数据样本包括30名受试者,其中15名女性和15名男性,平均年龄(24.02±7.31)岁。
1.1.3脑电记录
本实验记录了64导脑电数据(AF3/4, AF7/8, Fp1/2, FPz, Fz, F1/2, F3/4, F5/6, F7/8, FC1/2, FC3/4, FC5/6, FCz, FT7/8, Cz, C1/2, C3/4, C5/6, T3/4, T7/8, TP7/8, CP1/2, CP3/4, CP5/6, Pz, P1/2,P3/4, P5/6, P7/8, PO3/4, PO5/6 PO7/8, POz, Oz, O1/2, CB1/2)且定位符合国际10-20标准,参考电极为CPz。记录采用的脑电设备为Neuroscan公司生产的 SynAmps RT 64-channel无线脑电放大器,采样频率为1 kHz。实验中所有的电极阻抗均降到10 kΩ以下,且采集过程在电磁屏蔽室中进行,外界电磁干扰得到有效抑制。
1.1.4信息计算
整个大脑可以视作一个复杂的网络,而每一个脑区(神经细胞群)和神经连接可以分别被视为一个节点和一个边缘。传统的网络分析方法有典型相关分析(canonical correlation analysis, CCA)和有向传递函数(directed transfer function, DTF)。在本研究中,使用了有向传递函数,而有向传递函数和信息流是使用eConnectome工具箱[17-19]进行计算的。有向传递函数DTF的计算是基于Granger因果发展过来的,其核心理念是多元自变量回归模型,加之脑电数据的时序特征便可以整理出不同位置之间的信息流动。
根据Kaminski的推导[20],DTF计算过程如下:
X=[x1(t),x2(t),…,xn(t)]T
(1)
式中,X为脑电数据,x为不同导联的信号,n为最大导联序号,t为时间。
将式(1)用多变量自回归模型(multi-variate auto regressive, MVAR)进行拟合如下:
(2)
式中:A为多元自变量回归模型参数,且理论上可认为得到的E为一个多变量零均值的白噪声;q为拟合阶次,该参数会在一定程度上影响拟合效果。
为了计算的便利,通常会把式(2)转换到频域,其中多变量自回归参数模型的频域表示如下:
X(f)=A-1(f)E(f)=H(f)E(f)
(3)
根据系统的定义,可将H(f)视为系统的传递矩阵,而在有向传递函数的计算过程中,H(f)的实际意义为两个导联之间的信号连接强度,有
(4)
连接矩阵H(f)包含了整个网络所有的信息传递特征,根据定义,有向传递函数DTF如下:
θ2(f)=|Hij(f)|2
(5)
(6)
(7)
参照文献[21]中的定义,本研究还计算了信息流增益ρ,即将ρ定义为流出信息与流入信息之比,有
(8)
在节点处,ρ值越大,表示该节点在网络信息传输中的贡献越显著;ρ值越小,表示该节点对网络信息传输的贡献越小。
1.1.5假设检验
该实验的目的是人为设置不同难度的任务,以期得到同一范式下包含不同程度注意的脑电数据。为此,需要先对这一假设进行验证才能进行后续处理。本研究基于Keras(https://keras.io/),简单搭建了一个3层全连接网络来进行四分类计算,以检验数据的有效性。
采集到的数据原始形态是30(被试数量)×4(不同注意程度)×40(每种模糊程度的试次数)。经过简单的0.5~60 Hz带通,并按照上面介绍的网络信息流计算方式进行整理,得到了30×29×62×62的一个四维信息传递矩阵。其中,第1个维度是30个被试(样本数),第2个维度是计算了29个频带的信息传递(2~30 Hz),第3、4维度是导联数。
经过整理,本研究将原始的30×29×62×62的四维特征矩阵整理成30(被试数)×4(特征)的数据体如下:作为输入去进行四分类,即将所有被试的4种注意程度数据放在一起分析,样本量为120。这个数量相对于人工网络来谈不上充足,但由于脑电数据的获取成本较高,这里每次将30个样本分为28/2,分别作为训练集和测试集。训练和测试共分为15轮,即每一轮中训练样本有112个,而测试样本有8个。这样,每一个样本都有机会作为训练样本和测试样本,保证了结果的公平性。最终,四分类的准确率用所有轮次准确率的均值进行计算。
1.2 神经反馈增强实验
1.2.1实验设计
根据对照实验原理,整个实验将被试者随机分成两组,即神经反馈训练组和空白对照组。他们都要先接受基于SSVEP的脑机接口的使用测试,两个月后会再接受一次相同的测试。实验组与对照组的区别是:实验组在中间的两个月内要进行神经反馈训练,而对照组则不会进行任何与神经反馈相关的训练。实验组和对照组的被试者们只是被告知需要协助参与实验,对实验的分组情况并不知晓。
对于神经反馈训练组的每个受试者,整个训练过程耗时两个月,共计24次训练。参与者每周内会接受3次、每次约1 h的训练,并且每两次训练之间至少要间隔1 d。在每次训练中,受试者被要求玩一个基于脑电的反馈游戏。为了验证该训练方法的稳定性,将实验组的两次SSVEP脑机接口使用表现测试分别安排在第1次训练的10 d前和最后一次训练的10 d后。此外,使用在注意领域研究公信力比较好的IVA-CPT量表,对实验组训练前后进行了静息态的注意连续性测试。
1.2.2被试群体
本实验共有47名受试者参与,他们被随机地分成了两组,其中神经反馈训练组共有25人,而空白对照组共有22人。这些被试者均是视力正常或矫正视力正常,且无癫痫或已知的其他疾病。所有参与者的监护人均签署了实验知情同意书。同时,该项目也通过了清华大学医学院伦理委员会的审查。最终采集到的可用数据样本包括:实验组24名受试者,其中6名女性和18名男性,平均年龄(9.42 ± 2.58)岁;对照组22名受试者,其中8名女性和14名男性,平均年龄(9.86±3.14)岁。正如Van Praag的实验表明,衰老导致海马体的变化,可能导致老年人的认知能力和神经可塑性下降[22]。因此,本研究考虑到青少年大脑更具神经可塑性,选择了儿童受试参加神经反馈训练。
1.2.3脑电记录
本实验记录了64导脑电数据(AF3/4, AF7/8, Fp1/2, FPz, Fz, F1/2, F3/4, F5/6, F7/8, FC1/2, FC3/4, FC5/6, FCz, FT7/8, Cz, C1/2, C3/4, C5/6, T3/4, T7/8, TP7/8, CP1/2, CP3/4, CP5/6, Pz, P3/4, P5/6, P7/8, PO3/4, PO5/6 PO7/8, POz, Oz, O1/2, HEOL, HEOR, ECG, VEOL, VEOU),且定位符合国际10-20标准,参考电极为CPz。记录采用的脑电设备为博睿康公司生产的NeuSen.W64无线脑电放大器,采样频率为1 000 Hz。实验中所有的电极阻抗均降到10 kΩ以下,且采集环境为自然环境,没有外加电磁屏蔽。
1.2.4刺激范式
该处理系统由刺激显示、脑电采集装置和处理计算机组成。刺激装置采用华硕MG279Q 27英寸显示屏,分辨率2 560像素×1 440像素,刷新率144 Hz。处理设备为Intel i9-9 900 K@3.6 GHz CPU和DDR4 32 GB内存。刺激和处理程序是在Matlab 2015a(http://www.mathworks.com)和Psychophysics Toolbox Version 3(http://psychtoolbox.org/)下开发的。
在实验过程中,刺激设备负责呈现多目标闪烁刺激,并在每一个试次开始和结束时,分别向脑电采集器发送一个Start Trigger和一个End Trigger信号。处理设备从脑电放大器实时接收脑电数据,在满足刺激停止条件时向刺激器发送Stop Trigger指令,并在完成识别后将结果反馈至刺激设备。
在SSVEP测试中,使用了基于频率和相位的混合调制编码(频率范围为8~15.8 Hz,频率间隔为0.2 Hz)的40目标SSVEP拼写器[23]。屏幕中设置共40个刺激目标块,分别表示A~Z共26个字母、0~9共10个数字,以及空格、逗号、句号及退格键。在实验中,各个刺激目标均采用采样正弦采样方法构造生成[24-25]。在整个SSVEP-BCI任务中,为了保证受试者的实际状态和数据的有效性,工作人员要求每个受试者分成6组完成(每组40个试次)。参与者可以选择在两组之间休息,以发挥他们的最佳水平。因此,整个测试大约需要40 min。
1.2.5Alpha频带能量比
研究中采用了提高顶叶alpha频带(8~12 Hz)能量的神经反馈训练方法,需要计算alpha频带的功率以检验训练效果。由于alpha频带振幅的绝对值受被试者的当前状态和环境的影响,因此在不同的试次中它们是不具有可比性的。为了比较神经反馈训练前后的差异,计算alpha频段与0.8~20 Hz频段的功率比值,以表征alpha振幅是否得到提高,有
X(f)=fft(X)
(9)
(10)
(11)
(12)
图1 神经反馈训练交互界面中3种不同的游戏模式。(a)吃豆子;(b)开飞机;(c)赛车Fig.1 Three different game modes in neurofeedback interface. (a) Pacman; (b)Airplane; (c)Racing
式中,P1和P2表示alpha频带和全频带的功率,X表示脑电信号,f表示频率。
静息状态数据通过2 min睁眼和2 min闭眼的实验获得。闭眼数据共12万个采样点,采样率为1 kHz,频域分辨率为1/12 Hz。
1.2.6量化计算
整个在线测试(实时反馈结果)分为6个block。前4个block使用3~4 s动态窗口,并使用滤波器组典型相关分析(filter bank canonical correlation analysis,FBCCA)算法进行分类[26]。最后两个block使用1~2 s的动态窗口,并应用任务相关成分分析(task-related component analysis,TRCA)算法进行分类[27],其中TRCA是一种有训练算法,其训练数据来源于前4个block。以此种形式安排,每一目标可以获得6个试次的有效数据。
脑机接口的使用效果主要有3个经典的评价指标,即准确率、信噪比和信息传输率。计算枕区9个导联的平均信噪比(PO3/4,PO5/6,PO7/8,Oz,O1/2)、信息传递率(ITR)和准确率,并用这些指标来评价受试者的SSVEP脑机接口使用表现。
在信噪比的实际计算中,可以根据工程需要,对信号和噪声进行灵活的频带定义。在这项研究中,信噪比(SNR)被用作评价SSVEP脑机接口性能的指标。使用SNR作为评价指标之一,可以最小化背景EEG活动对结果的影响。因此,这里定义信号的功率为以刺激频率为中心的一个窄带内((f± 0.2) Hz)的功率,同时宽带((f± 1) Hz)内的功率被认为是噪声,有
X(f)=fft(X)
(13)
ITR=(log2N+A×log2(A)+
(1-A)×log2(1-A/N-1))×60/T
(14)
(15)
(16)
(17)
(18)
在上面的公式中,N是总目标数,A表示准确度,T表示单目标识别所需的时间,X表示脑电信号,f表示频率。
1.2.7反馈程序
结合前置实验的研究结果,笔者认为顶叶在视觉任务中可作为网络的中心,并具有引导注意的效用。结合前人的研究结果[7],本研究中神经反馈训练的位置选择在顶叶,并在顶叶中选择alpha波幅值最低的一个导联进行调节(FC1/2、FCz、C1/2、Cz、CP1/2中静息态alpha波幅度最低的一个)。选择的电极因受试者而异,每次训练只针对一个电极位置,以便更好地观测结果。关于训练顶叶的效果,会在后面的结果部分进行验证。
考虑到儿童的神经可塑性更强,所以被试者选择了7~12岁的小学生。为了吸引他们的兴趣,使其能更好地配合实验,神经反馈交互界面被设计成游戏的形式(见图1)。该程序有3种可供选择的形式:吃豆子(一个小人在给定的路线上吃豆子)、开飞机(驾驶飞机在给定的路线上飞行)和赛车(驾驶汽车在给定的路线上行驶)。这3种模式的操作方法是一致的,即设定一个反馈参数阈值(计算方式下面详细介绍),并实时检测使用者对应的脑电参数。当检测到的参数高于阈值时游戏会持续进行,而一旦某时刻脑电参数低于给定的阈值则游戏就会暂停。这时候指导员会告知被试者集中注意,并引导他们调整状态,使游戏持续下去。如此循环强化,被试者就逐渐掌握了自行调节的方式。
反馈参数的设定分为反馈频率设置和反馈幅度设置两部分。在正式训练开始之前,被试者会在alpha频带(8~12 Hz)内测试不同的反馈频率(如8.2、9.4 Hz等)。设定成功率(神经反馈训练)能够达到60%~70%的频率作为反馈频率。对于振幅,也使用同样的设定方法。研究发现,当反馈幅度设置为受试者闭眼alpha幅度的0.2~0.3倍时,反馈训练的成功率也在60%~70%。此外,随着训练的进行,可根据反馈的成功率(通常是提高反馈频率)适当地调整反馈参数。
实时采集到的脑电数据会首先通过一个带通滤波器(0.5~40 Hz),实时反馈系统的采样率为1 kHz,而计算时采样率降采样到250 Hz。计算窗长度为2 s,相邻窗间重叠50%,数据更新时间不超过1 s。按照此参数,每次有2 000个点用来计算采样参数,所有涉及功率谱的计算均采用Welch方法。
1.2.8程度测试
视听觉整合持续表现测试(integrated visual and auditory continuous performance test,IVA-CPT)是一种测试被试者持续注意程度的工具[28],它是由John Sandford(心理学家)和Anne Turner(医生)开发的。最初的测试包括一串呈伪随机排列的听觉和视觉刺激(总共500个试次),之后会要求受试者找出他们听到或看到的目标。整个试验持续约40 min,本研究选择了其中一部分(100个试次)来测试受试者。受试者会在指导员的引导下按照要求填写一份纸质的质量表。这个测试是一个实时的任务,包括重复的听觉和视觉刺激。在测试过程中,指导员会引导受试者观察量表上的一系列图形和文本,受试者也会听一篇包含隐含信息的短文。之后工作人员会要求参与者提供相关的信息,并在量表上回答问题。该测试通常用于检测神经反馈训练或药物治疗的有效性。
1.2.9结果检验
通过噪声RSVP实验的结论设计了神经反馈增强实验,在后续实验结果部分,将从神经反馈训练结果、注意测试结果和脑机接口测试结果3个角度评价实验方法的有效性。其中,神经反馈训练结果即训练前后对应位置alpha频带能量。脑机接口使用测试将通过准确率、信息传输率和信噪比来评价,详细的数据结果将在实验结果部分进行展示。
1.2.10统计学分析
对实验组的神经反馈训练结果(alpha频带能量)、注意力测试结果(行为学测试得分)、脑机接口测试准确率、信息传输率和信噪比进行了统计学分析和检验。分别计算了相关数据的均值和标准差,并对以上有前后对比的数据组进行配对样本t检验,详细的计算结果描述在本文的结果部分。
2 结果
2.1 噪声RSVP实验结果
2.1.1不同数据的假设检验结果
在不同注意模式的随机分类问题中,先前的假设是数据包含4种不同程度的注意样本。在进行了四分类预测后,15轮结果的平均准确率为62.5%。假使是完全随机四分类,其准确率应该是25%,而得到结果的62.5%是远远大于25%的。可见,先前的假设是成立的,数据的确包含4种不同的模式,并不是随机的。
而其混淆矩阵结果(经过归一化处理)如图2所示。可以看到,在大部分预测正确的情况下,错误预测主要集中在邻近模式上。
图2 假设检验的归一化混淆矩阵Fig.2 Normalized confusion matrix for hypothesis testing
2.1.2注意网络的信息分析结果
首先取一个试次开始后的第 2 s内的数据(开始trigger后的2 000~3 000个采样点),再取10个同注意程度试次的同时间数据进行叠加(叠加会抵消噪声和随机成分,固定模式则会被留下)。根据叠加得到的时域数据计算其有向传递函数,再对得到的结果进行规定频带内的求和,如此计算可得到注意的网络节点权重(全部被试均按照此步骤进行处理),如图3所示。可以看到,注意网络中节点与节点之间有着非常丰富的信息流动,而顶叶(FC1,FCz,FC2,C1,Cz,C2,CP1,CP2)在整个网络中起着重要作用,图中节点的大小则代表了节点的ρ值。节点的ρ值越高,表示节点对网络信息传输的贡献越显著。
图3 注意网络的信息连接。(a)注意状态下的网络信息连接;(b)在网络中重要节点的位置Fig.3 Information connection of attention network. (a) Information connection in attention state. (b)The position of important nodes in the network
分析频带能量发现,随着注意程度的提高,顶叶(FC1,FCz,FC2,C1,Cz,C2,CP1,CP2叠加平均)alpha频带(8~12 Hz)能量也会提高。图4中每种注意程度的均值和标准差如表1所示。由统计结果可知,顶叶alpha频带能量随注意程度的提高而提高, 且能量标准差也随着注意程度的提高而增大。
表1 不同注意程度下顶叶alpha频带能量
图4 顶叶alpha频带能量随注意的变化(每条曲线代表一名被试)Fig.4 Variation of alpha power in the parietal lobe with attention(each curve represents a subject)
2.2 神经反馈增强实验结果
2.2.1神经反馈训练结果
神经反馈组包含24名参与者,他们都在两个月内各完成了24次训练(共计24 h)。在这些参与者中,91.7%的人训练成功(共计22人),如图5所示。训练成功,即训练后受试者的alpha频带能量比训练前更高。在图6中,24名受试者训练前后的平均alpha频带能量比分别为32.93% ± 10.61%和38.58% ± 12.12%。因此,训练使alpha频带能量比相对提高了17.16%,配对样本t检验呈现显著差异(P=0.000 15)。
图5 实验组训练前后alpha频带能量对比Fig.5 The alpha band power of experimental group brfore and after training
图6 实验组训练前后alpha频带能量的统计差异(**表示具有显著性差异)Fig.6 Statistical difference of alpha band power before and after training in the experimental group(** indicates a significant difference)
2.2.2注意力测试结果
基于大量现有研究的结论[29],alpha频带与注意力密切相关,提高alpha频带振幅可以提高注意力。在本研究中,使用经典的注意可操作性测验(IVA-CPT)来检测训练对注意的影响。实验组共有24名受试者在训练前后分别接受测试,测试结果与Kim实验中6~15岁儿童的测试数据行程对照参考[30]。Kim的研究以相同的标准行为测试了100名健康儿童,由于本研究中的评分范围为0~10(10分为最佳),所以将他们的分数(原始分数范围为0~155)也映射到0~10进行比较。统计结果如表2所示,每项得分为0~10分。在表2中,训练前7个项目的平均值为5.33 ± 0.97,训练后项目的平均得分为6.76 ±1.02,结果经过配对样本t检验,具有显著性差异(t=23,P=0.001 72)。这表明,训练对视觉和听觉的注意有显著的改善。
表2 训练前后注意力测试Tab.2 Attention test table before and after training
2.2.3脑机接口使用结果
通过神经反馈训练提升稳态视觉诱发电位脑机接口的使用表现,是这项研究的目标之一,本部分将从准确率、信息传输率和信噪比3个角度展示神经反馈训练的提升效果。综合来看,训练使得87.5%的使用者SSVEP脑机接口的使用表现有所提高。
2.2.3.1 准确率结果
每一名受试者在每一次SSVEP-BCI测试中都完成了6个block共计240个试次,而这6个block的平均准确率则被记录下来作为参考比较的标准,如图7所示。结果表明,就准确率而言,实验组的24人里有19个人在训练后有所提高。也可以看到,另外5个没有提高的被试在第一次测试时就已经达到了90%以上的准确率。这些被试训练前的准确率为78.93%±0.14%,而训练后的平均准确率为83.65%±0.14%,经过配对样本t检验存在显著差异(P=0.000 49)。反观控制组,他们在第1次测试时的准确率为79.02%±0.15%,而第2次测试为79.41%±0.17%,几乎没有差异。
图7 实验组与对照组前后两次测试准确率对比(*表示具有统计学差异,红点表示离群点)Fig.7 The accuracy in two tests of experimental group and the control group (* indicates the significant difference and the red dot indicates the outlier)
2.2.3.2 信息传输率结果
计算各位受试者每一次使用SSVEP脑机接口时的信息传输率。实验组24名受试者在训练前的SSVEP-BCI平均ITR为103.21±28.49,训练后的ITR为119.35 ± 25.14,平均提高了15.6%,如图8所示。经配对样本t检验,该结果具有显著性差异(P=0.049 4)。而对照组两个月前第一次测试的时候平均ITR为119.13±23.27,第二次测试时为113.06±27.01。值得注意的是,实验组的3名受试者在第一次测试中达到较高水平,而训练后的成绩指数下降也属于正常波动范围,因此没有表现出SSVEP ITR的增加。
图8 实验组与对照组前后两次测试ITR对比Fig.8 The ITR in two tests of the experimental group and the control group
这里尝试考察训练结果与信噪比计算结果之间的关系。上面提到通过计算训练前后alpha频带能量来判定是否训练成功,其中24人中有22名被试训练成功,而训练未成功的两名被试者的前后测试ITR基本持平。在ITR的散点图中还可以看到,训练组有3名被试者在训练后ITR有所降低,而他们训练前后的alpha频带能量提高幅度也并不大。反观ITR结果提升幅度较大的前5名参与者,其训练前后alpha频带能量提高程度的排名也均在前列。据此来看,这里并不能明确给出alpha能量变化和ITR变化之间的量化相关关系,但从统计角度来看,二者之间确实具有一定的相关性。
2.2.3.3 信噪比结果
信噪比作为衡量信号质量的指标,在工程领域得到了广泛的应用。在本研究中,实验组79.17%的 SSVEP信号的信噪比有所提高。实验组受试者训练前的信号平均信噪比为(-15.23±5.91)dB,而训练后这个数值达到了(-14.72± 4.83) dB。经过检验,差异具有显著性(P=0.011 6),图中*表示存在差异。对照组第一次测试时的平均信噪比为(-15.34±6.15) dB,两个月后再进行同样测试,其信噪比为(-15.34±4.62) dB,并没有变化(见图9)。神经反馈训练使实验组的信噪比提高了0.50 dB,而未经训练的对照组则没有变化。从信噪比的角度看,训练给SSVEP信号带来了5.8%的增益。此外,还计算了8个频段的平均信噪比变化(见图10)。综合来看,实验组被试在每个频带的信噪比都有所增加,表明训练带来的提高在不同的频带间没有特异性。
图9 实验组与对照组两次测试信噪比统计的差异(*表示具有显著统计学差异)Fig.9 The statistical difference of SNR between the experimental group and the control group in two tests (*indicates a significant difference)
图10 实验组与对照组各频带测试平均信噪比Fig.10 The SNR of each frequency band in the experimental group and the control group
本研究还分析了SSVEP的频率响应,并选择了8、9、10、11、12、13、14、15 Hz的平均响应来计算响应地形图(见图11)。在SSVEP频率响应地形图中,实验组和对照组在第一次试验中的反应相似,这也是符合常理的。可以看出,在第二次实验中,实验组枕叶以外的区域响应减小、有用信号增强,而对照组的响应与第一次时几乎没有差异。
研究对两个月前和两个月后的SSVEP频率响应进行了配对t检验,并将得到的P值绘制成统计地形图,比例尺范围为0.2~0。这意味着较暗的区域具有较小的P值,表示差异较大;而较亮的区域P值较小,表示没有差异。可以看出,对照组前后几乎没有差异,而实验组在以下几个位置有较为明显的差异,这些位置是AF3、FC4、CP1、Pz、O2(显著差异)。这些结果表明,训练使顶叶、枕叶和额叶的活动产生了变化。枕叶区域的变化是由于信噪比增加,即干扰减小;顶叶的变化可能与神经反馈调节增强了控制网络有关。至于额叶,差异是由于受试者注意更集中,噪声更少。
图11 实验组与对照组前后两次测试的信噪比与统计差异地形图。(a)实验组训练前;(b)实验组训练后;(c)实验组差异;(d)对照组训练前;(e)对照组训练后;(f)对照组差异Fig.11 The topographic map of SNR and statistical difference of the experimental group and the control group in two tests. (a) The experimental group before training; (b) The experimental group after training;(c) The difference in experimental group; (d) The control group before training; (e) The control group after training;(f) The difference in the control group
3 讨论
基于神经反馈训练的相关设想,本研究证实了上调顶叶alpha频带幅度的神经反馈训练的可行性。结果表明,本研究提出的训练方法可以强化控制网络,从而提高完成脑机接口任务的表现水平。同时,设计的测试量表结果也证实了该训练对注意提高的有效性。Alpha频带能量与诸多脑活动息息相关,其中有研究表明,alpha频带能量的提高与电活动的抑制呈正相关[14, 31],而alpha频带能量的降低则反映了抑制的释放。SSVEP刺激范式的基本原理是刺激目标以固定频率闪烁,并在枕叶诱发具有稳定频率特征的响应。顶叶alpha频带活动的增强抑制了任务无关信息,从而提高了注意、信号的信噪比和SSVEP性能。然而,在数据分析中,alpha频带能量、信噪比和ITR的增加之间并没有明显的定性对应关系。研究结果表明,注意网络中可能存在一些未知的复杂因素对任务及行为进行调制。
就控制网络和功能网络而言,以往的研究表明,有大量直接和间接证据证明控制网络和功能网络的存在。Foxe和Bauer认为,枕顶联合系统在视觉注意的引导和维持中起到重要作用,并就此建模进行了研究[32-33]。研究结果表明,控制网络和功能网络并不是完全分离的, 而是相互结合来发挥作用的。在本研究训练前后SSVEP数据的对应差异分析中(见图10),可以看出神经反馈训练了影响顶叶、枕叶和额叶。枕叶和额叶的变化,是由于注意程度的提高和信号噪声的降低。在顶叶观察到的差异表明,神经反馈训练有效增强了控制网络的能力。在Srinivasan的fMRI研究[34]中,发现当有视觉输入时,一些枕区的体素与形成大规模功能网络的额叶体素活跃度呈正相关。再加上顶叶对推进视觉刺激的调节有着巨大的作用,因此可以认为人脑对视觉刺激的响应是通过激发顶叶-枕叶-额叶控制/功能网络而产生的。此外,顶枕额区是一个不可分割的系统。
网络连接分析的结果也证实,在SSVEP视觉任务中,额叶、顶叶和枕叶是在一个系统中工作的,而顶叶则是信息输出和传输的核心枢纽。从表2和表3可以看出,神经反馈训练组训练后顶叶的信息输出(CP1到O2,CP1到FC4)增加,这也表明了顶叶控制能力增强。
4 结论
本研究提出了一种神经反馈训练方法,并得出以下结论:提高顶叶alpha频带振幅的神经反馈训练可以通过抑制干扰来提高注意力,且该神经反馈训练方法的效果可以长期稳定存在。此外,该方法可以提高SSVEP信号的信噪比和ITR,从而提高基于SSVEP的脑机接口性能。就神经机制而言,大脑的工作机制可分为控制网络和功能网络,并可单独进行调节。
(致谢:感谢所有的实验参与者,以及北京金博智慧教育技术有限公司和北京视友科技有限公司在整个项目中的帮助)