采用最小二乘转换的在线SSVEP字符输入系统设计与实现

李振华，刘 柯，邓 欣

(重庆邮电大学 计算机科学与技术学院，重庆 400065)

0 引 言

脑机接口(brain computer interface，BCI)技术为大脑和外部设备之间构建直接的通信与控制路径[1]，在残疾人应用领域具有重要的研究意义[2-3]。稳态视觉诱发电位(steady state visual evoked potentials，SSVEP)是外界固定频率视觉刺激在大脑视觉皮层诱发的与刺激频率有关(刺激频率的基频或倍频)的连续响应[4]。由于高信息传输率(information transfer rate，ITR)、鲁棒性、较短训练时间和特征易于提取等优点，SSVEP信号在BCI领域获得广泛应用[5]。

SSVEP-BCI系统的性能取决于刺激目标数目和频率识别算法[6]。SSVEP频率识别算法可分为无训练和有训练频率识别算法。常见无训练频率识别算法包括典型相关分析(canonical correlation analysis，CCA)[7]、滤波器组CCA(filter bank canonical correlation analysis，FBCCA)[6]、融合典型系数CCA(fusing canonical coefficients of canonical correlation analysis，FoCCA)[8]等。这些方法不需要训练数据即可实现在线SSVEP-BCI系统。如赵丽等[9]设计的基于双层刺激的字符输入系统，用户注视目标字符5 s，利用FBCCA算法对采集的脑电(electroencephalogram，EEG)信号实现在线识别，平均准确率和ITR分别为95.8%和156 bit/min。虽然无训练SSVEP频率识别算法有效避免了在线训练过程，但难以满足SSVEP-BCI系统的实时性需求。

为进一步提高频率识别的准确性，研究者们提出了基于受试者个体模板信号或者训练数据的有训练SSVEP频率识别算法，如基于个体模板的CCA(individual template based canonical correlation analysis，IT-CCA)[10]、扩展CCA(extended canonical correlation analysis，Extended CCA)[11]、相关分量分析(correlated components analysis，CORRCA)[12]、最大信号分量分析(maximum signal fraction analysis，MSFA)[13]等。这些方法利用受试者个体训练数据，实现了更高准确率的SSVEP-BCI系统，如文献[14]利用干电极先采集10组EEG信号作为训练数据，然后利用TRCA进行1 s脑电信号识别，平均准确率和ITR分别为93.2%和92.4 bit/min等。虽然有训练数据SSVEP频率识别算法取得较高的准确率和ITR，但受试者需花费大量时间和精力进行在线训练数据的采集。

迁移学习(transfer learning，TL)找到现有知识和新知识的相似性，并运用现有的知识去学习新知识[15]。迁移学习的主要思想是从相关领域中迁移知识结构或标注数据、完成或改进目标域的学习效果，可用于图像分类、情感分类、自动化设计、BCI等众多领域。迁移学习在SSVEP-BCI系统中常用来解决样本数据不足的难题，常见应用场景包括跨会话(cross-session)迁移学习、跨被试(cross-subject)迁移学习、跨任务(cross-task)迁移学习和跨设备(cross-divice)迁移学习。其中，跨会话和跨被试迁移学习是当前的研究热点[16]。

针对上述问题，本文利用迁移学习思想，提出了基于最小二乘转换(least squares transformation，LST)的SSVEP在线字符输入系统，在需要少量训练样本和较短训练时间的同时，实现具有较高准确率和ITR的SSVEP频率识别，并在实际系统中验证了该方法的有效性，实现了高效的SSVEP在线字符输入系统。

1 系统框架

基于SSVEP的在线字符输入系统包括4个模块：视觉刺激模块、信号采集模块、信号处理模块和字符输入模块[9]。视觉刺激模块由40个不同频率的刺激目标组成，频率为8～15.8 Hz；信号采集模块由德国Brain products公司的ActicHamp脑电仪和32通道AgCl电极进行数据记录；信号处理模块结合跨被试离线训练数据和少量在线训练数据进行迁移学习，并用FoMSFA频率识别算法和多频率学习技术进行脑信号的在线分类；字符输入模块将识别的字符实时显示在视觉刺激器上反馈给用户。

1.1 视觉刺激器

目前常用的视觉刺激器有2种设计方法：①在硬件电路中使用单片机控制发光装置的闪烁频率；②通过计算机软件控制显示器上的图像闪烁频率进行刺激。本文使用后者进行40目标视觉刺激界面的设计。

本文使用混合频率和相位的编码方法[17]实现了40目标的字符输入界面，字符输入界面及频率和相位值分布如图1所示。字符输入界面包括26个字母、10个数字和4个其他符号，见图1a。刺激频率为8～15.8 Hz，频率间隔为0.2 Hz；相位值分别为0、0.5π、π和1.5π，见图1b。混合频率和相位编码的刺激范式表示为

(1)

(1)式中：f表示刺激频率；τ表示相位；RefreshRate表示屏幕刷新率，本系统为60 Hz；i表示屏幕刷新率的索引序号。

图1 字符输入界面及频率和相位值分布Fig.1 Character input interface and distribution of frequency and phase values

1.2 信号采集

ActicHamp设备和电极通道位置分布如图2所示。SSVEP信号通过ActicHamp脑电仪(见图2 a)和32通道AgCl电极(见图2 b)进行记录。其中，Cz为参考电极；脑电仪的采样率为1 000 Hz；各通道电极的阻抗值在15 kΩ以内；陷波器用于去除50 Hz工频噪声。事件触发器通过刺激电脑的并行端口与脑信号同步。ActicHamp脑电仪对脑电数据放大和滤波等处理，并通过USB接口发送至记录电脑。

1.3 信号处理

该系统用LST方法来迁移学习训练集，并使用FoMSFA频率识别算法和多频率学习技术进行脑信号的在线识别与分类。其中，LST方法用来降低不同被试数据之间的特征差异性，可将离线的跨被试数据训练为在线训练数据；多频率学习技术利用频率的特征相似性来联合学习空间滤波器，也可有效解决训练样本不足的难题；在线字符输入系统的解析算法FoMSFA是主流的脑电分类算法，可快速准确地识别用户的脑电指令。

图2 ActicHamp设备和电极通道位置分布Fig.2 ActicHamp equipment and channel position distribution of electrodes

1.4 字符输入

字符输入系统对在线脑电信号处理完毕后，可得到用户注视目标的频率，并将其对应的字符显示在刺激界面，实时反馈给用户，如图3所示。

图3 在线字符输入Fig.3 Online character input

2 信号处理

已有的研究证明，枕叶和顶叶区域对SSVEP信号贡献最大[18]，本文提取了对应区域8个通道(P7，P3，Pz，P4，P8，O1，Oz和O2)的SSVEP信号进行识别分类。脑电信号处理流程包括预处理、特征提取和特征分类阶段：预处理阶段通过滤波去除相关噪声和伪迹，提高脑电信号的信噪比；特征提取与分类阶段先结合跨被试离线训练数据(2名受试者分别采集6组SSVEP数据)和在线训练数据(用户采集2组训练数据)，用LST方法来迁移学习训练集；再用FoMSFA频率识别算法和多频率学习技术实现脑信号的在线识别与分类。系统识别指令通过字符输出在计算机屏幕上实时反馈给用户。系统工作流程如图4所示。

图4 系统流程图Fig.4 Flowchart of proposed system

2.1 信号预处理

脑电信号非常微弱且易受污染，可能掺杂眼电、心电、肌电等一系列伪迹，预处理阶段可进一步提升脑电信号的质量。本文先将EEG信号降采样为250 Hz，然后用4阶Butterworth滤波器进行7～90 Hz的带通滤波处理。考虑到视觉延迟，提取[T+0.14，T+0.14+0.8] s的SSVEP信号参与频率识别，其中T为刺激开始时事件触发器对应的时间点，0.14 s表示视觉延迟，0.8 s表示参与频率识别的脑电数据。

2.2 特征提取和分类

2.2.1 最小二乘转换

基于有训练频率识别算法的SSVEP-BCI系统中，训练数据不足是长期存在的难题。本研究用LST方法完成跨被试迁移学习[19]，只需采集少量在线训练数据，对来自其他受试者的离线数据进行学习和转换，可有效解决训练数据不足的难题[20]。

本文分别选择了2个受试者的离线数据和2组在线训练数据进行迁移学习转换。第m个刺激频率对应的离线和在线训练数据分别为Om∈RNc×Ns×Noff和Xm∈RNc×Ns×Non(m=1,2,…,Nf)，其中，Nf、Nc和Ns分别表示刺激目标数、通道数和采样点数；Noff和Non分别表示离线和在线训练数据的组数。

(2)

(3)

(4)

图5 LST算法流程Fig.5 Procedure of LST algorithm

2.2.2FoMSFA频率识别算法

实验假设测量信号X包括信号Xs∈RNc×Ns和噪声Xn∈RNc×Ns，且X=Xs+Xn。FoMSFA方法评估空间滤波器w∈RNc×1表示为

(5)

若对于任意空间滤波器wi和wj(i≠j=1,2,…,Nc)，均满足wiTXsXsTwj=0，(5)式可进一步转换为

XsXsTw=ηXnXnTw

(6)

(6)式中，任意ηi(i=1,2,…,Nc)是特征值，与特征向量wi相对应。特征值η=[η1,η2,…,ηNc]T∈RNc×1和特征向量W=[w1,w2,…,wNc]T∈RNc×Nc可通过MATLAB函数eig()进行求解，即[W,η]=eig(XsXsT,XnXnT)。Nc个特征值降序排列，与特征向量一一对应。

(7)

(7)式中，corr函数用于计算2个数据集合的皮尔逊相关系数，相关系数越接近1表示线性相关程度越强。

对Fn个子带信号对应的相关系数进行频域加权融合

(8)

θ=n-1.25+0.25,n=1,2,…,Fn

对Nc组空间滤波器对应的相关系数进行空域加权融合，表示为

ξk=k-2+0,k=1,2,…,Nc

(9)

(9)式中，ρm表示测试信号X与第m个刺激频率对应训练数据的相关性。同样，可得到X与Nf个刺激频率的相关系数(ρ1,ρ2,…,ρNf)。测试信号X的最终频率可通过(10)式识别得到。

(10)

FoMSFA的算法流程图如图6所示。具体算法流程见文献[21]。

2.2.3 多频率学习方法

40个刺激频率分别对应40个字符(26个字母、10个数字和4个其他符号)，系统对实时信号识别后，该频率对应字符实时地输出呈现。结合FoMSFA算法、LST迁移学习和多频率学习方法，本文提出了在线字符输入系统的分类算法Mul-Freq+LST+FoMSFA。

2.3 10受试者公开数据集

为了模拟不同在线训练数据个数对分类性能的影响，本研究引入了包含10受试者(9名男性，1名女性，平均年龄28岁)的公开数据集(https://github.com/mnakanishi/12JFPM_SSVEP)。刺激界面包括12个目标 (每个6 cm×6 cm)，以4×3矩阵作为手机的虚拟键盘，并标记不同的频率(9.25～14.75 Hz)和相位(0、0.5π、π和1.5π)。实验采用2 048 Hz的采样率进行数据记录，参考电极为Cz。指示视觉刺激开始的事件触发器从计算机的并行端口发送到脑电图系统，并记录在与脑电图数据同步的事件通道上。根据刺激程序产生的事件触发器，提取覆盖枕部区域的八通道的SSVEP数据。所有数据都被降采样到256 Hz，然后用IIR滤波器从60～80 Hz进行带通滤波。实验考虑了0.14 s的实验延迟，具体见文献[10]。

图6 FoMSFA算法流程图Fig.6 Algorithm flowchart of FoMSFA

3 在线字符输入系统实验

3.1 实验准备

本文采用Brain products公司的ActicHamp脑电仪和主动式电极帽Acticap进行数据记录。字符拼写界面通过心理学工具箱(Psychtoolbox-3，PTB-3)设计实现。一台计算机用于视觉刺激呈现和信号实时处理。

实验开始前，工作人员基于字符输入界面采集3名受试者的离线SSVEP数据。其中，每名受试者的记录数据有6组，每组包括40个刺激目标的0.8 s脑电数据。在线字符输入时，可从中选出2个鲁棒数据集用于在线训练集评估。

实验共有15名视力正常或校正正常的志愿者参加，平均年龄21岁。受试者戴上连接记录电极的电极帽，安静地坐在舒适的椅子上，距离视线正前方的计算机屏幕60 cm。实验工作人员使用电极膏将各电极点的阻抗值降低到15 kΩ以下，并调节室内灯光强度，避免灯光影响刺激界面的展示。实验首先对受试者进行简单的刺激训练，无任何不适反应可进行后续实验流程[23]。

3.2 实验过程

设备准备就绪后，工作人员先和受试者讲述实验流程和注意事项，接着进行如下3个实验流程。

1)训练阶段。在线字符拼写开始前，本文需采集2组在线SSVEP信号，每组包含40个刺激目标的训练数据。实验开始后，40个刺激目标中的一个随机变红0.5 s用于提示受试者转移注意，接着所有刺激目标按不同频率持续闪烁1 s，最后，屏幕空白0.5 s用于数据实时读取和处理。受试者按提示注视对应的刺激目标，40个刺激目标变红和闪烁一轮为一组，2组间隔1 min用于受试者休息。2组训练数据采集完毕后，受试者即可开始有提示和无提示字符输入实验。

2)有提示字符拼写。本文随机选择30个字符有提示呈现。实验开始后，第1个字符变红提示0.5 s，接着所有刺激目标按不同频率闪烁0.96 s(包括0.14 s视觉延迟，0.8 s时间窗口数据用于频率识别，0.02 s防止读取空值。)，最后屏幕空白0.5 s用于信号识别。受试者按照提示注视对应的目标字符，当前字符拼写完成后，输入结果会在下一个字符拼写时显示在上方输入框。30个字符均闪烁完成后，有提示字符输入实验结束。受试者可直接查看字符输入结果，结果界面显示预输入字符、实输入字符和识别准确率，具体如图7所示。

图7 有提示字符输入Fig.7 Character input with cues

3)无提示字符拼写。受试者提前想好自己想要输入的15个字符。实验开始后，字符输入界面无变红提示并静止呈现0.5 s，受试者可快速寻找想要输入的目标字符，接着40个字符闪烁0.96 s，屏幕空白0.5 s用于信号的处理和识别。与有提示字符输入类似，单个字符输入完成，识别字符会实时显示在上方输入框中。15个字符输入完成后，无提示字符输入结束，屏幕显示实际识别到的15个字符。受试者将实际输入字符与想要输入的字符进行对比，可得到无提示字符输入的准确率。

3.3 实验结果和分析

3.3.1 在线训练数据量评估

本文选用2.3节介绍的10受试者公开数据集来验证系统分类算法的性能与在线训练数据量的关系。Mul-Freq+LST+FoMSFA算法在不同组数在线训练数据下的分类性能如图8所示，随着在线训练数据的增多，Mul-Freq+LST+FoMSFA算法(FoMSFA算法结合LST迁移学习、多频率学习进行改进的在线字符输入系统分类算法)的分类性能稳步提升。由于在线训练数据量和训练时间成正比，综合考虑分类算法性能和在线训练数据采集时间，选择采集2组在线训练数据进行学习和分类。

图8 Mul-Freq+LST+FoMSFA算法在不同 组数在线训练数据下的分类性能Fig.8 Classification performance of Mul-Freq+LST+FoMSFA under different sets of online training data

3.3.2 在线系统性能

本实验选择了15名受试者进行有提示字符输入实验。每名受试者均使用58.8 s完成了30个字符的有提示输入，单字符的平均传输时间为1.96 s。在0.8 s的时间窗口下，FBCCA、Extended CCA和Mul-Freq+LST+FoMSFA的平均分类准确率分别为16.7%、67.8%、79.3%，对应的信息传输率分别为13.8、127.1、161.9 bit/min。图9展示了3种算法的平均分类性能对比，误差条表示标准误差。有训练数据算法Extended CCA和Mul-Freq+LST+FoMSFA的平均分类准确率和信息传输率远高于FBCCA，体现了有训练算法的性能优越性。同时，Mul-Freq+LST+FoMSFA的分类性能明显优于Extended CCA。实验结果验证了迁移学习和高效分类算法在SSVEP应用系统中的高效性。

同时，选择了10名受试者进行无提示在线字符输入，单字符的平均传输时间为1.96 s。每名受试者均使用29.4 s完成了15个字符的无提示输入，单字符的平均传输时间为1.96 s。FBCCA、Extended CCA和Mul-Freq+LST+FoMSFA在0.8 s的时间窗口内的平均分类准确率分别为16.0%、72.0%、80.0%，对应的信息传输率分别为13.8、138.9、165.6 bit/min。图10展示了3种算法平均分类性能的对比，Mul-Freq+LST+FoMSFA算法同样取得最高的平均分类准确率和信息传输率，再次验证了迁移学习和高效算法应用于在线SSVEP应用系统的可行性。

综合实验结果分析，无需训练数据的频率识别算法FBCCA，虽然避免了在线训练，但在短时间的测试数据中难以取得令人满意的性能。有训练的频率识别算法Extended CCA，在少量在线训练数据下的情况下，难以发挥和训练数据充足时一致的良好性能。这都在一定程度上降低了系统的友好性和实用性。本文利用LST迁移学习技术，仅需2组在线训练数据作为目标域，即可结合离线跨被试数据进行迁移学习，有效缩短了采集训练数据的时间。有提示和无提示在线字符输入中，在同等的训练数据和测试数据下，Mul-Freq+LST+FoMSFA算法的分类性能明显优于FBCCA、Extended CCA。实验结果证实了迁移学习技术和高效频率识别算法的结合，为高效和普适型的SSVEP-BCI应用系统设计提供了新思路。

3.3.3 字符识别计算时间评估

考虑到算法实时性的应用需求，本节使用15组有提示字符输入的数据，取0.8 s的时间窗口长度，比较FBCCA、Mul-Freq+LST+FoMSFA和Extended CCA这3种方法进行单个字符识别需要的计算时间，如图11所示。从图11可以看出，Extended CCA进行0.8 s的SSVEP信号识别需要将近70 ms，而Mul-Freq+LST+FoMSFA和FBCCA在20 ms内可完成单个字符识别的计算过程，识别速度满足实时性系统的应用要求。

图11 FBCCA、Mul-Freq+LST+FoMSFA和 ExtendedCCA单字符识别计算时间Fig.11 Computational time of FBCCA, Mul-Freq+LST+ FoMSFA and extended CCA for single character recognition

4 结束语

本文结合迁移学习技术和高效频率识别算法，实现了字符在有提示和无提示时的快速准确输入。多数受试者使用该系统均取得了良好的性能，具备普适性的特点。需要注意的是，基于LST迁移学习也可用于TRCA、CORRCA等SSVEP识别算法，实现更高性能的在线SSVEP-BCI系统，这也是下一步的工作。此外，该系统可进一步扩展到轮椅控制、在线拨号系统、智能家电等应用，以满足肢体残疾患者的基本生活需求，具有很大的应用潜力。