基于PCA 的EEG-fNIRS 特征融合

刘化东，许博俊，李梦琪

（昆明理工大学 信息工程与自动化学院，云南 昆明 650500）

0 引言

脑机接口（Brain-Computer Interface,BCI）是脑-计算机接口的简称，是一个新的人和计算机进行交流的方式，可以对采集到的大脑皮层神经元电活动进行分析处理，并转化为控制信号输送给其他辅助设备[1]。BCI 在很多领域都有着广泛的应用，比如在医学、航天、游戏开发等领域。在医学领域中，BCI 可以通过控制康复机器人的方法，辅助肢体障碍患者进行运动功能重建和生活自理；在航天中可以帮助宇航员监控远程设备。通过设计BCI 神经反馈系统，在游戏中加入反馈场景可以提升人们的游戏体验，增加游戏的趣味性[2]。

BCI 系统常用的脑成像方式包括脑电图（Electronencephalogram,EEG）[3]、脑磁图、功能磁共振成像和功能近红外光谱（Functional Near -infrared Spectroscopy,fNIRS）[4]。由于每种神经成像方式都有其优缺点，结合其互补特征可以提高BCI 系统的整体性能。EEG 是一种利用电生理指标记录大脑活动的方法。它通过记录大脑活动过程中电波的变化来反映大脑皮层或头皮表面的脑神经细胞的电生理活动。虽然EEG是目前BCI 领域最常用的技术之一，但仍存在一些局限性，如易受运动伪影和电噪声的影响，空间分辨率低[5]。fNIRS 是一种新兴的光学脑成像技术，近年来引起了脑机接口领域的广泛关注。它利用血液主要成分对600～900 nm 近红外光的良好散射，获得了大脑活动过程中氧血红蛋白（Oxyhemoglobin,HbO）和脱氧血红蛋白（Deoxygenated hemoglobin,HbR）的变化。与EEG 相比，fNIRS 对运动伪影和电噪声的敏感性较低，具有较高的空间分辨率，但时间分辨率较低[6]。所以利用EEG 和fNIRS 信号的多样性和互补信息，可以最大限度地发挥各模态各自的优势，提升分类精度。

为了更好地利用两种模态的信息，需要选择合适的信号融合方法，本文提出对两种信号进行特征提取后进行归一化处理，然后采用主成分分析（Principal Components Analysis,PCA）进行信号融合。实验结果表明，对EEG-fNIRS 的特征进行融合后分类精度实现了81.2%，比单独使用EEG 和fNIRS 进行信号解码精度分别提高了7.4%和8.9%。

1 材料和方法

1.1 被试、实验范式和数据采集

1.1.1 被试

本研究招募了12 名右利手被试参与实验（男性9 名、女性3 名，年龄在22～28 岁），所有的被试均了解运动想象过程，视力正常或已矫正至正常。实验过程中，被试坐在电脑屏幕前专心地看屏幕提醒进行抬左右腿的动作想象；周围的环境保持安静，避免影响被试的注意力。所有被试都签署了实验知情同意书。本研究的想象任务为抬左右腿。

1.1.2 实验范式

实验中每个环节包括前60 s 的休息阶段、20 次重复的任务过程和后60 s 的休息阶段。每个任务过程以2 s 的视觉指令（一个指向左边、右边的黑色箭头会在屏幕中央出现）开始，当屏幕出现黑色十字时，执行10 s 的想象任务，之后是15 s 的休息时间。在实验开始前，训练受试者提前进行几组运动想象实验。实验范式流程如图1 所示。

图1 实验范式流程图

1.1.3 数据采集

本实验采用双模态的方法，所以要保证数据采集的同步性，由于EEG 信号采集和fNIRS 信号采集设备的原理是不同的，要想实现同步采集，首先需要对电极帽的布局进行调整，保证既可以进行相关区域中的脑电信号采集又可以布局近红外探头。电极根据国际10-20 系统[7]标准布置，双模态实验中EEG 采用9 通道，fNIRS 采用12 通道，由6 个光源发射器和6 个探测器构成，自制脑电帽如图2 所示。实验中，被试坐在密闭的实验室中，以最大程度降低外界环境对实验的干扰。

图2 双模态实验脑电帽

1.2 方法

1.2.1 EEG 信号处理

1）预处理

EEG 主要包括δ 波、θ 波、α 波、β 波以及γ 波，并且每种频率的EEG 节律都与大脑特定的生理现象密切相关。在运动想象分类任务相关研究中，文献[8]发现α 波（8～13 Hz）具有最高的分类性能，其次是β波（14～30 Hz）。因此首先对原始运动想象EEG 数据选择8～30 Hz 带通滤波器进行滤波处理。

2）特征提取

对两个类别的协方差矩阵进行对角化，然后寻找到一个空间滤波器，使得投影进来的数据特征区分度最高是CSP 算法的主要工作。用X1和X2代表两种类型的运动想象信号，为了计算方便，一般选择忽略信号采集中噪声的影响。X1和X2分别表示为：

式中：S1和S2分别代表两个不同类别的源活动；O1和O2是由S1和S2相关的共空间模式组成；Sm表示两种不同类别下所共有的源信号；Om表示与Sm相应共有的空间模式。CSP 算法的本质是通过协方差矩阵同时对角化，找到与这两个想象任务匹配的空间模式，通过该空间滤波器提取这两个类别中的有效成分S1和S2，使得经过预处理后的EEG 信号经过该滤波器投影后得到两种类别最高区分度的特征向量。

接下来进行共空间模式方法的数学描述。用表示实验i的原始脑电数据，条件a表示N×T的矩阵，N表示脑电数据的通道数，T表示时间上的样本数。因此，在给定时间点的采集可以表示为N维欧氏空间中的点，而且一个EEG 可以看作是T个这样的点的分布。一般基于MI 的脑电数据特征提取之前都会进行8～30 Hz的带通滤波，预处理后该分布的平均值为零，所以首先要计算脑电信号的协方差矩阵。标准化的空间协方差表示为：

设表示条件b的实验所对应的标准化协方差矩阵，进行归一化是为了消除矩阵间绝对值的变化。接下来平均归一化协方差矩阵：

接下来对复合协方差矩阵进行对角化分解：

Rc是复合协方差矩阵，Bc是N×N的归一化特征向量，ƛ 是对角矩阵对应的特征值。白化转化矩阵：

对平均协方差矩阵Ra和Rb变形：

由式（7）可知Sa和Sb是公用相同的特征向量，Sa和Sb如下式所示：

在U上投影白化的时间点将提供在最小二乘意义上区分两种运动想像目标的最佳特征向量。投影矩阵表示如下：

每次实验的分解：

同样，特征分量计算可以转换为：

新的时间序列Zi作为扩展系数，因此CSP 可以被视为源分布矩阵，而Zi则是相应的源波形矩阵。

1.2.2 fNIRS 信号处理

1）预处理

为了纠正运动伪影，使用[0.01,0.2]Hz 带通滤波器进行滤波，以去除心脏信号和低频振荡。利用修正的比尔-朗伯定律[9]，将滤波后的光强数据转换为HbO。对于每一次实验，得到数据然后通过从原始数据中减去基线进行基线校正[10]。基线被认为是刺激开始前1 s 的信号的平均值。

2）特征提取

对fNIRS 信号进行预处理后，从时域信号中提取特征：最常用的是提取信号的平均值和斜率。一般提取到的HbO 信号平均值可以反映出此区域的大脑活动程度，脑活动程度的变化用采集到的HbO 信号的斜率进行检测[11]。HbO 信号平均值的计算方法为：

式中：X为采样数；XN表示HbO 数据。

方差的计算方法如下：

式中：var 为方差；μ为X的平均值。

峰值计算如下：

式中：E是X的期望值；σ是X的标准差。信号斜率用Matlab 中的多拟合函数计算。

1.2.3 EEG-fNIRS 特征融合与分类

1）特征融合

EEG 信号和fNIRS 信号是不同类型的两种脑信号，对其进行融合前需要进行归一化处理。

归一化后的数据需要进行主成分分析（PCA）[12]，PCA 可以降低数据的特征维度，提取出主要的特征向量，对数据进行压缩，以减少计算复杂度，整体流程如图3 所示。

图3 EEG-fNIRS 双模态信号处理流程

PCA 的主要思想是通过线性变换，将数据从n维线性空间映射到k维（k＜n），并尽可能最大化地保留信息。主要变换步骤如下：

①对数据进行均值化：

②计算数据的协方差矩阵C；

③求出协方差矩阵C的特征值和特征向量；

④对求出的特征值进行大小顺序排列，取前k个特征向量组成向量矩阵P；

⑤将数据在矩阵P上进行投影，计算Y=X*P，得出降维后的数据。

2）分类器

SVM 是一种使用比较多的分类器，它把传送进来的信号通过一个核函数映射到高维空间中。之后在高维空间中构造一个可以使每一个类别的数据区分度较高的超平面，以提高分类的泛化能力和置信度。最优超平面ωT·x+b=0 可以通过非线性映射产生。一般，样本集线性可分时，优化问题可以表示为：。当样本集不可分时，SVM 将会采用非线性映射θ将数据样本映射到高维空间进行分类，之后选用核函数g对高维空间出现的问题进行解决[13]。

2 结果与讨论

2.1 结果

通过上述方法对EEG 信号采用CSP 进行特征提取，采用SVM 进行分类，得到了73.8%的分类精度。对于fNIRS 信号，分别使用平均值、斜率、峰值和标准差的方法进行特征提取和SVM 算法分类。分类结果中提取平均值达到了72.3%的最高分类准确率，fNIRS 提取不同特征的分类结果如表1 所示。

表1 fNIRS 信号不同特征的分类准确率 %

对于EEG-fNIRS 信号的协同分类，本文提出首先对两种信号进行归一化，然后使用PCA 进行信号的融合降维。表2 显示了本文提出的方法分类结果，可以看出本文提到的采用PCA 进行两种信号融合实现了81.2%的分类准确率，对比单模态分别提升了7.4%和8.9%。实验结果证明本文提出的方法可以有效地对双模态特征进行融合，提升分类精度。

表2 双模态信号的分类准确率 %

每位被试的EEG 信号、fNIRS 信号的平均值和两种模态融合分类准确率如表3 所示。

表3 对比三种模式的分类准确率 %

2.2 讨论

在本文的研究中，提出对两种信号特征进行归一化后使用PCA 进行降维融合的方法，分类精度比单模态EEG 信号和fNIRS 信号分别提升了7.4%和8.9%。本研究招募了12 名被试，表1 显示的是fNIRS 不同特征的分类结果，可以看出平均值的分类精度最高达到了72.3%。表2 中双模态融合分类中同样是对平均值特征融合分类精度最高，达到81.2%。对比每一个被试，从表3 可以看出，不同被试的分类精度差异较大，被试5 的分类精度为68%，而被试9 的分类精度达到92%，原因主要是因为不同被试个体之间也会存在差异。对比三种模式的结果，个别被试使用双模态的分类准确度低于单模态，原因可能是在利用PCA 进行降维处理后，会丢掉一些有效的信息，使得个别被试的分类精度下降，但总体而言，平均分类精度有所提升。

文献[14]设计了同步采集方法，使用脑网络对两种信号进行提取融合，采用SVM 分类器最终实验得到了72.7%的分类精度，相对于单模态提升了5%；文献[15]在分类过程中采用深度神经网络（DNN）进行分类，通过把两种信号的特征作为全连接前馈结构的DNN 网络的输入，最终得到83%的分类精度，比EEG 高10%，比fNIRS 高11%。以上研究使用不同方法实现对双模态的数据融合，都有了一定程度的提升。但目前来看，如何在保证不丢失有效信息的前提下，更好地实现双模态信号融合是未来的研究重点。总体来看，本文提出的方法与其他方法相比，计算量减少，分类精度也得到了大幅度提高，可以为未来的多模态在线BCI 系统提供框架。

3 结论

本次研究提出使用PCA 的方法对EEG-fNIRS 信号的特征进行融合，使用SVM 分类器进行分类。通过实验对该方法进行验证，得到了81.2%的分类精度，相对于单模态，分类精度分别提升了7.4%和8.9%。实验结果表明，本文所提的融合方法可以最大限度地保留单个模态的信息，提高了运动任务的分类精度，证明了两种模态的融合可以提升信号解码能力。本研究可以为多模态的信号融合提供参考。