基于低秩权重分解的EEG-fNIRS特征融合方法

吴宇迪

（同济大学，上海 201804)

0 引言

大脑是人类身体中最为神秘和重要的器官之一，从古至今，人们一直在探究大脑的结构和功能，并希望通过了解大脑来帮助解决各种问题。“脑机接口(Brain Computer Interface，BCI) ”这一概念最早在20世纪70年代由Jacques Vidal 提出[1]，它是一种不依赖肌肉和外围神经的通讯系统，通过采集和分析人脑生物信号，在人脑与计算机或其他电子设备间建立起直接的交流和控制通道[2]。脑机接口使得人类可以直接通过大脑表达意愿或操作设备，无须依赖语言或肢体动作的介入，可以帮助肌肉萎缩、脊髓损伤等神经肌肉疾病的患者以及交流障碍患者恢复和外界沟通交流的能力[3]。脑机接口技术最初主要应用在医学康复领域，为神经损伤、肌肉萎缩等神经肌肉功能严重受损的病人提供与外界环境交流或控制外部环境的途径[4]。借助脑机接口系统，病人可以操控轮椅、计算机、照明开关等，提高了生活自理能力，进而增强康复的信心。后来，随着技术的发展和成熟，脑机接口的应用扩展到了医学以外的领域：在军事领域，可以通过脑接机口控制无人机、战斗机等；在交通领域，可以利用脑机接口监测驾驶员的警觉度和疲劳状态，防止疲劳驾驶引发交通事故；在娱乐领域，可以和虚拟现实等技术结合，开发全新的游戏方式。

现阶段，脑机接口技术面临的主要问题有：1) 信号处理的速度和精度有待提高，系统的准确性和实时性之间存在矛盾。2) 系统稳定性有待提高。单模态脑机接口采集到的信号往往伴随大量噪声，严重影响信号分析，进而影响系统稳定性。3) 个体之间存在差异性。由于受试者思维和大脑活动的差异性，对不同的受试者，以及同一受试者的不同信号，脑机接口系统表现出的效果往往相差甚远[5-6]。针对上述问题，多模态脑机接口(Multimodal Brain-Computer Interface，MM-BCI) 作为一种解决思路被提出[7]。和传统的单模态脑机接口相比，多模态脑机接口集成了多种感知输入和输出方式，旨在利用不同生物信号的互补性来提高脑机接口系统的准确性和稳定性。但是，多模态脑机接口所涉及的多模态数据较为复杂，因此，如何准确地提取这些数据的特征并进行有效地整合成了一个重要的研究问题。

脑电图(ElectroEncephaloGram，EEG) 和功能性近红外光谱技术(functional Near-Infrared Spectroscopy,fNIRS) 是多模态脑机接口常用的两种脑功能成像技术，它们分别测量大脑皮层中的电信号和血氧浓度信号。近年来，许多研究使用EEG和fNIRS 信号进行脑机接口的模式分类任务：2012年，Fazli等人[8]引入元分类器的思想，先用线性判别分析对EEG和fNIRS 两种数据单独进行分类，然后将分类结果输入到元分类器中进行二次分析。2014年，Khan等人[9]分别从运动区和前额叶采集EEG和fNIRS 数据，并将其用于不同的分类任务上，生成了4 种不同的控制命令。2016年，Buccino 等人[10]考虑到血流动力学的反应具有较长的时间延迟，提出用均值和斜率的组合作为fNIRS 的特征，并和另一种特征提取方法——正则化的共空间模式(RCSP) 进行比较。2018年，Chiarelli 等人[11]使用全连接网络进行左右手运动想象的识别，该研究使用早期融合的策略，先将EEG 和fNIRS 特征拼接，得到融合的特征向量，然后将其送入全连接网络中，做进一步的特征提取。2020年，Ghonchi等人[12-13]使用循环卷积神经网络对EEG-fNIRS信号进行分类，该研究在数据层面进行融合：先通过上采样和下采样技术统一两种信号的采样率，在时间上对齐，然后按照导联分布位置将两种数据映射到同一个二维空间，从而实现数据融合。同年，Sun 等人[14]提出了三种用于EEGfNIRS数据的融合方法：线性融合、张量融合以及n阶多项式融合，该文章以卷积神经网络作为特征提取器，先用一维卷积计算对EEG和fNIRS 数据进行特征提取，随后用上述的三种方法进行特征融合。2022年，南开大学的刘晋瑞等人[15]提出了一种面向运动解码的EEG-fNIRS特征融合与协同分类方法，该方法使用小波包分解提取EEG的频域能量熵特征，用双向长短期记忆网络提取fNIRS 的时域特征，然后将两种信号特征拼接，得到融合特征，并使用一维卷积对融合特征进一步提取压缩。同年，Kwak等人[16]提出了一种基于注意力的特征融合网络结构FGANet，该网络有两个特别之处：TAP 层和FGA 层。其中，TAP 层的作用是在时间维度上对特征进行池化操作；而FGA层使用fNIRS 特征计算空间注意力图，并将其作用于EEG特征，以此实现两种模态之间的信息交互。

针对单模态脑机接口存在的低精度等问题，本文设计了一种基于低秩权重分解的EEG-fNIRS 特征融合方法，在特征层面实现EEG和fNIRS 两种信号的融合，并将该方法运用到脑机接口模式分类任务中。具体而言，先用卷积神经网络对EEG和fNIRS 信号进行特征提取，得到各自的特征表示，然后用上述方法进行特征融合，增强特征的表达能力，最后将融合后的特征用于分类。本文在公开数据集上开展实验，并和现有的其他方法对比，验证所提方法的有效性和优越性。

1 方法

1.1 数据集

本文使用柏林理工大学提供的公开数据集[17-18]，这是一个脑电(EEG) 和近红外(fNIRS) 数据同步采集的数据集，包含运动想象(Motor Imagery，MI) 和心算(Mental Arithmetic，MA) 两项认知任务的实验数据。该数据集共包含29位受试者，本文从中挑选信号质量较为理想的20名受试者进行实验。

实验范式如图1 所示。每个试次(trial) 包括三个阶段：首先是2秒的任务提示，此时屏幕上会显示认知任务内容。其中，运动想象实验需要受试者想象左手或右手的抓握动作，而心算实验则需要受试者计算“三位数减一位数”的减法。随后是10秒的任务周期，在此期间，受试者遵照前面的提示进行相应的认知活动，最后是随机给出的15～17 秒的休息周期。每组实验包含20个试次，运动想象和心算分别有3组实验数据。

图1 实验范式

脑电数据由德国Brain Products 公司的多通道BrainAmp EEG 放大器进行记录，采样率为1 000Hz，共30 个通道；近红外数据由美国NIRx 公司的NIRScout 进行采集，采样率为12.5Hz，共36 个通道。电极和光极根据国际10-5 系统的标准进行放置，位置分布如图2所示。数据提供方对采集的信号作了下采样处理，将脑电和近红外信号的采样率分别调整为200 Hz和10 Hz。

图2 电极和光极的位置分布

图3 数据处理流程

在此基础之上，本文对实验数据进行如下预处理：

1) 根据修正的Beer-Lambert定律[19]计算近红外光谱的血氧浓度信号。

2) 带通滤波。其中，EEG 信号选取的频段为8~30 Hz，近红外信号选取的频段为0.01~0.2Hz。

3) 分段和基线矫正。其中，每个试次截取的时间区间为[-5, 20]s，基线矫正选取的基线时间窗为[-3, 0]s。

4) 滑动时间窗切片。时间窗长度为2s，步长为1s，进行滑动时间窗切片的区间为[1, 10]s，即每个试次会产生8个片段。

1.2 基于CNN的特征提取

本文使用EEGNet[20]作为脑电信号的特征提取的网络结构，并在原有结构的基础上，经过调整后，应用到近红外信号的特征提取。EEGNet是一个适用性较广的CNN结构，可应用于不同的BCI范式。网络共包含四个卷积层，其中，前两个卷积层为常规卷积，后两个卷积层为深度可分离卷积，网络结构如图4 所示。本文用于脑电数据和近红外数据的网络结构一致，参数设置有所不同，具体见表1和表2。

表1 脑电数据的CNN网络参数

表2 近红外数据的CNN网络参数

图4 CNN网络架构

图5 LMF模型结构

用于脑电数据的CNN网络各层参数设置如下：

用于近红外数据的CNN网络各层参数设置如下：

1.3 基于低秩权重分解的特征融合

基于张量的融合是多模态特征融合的一种常用方法，其大体思路是，先用外积的方式将多个输入转换为一个高维张量，然后将其映射回低维的输出向量空间。用数学式表示为：

其中，h,b∈ℝdy，Ζ ∈ℝd1×d2×...dM，M表示进行融合的模态数量。由于Z是M阶张量，那么权重W是M+1阶张量，W∈ℝd1×d2×...dM×dh，第M+1维表示输出向量的长度dh。

然而，外积运算会导致特征维度变得很大，影响计算效率，增加内存消耗。本文使用Liu 等人[21]提出的低秩多模态融合方法（Low-rank Multimodal Fusion,LMF）解决张量融合的高维度问题，该方法通过将张量和权重并行分解，利用模态特定的低秩因子来执行多模态融合，避免了计算高维的张量，将指数级的时间复杂度降低到了线性。算法原理如下：

在张量点积W·Ζ的计算过程中，可以W把看作dh个M阶张量，每个M阶张量可以表示为：∈ℝd1×d2×...dM,k= 1,2...,dh。每一个都在输出向量h中贡献一个维度：hk=·Ζ。

对于每个M阶张量，存在一个确定的分解模式，将其分解成向量相乘的形式：

使得该分解成立的最小的R值，称为张量的秩。向量的集合称为原始张量R秩分解因子。这里将R的值固定为r，然后用r秩分解因子重建低秩版本的。

把这些向量按模态重新分组，然后拼接，可以得到每个模态对应的低秩因子。令则模态m的低秩因子集合为。低秩的权重张量可以通过下式重建：

那么，算式（2）可以写成：

再根据算式（1）Z的分解，可以对输出h的计算做如下化简：

其中，表示向量的元素乘积，即x1⊙x2⊙x3。

在双模态的情况下，算式（6）可以写成：

LMF的主要思路是：考虑到融合的高维张量Z是由各模态的特征向量进行外积计算得到的，于是对权重W做相同形式的分解，这样就可以在每个模态上进行低维的矩阵乘法，避免显式构建高维张量Z。该算法显著减少了张量融合的计算量，将计算复杂度从降低到

算法实现后的示意图如下：

2 实验结果与分析

本文使用公开数据集进行实验，在心算(MA) 和运动想象(MI) 两项模式分类任务上验证模型的有效性，数据被随机划分为训练集和测试集，使用5折交叉验证对模型进行评估。损失函数选用交叉熵损失，在训练阶段，使用Adam算法对网络进行优化，并使用批量归一化和L2正则化防止过拟合。

表3 展示了20 名受试者的平均准确率，而图6 和图7 展示了每一位受试者的分类准确率。从表3 看出，相较于单模态方法，对EEG 和fNIRS 两种数据进行特征融合后，分类准确率有所提升，心算和运动想象两项任务的平均准确率分别达到91.3%和75.4%，和单独使用EEG数据相比，分别提高了4.8%和4.5%。从个体的角度观察，使用特征融合方法后，20 名受试者中，17 名受试者在MA 任务上的实验结果有提升，15 名受试者在MI 任务上有提升，占比分别85%和75%。

表3 不同方法的平均分类准确率（单位：%)

图6 MA任务的分类准确率

图7 MI任务的分类准确率

实验结果显示，本文提出的两种特征融合方法在MA（心算）和MI（运动想象）两项任务上均取得了不错的成效。由图8可以看出，和单模态方法相比，融合方法在准确率上有明显提升，证明了特征融合确实可以综合两个模态的信息，得到更为完整和准确的特征表示，从而提高特征的表达能力。此外，值得注意的是，使用特征融合模型后，识别准确率提高的同时，其在不同受试者上的标准差有所降低，说明增加了特征融合步骤后，整个模型的鲁棒性和普适性有所提高。表4 将本文提出的方法与现有其他方法进行对比，参与对比的文章均与本文使用同一数据集，可以看出，本文方法取得了较高的准确率。综上所述，本文提出的特征融合方法能够有效地提高模式分类的准确率，并增强模型的鲁棒性，这在一定程度上改善了脑机接口分类精度低、系统稳定性较差的问题。

表4 本文方法与其他论文比较（单位：%)

图8 不同方法的平均分类准确率（单位：%)

3 结论

本文提出了基于低秩权重分解的EEG-fNIRS 特征融合方法，在此基础之上，设计了一种深度学习框架，用于多模态脑机接口的模式分类任务。具体而言，先用卷积神经网络对EEG和fNIRS 信号进行特征提取，得到各自的特征表示，然后用上述方法进行特征融合，增强特征的表达能力，最后将融合得到的特征用于分类。本文在公开数据集上开展实验，得出该方法在心算和运动想象两项分类任务上的准确率分别为91.3%和75.4%，和提供数据集的原文相比，提高了3.2%和1.2%。实验结果表明，本文提出的方法能够有效融合两个模态的信息，增强特征的表达能力，进而提高模式分类的准确率，为脑机接口中的多模态信息融合研究提供了参考。