基于高效通道注意力模块的运动想象脑电识别

2024-01-21周成诚曾庆军胡家铭韩春伟

计算机与现代化 2023年12期

周成诚，曾庆军，杨康，胡家铭，韩春伟

（1.江苏科技大学计算机学院，江苏镇江 212003；2.江苏科技大学自动化学院，江苏镇江 212003；3.北京邮电大学集成电路学院，北京 100876）

0 引言

大脑是人体的中枢神经系统和活动控制中心，人们依靠大脑活动来控制身体对外界刺激做出相应的反应。脑-机接口（Brain-Computer Interface，BCI）为大脑与外部设备之间的通信建立了一个新的通信渠道，它通过对脑电信号的采集和分析来解码用户的运动意图，从而完成大脑与外部控制设备进行交互［1-3］。目前，BCI的研究热点之一是运动想象脑电信号（Motor Imagination-Electroencephalogram，MI-EEG），它可以完成操纵双臂机器人、控制无人机，也被广泛应用于康复训练领域，其根本原因在于通过“解码”MI-EEG来感知因中风导致手部瘫痪的患者的手部运动意图［4-6］。因此，许多解码脑电信号的机器学习方法被研究者提出来，包括自回归模型［7］、共空间模式［8］（Common Spatial Patterns，CSP）、滤波器组共空间模式［9］（Filter Bank Common Spatial Patterns，FBCSP）的特征提取方法以及线性判别分析［10］（Linear Discriminant Analysis，LDA）、支持向量机［11］（Support Vector Machines，SVM）、贝叶斯线性回归［12］的分类方法。

大量研究表明，虽然传统的特征提取和分类方法相对成熟，但是面对复杂的脑电图信号识别分类问题仍存在一些缺陷。近年来，深度学习的发展为语音识别、计算机视觉、自然语言处理等领域提供了一种重要的技术，并表现出相当出色的性能［13-15］。因此，许多研究者也开始研究基于卷积神经网络（Convolutional Neural Network，CNN）的脑电图信号分类识别，并获得了相当不错的分类效果。文献［16］为突出各个通道之间以及每个通道内的特征，提出了一种结合条件经验模式分解和串并行卷积神经网络的脑电信号识别方法，在自行采集和公共数据集上的平均识别率分别达到94.58%和82.13%；文献［17］提出将多个CNN 基学习器线性组合，并用AdaBoost 算法自动更新基学习器的增强卷积神经网络模型对左右手运动想象进行分类，相较于竞赛优胜者和传统SVM 方法，其Kappa 值均有所提高；文献［18］提出了一种卷积神经网络-极限学习机分类识别模型，使用ELM 取代CNN 的最后一层，相比传统的学习算法更快，并且通过ACGAN 对S 变换生成的时频图进行数据增强来提高模型的分类性能。然而，这些模型虽然为MIEEG 的识别提供了方法理论并取得了优于传统分类方法的性能优势，但是忽视了不同通道的脑电信号与识别任务的相关性，导致准确率不是特别高。

考虑到不同通道的脑电信号与识别任务的相关性，本文将高效通道注意力（Efficient Channel Attention，ECA）模块［19］引入CNN 分类模型中，并将此模型应用到BCI数据集上。实验结果表明，ECA 模块能够提高模型的性能，所提方法比近几年其他研究者使用CNN结构的分类方法具有更高的准确率。

1 实验数据及预处理

本文所采用的脑电数据集来源于公共数据集BCI Competition ⅡDataset Ⅲ［20］，此记录来源于一名正常受试者（女性，25 岁）。实验使用G.tec 放大器和Ag/AgCl 电极测量了C3、Cz 和C4 这3 个双极EEG通道，导联位置如图1所示，EEG采样频率为128 Hz，滤波频率为0.5～30 Hz。

图1 导联位置图

在采集EEG信号的实验中，每隔0.5～2 s进行一次试验，每次试验时间为9 s，共280 次。实验开始前，受试者被要求端坐在椅子上，正对前方电脑屏幕。实验开始后，前2 s 受试者保持安静放松的状态，在t=2 s 时，一个声刺激指示试验开始，提醒受试者需要集中注意力准备实验，并在1 s 内显示一个“+”字，第3～9 s，屏幕会随机显示指向左（或指向右）的箭头，同时要求受试者按照箭头指示进行左手（右手）的运动想象任务。实验范式如图2所示。

图2 数据采集实验范式

EEG 是一种复杂的生物信号，其ERD/ERS 模式主要反映在8~30 Hz 频段。EEG 信号的预处理主要是滤除与运动想象任务无关的频率成分，如肌电信号大部分分布在大于30 Hz的频率范围；眼动信号集中在5 Hz 以下的频率范围。因此，本文采用8~30 Hz频段的带通滤波器对BCI竞赛数据集进行滤波处理。

由于CNN 适用于图像的处理，而脑电信号是一种时序信号。为此，本文利用小波变换［21-23］将经过滤波后的原始信号从一维信号转换为二维信号，它对原始信号x（t）进行如下线性运算：

其中：ψs,τ(t)是由母小波函数ψ(t)经位移和伸缩产生的一簇函数，w(s，τ)称为小波基函数；ψ*(t)是ψ(t)的复共轭；s和τ都是连续变化的参数，分别表示缩放和平移参数。在本文中采用Morlet 小波函数，随着τ的变化，对小波函数在频率为s与原始信号x（t）相乘并积分得到一个变换值，将一维的时域信号转为二维的时频信号。

2 高效通道注意力模块

注意力是人脑的基本功能，可以通过对特定物体的关注放大特定的神经元活动和抑制其他神经元的活动（大脑的“噪音”）来改变感知，即在整个场景中重点关注某些重要部分，同时忽略某些不重要的部分。与此类似的是，注意力机制也是一种在计算机视觉中通过自主学习使神经网络不仅能够关注到相关的重要特征，而且同时忽略不重要特征的有效机制。目前，注意力机制有硬注意力机制和软注意力机制，其中软注意力又包括：空间注意力机制、通道注意力机制以及混合注意力机制，即在空间维度和通道维度增加注意力机制［24-25］。由于本文使用的脑电数据存在许多环境干扰因素，在模型识别过程中会有相当大的噪声。随着网络层数的增加，在模型学习过程中，特征图中噪声信息的权重也会增加，最终会对模型产生一定的负面影响，所以本文重点关注通道注意力机制。通道注意力机制削弱了含有噪声的通道并减轻了它们的权重，从而减少噪声和其他干扰因素对模型识别任务的负面影响。

ECA是通道注意力机制的一种实现形式，使用一维卷积组合相邻通道得到加权特征，补偿特征降维引起的缺陷，实现局部跨通道交互，更好地识别脑电信号相关区域的特征。此外，ECA 参数量和复杂度较低，不会过多地增加网络模型的存储和计算开销。ECA模块的结构如图3所示。

图3 ECA模块的结构

图3 中，W表示特征图的宽度，H表示特征图的高度，C表示通道数，U表示原始特征，GAP表示全局平均池化操作，σ表示Sigmoid激活函数，U͂表示加权特征。

首先，使用全局平均池化来聚合输入要素U∈RW×H×C的每个通道的空间信息，得到1×1×C的特征图。全局平均池化操作如公式（3）所示：

然后，利用动态的卷积核大小为k的一维卷积对GAP（U）进行卷积运算，学习不同通道之间的重要性。卷积核自适应函数以及权重ω∈R1×1×C的定义如下：

其中，式（4）中k表示卷积核大小，C表示通道数，|⋅ |odd表示k只能取奇数，γ和b用于改变通道数C和卷积核大小之间的比例；式（5）中，向量ω用来调整每个通道的注意力权重，Sigmoid 函数用于计算一维卷积输出的激活值，表示特征通道的局部关系和重要性，C1D表示一维卷积。

最后，对U和ω的每个通道特征进行重编码，逐个元素相乘得到特征图通道集U͂。

3 基于高效通道注意力模块的分类方法

一个完整的CNN 结构通常包括输入层、卷积层、池化层和全连接层［26］，其作用是能够自适应地提取脑电信号中隐藏的特征信息，但也存在一个问题：在提取脑电信号特征的时候，CNN 无法关注到通道中与分类任务相关的重要特征信息。高效通道注意力模块是通道注意力机制的一种模块，将其应用在CNN 中，不仅可以聚焦与运动想象分类任务相关的特征信息，而且能够有效提高模型的性能。MI-EEG数据集是小样本数据集，CNN 适用于从大量数据中学习特征，若将MI-EEG 数据集直接应用在CNN 中，很容易发生过拟合现象。为了避免此现象，需要适当地调整CNN 的网络结构，使之满足本文小样本数据集的要求。因此，本文提出一种基于高效通道注意力模块的卷积神经网络模型，网络结构如图4所示。

图4 基于高效通道注意力模块的卷积神经网络模型

首先，本文提取原始脑电信号C3、Cz、C4 通道8~30 Hz 频段的脑电信号，将经过小波变换得到的二维时频图作为神经网络模型的输入，图像调整为64×64。

然后，通过2 层卷积层自动提取与左右手运动想象相关的特征，其中，卷积层1使用8个大小为4×4的卷积核来提取图像中的空间和时间频域低层次特征；卷积层2 使用32 个大小为4×4 的卷积核来提取更高阶的全局特征。2 层卷积层均采用ReLU 激活函数，并对其输出数据进行批量标准化处理。为了使模型尽可能多地获取到与EEG 分类任务有关的特征信息，在卷积层1 之后插入ECA 模块，该模块分别沿着卷积层1 输出的特征图的通道维度和空间维度对此特征图进行调整并强化特征图关键通道和空间位置的信息，对通道注意力信息进行补充，同时捕获位置信息和通道关系，以提高模型在复杂环境中关注有效特征的能力。在池化层中，本文采用最大池化来筛选特征，减小数据维度，捕获卷积运算输出的最重要的抽象特征，同时保证特征的局部不变性。

最后，经过全连接层将池化层输出的特征进行平面化后，输出层采用softmax 分类器对运动想象二分类任务进行分类并输出最终分类结果，其神经元数目分别为128和2。

4 实验及结果分析

本文将所提方法应用在BCI数据集上，设置训练迭代次数为300 次，经过多次实验，对模型参数进行调整优化，将在验证集上准确率最高的模型作为本文方法的最终模型。本文在未引入高效通道注意力模块时，由于卷积层决定了卷积神经网络模型的深度，为了构建合适的网络结构，则对不同卷积层数进行研究。识别准确率结果如表1所示。

表1 不同卷积层数识别准确率对比

可以看出，当卷积层数为2 时，卷积神经网络模型具有最好的识别效果，其平均准确率达到83.33%。对基于高效通道注意力模块的卷积神经网络模型来说，注意力模块的数量不同决定了不同的网络结构，甚至直接影响最终的准确率。因此，本文设置了一组对比实验，在卷积神经网络模型的第1 层卷积层后和卷积神经网络模型的每层卷积层后分别插入ECA 模块，即分别插入1 个ECA 模块和插入2 个ECA 模块。实验结果如图5所示。

图5 不同ECA模块数量的模型分类准确率

加入ECA 模块后，模型的准确率相较于未加入ECA模块时的准确率出现较少的震荡，能够平稳地收敛。此外，插入1 个ECA 模快的平均准确率为88.07%，插入2 个ECA 模块的平均准确率为86.30%，显然插入1 个ECA 模块的识别性能优于插入2 个ECA模块的识别性能。因此，本文的分类模型是基于1个ECA模块的卷积神经网络模型。

为了评估本文方法对左右手运动想象脑电信号的识别性能，将本文提出的模型与使用同一数据集进行研究的其他分类识别方法进行对比，其平均识别准确率如表2 所示。其中文献［27］兼顾脑电的时间、频率和空间信息，提出了一种基于希尔伯特-黄变换（Hilbert-Huang Transform，HHT）和CSP 的脑电信号特征提取并用SVM 分类的方法，记为HCHT+SVM；文献［28］针对自用型运动想象BCI 系统设计了2 种分类方法：SVM 和自回归模型（Autoregressive Model，AR）与SVM 相结合，记为AR-SVM；文献［29］中由2个子网络构成的经典孪生神经网络；以及未引入ECA模块时的含有2层卷积层的CNN分类模型，记为CNN。

表2 本文方法与其他方法的准确率比较

由表2可知，通过引入ECA模块与未引入ECA模块的CNN 分类模型实验结果对比得知，引入ECA 模块的CNN 分类模型的平均准确率高于未引入ECA 模块的CNN 分类模型，这表明ECA 模块能够让模型更加关注信息量大的通道特征，在不增加模型的训练周期以及计算开销的前提下，有效地提升模型的准确率；其次，本文方法的平均准确率相较于文献［27］、文献［28］、文献［29］有一定的提升，说明在运动想象分类识别任务中，本文方法具有优越性。