基于通道选择和多维特征融合的脑电信号分类

杨淑莹，国海铭，李欣

基于通道选择和多维特征融合的脑电信号分类

杨淑莹*，国海铭，李欣

（天津理工大学 计算机科学与工程学院，天津 300384）（ ∗ 通信作者电子邮箱 yangshuying@email.tjut.edu.cn）

针对多通道脑电信号（EEG）相互干扰、存在个体差异性导致分类结果不同和单域特征识别率低等问题，提出一种通道选择和特征融合的方法。首先，对获取到的EEG进行预处理，使用梯度提升决策树（GBDT）选出重要通道；其次，采用广义预测控制（GPC）模型构建重要通道的预测信号，辨析多维相关信号之间的细微差别，再使用SE‑TCNTA（Squeeze and Excitation block-Temporal Convolutional Network-Temporal Attention）模型提取不同帧之间的时序特征；然后，使用皮尔逊相关系数计算通道间的关系，提取EEG的频域特征和预测信号的控制量作为输入，建立空间图结构，并采用图卷积网络（GCN）提取频域、空域的特征；最后，将上述二者特征输入全连接层进行特征融合，实现EEG的分类。在公共数据集BCICIV_2a上的实验结果表明，在进行通道选择的情况下，与首个用于ERP检测的EEG-Inception模型以及同样采用双分支提取特征的DSCNN （Shallow Double-branch Convolutional Neural Network）模型方法相比，所提方法的分类准确率分别提升了1.47%和1.69%，Kappa值分别提升了1.25%和2.53%。所提方法能够提高EGG的分类精度，同时减少冗余数据对特征提取的影响，因此更适用于脑机接口（BCI）系统。

脑电信号；特征融合；通道选择；图卷积网络；时序卷积网络；广义预测控制模型

0 引言

脑机接口（Brain-Computer Interface， BCI）系统可以实现人脑与计算机的交流和沟通，在医学上能够帮助患者进行康复训练，具有很广泛的应用前景。脑电信号（ElectroEncephaloGraphy， EEG）是一种由大脑神经元产生的生物电信号，它是一种非平稳的时序信号，具有低成本和非入侵等优点，经常用于研究BCI［1-2］。运动想象脑电信号［3］是一种内源性自发脑电，与诱发脑电不同，它无需外界刺激，只需人进行运动想象，脑电波就呈现特异波形。研究运动想象脑电信号具有重要意义，可以完成残障人士的肢体运动康复和控制外部设备等任务，改善他们的生活。

EEG通常由多电极采集得到，多通道数据同时输入网络会增大计算量，导致训练时间长，因此有必要进行通道选择。目前的研究表明，通过对多维信号降维，可以在不影响精度的前提下去除一些冗余的信息，并且降低计算量，缩短算法的识别时间。Bavkar等［4］提出重力搜索算法（Improved Binary Gravitational Search Algorithm， IBGSA）为运动想象脑电信号选择最佳通道，但是该方法未考虑任务的特异性和事件相关去同步（Event-Related Desynchronization， ERD）/事件相关同步化（Event Related Synchronization， ERS）特征的判别性。共空间模式（Common Spatial Pattern， CSP）算法以及稀疏共空间模式算法可用于实现通道选择，但是CSP容易受到EEG噪声的影响。二进制粒子群优化（Binary Particle Swarm Optimization， BPSO）算法［5］也可与CSP算法相结合选择最优的通道，但这些算法通常对计算要求很高。相比以上算法，梯度提升决策树（Gradient Boosting Decision Tree， GBDT）具有预测精度高，构建过程简便，能处理非线性、连续和离散数据，结果可解释等优点。GBDT组合弱学习器形成一个强学习器，可以计算不同通道的特征重要度，具备区分不同通道的天然优势。

近年来，深度学习的普及使EEG的研究达到了前所未有的高度。Sun等［12］提出了SE-CNN（Squeeze and Excitation block- Convolutional Neural Network），使用稀疏频谱时间分解算法提取时频特征，比传统算法的准确率更高。Xu等［13］通过融合注意力机制设计了端到端的编码器模型，通过深度卷积网络DHDANet（Dual HeaDed Attention via deep convolution Net）同时学习时间和空间特征，能够达到不错的准确率。Tortora等［14］提出了一个长短期记忆（Long Short-Term Memory， LSTM）深度神经网络，可以自动处理大脑信号中的时间相关信息。在时域分析中，时序卷积网络（Temporal Convolutional Network， TCN）更具优势，而LSTM参数量较大，导致训练时间长，因此选择参数量更少的神经网络模型可以加速训练。

随着深度学习的发展，研究人员设计了能处理图数据的神经网络结构，并将它们应用在空域分析中，即图神经网络，通过聚合节点及其邻接节点的特征信息，捕获图结构的依赖关系。EEG中也具有空间结构的特征，不同通道的位置信息、特征信息都会影响正确率。Feng等［15］通过图卷积神经网络（Graph Convolutional Network， GCN）解码不同的运动想象信号，达到了不错的准确率。Chang等［16］通过GCN研究精神分裂症患者的脑功能连接，提取了图论特征进行分析。由于电极分布不同，图网络非常适合EEG研究，能提取更具代表性的特征。由于图神经网络在运动想象脑电信号中的应用较少，因此本文使用GCN提取空域频域特征，再结合其他领域特征进行研究。

研究表明，时频分析相比单一邻域分析可以取得更好的分类准确率。Li等［17］提出使用神经网络自动提取特征，使用卷积神经网络（Convolutional Neural Network， CNN）提取空间特征，用LSTM提取时间特征；随后通过特征融合进行分类，提高了准确率。李红利等［18］设计了模型内融合（With-in Model Fusion-Feature， WMFF）和模型间融合（Cross Model Fusion-Feature， CMFF）两种特征融合策略。WMFF策略提取CNN每一层特征进行融合；CMFF策略融合CNN和LSTM并提取每一层特征。此类方法虽然可以缩短时间，可是神经网络并非人脑，在获取细节特征时具有一定的限制，从而影响分类的准确率。由此可以看出，进行特征融合可以达到不错的效果，融合后的特征更利于分类。

结合上述分析，为了提高运动想象分类的准确率，避免丢失免细节特征，本文提出了一种融合通道选择算法和时频特征提取模型的分类方法。该方法首先对采集到的EEG使用巴特沃斯滤波器进行带通滤波，然后使用GBDT算法进行重要性分析，并使用GPC模型对重要通道信号进行特征提取；提取后的特征参数送入SE-TCNTA模型和GCN模型，以进一步提取局部时域特征和全局频域特征；最后，将提取的多领域特征进行融合输入全连接层，得到分类的准确率。该方法能够减少冗余数据，简化EEG并从多领域提取特征，且特征都基于GPC模型，能够提升所应用系统的效率。

本文的主要工作如下：

1）提出了一种基于GBDT的通道选择算法，选择重要通道，提高特征提取的效率。

2）利用GPC模型为每一帧EEG构建预测信号，使用最小二乘法进行参数辨析，通过SE-TCNTA模型提取精确的时域特征。

3）将预测信号的功率谱密度和控制量作为频域特征，利用GCN模型提取频域特征。

4）实现特征融合并进行实验验证，实验结果验证了本文方法的有效性，表明该方法能够在减少冗余信息前提下，提取精细的时频特征，提高准确率。

1 本文方法

本文方法的整体流程如图1所示：采用GBDT算法对预处理信号进行通道选择，然后对重要通道信号进行分帧处理，使用GPC模型对每帧信号建模，提取参数特征。特征提取分为两个分支：上分支使用SE-TCNTA模型对不同时间步的特征进行加权，得到精细的时域特征；下分支使用GCN，将GPC模型的控制量和相关频段的功率谱密度作为节点特征。接着计算皮尔逊相关系数，建立节点联系创建图信息，提取频域特征。最后进行特征融合，输入全连接层得到分类结果。

图1　本文方法总体流程

1.1　数据集

本文使用具有22个通道的公开数据集BCICIV_2a［19］进行实验并对结果进行分析。该数据集包括9名实验人员的训练数据和测试数据，分别用于训练和测试。

数据集包括4类运动想象，即左手、右手、脚和舌头。数据采集电极分布位置采用国际10-20系统的电极分布形式，如图2所示。数据集共有9人，每人进行6轮的运动想象采集，每一轮4类运动想象类型实验各12次，因此每人总共有288次的运动想象实验样本作为训练数据集。另外还有相同数量的测试数据集。

图2　国际10-20系统的电极分布

1.2　预处理

经过仪器采集的EEG具有噪声和伪影，为了防止噪声和伪影对特征提取的影响，需要对数据进行预处理。本文使用范围为0.5～60 Hz的五阶巴特沃斯带通滤波器去除无用频段和工频的干扰，获取运动想象脑电信号的感兴趣频段区域。由于还混杂其他脑电伪迹，因此还需要利用自适应伪迹检测法剔除伪迹片段和基线漂移等干扰信号，最后通过手动检查删除混淆的数据段，并对数据段归一化，从而获得满足实验要求且能有效提高实验准确率的脑电信号。

图3　经过预处理后的某段EEG

1.3　基于GBDT的通道选择

EEG由多电极采集而成，处理多通道数据会造成计算量大、资源消耗大、浪费时间等问题，降低特征提取的效率，因此需要选择重要通道进行分析。本文使用GBDT算法计算不同通道的特征重要性，并选出重要性较高的几个通道进行后续研究，能减少工作量，提高分类准确率。

GBDT是一种迭代的决策树算法［20］，它使用分类回归树（Classification And Regression Tree， CART）作为基学习器，通过多轮迭代，每轮学习都在上一轮训练的残差（用损失函数的负梯度来替代）基础上进行训练，降低残差，提高分类精度，每轮迭代产生一棵CART，迭代结束时将得到多棵CART，最后将所有的树累加起来就得到了最终的提升树。

2）对于建立棵分类回归树=1，2，…，：

①对1，2，…，，计算第棵树对应的响应值（损失函数的负梯度，即伪残差）：

特征重要度代表了不同通道对最终分类结果［左手，右手，双脚，舌头］的影响程度，GBDT的特征重要度通过特征在单棵树中的重要度的平均值来衡量：

1.4　时域特征

1.4.1EEG-GPC

为了更好地描述脑机接口内部系统，本文提出了基于脑电接口的GPC模型。实验结果表明，通过预测模型拟合EEG，以预测模型参数作为时域特征进行后续分析可以达到良好的效果。GPC是基于参数模型的控制算法，通过求解控制量的形式对模型进行反馈矫正，通过前面时刻的信息计算下一步的控制量信息，将它加入下一次的运算过程中［21-22］。控制量信息根据前面序列的变化计算产生，在预测中通过对下一步预测结果的调整来达到更好的拟合效果，并结合了辨识和自校正机制，具有良好的鲁棒性。由于EEG采集具有较多的噪声影响，GPC模型考虑了噪声影响，因此更具有优势。控制量反映了EEG的跳变性，隐含了不同个体间进行运动想象EEG的瞬间变化信息，更适合非平稳的EEG。

由于EEG具有时序性，本文将选择的重要通道进行分帧，对每帧EEG使用GPC模型建模，计算模型参数。将参数特征作为时域特征，控制量作为频域特征输入两个分支中进一步进行特征提取。

GPC采用下列CARIMA模型，求解控制量过程如下：

则预测误差的方差：

性能指标函数如下所示：

其中：

其中：

将式（21）代入式（18）中，得：

则当前时刻的控制量为：

1.4.2最小二乘法实现参数估计

参数特征使用最小二乘法进行辨识，考虑如下简易模型：

设时刻的批处理最小二乘估计为：

则

又由式（27）得：

则由式（29）及式（30）得：

于是时刻的最小二乘估计可表示为

针对式（33）的目标函数，可得遗忘因子递推最小二乘参数估计公式：

1.4.3SE-TCNTA

提取完参数特征后，将每帧特征看作不同时间步的特征，为了进一步提取时域特征，本文借鉴挤压激励网络（Squeeze-and-Excitation Network， SENet）中的SE Block结构，将它置于时序卷积网络（TCN）之前，并在TCN之后加入时间注意力（Temporal Attention）机制，组成SE-TCNTA网络作为EEG时域特征的提取模型。通过该模型，可以对不同时间步的特征进行加权，选择重要特征，达到提取精确特征的目的。

图4　TCN结构

时间注意力机制可以认为是对不同时间步进行权值分配，不同的权重代表不同的重要性。本文提出利用时间注意机制对TCN输出的时间步进行加权，得到每个时间步注意力权重，从而进一步提高模型的准确度。

本文先利用SE Block模块处理每帧提取的特征，通过图5可以看出，SE Block先对所有特征进行平均池化，然后将特征进行压缩，再通过两层全连接使特征变回原来的维度，接着对特征进行Sigmoid激活，最后将权重加权到原本的特征上。将上述SE Block的输出按时序顺序输入TCN，利用TCN的并行计算优势提取时域特征，将所有TCN的输出通过时间注意力层，对时间步进行权重分配，得到时序特征。由于特征参数相比多维信号减少，为了获得更大的感受野，本文对TCN的参数进行了修改：将第一层TCN的膨胀系数修改为3的倍数，以获得更多的特征信息；将第二层TCN的膨胀系数修改为固定值（1，2，4），保证不会影响较少的特征参数。

图5　SE-TCNTA模型

1.5　频域特征

频域特征通过图谱卷积将空域转化为谱域进行提取，借助图谱的理论来实现拓扑图上的卷积操作。本文使用皮尔逊相关系数计算通道间相关性，建立图信息，提取GPC模型中的控制量和预测信号中相关频段的功率谱密度作为输入，通过图卷积进行节点特征聚合得到频域特征。

1.5.1图卷积

图卷积网络（Graph Convolutional Network， GCN）［24-26］是在非欧氏空间结构数据上的深度学习技术，在EEG中的应用较少，它将传统的离散卷积思想应用在图结构上以获取节点特征信息在图结构上不同层次的谱域表示，能够充分考虑节点自身的特征信息及节点之间的关联信息，更详细深入地描述图信息数据。由于大多数研究建立在欧氏空间上，而对于EEG来说，不同的电极分布并非欧氏空间，因此图网络更具有优势。图卷积主要分为空域图卷积和谱域图卷积两类［27］。本文使用谱域图卷积，根据图谱理论和卷积定理，将数据由空域转换到谱域做处理，理论基础非常扎实。

为了减少计算成本，本文采用谱图卷积对GBDT选出的重要通道提取特征信息，图卷积的原理如下：

定义为从节点出发的所有边的权重之和（×的方阵，是对角矩阵）。则的拉普拉斯矩阵可以表示为：

将该拉普拉斯矩阵进行归一化得到：

图卷积经历过很多版本，本文使用的GCN卷积公式基于切比雪夫图卷积改进而来，定义为：

1.5.2皮尔逊相关系数

本文使用皮尔逊相关系数计算节点之间的相关性以建立图信息中的邻接矩阵，计算运动想象相关频段的功率谱密度和控制量作为节点特征，由此建立图信息。它的定义如下：

1.5.3频域特征提取

本文提取与运动想象相关的、两个波段的功率谱密度并结合GPC模型的控制量作为图卷积节点特征的输入。功率谱密度表示输入信号在一定频率范围内的功率。利用Welch算法计算脑电功率谱密度值，该方法将原始数据分成段，允许数据重叠。采用窗函数完成数据截取，每一段的功率谱密度记作xx（）。

所以功率谱为：

频域特征提取的主要步骤如下：

1）使用皮尔逊相关系数计算通道相关性，建立GCN的邻接矩阵；

2）计算信号的功率谱密度并结合模型的控制量作为通道的频域特征矩阵，与邻接矩阵建立图信息；

3）通过GCN进行频域信息特征提取，设定两层图卷积，聚合节点特征，最后得到全局的频域特征矩阵。

频域特征需要从全局考虑，通过图卷积建立了通道的关联性，得到全局的频域特征，能够避免特征信息的丢失。

1.6　特征融合和分类

本文分别提取了时域和频域特征，但单一地提取时域或频域特征会导致部分信息丢失，因此有必要充分挖掘信号中的全部信息，采用特征拼接的方式进行特征融合，公式如下：

其中：表示时域特征；表示频域特征；表示融合特征，融合特征的向量长度是时域与频域特征长度之和。将融合的时域频域特征输入全连接层，使用Softmax激活函数返回每个类别的概率值。损失函数使用交叉熵损失函数。图6展示了本文特征融合的模型结构。根据EEG的复杂性，建立了时频特征并行提取结构。时序特征提取由输入层、SE Block模块、TCN、时间注意力层和扁平层组成，对每帧信号进行分析，提取精确的时序特征。频域特征提取由输入层、2个图卷积层和扁平层组成，计算整段信号的功率谱密度结合控制量，能够提取全局的频域特征。最后将两部分输入全连接层进行分类。另外，为了防止过拟合，在GCN中使用Dropout层，图卷积层之间使用线性整流函数（Rectified Linear Unit， ReLU）进行激活。

2 实验与结果分析

2.1　通道选择实验分析

将受试者经过预处理的EEG使用GBDT进行通道选择，设置迭代次数250，学习率0.01，经过GBDT计算重要度后，得到22个通道的重要性评分，如图7所示。

通过计算通道重要度，可以得到几个较为重要的通道，但是通道数的选择也需要进行考虑，因此有必要通过消融实验选择合适的个数。为了探究通道数对实验的影响，保持后面的模型参数不变，并且添加了没有进行通道选择的实验进行对比，表1展示了不同通道数的分类效果。

通过表1可以发现，当通道数为5时，准确率比其他通道数更高。这是由于选择较少通道时，特征不足导致准确率下降，应该保持精度不变的情况下选择较少的通道数，这样可以减少参数量和计算时间。增加通道数会导致模型中输入数据对应的维度也增加，而后续的特征提取是根据选择的通道进行计算，因此可以看到每个受试者选择不同通道数时会导致结果的浮动较大。通过实验结果可以看出，不进行通道选择时，平均准确率只达到了76.61%。为了保证参数量最少且不影响准确率，因此本文挑选得分大于0.07的5个通道（通道3、5、6、8、9）数据。

表1　不同通道数的分类结果 单位： %

2.2　EEG-GPC

图8　EEG的拟合图

2.3　建立图信息

由于GCN的输入由节点的邻接矩阵与特征组成。因此需要对选择的通道信号建立图信息，根据皮尔逊相关系数计算通道的相关性，由此建立邻接矩阵。由于EEG具有个体差异性，本文对每个受试者都计算相关性，设定大于0.8的两个通道为相关。将其邻接矩阵对应的位置设置为1，其余为0，计算的皮尔逊矩阵如图11所示。

图9　参数趋势曲线

图10　控制量跳变信息

图11　皮尔逊相关系数

2.4　实验分析

本次实验的软件和硬件情况如下：采用Intel 2.90 GHz Core i5和NVIDIA GTX1650，内存4 GB；使用Python中的深度学习Keras框架。表2展示了本文模型的具体结构，对于时序特征的提取，首先使用SE Block计算GPC模型提取的每帧特征权重并加到自身，然后将特征输入两层TCN中，设置卷积核参数为12。将TCN的输出通过时间注意力层，对时间步重新分配，得到时序特征。而对于频域特征的提取，首先输入节点特征和邻接矩阵信息，节点特征的维度为（5，280），邻接矩阵大小为（5，5），设置2个图卷积层，神经元分别设置为16、8，使用先行激活函数ReLU防止过拟合，两个特征提取分支分别设置了一个展平层，将提取的多维特征转换为一维，然后通过全连接层进行特征融合。模型训练时，本文方法定义损失函数采用Categorical_Crossentropy，优化器使用Adam，学习率设置为0.001。

为了证明多维特征融合的重要性，本文还设置了两个领域特征的单独实验对照特征融合实验，将选择后的通道数据分别进行时域频域的特征提取进行分类，验证本文算法的有效性。表3展示了时域特征、频域特征与时频特征融合实验的准确率。从表3可以看出，在选择相同的通道数下，时域特征提取的准确率达到了83.30%，频域特征提取达到了84.26%。由于时域信号比频域所含信息较少，因此准确率略低于频域特征。这两种方法都达到了不错的效果，验证了本文特征提取方法的可行性。通过特征融合的准确率达到了86.07%，验证了使用特征融合比单一提取特征效果更好。

表2　网络模型结构参数

表3　单一算法与特征融合算法的比较 单位： %

为了体现本文方法的有效性，使用BCI竞赛公共数据集BCICIV_2a进行实验。对于每个受试者，按照8∶2的比例划分为训练集和测试集。为更好地评价本文方法的分类效果，与以下方法进行比较：DSCNN（Shallow Double-branch Convolutional Neural Network）［28］、EEG-inception［29］、M3DCNN（Multi-Branch 3D Convolutional Neural Network）［30］、FBSF-TSCNN（Filter-Bank Spatial Filtering and Temporal-Spatial Convolutional Neural Network）［31］、AMSI-EEGNET（Auxiliary Multi-Scale Input CNN for EEG）［32］、MCNN（Multi-layer CNN）［33］和EGGNet［34］。其中，EEG-Inception是首个集成了Inception模块并用于ERP检测的模型。DSCNN则是一种浅层的双分支卷积神经网络，采用双分支并行提取特征，其中：左分支只包含两个单一的时间和空间卷积层来提取共同的脑电特征；类似地，右分支首先引入一维卷积来利用多个时间尺度上的信道相关性和时间特征，随后采用沿深度方向可分离的卷积层优化EEG序列。本文也借鉴了DSCNN模型采用两个分支提取特征的方法，并将两个分支的特征进行融合，表3的实验结果说明了两个分支提取特征能够包含丰富的原始信号信息，充分考虑不同领域信号的影响，能够最大限度地减少特征对最终分类的影响，验证了特征融合的重要性。

本文使用Kappa系数衡量分类精度，Kappa系数也通常作为BCICIV_2a的验证标准，计算公式如下：

表4展示了9个受试者（A01～A09）在本文方法和其他文献方法的平均分类准确率，可以看到：受试者A02分类的准确率最低，但仍高于其他方法；受试者A04和A05比其他方法的准确率最高，达到了85.68%和84.39%。本文方法平均分类准确率比对比方法分别提升了9.8、11.05、14.07、1.25、8.35、1.43个百分点，说明使用本文模型进行特征融合时能够充分提取EEG的特征信息并提高准确率。

表5则展示了不同算法的Kappa值，可以看出，本文方法的Kappa平均值优于对比方法，与EEG-inception和DSCNN相比，Kappa值分别提升了1.25%和2.53%。

图12为不同方法训练的受试者3的混淆矩阵，混淆矩阵中横、纵坐标代表预测和实际的运动想象分类类型，中间数值为对应分类概率。可以看出，本文方法对四种分类任务的分类概率分别达到了0.91、0.92、0.95、0.94，而EEGNet方法对双脚的识别率较低，本文通过特征融合能够对四类任务都取得较高的识别率。

表4　本文方法与其他文献方法的准确率对比 单位： %

表5　本文方法与其他文献方法的Kappa值对比

图12　不同方法下受试者3的混淆矩阵

3 结语

本文提出了一种基于通道选择和多维特征融合的EEG分类方法。在不影响精度的情况下，进行重要性选择用来减少参数量；提取了时间特征，频域特征，谱域特征并进行融合，由此来提取更为有用的特征信息。通过实验表明，在选择出重要的通道信号后再进行特征融合能够有效地提高分类的准确率，说明通道选择和特征融合能够挖掘更深层的特征信息。综上所述，本文提出的方法能够对EEG进行降维，减少冗余的数据对算法的影响，并且提取时域频域相关的特征进行融合，提高分类精度，为EEG分类研究提供了新的途径。在未来，我们将设计属于自己的范式，并将虚拟人应用在提取数据中，将算法应用在情绪识别或其他研究中。

[1] DOUIBI K， LE BARS S， LEMONTEY A， et al. Toward EEG-based BCI applications for Industry 4.0： challenges and possible applications［J］. Frontiers in Human Neuroscience， 2021， 15： No.705064.

[2] MINI P P， THOMAS T， GOPIKAKUMARI R， et al. EEG based direct speech BCI system using a fusion of SMRT and MFCC/LPCC features with ANN classifier［J］. Biomedical Signal Processing and Control， 2021， 68： No.102625.

[3] VIDAURRE C， JORAJURÍA T， RAMOS-MURGUIALDAY A， et al. Improving motor imagery classification during induced motor perturbations［J］. Journal of Neural Engineering， 2021， 18（4）： No.0460b1.

[4] BAVKAR S， IYER B， DEOSARKAR S， et al. Rapid screening of alcoholism： an EEG based optimal channel selection approach［J］. IEEE Access， 2019， 7：99670-99682.

[5] LV J， LIU M. Common spatial pattern and particle swarm optimization for channel selection in BCI［C］// Proceedings of the 3rd International Conference on Innovative Computing Information and Control. Piscataway： IEEE， 2008： 457-457.

[6] ANNABY M H， SAID M H， ELDEIB A M， et al. EEG-based motor imagery classification using digraph Fourier transforms and extreme learning machines［J］. Biomedical Signal Processing and Control， 2021， 69： No.102831.

[7] RAMOSER H， MÜLLER-GERKING J， PFURTSCHELLER G. Optimal spatial filtering of single trial EEG during imagined hand movement［J］. IEEE Transactions on Rehabilitation Engineering， 2000， 8（4）： 441-446.

[8] ZAHID S Z， AQIL M， TUFAIL M， et al. Online classification of multiple motor imagery tasks using filter bank based maximum-a-posteriori common spatial pattern filters［J］. IRBM， 2020， 41（3）：141-150.

[9] ANG K K， CHIN Z Y， ZHANG H， et al. Filter Bank Common Spatial Pattern （FBCSP） in brain-computer interface［C］// Proceedings of the 2008 IEEE International Joint Conference on Neural Networks （IEEE World Congress on Computational Intelligence）. Piscataway： IEEE， 2008： 2390-2397.

[10] HAN Y， WANG B， LUO J， et al. A classification method for EEG motor imagery signals based on parallel convolutional neural network［J］. Biomedical Signal Processing and Control， 2022， 71（Pt B）： No.103190.

[11] VENKATA PHANIKRISHNA B， CHINARA S. Automatic classification methods for detecting drowsiness using wavelet packet transform extracted time-domain features from single-channel EEG signal［J］. Journal of Neuroscience Methods， 2021， 347： No.108927.

[12] SUN B， ZHAO X， ZHANG H， et al. EEG motor imagery classification with sparse spectrotemporal decomposition and deep learning［J］. IEEE Transactions on Automation Science and Engineering， 2021， 18（2）： 541-551.

[13] XU M， YAO J， NI H. Dual head and dual attention in deep learning for end-to-end EEG motor imagery classification［J］. Applied Sciences， 2021， 11（22）： No.10906.

[14] TORTORA S， GHIDONI S， CHISARI C， et al. Deep learning-based BCI for gait decoding from EEG with LSTM recurrent neural network［J］. Journal of Neural Engineering， 2020， 17（4）： No.046011.

[15] FENG N， HU F， WANG H， et al. Motor intention decoding from the upper limb by graph convolutional network based on functional connectivity［J］. International Journal of Neural Systems， 2021， 31（12）： No.2150047.

[16] CHANG Q， LI C C， TIAN Q， et al. Classification of first-episode schizophrenia， chronic schizophrenia and healthy control based on brain network of mismatch negativity by graph neural network［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29：1784-1794.

[17] LI H， DING M， ZHANG R， et al. Motor imagery EEG classification algorithm based on CNN-LSTM feature fusion network［J］. Biomedical Signal Processing and Control， 2022， 72（Pt A）： No.103342.

[18] 李红利，丁满，张荣华，等. 基于特征融合神经网络的运动想象脑电分类算法［J］. 中国医学物理学杂志， 2022， 39（1）：69-75.（LI H L， DING M， ZHANG R H， et al. Motor imagery EEG classification algorithm based on feature fusion neural network［J］. Chinese Journal of Medical Physics， 2022， 39（1）： 69-75.）

[19] Institute for Knowledge Discovery， Graz University of Technology. BCI Competition IV — data sets 2a［DB/OL］. ［2022-05-13］. https：//www.bbci.de/competition/iv/#dataset2a.

[20] DEVOS L， MEERT W， DAVIS J. Fast gradient boosting decision trees with bit-level data structures［C］// Proceedings of the 2019 Joint European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 11906. Cham： Springer， 2020： 590-606.

[21] MENDOZA-SOTO J L， RODRÍGUEZ CORTÉS H. Generalized predictive control for trajectory tracking of a quadcopter vehicle［C］// Proceedings of the 2017 International Conference on Unmanned Aircraft Systems. Piscataway： IEEE， 2017： 206-212.

[22] ZHANG T， LI C X， LI Z L. Generalized predictive control and delay compensation for high-speed EMU network control system［C］// Proceedings of the 6th International Conference on Computer Science and Network Technology. Piscataway： IEEE， 2017： 511-515.

[23] 李红利，尹飞超，张荣华，等. 基于通道注意力和稀疏时频分解的运动想象分类［J］. 生物医学工程学杂志， 2022， 39（3）：488-497.（LI H L， YIN C F， ZHANG R H， et al. Motor imagery electroencephalogram classification based on sparse spatiotemporal decomposition and channel attention［J］. Journal of Biomedical Engineering， 2022， 39（3）： 488-497.）

[24] ZHOU Y， ZHENG H， HUANG X， et al. Graph neural networks： taxonomy， advances and trends［J］. ACM Transactions on Intelligent Systems and Technology， 2022， 13（1）： No.15.

[25] SCARSELLI F， GORI M， TSOI A C， et al. The graph neural network model［J］. IEEE Transactions on Neural Networks， 2009， 20（1）： 61-80.

[26] SHI X， LV F， SENG D， et al. Visualizing and understanding graph convolutional network［J］. Multimedia Tools and Applications， 2021， 80（6）： 8355-8375.

[27] SALIM A， SUMITRA S. Spectral graph convolutional neural networks in the context of regularization theory［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022（Early Access）： 1-12.

[28] MA W， GONG Y， XUE H， et al. A lightweight and accurate double-branch neural network for four-class motor imagery classification［J］. Biomedical Signal Processing and Control， 2022， 75： No.103582.

[29] ZHANG C， KIM Y K， ESKANDARIAN A. EEG-inception： an accurate and robust end-to-end neural network for EEG-based motor imagery classification［J］. Journal of Neural Engineering， 2021， 18（4）： No.046014.

[30] ZHAO X， ZHANG H， ZHU G， et al. A multi-branch 3D convolutional neural network for EEG-based motor imagery classification［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2019， 27（10）： 2164-2177.

[31] CHEN J， YU Z， GU Z， et al. Deep temporal-spatial feature learning for motor imagery-based brain-computer interfaces［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2020， 28（11）： 2356-2366.

[32] RIYAD M， KHALIL M， ADIB A. A novel multi-scale convolutional neural network for motor imagery classification［J］. Biomedical Signal Processing and Control， 2021， 68： No.102747.

[33] AMIN S U， ALSULAIMAN M， MUHAMMAD G， et al. Deep learning for EEG motor imagery classification based on multi-layer CNNs feature fusion［J］. Future Generation Computer Systems， 2019， 101：542-554.

[34] LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG-based brain-computer interfaces［J］. Journal of Neural Engineering， 2018， 15（5）： No.056013.

EEG classification based on channel selection and multi-dimensional feature fusion

YANG Shuying*， GUO Haiming， LI Xin

（，，300384，）

To solve the problems of the mutual interference of multi-channel ElectroEncephaloGraphy （EEG）， the different classification results caused by individual differences， and the low recognition rate of single domain features， a method of channel selection and feature fusion was proposed. Firstly， the acquired EEG was preprocessed， and the important channels were selected by using Gradient Boosting Decision Tree （GBDT）. Secondly， the Generalized Predictive Control （GPC） model was used to construct the prediction signals of important channels and distinguish the subtle differences among multi-dimensional correlation signals， then the SE-TCNTA （Squeeze and Excitation block-Temporal Convolutional Network-Temporal Attention） model was used to extract temporal features between different frames. Thirdly， the Pearson correlation coefficient was used to calculate the relationship between channels， the frequency domain features of EEG and the control values of prediction signals were extracted as inputs， the spatial graph structure was established， and the Graph Convolutional Network （GCN） was used to extract the features of frequency domain and spatial domain. Finally， the above two features were input to the fully connected layer for feature fusion in order to realize the classification of EEG. Experimental results on public dataset BCICIV_2a show that in the case of channel selection， compared with the first EEG-inception model for ERP detection and DSCNN （Shallow Double-branch Convolutional Neural Network） model that also uses double branch feature extraction， the proposed method has the classification accuracy increased by 1.47% and 1.69% respectively， and has the Kappa value increased by 1.25% and 2.53% respectively. The proposed method can improve the classification accuracy of EEG and reduce the influence of redundant data on feature extraction， so it is more suitable for Brain-Computer Interface （BCI） systems.

ElectroEncephaloGraphy (EEG); feature fusion; channel selection; Graph Convolution Network (GCN); Temporal Convolutional Network (TCN); Generalized Predictive Control (GPC) model

1001-9081（2023）11-3418-10

10.11772/j.issn.1001-9081.2022101590

2022⁃10⁃24；

2023⁃01⁃31；

2019年天津市教育科学规划院教学成果奖重点培育项目（PYGJ‑015）； 2020年天津理工大学校级重点教学基金资助项目（ZD20‑04）。

杨淑莹（1964—），女，四川成都人，教授，博士，主要研究方向：模式识别、智能机器人； 国海铭（1998—），男，河北衡水人，硕士研究生，主要研究方向：模式识别； 李欣（1998—），男，安徽六安人，硕士研究生，主要研究方向：模式识别。

TP301.6

A

2023⁃01⁃31。

This work is partially supported by 2019 Key Cultivation Project of Teaching Achievement Award of Tianjin Institute of Educational Science Planning （PYGJ-015）， School Level Teaching Fund of Tianjin University of Technology （ZD20-04）.

YANG Shuying， born in 1964， Ph. D.， professor. Her research interests include pattern recognition， intelligent robots.

GUO Haiming， born in 1998， M. S. candidate. His research interest includes pattern recognition.

LI Xin， born in 1998， M. S. candidate. His research interest includes pattern recognition.