基于图卷积神经网络的脑力负荷识别

张效艇， 陈兰岚， 陈长德

（华东理工大学能源化工过程智能制造教育部重点实验室, 上海 200237）

脑力负荷是指任务期间的大脑资源利用率，反映了人在工作中的精神状态[1]。在复杂环境中，自动化人机系统能根据脑力负荷等级动态分配工作任务，避免操作人员的工作量趋于极端。过高的脑力负荷会引起疲劳过程加快、失误概率提高等一系列问题；过低的脑力负荷会降低操作人员的注意力集中程度，使工作任务得不到充分执行而导致整体绩效下滑。脑力负荷等级的实时监控能帮助系统调整操作人员的工作状态，保证整体的安全性和可靠性，适用于远程手术[2]、驾驶监测[3]、设备维护[4]等一系列复杂的人机交互系统。

主观量表法、任务绩效法和生理信号法是研究脑力负荷的三种主要方法。主观量表法会在任务完成后以问卷形式开展，由操作人员对自己的表现进行主观评估。主观量表法虽然操作简单，但容易受到主观认知的干扰，评估环节又与操作过程存在时间差，难以准确反映任务期间的脑力负荷。任务绩效法则根据操作人员的任务绩效来评估其脑力负荷等级，但操作熟练度和任务设计方案会影响其评估结果。生理信号法会同步记录任务期间操作人员的生理信号和表现。近年来，随着可穿戴式数据采集设备和无线传输技术的进步，研究人员对生理信号的采集、处理和分析等环节进行了深入的研究，常用的相关生理信号有脑电（EEG）、近红外光谱（NIRS）、心电、肌电和呼吸等[5]。

脑力负荷是人类大脑神经活动的对外表现。在众多能反映脑力负荷的生理信号中，有研究表明近红外光谱对脑力负荷的变化较为敏感[6]。由近红外光源和传感器组成的便携式设备会采集神经元活动期间大脑皮质下的血液动力学反应，将记录下的含氧血红蛋白浓度和脱氧血红蛋白浓度定义为近红外光谱。与脑电信号相比，近红外光谱对电噪声更不敏感，具有更好的运动伪影耐受性。近红外光谱的空间分辨率要高于脑电[7]，这意味着近红外光谱能更好地揭示局部脑区与脑力负荷之间的关系。

与传统的机器学习算法相比，近些年兴起的深度学习模型能对输入的原始信号进行多层特征变换，将其逐步映射到更具判别力的新特征空间，从而使预测结果更加准确。卷积神经网络[9](Convolutional Neural Network, CNN)因其出色的时间和空间信息分析能力，在脑科学领域中具有非常重要的应用。Lee等[10]先采用独立成分分析去除脑电中的眼电伪迹，再利用CNN 提取抽象特征并最终预测飞行员的脑力负荷，其四分精度可以达到75%。近几年，也有研究人员采用CNN 来分析近红外光谱。Kwak 等[11]根据通道分布将心算任务期间的近红外光谱数据映射为稀疏矩阵，在3D-CNN 模型上取得了91.96%的平均精度。CNN 的核心是具有平移不变性的卷积操作，能在欧式空间内对特征图的滑动区域进行加权求和，从中提取到丰富的隐藏信息。基于CNN 的生理信号研究一般采用多通道原始信号的时间片段或其特征作为样本，并没有充分考虑电极之间的拓扑关系。非欧空间的图数据则是由多个节点及其边权重组成[12]，以节点特征的形式保留通道内的时域信息，以边权重的形式保留通道间的耦合关系。图卷积神经网络(Graph Convolutional Network, GCN)是一种将CNN 和图谱理论结合，支持在非欧空间对图数据进行编码和预测的深度学习算法[13]，能弥补CNN 在卷积运算时忽略通道间内在联系的缺点。高越等[14]采用时空注意力机制从脑电中提取与情绪密切相关的抽象特征，重组为图数据后由GCN 来预测情绪，在脑电公开数据集SJTU Emotion EEG Dataset(SEED)上取得了85.65% 的平均精度。Yao 等[15]根据多种脑区划分方案将大脑的功能性核磁共振成像转换成不同的图数据并分别送入GCN 中进行深度学习，在抽象特征加权融合后预测大脑疾病的类型，其三分类的平均精度为81.20%。Wang 等[16]以脑电的微分熵特征和通道间皮尔森相关系数构造图数据，在GCN 训练后其抑郁症的二分类识别精度为70.53%。然而，节点间边权重的计算并没有固定的方案，需要研究人员根据信号特点和分类效果慎重选择。在计算边权重时，Wang 等[17]采用了锁相值（ Phase Locking Value，PLV ） 和 互 信 息（Mutual Information，MI），而Behrouzi 等[18]采用了锁相值和协方差。

本文提出了一种基于GCN 的脑力负荷识别方法，主要内容为：

(1)针对近红外光谱手工特征的提取缺乏有效先验知识的问题，采用GCN 搭建一个端对端的深度学习模型，直接从原始近红外光谱中提取有判别力的抽象特征，并预测其脑力负荷等级。

(2)针对GCN 中边权重计算方案的不确定性问题，对比多种连通性矩阵，从中找到对于脑力负荷识别效果提升最有效的方案。

(3)为了找到与认知活动紧密相关的局部脑区，对连通性矩阵进行可视化分析，挖掘了3 种脑力负荷等级下不同脑区的大脑活动规律。

1 方法与模型

本文所提基于GCN 的脑力负荷识别框架如图1所示，主要分为两个部分：基于近红外光谱的图数据构建和GCN 的训练及测试。

图1 基于GCN 的脑力负荷识别框架Fig.1 Recognition framework of mental workload based on GCN

首先将连续采集的近红外光谱信号切分成若干样本，再计算通道间的相关性系数构成连通性矩阵；接着以原始信号为节点特征向量，从连通性矩阵中抽取对应节点间相关性系数为边权重，将数据样本处理为图结构输入至GCN 来预测低、中、高3 种脑力负荷等级。

作为整个研究的起点，问题提出关系到研究是否有意义和价值，是否具有可操作性，因此，问题提出是研究的关键.

1.1 连通性矩阵

连通性矩阵主要用来描述脑网络中各个节点之间的连接关系，不依赖时间，是一种各节点相互之间的信息模式，是无向网络。本文采用一个由两两通道的相关性系数构成的对角阵作为连通性矩阵，其中，相关性系数表示对应通道间信号样本的相似性程度。在针对认知任务的研究中，连通性矩阵可以用来描述在不同脑力负荷等级下通道间内在联系的差异。以往研究中采用过各种不同的计算方案来衡量信号间的相似性程度[15]，本文考虑了MI、PLV 和皮尔森相关系数(Pearson Correlation Coefficient, PCC)这3 种计算方案。设两个不同通道的信号片段分别为x和y。

互信息作为向量间的依赖性度量方法，其数值能反映两个向量的相关性程度[19]。两个信号片段间的互信息如式（1）所示：

其中：H(x) 和H(y) 分别是x和y的信息熵，H(x,y)是x与y之间的联合熵。当 M I=0 时，两个通道间信号相互独立，说明通道对应的局部脑区在此期间的神经元活动具有明显差异。若MI 很大，则两个通道间信号相互依赖，说明通道对应的局部脑区在此期间的神经元活动具有相近的规律。

其中： σx和 σy分别是x和y的平均 值， co v(x,y) 表示x与y之间的协方差。

1.2 GCN

图卷积操作可以分为两大类：谱图卷积和空间域图卷积，本文采用的是谱图卷积。谱图卷积将卷积核和图数据都进行傅里叶变换转换到频域后再相乘，其计算公式如下：

其中：gθ为卷积核， å 是图卷积运算符，UTx是对图数据上某节点的输入信号x做傅里叶变换后的频域信号，Ugθ是映射到频域的卷积核。U是由正则化后的拉普拉斯矩阵L的特征向量组成，其计算满足公式（5）：

其中：IN、A和D的大小均为 RN×N，N为通道数目；IN为单位阵；A是由边权重组成的邻接矩阵；D是一个对角阵，仅对角线上有非零元素，其数值为A中对应列的和； Λ 则是由L的特征值组成的对角阵。

为提高计算速度，模型采用切比雪夫多项式来近似原有的卷积核，其计算公式如下：

其中： θk是卷积核中待学习的参数；K为切比雪夫多项式的阶数；L˜=2L/λmax-IN， λmax表示L的最大特征值。经过缩放和正则化后的拉普拉斯矩阵L˜ 能缓解深度学习中常见的梯度消失和梯度爆炸问题。切比雪夫多项式难以表示为通项公式，可用递推公式Tk(L˜)=2L˜Tk-1(L˜)-Tk-2(L˜) 代 替，k∈[3,K] 。当k=1时；T1(L˜)=1 。当k=2 时，T2(L˜)=L˜ 。

在切比雪夫卷积核的基础上，为了从单节点的一维向量x推广至多节点的二维矩阵X，取 λmax=2 ，对谱图卷积操作进一步简化，其计算公式如下：

本文搭建的GCN 模型如图2 所示。该模型由两个图卷积层和一个全连接层组成。在每次谱图卷积后配有一个Relu 激活函数，增强模型非线性能力的同时，能有效缓解模型过拟合问题。采用Flatten 层将两次图卷积后的多节点特征矩阵转换成一维向量，再利用一个全连接层将抽象特征映射到样本的标记空间。最后，通过Softmax 激活函数得到该样本属于每个标签的概率，并采用交叉熵损失函数作为反向传播时更新参数的准则。

图2 GCN 结构Fig.2 Structure of GCN

在参考同类研究的基础上，本文对超参数K在不同取值下的模型分别进行训练和测试，在充分考虑计算成本和测试效果后，取K值为2。GCN 的结构及其相关参数如表1 所示。其中Fin和Fout分别为神经网络层中输入张量和输出张量的维度。

表1 GCN 的具体配置Table 1 Specific configuration of GCN

2 实验结果分析

2.1 实验数据

本文选用的实验数据来自柏林理工学院的认知任务数据集SACT[22]。图3 示出了一个被试的实验过程。每个被试会参与3 个系列合计27 次n-Back任务。每个系列由一串特定序列的n-Back(n=0，2，3)任 务 组 成(如：3→ 2→ 0→ 2→ 0→ 3→ 0→ 3→2)。每次n-Back 任务由20 个实验组成，每个实验对应1 个待处理的数字。1 次n-Back 任务包括2 s 的难度等级显示、40 s 的活动时间和20 s 的休息时间。此外，在休息时间开始时，“Stop”一词会在显示器上显示1 s。在活动时间的每2 s 中，显示器会花费0.5 s展示一个随机的个位数，然后被试有1.5 s 的时间来记住数字并做出判断。在1 次n-Back 任务中，如果显示器上展示的数字与前n个数字匹配，则被试按下“target”键，否则按“non-target”键，且target 事件的发生概率为30%。0-Back 任务中，被试提前知道目标数字，只需将显示器上展示的数字与记忆中数字匹配即可。当n越大时，被试记忆的数字越多，在大脑中需要维护的数字队列也就越长，对应的脑力负荷等级也就越高。

图3 数据集实验流程Fig.3 Experiment flow of data set

该数据集记录了实验过程中的脑电和近红外光谱，本文只采用了其中的近红外光谱。26 名健康的17～33 岁的右利手被试参与了该实验。NIRScout会采集被试在实验期间的近红外光谱数据。数据的原始采样率为10.4 Hz，为了方便分析，数据被降采样至10 Hz。该设备一共记录了36 个通道的近红外光谱，其通道分布如图4 所示。其具体分布为：额叶区16 个(AF5h 和AF6h 附 近)，运 动 区8 个(C3h 和C4h 附近)，顶叶区8 个(P3h 和P4h 附近)，枕叶区4 个(POOz 附近)。

图4 近红外光谱的通道分布Fig.4 Channel distribution of near infrared spectroscopy

每个被试完成了540 个实验，每个实验持续2 s。将每个实验视为一个样本，样本大小为36×20，其中36 表示通道数，20 表示采样点数。本文取其中432 个(80%)样本构成训练集，54 个(10%)样本构成验证集，54 个(10%)样本构成测试集，并采用十折交叉验证以获得稳定可靠的模型。

2.2 GCN 的学习效果分析

为了验证GCN 在预测脑力负荷等级时的准确性和优越性，本文对比了26 个被试在SVM、CNN、Hybrid-Model 和Identity-GCN 上的测试集分类精度。本文计算了时域的均值、峰峰值、标准差和频域的功率谱密度，共计4 个手工特征作为浅层学习模型SVM 的输入。相比SVM，CNN 模型具备自适应的抽象特征提取能力，其输入则是由多通道近红外光谱组成的样本，其结构与GCN 相近(2 个卷积层+1 个 全 连 接 层)。Hybrid-Model 是 一 个 介于GCN 和CNN 之间的混合模型(1 个图卷积层+1 个卷积层+1 层全连接层)。Identity-GCN 是采用单位阵构造边权重的GCN。单位阵指图数据的任意边权重均为零，这意味着模型会忽略边权重而只利用通道的原始信号来提取抽象特征。

采用网格化搜索为SVM 确定超参数，核函数的搜索范围为{rbf,linear,sigmoid}，惩罚系数C的搜索范围为{10-4,10-3,…, 103,104}，最终取核函数为rbf，惩罚系数C为1。针对深度学习模型，本文在反复尝试后采用Adam 优化器，取学习率(Learning Rate)为0.001，批训练大小(Batch Size)为18，训练总轮数(Epoch)为100，从而有效控制模型参数的更新速率。3 种深度学习模型的训练损失函数曲线相近，其中GCN 的曲线如图5 所示。

图5 GCN 的训练损失函数曲线Fig.5 Training loss function curve of GCN

4 种机器学习模型的平均分类精度分别为80.70%(SVM)、83.90%(CNN)、85.76%(Hybrid-Model)、86.89%(Identity-GCN)。26 个被试在这4 种模型上的分类精度如图6 所示。从图中可以看出，在绝大多数被试上，深度学习模型的分类精度均高于浅层学习模型。这说明深度学习模型都能回避浅层学习所需的特征加工、选择和降维等一系列问题，从原始信号中提取出更有价值的抽象特征，并最终表达出优于浅层学习的脑力负荷识别能力。深度学习模型之间的消融实验结果则说明图卷积层能挖掘出更具判别力的抽象特征，随着图卷积模块的增加，模型的识别性能逐步提升。

图6 不同机器学习模型的对比Fig.6 Comparison of different machine learning models

2.3 连通性方案的筛选

为了找到对GCN 的分类性能提升最显著的连通性方案，本文在相同条件下评估了3 种连通性矩阵：PCC、PLV 和MI。以互信息为例，MI-GCN 是指以互信息作为边权重的GCN，图数据上任意一对节点的边权重是由对应的两个近红外光谱片段计算得到的互信息值。同时，为了充分证明连通性矩阵能有效提高GCN 的分类性能，在单位阵之外增设了随机矩阵这一特殊情况。随机矩阵指图数据的任意边权重都是0～1 范围内的一个随机数，这意味着模型会根据随机的边权重来加工抽象特征。26 个被试在这5 种模型(3 种连通性和2 种对照方案) 上的测试集精度如图7 所示。

图7 不同连通性方案的对比Fig.7 Comparison of different connectivity schemes

5 种模型的平均分类精度分别为94.94%(MIGCN)、91.17%(PCC-GCN)、89.17%(PLV-GCN)、86.89%(Identity-GCN)、83.26%(Random-GCN)。单因素方差分析显示5 种模型的平均分类精度差异显著(p<0.05)。采用随机边权重的Random-GCN 的平均分类精度最低，只有83.26%。3 种合理的连通性矩阵方案的平均分类精度均高于单位阵方案。其中，采用互信息作为边权重的GCN 取得了最高的三分类精度。合适的边权重对于GCN 的训练是十分重要的，能使数据集在非欧空间内表现出更好的分布，有效缓解过拟合问题。

2.4 连通性矩阵的可视化分析

为了找到对于脑力负荷识别重要的脑区，本文选择对GCN 精度提升最大的互信息矩阵进行了可视化。26 个被试在不同任务难度下的平均互信息矩阵如图8 所示。从图中可以看出，额叶区即1～16 通道间的互信息明显高于其他通道(p<0.05)(额叶区互信息分别与其他脑区做t检验)，且额叶区在不同脑力负荷等级下的互信息变化较其他脑区更加显著(p<0.05)(额叶区互信息的变化量分别与其他脑区做t检验)。这表明，位于大脑前端的额叶区在复杂认知活动中参与程度更高，是对脑力负荷等级变化较敏感的脑区。在研究脑力负荷的同类论文中，可以找到相近的结论[23-25]。

图8 基于互信息的平均连通性矩阵Fig.8 Average connectivity matrix based on mutual information

2.5 同类研究对比

本文结果与采用相同数据集的同类研究结果进行了对比，如表2 所示。文献[26]采用脑电信号，在传统的时域特征的基础上，混入了新的熵域特征，利用SVM将分类精度从69.00%提高到了87.61%。文献[22]先利用六阶零相位巴特沃斯滤波器处理近红外光谱，再采用收缩线性判别分析(shrinkage Linear Discriminant Analysis, sLDA)搭建2 个二分类模型，其中基于0-Back 和2-Back 数据的分类精度为76.90%，而基于0-Back 和3-Back 数据的分类精度为76.00%。文献[27] 只考虑了前10 个被试的近红外光谱，基于CNN 的三分类精度为83.42%，相比SVM 提高了12.78%。文献[28] 先用栈式自编码器降低特征维度，再用卷积自编码器筛选优势特征，最后送入SVM 预测脑力负荷等级，其三分类平均精度可以达到93.26%。文献[29]在3 种脑力负荷等级基础上，将休息状态的信号也纳入到数据集中，合计4 种类别，将脑电的30 个通道和近红外光谱的36 个通道的数据拼接后作为CNN的输入，使得四分类精度达到了89.00%。文献[30]从脑电各个子带中提取了12 个统计学和熵域特征，从近红外光谱中提取了8 个统计学特征，再组成混合特征向量，最后采用基于5 折交叉验证的SVM 作为分类器，其二分类精度为94.23%(0-Back 和2-Back) 和96.15%(2-Back 和3-Back)。与采用单一模态的同类研究相比，本文提出的算法在三分类识别任务中取得了目前最好的结果。

表2 同类研究结果对比表Table 2 Results comparison of similar studies

3 结束语

本文选用近红外光谱，构建了一个基于GCN 的脑力负荷识别模型。该算法将多通道近红外光谱和通道间相关性系数融合成图数据，并用GCN 充分挖掘近红外光谱的时间和空间信息，克服了传统CNN 难以考虑通道间耦合关系的缺点，最后三分类精度可以达到94.94%；通过对连通性矩阵的可视化分析，判断额叶区与认知活动联系密切，是对脑力负荷等级变化敏感的脑区。在未来的研究中，可以参考同类研究思路，构造脑电与近红外光谱的混合信息结构作为深度学习模型的输入，进一步提高识别精度。目前研究还局限于单被试，将来可以结合多源域选择、层次聚类等方法为目标域找到数据分布相近的被试群体后，再进行迁移学习以提高跨被试的识别精度。