基于集成SDAE和EEG的跨被试认知工作负荷识别

郑展鹏，尹 钟

(上海理工大学 光电信息与计算机工程学院，上海 200093)

现代计算机技术在各种先进指令和自动化系统中有着广泛应用，通常需要人类操作员协作智能机器体共同完成若干安全关键任务。在人机系统中，由于人类认知能力有限，操作员认知工作负荷(Cognitive Workload，CW)的过载会增加事故发生的概率。关于CW的一种定义可表述为[1]：“完成脑力任务需求，所占用操作员的工作记忆容量或资源的比率”。人类有限的工作记忆容量的下降与高CW水平密切相关。尤其在一些安全性要求极高的决策环境中，例如载人航天[2]、医疗和紧急应用[3]、核电站[4]等领域，对CW水平的一种精确评估为实时优化操作员功能状态奠定了基础，进而减少由人类因素造成的事故。

监测CW的方法主要包括自我评估、辅助任务性能和神经生理信号。早期的主观评价方法为NASA-TLX(NASA Task Load Index，NASA-TLX)指标[5]。短期无法得到可信赖的评分，但辅助任务的实施又额外增加了操作员的负担。备受欢迎的神经生理测量主要包括脑电图(Electro Encephalo Gram，EEG)、心电图(Electro Cardio Gram，ECG)[6]等。由于CW变化与大脑皮质活动紧密相连，且EEG具有非平稳性、无侵入性、高分辨性等优点，因此EEG被广泛应用[7]。有研究工作表明，基于单个被试的脑电数据分类可取得较高分类精度[8]。基于不同被试的脑电数据，分类器的性能受到损失[9]，这主要是由于不同被试脑电数据的分布和特征空间不同所导致的。

本文目的是提出一种有效的跨被试、多分类模型，能够适用于多个个体的脑电数据分布。为了从一组个体中提取个性化脑电特征，堆叠多个自动编码器(Auto Encoder，AE)构成一个堆叠去噪自动编码器(Stacked Denoising Auto Encoder，SDAE)。基学习器SDAE的权重通过局部信息保留(Locality Preservation Projection，LPP)层计算。引入Q-statistics评估所有基学习器的多样性，寻找新的特征子集。利用超限学习机(Extreme Learning Machine，ELM)融合基学习器的脑电抽象。最后，通过与传统算法的比较来证明所提出模型的优势。

1 材料和方法

1.1 脑电数据库描述

本研究采用两组不同的认知任务脑电数据库用来验证提出的CW模型的有效性[10-11]，记为Task 1和Task 2，分别由8位(标签为A～H)和6位(标签为I～N)健康被试执行。对于每一个任务，每一位被试均参与两次相同阶段的实验。实验需求设置基于自动化增强型密封舱空气管理系统(Automation-enhanced Cabin Air Management System，AutoCAMS)[12]，要求被试手动控制安全关键过程控制条件，旨在维持4个子系统的空气质量(如温度、压强、湿度和二氧化碳浓度)。通过编程失效子系统和执行器灵敏度的数量导致任务需求产生变化，同时记录每位被试的脑电信号。其中，低负荷(LCW)、中负荷(MCW)和高负荷(HCW)被用来表示3种认知工作负荷状态。

1.2 数据预处理和特征提取

根据国际10-20系统，选择其中11个通道做进一步分析，即F3、F4、Fz、C3、C4、Cz、P3、P4、Pz、O1和O2。以500 Hz采样，通过一个4阶巴特沃斯滤波器和独立变量分析预处理采集脑电信号，其目的是消除肌肉和眼电噪声。脑电信号被分成2 s无重叠片段。最终，Task 1和Task 2分别获得2 700和1 450个脑电片段。对于一个通道的一个片段，theta、alpha、beta和gamma频带的功率频谱密度，过零点率(Zero-crossing Rate，ZCR)、香农熵(Shannon Entropy，SE)、峰度(Kurtosis)、偏斜度(Skewness)、峰值(Peak)、标准偏差(Standard Deviation，SD)、均方根(Root of Mean Square，RMS)、波形因子(Shape Factor，SF)、波峰因子(Crest Factor，CF)和脉冲指数(Plus Index，PI)等特征基于快速傅里叶变换计算得到。同样，文中也计算了左右大脑皮层的频谱密度功率差。对于每一个脑电片段，总共11×14+16=170个脑电特征被提取。单通道Spearman正负相关系数如图1所示。

图1 特征时间历程和目标负荷水平间Spearman相关系数

1.3 集成SDAE模型

基学习器SDAE，其输入层和第一隐层间的权重由LPP映射层计算得到。给出N1个D维脑电样例，将其映射到低维特征表示，如式(1)所示。S用来评估两个样例间的相似性(S=1，相似；S=0，不相似)。转换矩阵由最小化目标函数计算得到

zi=ATxi

(1)

(2)

在下列方程中，D是S的对角矩阵，A为对应的特征向量

L=D-S

(3)

XLXTA=λXDXTA

(4)

SDAE的深度结构通过堆叠AE而构成。为了消除噪声抽象，添加去噪层，第H隐层高水平特征表示被计算为

(5)

(6)

被试的CW水平由监督层计算如下

(7)

其中，V和bv表示输出权重和偏置。SDAE的最优参数基于反向传播算法实现。

引入Q-statistics来评估基学习器的多样性。一对学习器Ei和Ej的Q值为

(8)

其中，Nij表示样例正确或错误分类的个数。对于n个SDAE，平均值为

(9)

得到新的特征子集Str，见式(10)和式(11)

(10)

UpdateStr={E(k)|n*k=1， 2≤n*≤n}

(11)

其中，基学习器的输出表示为E(k)。

训练ELM分类器，目的是最小化正则化误差。

(12)

其中，g表示激活函数；v表示输出权重；常量C用来平衡拟合误差。因此，最终的集成输出为

(13)

考虑到ELM的岭回归问题，将向量I/C添加到ggT的对角线上，E-SDAE的一般框架如图2所示。

图2 E-SDAE框架

表1 任务1中SAE、ELM和E-SDAE的阶段平均测试分类性能

表2 任务2中SAE，ELM和E-SDAE的阶段平均测试分类性能

表3 模型的平均测试精度

2 结果与分析

对于Task 1，2 700×8×2=43 200个样例来自8位被试，带有相同个数的负荷水平。对于Task 2，一位被试包含580、435和435个样例，分别表示3种负荷水平，总共1 450×6×2=17 400个样例。注意到训练集和测试集的划分基于留一被试范式，即一位被试的数据用于测试，剩余被试的数据用于训练。需要注意的是，基学习器的最优超参数分阶段性计算。对于图3(a)和图3(b)，Task 1最优参数为10和85个隐元；Task 2为15和5个隐元。对于图3(c)和图3(d)，两个任务最优隐元个数分别为390和6。最小二乘支持向量机(Least Square Support Vector Machine，LSSVM)，正则化参数分别设置为2-8和2-12。k近邻(k-Nearest Neighbor，KNN)分类器的k值分别设置为39和50。人工神经网络(Artificial Neural Networks，ANN)的隐节点分别为120和430。对于SAE，Task 1两层隐元个数分别为35和85，Task 2分别为95和40。总之，以上模型的最优参数基于交叉验证和网格搜索法得到。

两个任务计算得到的精度(Accuracy)，灵敏度(Sensitivity)，特异度(Specificity)，查准率(Precision)，阴性预测值(Negative Predicting Value，NPV)如表1和2所示。这里，LCW看作正类，MCW和HCW看作负类。根据14位被试结果，E-SDAE优于SAE和ELM。从表3看出，E-SDAE和其他7个算法的性能度量表明E-SDAE实现最大的精度。根据t检验，发现E-SDAE显著优于其他模型(p<0.05)。

E-SDAE的主要计算代价是训练复杂结构特征，如表4所示，其中hm、n、c和l分别表示激活函数、批量大小、单样本梯度和迭代次数(本实验中，n=25)。E-SDAE的复杂度高于其他算法，是因为其他算法简单的模型架构仅与对应隐元相关。另外，也记录了相关文献关于CW分类问题的研究(表5)，从定性的角度分析，因为不同被试的脑电分布，E-SDAE在实现多类、跨被试分类任务时存在挑战。对于睡眠[13]、阅读[14]、驾驶[15]、Stroop任务[16]，对应分类器都表现出良好分类性能。同样是跨被试CW识别任务，相比于转换深度信念网络模型[17]，E-SDAE表现出了良好的泛化能力。

图3 被试平均分类结果基于基学习器

表4 传统算法的计算复杂度

表5 已有文献中认知工作负荷识别结果对比

3 结束语

本文提出一种跨被试认知工作负荷评估器E-SDAE，利用SDAE过滤脑电特征，旨在发现脑电时间历程的动态特性。经Q-statistics处理后，得到新的特征子集，输入给ELM来提高模型整体泛化性。E-SDAE的分类性能在两个数据库均已表现，在两个任务上分别获得三分类的精度0.635 3和0.674 7。双侧t检验表明与带有最佳参数的传统分类器相比，该模型性能显著性提高(p<0.05)。对于高维脑电特征，E-SDAE的运行时间和计算复杂度是可以接受的。不足的一面是脑电样例少，结果表明该算法不能有效辨别负荷水平，需要增加被试个数来验证所提出的模型；另一面是选择的特征提供了不完美的精度，表明高维脑电特征对独立被试分类问题的敏感。今后将进一步将深度学习和集成学习结合进行研究，以便更好地解决跨被试认知工作负荷分类问题。