基于EEG 信号特征的脑力疲劳快速检测方法
2023-02-09张朋周前祥于洪强王川
张朋,周前祥,于洪强,王川
(1. 北京航空航天大学 生物与医学工程学院,北京 100191; 2. 航天员科研训练中心,北京 100194;3. 中国人民解放军海军特色医学中心,上海 200433)
人长时从事高强度认知活动或睡眠不足容易产生脑力疲劳,特别是在密闭环境中,如空间在轨飞行阶段。脑力疲劳会降低作业绩效,严重时甚至引发安全事故[1-2]。早在20 世纪90 年代,美国宇航局便开展了飞行员的脑疲劳相关研究[3-6]。约半数人在慢性脑疲劳状态中的认知和绩效能力明显降低,不能正常工作[7],依据脑力疲劳程度能有效预测出操控者犯错误的可能性[8]。脑力疲劳在主观上的表现为精神不振、机动性能差和警觉度下降等[9];在行为上的主要表现为认知能力和任务绩效降低[10-11];在生理上的主要表现为大脑功能活动的改变[12-13]。
人脑有约1 000 亿的神经元细胞,其1%~5%分布于大脑皮层[14]。神经递质是2 个元细胞之间传输信息的媒介,其本质是具有微弱电荷的化学物质[15]。人在进行认知、思考和记忆等思维活动时,大脑皮层的神经元细胞被激活,从而产生神经冲动。大量神经递质的定向移动对外所形成实时变化的电位差,通过头皮电位传感器记录的这种电位差,即为脑电波 (electroencephalogram, EEG)。脑节律波通常有4 个频段,分别为δ(0.5~4 Hz)、θ(4~8 Hz)、α(8~14 Hz)和β(14~30 Hz)。研究表明:δ波是大脑进入意识昏迷或深度睡眠状态的标志物,人在清醒状态下无法检测到δ波;θ波在人脑力疲劳、情绪压抑或受药物抑制时出现;α波属于快节律波,在人受到外界刺激时会瞬间消失;β波是最快的基本节律波、人在兴奋状态时会出现β波,其可表征脑的清醒程度[16-18]。
EEG 是一种人体客观生理信号,可定量评估大脑的疲劳程度。Trejo 等[19]使用30 个导联,验证了脑电波特征与脑疲劳状态间存在收敛性。在此基础上,Jap 等[20]通过快速傅里叶变换深入分析了4 个脑电特征,发现脑严重疲劳时α波的含量相对增加,而β波的含量相对减少,(θ+α)/β的含量明显增加。Kar 等[21]重点研究了左额级点Fp1,右颞极点Fp2,左额点F3,右额点F4,额中线点FZ,中央中线点CZ,左枕点O1和右枕点O2导联的EEG 信号,应用5 种熵特征评估了脑力疲劳的程度。他们的结果为采用EEG 信号分析脑力疲劳提供了理论依据,但未构建出有效的检测模型。
Liu 等[22]应用隐马尔可夫和主成分分析算法训练的分类模型,虽然能降低特征维度以提高检测速度,但构建此模型所用的导联数目多,且仅能区分一种脑力疲劳状态。Zhang 等[23]使用滑窗技术提取出枕区导联的小波熵、样本熵和峰值等特征,有效识别出正常状态、轻度疲劳、情绪波动和过度疲劳4 种状态。这种方法虽然能缩减脑电导联的使用数量,但附加有肌电和眼电信号的特征,增大了实际应用难度。
本文获得中国载人航天医学领域第一批经费资助,其主要目的是提出一种适合在空间站开展的航天员脑力疲劳检测方案。由于在轨实验的耗材有限,且航天员的时间宝贵,因此,本文在深入分析大脑皮层EEG 信号的基础上,揭示出更多的脑力疲劳敏感特征,然后依据敏感特征的数量进一步筛选出敏感导联。通过筛选敏感导联,减少脑力疲劳检测方案实际应用时所需的导联数量,在保证检测准确性的同时缩短实验准备时间、降低后续数据分析量和时间成本,提高在轨空间站航天员脑力疲劳检测实验的可行性。
1 实验与方法
1.1 睡眠剥夺实验
目前,主流的脑力疲劳诱发方式有睡眠剥夺和持续认知任务2 种形式,本文采用36 h 睡眠剥夺来诱发受试者的脑力疲劳。受试者均为北京航空航天大学在校学生,年龄在22~28 岁之间,共45 人。他们身体健康,均为右利手,矫正视力1.0 以上。无精神方面相关病史,实验过程中状态正常、情绪稳定。无颅脑外伤史,1 个月内没有服用各种镇静剂、兴奋剂等影响脑功能的药物。
实验方案经伦理委员会批准,受试者均签署了知情同意书。45 名受试者分多次入组,每次有2~3 名参加。他们于实验当天早8:00 到达实验室,次日晚20:00 离开,回宿舍休息12 h 和24 h 后再分别采集1 次数据。整个实验期间受试者可自由进行阅读、上网等非剧烈活动,不能远距离外出,饮食、水果等由实验室统一提供。实验环境中无床或躺椅,仅配备有书桌、座椅和电脑等常用办公用具,全过程由6 名研究人员轮流监视。
受试者每4 h 需填写一次主观疲劳自评问卷,其设计主要依据日本卫生学会产业疲劳研究会编制的作业疲劳症状自评量表[24](newly developed questionnaire for work related fatigue feelings, WRFFQ),包括困倦感、情绪不安感、注意力状态、思维状态和视觉疲劳感5 个问题。采用10 分制的评价标准,即0 分代表完全没有困倦感、情绪不安感、视觉疲劳感或注意力非常集中、思维非常清晰;10 分代表非常严重的困倦感、情绪不安感、视觉疲劳感或注意力非常涣散、思维非常混乱。受试者关于5 个问题的自评分被加权平均后,形成最终的脑力疲劳主观评分,各分段及相应等级如表1 所示。
表1 脑力疲劳主观评分及等级划分Table 1 Subjective score and grade division of mental fatigue
1.2 脑电信号的预处理
在睡眠剥夺期间使用德国32 导联Brain Productsbp 脑电设备,受试者每隔4 h 被采集一次时长约6 min 的静息态EEG 信号,场景如图1 所示。前、后30 s 左右的EEG 容易受到活动干扰,因此,截取中间5 min 的平稳信号用于研究。首先,静息态EEG 信号经过0.1~40 Hz 的带通滤波器。其次,以1 s 为间隔将滤波后5 min 的EEG 信号切分成片段,用左耳TP9 及右耳乳突TP10 作参考电极,人工剔除尖刺数据片段和异常导联信号。最后,检查脑电数据是否有较大的基线漂移,剔除基线漂移和伪迹较大的数据片段。采集过程中可能存在参考电极脱落或环境噪声干扰等现象,这会严重影响信号质量,形成难以通过滤波等方式修正的异常数据,在本实验中共计剔除了8 个无效的5 min 脑电数据。
图1 脑电信号采集场景Fig. 1 EEG acquisition scene
1.3 小波变换提取脑节律波
实验选用的脑电采样频率为1 000 Hz,根据脑电节律的频率分段标准,设计了8 层db4 小波变换结构,以提取δ、θ、α和β波,其中X[m]为原始信号,g[m]和h[m]分别为小波分解后的低频段和高频段信号,A 和D 分别为同一层小波结构的低频成分和高频成分,如图2 所示。δ波在A8 段、θ波在D8 段、α波在D7 段、β波在D6 段。某段脑电信号的4 个节律波及其频率范围如图3所示。小波包分解可以准确提取脑电信号中的不同节律波,其具有一般频谱分析所不具备的时间和频率同步定位功能,对非平稳性脑电信号有很强的还原能力。
图2 小波变换结构Fig. 2 Wavelet transform structure
图3 小波变换提取的脑节律波Fig. 3 Brain rhythm wave extracted by wavelet transform
1.4 各导联脑电特征的计算
采集EEG 时不可避免地会存在人体活动或外界环境干扰,为提高特征指标的鲁棒性,本文在片段水平上处理脑电信号。5 min 的静息态脑电信号以1 s 为单位被平均分成300 段,在每段中分别计算脑电特征值。计算获得的300 个特征值经3 倍标准差法剔除异常值后,再求平均形成最终的脑电特征。经统计,此过程被删除的数值约占总体的0~5%,不影响数据质量。
在每个导联的脑电信号中分别计算最小值、最大值、自回归系数、平均值、方差、标准差、算数平均值、Renyi 熵、对数能量熵、Shannon 熵、Tsallis熵、时变对数方根、Teager 平均能量、平均能量、平均曲线长度、归一化二阶差、二阶差、归一化第一差、一阶差、峰度、偏度、Hjorth 复杂性、Hjorth 移动性、Hjorth 活动性、(δ+θ+α+β)总能量、δ波绝对能量、θ波绝对能量、α波绝对能量、β波绝对能量、δ/(δ+θ+α+β)相对能量、θ/(δ+θ+α+β)相对能量、α/(δ+θ+α+β)相对能量、β/(δ+θ+α+β)相对能量、(θ+α)/β相对能量、α/β相对能量、(θ+α)/(β+α)相对能量和θ/β相对能量共计37 个脑电特征。
1.5 脑力疲劳快速检测模型的构建
为提高检测速度,本文希望筛选出脑力疲劳敏感导联,使用各敏感导联处的脑电特征构建随机森林回归模型。随机森林算法具有突出优点:能够处理高维度特征,无需做特征选择,能在众多数据集中表现出很强的鲁棒性;随机森林模型建立时无剪枝过程,与决策树相比不易产生过拟合;随机森林模型建立时对广义误差使用无偏估计,有较强的泛化能力;通过平均降低的准确率或平均降低的基尼系数自动评价特征的重要性等。因此,本文选用随机森林算法构建回归模型。
另外,为提高检测准确性,本文将在各敏感导联处构建的回归模型进行融合,以形成最终的脑力疲劳快速检测模型。最直接的融合方法是同时用多个导联的脑电特征构建回归模型,即特征融合,但这种特征融合所构建的向量空间维度高,导致回归模型易出现过拟合现象。为增强融合模型的泛化能力,本文采用各子模型输出值加权平均的方式将其融合,即模型融合。具体步骤如下:
步骤 1 使用各导联的37 个脑电特征,分别训练出N个敏感导联的随机森林回归模型,得到N组回归值{pn(i)|n∈1,2,…,N;i=1,2,…,L},其中L为训练样本数。
步骤 2 计算训练集N组回归值的受试者工作特性(receiver operating characteristic, ROC)曲线下的面积(area under curve,AUC),记为{AUCn|n∈1,2,…,N}。
步骤 3 以AUCn为系数,加权平均测试样本的回归值,测试样本的回归值记为p,加权后的回归值记为p。
2 结 果
2.1 脑力疲劳状态的诱发
整个实验过程中共计采集到45 名受试者的有效数据412 次,依据主观评分将他们划分为不同脑力疲劳等级,包括无疲劳感98 例,轻微疲劳107 例,中度疲劳81 例,较重疲劳67 例,严重疲劳59 例。受试者的脑力疲劳主观评分一致性良好,如图4 所示。由统计结果可以发现,36 h 睡眠剥夺可以成功诱发出受试者的4 种脑力疲劳状态。睡眠剥夺期间的前8 h 受试者基本无疲劳感,只有少数受试者感到轻微疲劳。睡眠剥夺20 h 后大部分受试者仍处于轻微脑力疲劳状态,睡眠剥夺12~20 h 内少数受试者在进入中度脑力疲劳状态。睡眠剥夺24 h后受试者的脑力疲劳开始由中度向较重状态过度。睡眠剥夺32 h 后受试者均处于较重脑力疲劳状态,睡眠剥夺32~36 h 内受试者开始进入严重脑力疲劳状态。受试者的主观评分可以表明,本次睡眠剥夺实验成功诱发了受试者的脑力疲劳,并且脑力疲劳随着睡眠剥夺时间的增长而逐渐加剧。另外,睡眠剥夺36 h 内受试者依次进入脑力无疲劳感、轻微疲劳、中度疲劳、较重疲劳和严重疲劳状态,说明36 h 睡眠剥夺能满足对多种脑力疲劳状态的研究需求。
图4 脑力疲劳状态统计结果Fig. 4 Statistical results of mental fatigue
2.2 脑力疲劳的敏感特征
在每个导联上分别提取了共计37 个特征,进行敏感特征数量统计为定量评价各导联与脑力疲劳之间的关联度,利用少数敏感导联中的脑电特征来检测脑力疲劳,以提高检测速度、降低方案实施难度。首先,对每个脑电特征进行Shapiro-Wilk(SW)检验,发现SW 检验的P值均大于0.05,所以不能拒绝0 假设,样本来自正态分布。因此,本文采用方差分析(analysis of variance, ANOVA)方法检验5 种脑力疲劳状态间的脑电特征差别,P值小于0.05 被认为具有显著的统计学差异。同时,用单个特征构建Logistic 回归器,通过AUC 评价其检测脑力疲劳的能力。将P<0.05 且AUC>0.5 的特征定义为敏感特征。表2 为每种特征所对应的最敏感导联及其统计值,图5 展示了前4 个敏感特征在各脑力疲劳状态间分布的具体差异。
图5 前4 个敏感特征的分布差异Fig. 5 Distribution differences of the first 4 sensitive features
表2 脑力疲劳的敏感特征统计Table 2 Statistics of sensitive characteristics of mental fatigue
2.3 脑力疲劳的敏感导联
为寻找脑力疲劳敏感导联,本文在2.2 节统计敏感特征的基础上,通过敏感特征数量评价了各导联与脑力疲劳的关联程度。如图6 所示,纵坐标为单特征Logistic 回归的AUC 值,横坐标为该特征ANOVA检验P值的对数。当P值为0.05 时,-lgP= 1.301 0。因此,某一脑电特征越靠近统计图的右上角区域,代表此特征与脑力疲劳的关联性越强,不仅具有显著的统计学意义,而且用他构建的脑力疲劳状态回归模型性能优越。
图6 脑力疲劳敏感导联的特征统计Fig. 6 Feature statistics of sensitive leads of mental fatigue
图6 中右上角点的数量,即为该导联处脑力疲劳敏感特征的数量。如1.4 节所述,每个导联处的脑电特征总量为37。经统计,FZ导联拥有16 个敏感特征,占特征总量的43.2%;O1导联拥有14 个敏感特征,占特征总量的37.8%;F4导联拥有14 个敏感特征,占特征总量的37.8%;O2导联拥有13 个敏感特征,占特征总量的35.1%;OZ导联拥有12 个敏感特征,占特征总量的32.4%;F3导联拥有9 个敏感特征,占特征总量的24.3%。从第7 个导联开始,敏感特征的比例低于20%。
2.4 脑力疲劳的快速检测模型
本文采用模型融合的方法,以提高对脑力疲劳检测的准确性。经统计筛选,32 个导联中有6 个导联20%以上的特征与脑力疲劳敏感,即枕叶O1、OZ、O2和额叶F3、FZ、F4导联被保留。使用各导联处37 个脑电特征分别构建1 个随机森林回归模型,通过1.5 节提出的方法将6 个导联的回归模型加权融合,形成最终的脑力疲劳检测模型。
为充分利用实验数据,同时避免模型出现过拟合现象,选用“留一交叉验证法”来建立脑力疲劳回归模型。即每次选取1 名受试者作为测试样本,其余受试者作为训练样本,依次循环直到所有样本均被测试1 次。首先,提取某个敏感导联的37 个脑电特征;然后,在每次留一过程中应用皮尔逊相关系数,删除线性相关性大于0.8 的冗余特征,对留一后的训练集进行十折交叉验证,通过参数遍历的方式寻找出随机森林的最佳参数。最后,6 个敏感导联处所构建的回归模型被加权融合,以形成最终的脑力疲劳检测模型。根据交叉验证过程中平均准确率的降低,各敏感导联处的前10 个重要特征的排序如表3 所示。
表3 脑力疲劳敏感导联的重要特征Table 3 Important characteristics of mental fatigue sensitive leads
6 个敏感导联处随机森林回归模型的AUC 值如表4 所示。
表4 敏感导联回归模型的AUC 值Table 4 AUC value of sensitive lead regression model
6 个敏感导联处所构建的回归模型被加权融合后,形成的最终脑力疲劳检测模型的ROC 曲线如图7 所示。评价结果表明,检测模型对严重疲劳状态的敏感性最强,其AUC 达0.892,意味着此模型对脑力严重疲劳状态的检出率最高,而且虚报率最低。同时,模型对无疲劳感、轻微疲劳、中度疲劳和较重疲劳4 种等级的脑力疲劳状态也有较强的敏感性,AUC 值分别为0.863、0.801、0.830、0.844,模型检测5 种脑力疲劳状态的平均AUC 为0.846。
图7 脑力疲劳检测模型的ROC 曲线Fig. 7 ROC curve of mental fatigue detection model
为进一步验证随机森林算法的有效性,本文用相同的方法构建了支持向量机(support vector machine,SVM)、Logistic 回归和人工神经网络(artificial neural network, ANN)的融合模型,他们与随机森林(random forests, RF)融合检测模型比较的P值如表5 所示。
从表5 统计结果得知,RF 算法比SVM、Logistic回归和ANN 更适合构建脑力疲劳检测模型,其AUC 比较的P值均小于0.05,具有显著的统计学意义。另外,RF 脑力疲劳检测模型的分类结果如表6 所示,平均精确率为85.25%,平均召回率为23.96%,平均F1值为36.98 %,F1为反映模型稳健性的评估标准。
表5 脑力疲劳融合检测模型的比较Table 5 Comparison of fusion detection models for mental fatigue
表6 脑力疲劳检测模型的分类结果Table 6 Classification results of mental fatigue detection model
3 结 论
本文通过睡眠剥夺实验成功诱发出受试者的4 种脑力疲劳状态,即轻微脑力疲劳、中度脑力疲劳、较重脑力疲劳和严重脑力疲劳。在分析脑力疲劳的敏感特征和导联时,得出如下有意义的结论:
1) 随着脑力疲劳状态的加剧,额叶F3导联处α节律波段的绝对能量逐渐下降,而且额叶FZ导联处θ/β节律波相对能量逐渐增加。此现象表明脑力疲劳越严重,在大脑皮层处所检测到的快节律波活动能量减少,而慢节律波的活动能量增大。
2) 随着脑力疲劳状态的加剧,枕叶OZ导联处脑电信号的Hjorth 复杂度降低,而额叶FZ导联处脑电信号的Renyi 熵降低。此现象表明严重脑力疲劳状态时,大脑皮层释放的电信号复杂性变低、确定性增加,相比于正常状态释放的电信号更为平稳、多样性减少。
大脑枕叶和额叶的脑电信号,对检测脑力疲劳最有帮助。经统计,在枕叶O1、OZ、O2和额叶F3、FZ、F4导联处37 个脑电特征中,20%以上均与脑力疲劳高度关联。O1、OZ、O2、F3、FZ和F4这6 个导联所构建的回归模型,能有效识别出无疲劳感、轻微脑力疲劳、中度脑力疲劳、较重脑力疲劳和严重脑力疲劳。6 个独立的回归模型被加权融合后,能明显改善对脑力疲劳的检测效果。另外,在使用EEG信号检测脑力疲劳方面,RF 算法优于SVM、Logistic回归和ANN。RF 检测模型具有高敏感性和特异性,对严重脑力疲劳状态的敏感性最强,平均精确率高达85.25%。
3) 本文仅使用了6 个敏感导联的脑电特征来构建分类模型,可缩短脑电膏光射用时,降低脑电膏消耗量,不必通过水洗的方式清理头发,节约实验耗材,大幅度降低在轨实施难度。整体减少实验准备时间和减少数据计算量,以提高检测速度,为脑电设备在空间站环境中检测脑力疲劳提供理论和技术支撑。
本文仅在地面环境中开展了脑力疲劳检测实验,仍然存在以下不足之处,更多内容有待于进一步研究。