基于脑电信号的飞行员工作负荷识别研究

何金松 吴东苏

摘 要：在不同的工作负荷情况中，大脑都处于不同的工作状态。因此本文研究中提出了基于EEG信号使用机器学习的方法区分飞行员不同工作负荷程度。首先，本文通过主观测评法确定实验人员的工作负荷等级。同时采集被试人员的脑电信号，使用了熵特征提取方法，从每一路脑电信号中提取出样本熵、近似熵、模糊熵以及融合特征四种特征组。通过SVM，RF，LR，KNN，DT，QDA和LDA七种单独分类器比较各特征在不同分类器中的分类精度。并通过结果发现，使用模糊熵的识别准确率达到98%左右。认为本文脑电信号中使用熵特征有着识别工作负荷能力。

关键词：飞行模拟；脑电信号；工作负荷；模糊熵；机器学习

中图分类号：V323 文献标识码：A 文章编号：1671-2064（2019）05-0062-04

1 概述

当今社会，民航运输在不断发展进步，航空运输作为一个人机高度耦合的系统，人在这个系统中发挥着重要作用的同时也带来了复杂多变的影响，对保障航空安全起着关键的作用。在航空工业的不断发展中，由于飞机自身设备的故障导致的飞行事故率已经非常低，而因为飞行员相关的自身误操作等人为因素却呈现了上升的趋势。

众所周知，飞行员的操作能够直接影响飞行安全[1]。特别是飞控系统高度发达的今天，众多的研究表明超过60%的飞行事故的主要诱因是飞行员的操作错误[2-4]。在飞行操纵的人为因素中，由于飞行员负荷程度过大从而诱发的驾驶误操作是飞行事故成因中重要的因素。飞行员工作负荷过大会使飞行员在执行任务时工作效率下降，以及随着时间的进行导致工作效率的不稳定性增大。由于长时间、不规律以及飞行任务的加重等因素，使飞行员易于积累过多的工作负荷，缺乏休息，飞行操作能力降低，引发航空安全隐患。因此，飞行员工作负荷程度的实时检测仍是当下航空航天医学研究的重点。对飞行过程中的工作负荷评估，或是能够在线实时检测出飞行员当下负荷情况，降低飞行员在高工作负荷的复杂环境下获取最有效信息的难度，辅助飞行员进行注意力的合理分配以保证信息收集的全面性，准确性和及时性，并对负荷程度较高的飞行员提出警示，提高飞行安全[5-7]。这能够预防飞行不安全事件，从而一定程度上避免了飞行事故。

脑电信号（EEG）能够表现出人体脑细胞的电活动情况，进而从宏观上体现脑功能所处状态。相较于其它生理信号，EEG信号包含了更多的信息。通过对脑电信号进行各种算法处理，可以获得其中蕴含的部分信息，从而应用到多种领域上：Wilson和Russell[8]结合了EEG信号和人工神经网络，对模拟空管任务中的被试人员进行了分类；Murugappan等[9]人通过离散小波变换的方法，将脑电信号分解为三个频段，并借助kNN的算法实现了情感识别，准确率达到了83.2%；脑电信号通过结合alpha节律可以进行病理学分析[10]，用以分析如中风[11]、抑郁症[12]等多种疾病；J.F Hu等[13]人通过疲劳和正常下的不同脑电波信号，实现了对人体工作负荷、疲劳状态进行区分识别。

本文主要研究内容是结合几种常用机器学习算法模型，使用脑电信号对飞行员的工作负荷程度进行评估。包含了实验设计，数据采集，预处理，特征提取和分类器比较验证等阶段。提出了结合机器学习算法利用飞行员的脑电熵特征的工作负荷识别方法，并针对方法可行性进行了验证。

2 实验对象与方法

2.1 实验人员

为了验证基于EEG信号区分飞行员负荷程度的有效性和可靠性，本实验选择20名年轻飞行员进行实验（包括17名男性和3名女性）。被试人员人体状况良好无疾病史，左右利手情况都是右手，并且每名被试人员均了解实验详情并签署相关协议。

2.2 工作负荷主观评测

对于飞行员工作负荷的划分，采用主观自主评测法。在本次模拟实验进行中，每隔三分钟暂停实验设备，要求被试飞行员完成所提供主观评测表[14]。通过一系列相对应的词汇，当选择权重分数为正代表产生一定工作负荷，选择为负时代表正常情况，总得分为所有得分的均值。某位被试人员得分如图1所示。

根据結果分析，飞行员的工作负荷主要体现在开始和结束前的起飞和着陆阶段，这与实际飞行的事故多发于起降中也相类似。通过主观分析，由于模拟设备和环境等多种原因，虽然转弯操作也会在一定程度上引起工作负荷的增大，但是本次模拟飞行过程中引起工作负荷增大主要是在起降阶段，由于后续应用需要使用带有标签的数据，因此对起降阶段的飞行数据和平飞阶段的飞行数据分别打上处于工作负荷状态和正常状态的标签备注。

2.3 数据预处理

整个实验过程中，被试人员被安排在不受外界干扰的实验环境中。所有被试人员需要进行模拟五边飞行训练并记录飞行全程的EEG信号。被试人员在实验前先了解并试用实验室飞行模拟设备，并于正式实验前静默三十秒。

本实验采用德国Brain Products公司的BrainAmp系列设备采集脑电数据。使用了基于国际10-20系统的32通道脑电帽，以500Hz频率进行采样。

在收集到EEG信号之后，需要使用MATLAB中的EEGLAB工具箱进行脑电数据的预处理。先使用50Hz的陷波滤波器对得到的原始EEG数据进行滤波，之后通过0.15 -50Hz的带通滤波筛选有效数据。每组数据又将各自的信号分割为1s滑动的短时时窗，从而20名被试人员中每一路脑电通道可以获得到6700段数据集，其中1480段起降阶段数据，5220段平飞阶段数据。

2.4 特征提取

EEG信号是一种非平稳时间序列，然而大多数特征提取方法只能应用于平稳信号之中。本文为了解决这个问题，将EEG信号分割为短时时窗数据段，于是在这很小的数据段内，可以合理假设这段数据为平稳信号。但是由于飞行员在面对飞行任务剧变时产生工作负荷时，其脑电具有较为剧烈的瞬时跳变。为了平衡这种瞬时干扰对分类性能是的影响，所选择的时窗窗口不能太短，本文选择长度为5s的时窗进行特征提取。最终本文将信号分割为1s为单位的时窗，从而得到6700组数据。

识别飞行员负荷程度的能力主要取决于输入分类器的特征向量的质量，本文通过加窗后EEG数据中进行熵特征提取，主要通过提取样本熵（Sample Entropy）、近似熵（Approximate Entropy）和模糊熵（Fuzzy Entropy）的方法[15]。并通过比较融合三种特征组融合的结果判断识别效果。

2.5 分析工具

此次数据采集后的实验分析，本文采用scikit-learn工具箱进行数据训练与测试。对每一分类器，在sklearn工具箱内需要调节相应参数。例如，对于随机森林，在python中的sklearn库中，需要提供以下分类器参数信息，包括：随机森林中树的个数；分类函数规则（默认为gini）；最大特征数；最大树深度等等。对于支持向量机，使用的库是sklearn.SVC.svm，所需分类器参数信息：惩罚系数C；支持向量机使用的核函数；核函数所使用的参数。对于逻辑回归，使用的库sklearn.linear_model.LogisticRegression，所需分类器参数信息：惩罚项，l1或者l2；参数C，代表梯度下降的学习率和惩罚值。对于决策树，使用库sklearn.tree.Decision TreeClassifier，所需分类器参数信息：最大树深度；最小样本数目；加权总和的最小加权权重（默认为0）。对于kNN，使用的库是sklearn.neighbors.kNeighborsClassifier，所需分类器的参数：邻位个数K。

3 结果分析

32路脑电信号中，与乳突相连的A1和A2通道作为参考电极使用，剩余30路有效通道信号。对不同飞行阶段的30路通道脑电信号进行成对t检验发现，每路信号p<0.01，不同飞行阶段所有通道信号在统计学上有显著区别。PCA分析后得到的脑电地形图进一步验证了上述结论，所以30脑电信号都包含了有效特征。

由于不确定哪一种方法在本研究中是最有效的，在本文中主要选取六种基本分类器进行分类识别，其中有K近邻（kNN）、逻辑回归（LR）、支持向量机（SVM）、随机森林（RF）、二次判别分析（QDA）和决策树（DT）。

为了评估研究的可应用性，所以必须准确判定该方法的识别性能。本文采用十倍交叉验证（10-fold cross-validation）的方法来评价识别飞行员疲劳程度的分类性能。将所获得的6700组30路数据进行分类，随机分出训练集和测试集。在训练阶段中，10%的数据组被用作测试集，剩余90%数据组被用作训练集。随后重复上述步骤，直到所有数据都被用作测试集，最后取正确率的平均值。

分别使用SE，AE，FE和混合特征集（SE+AE+FE）组合特征向量，七种分类器的平均识别精度如图2所示。

此外，对于分类器的表现性能，本文通过绘制ROC曲线来评测分类器性能。对一次测试结果，绘制每一种分类器的ROC曲线，并计算出AUC面积，来说明分类器的分类性能。各分类器和特征下的ROC曲线结果如图3所示。

可以发现，混合特征集相较于其他特征表现要稍好，最高可以达到98.3%的平均正确率。在kNN，SVM和RF三种分类器下，熵特征都有着较好的识别结果，可以认为该方法在识别工作负荷上有着可靠性。

4 讨论

我们的研究结果表明所提出的基于脑电信号的熵特征方法使用机器学习算法进行飞行工作负荷识别的方法是可行的。30路脑电数据的t检验结果和脑电地形图表明，脑电信号的30路通道数据都包含了有效信息，在构造特征向量时不能随意忽略，因为特征向量的好坏直接影响了分类器的识别性能。由于不同的脑域相对应的功能不同，虽然30路通道数据都是有效数据但其所占的权重是不同的，需要进一步的深入研究。

本次分析采用时域分析上的熵分析方法，脑电熵特征作为一种非线性指标可以很好的揭示大脑的混沌行为，信号越是复杂，熵值就越大[16]。在本文提取三种熵特征中，模糊熵的效果最好相對其他两种熵特征效果最好。猜测是因为模糊熵是样本熵算法的改进，在继承其优点的同时以模糊化相似性度量公式，克服样本熵原有局限性。同时发现，在融合特征下也分类性能也基本与模糊熵持平，认为熵特征之间的融合不能丰富本文识别任务的特征信息，对于本文识别任务性能的提升基本没有帮助，在识别工作负荷任务上应使用模糊熵特征组进行。同时，由于真正的航空飞行中会遭遇各种突发情况的变化，本文使用风雨模拟下采集到的实验数据进行验证。风雨环境下的特征选择为前文效果最好的模糊熵特征进行训练识别，结果和前文同样处理，如表1所示。

可以发现，在模糊熵特征下，风雨条件下的识别准确率最高达到98.2%，和正常情况下相差不大，因此认为本文识别方法有着一定泛用性，在飞行中的不同环境下都有着很好的效果。

5 结语

本文提出了一种基于EEG信号的熵特征使用机器学习算法进行的飞行员工作负荷评估方法。并通过分类器性能分析方法有着可行性。分析识别结果可以发现，在对于本文识别任务上，模糊熵特征有着很好的效果。对比融合特征下的识别结果，发现特征集的混合并不一定能提高识别精度，相似信息和无用信息的添加不仅会增加运算复杂度有时还会对识别产生干扰。最后，通过不同飞行环境下的验证，证明的本文方法在识别工作负荷上有着一定的泛用性。同时，本文研究仍有一定的局限性。在针对工作负荷的判断上，本文针对主观评测方法评出了两个等级，后续应更细致的划分为多个等级；本文研究在实际民航飞行中，采集脑电信号会给飞行员的舒适性和操作性带来一定影响，在实际应用中数据采集会有着一定的困难。但是相信，随着当今科技不断进步，这些问题也将解决并且在航空飞行中得到实际应用，保障航空安全。

参考文献

[1] 庄达民.飞行员脑力负荷测量与应用[M].北京：科学出版社，2014.

[2] 吴锋广，牟海鹰.飞行疲劳表现、影响因素及监测技术[J].西安航空学院学报.2015，33（5）：40-42.

[3] Wang Lei，Sun Ruishan.Analysis on Flight Fatigue Risk and the Systematic Solution[J].Ergonomics and Health Aspects of Work with Computers，2011（6779）：88-96.

[4] Caldwell J A，Malli M M，Caldwell J L，et al. Fatigue countermeasures in aviation[J]. Aviation， Space，and Environmental Medicine，2009（1）：29-59.

[5] 刘伟，袁修干，庄达民，等.眼动测量系统及其在功效学中的应用[J].航空学报，2001（5）：385-389.

[6] 柳忠起，袁修干，刘伟，等.飞行员注意力分配的定量测量方法[J].北京航空航天大学学报，2006，32（5）：518-520+539.

[7] 柳忠起，袁修干，刘伟，等.在模拟飞机降落过程中的眼动分析[J].北京航空航天大学学报，2002，28（6）：703-706.

[8] Wilson GF， Russell CA.Operator Functional State Classification Using Multiple Psychophysiological Features in An Air Traffic Control Task [J].Human Factors，2003，45（3）：381-389.

[9] Murugappan M， Ramachandran N，Sazali Y. Classification of human emotion from EEG using discrete wavelet transform [J]. Engineering，2010，03（4）：390-396.

[10] Jianfeng，Hu， Zhendong，Mu， Ping，Wang. Multi-feature authentication system based on event evoked electroencephalogram[J]. Journal of Medical Imaging and Health Informatics，2015（5）：862-870.

[11] Cecile C，Susan M，Paul JA，et al..Continuous EEG monitoring during thrombolysis in acute hemispheric stroke patients using the brain symmetry index[J]. Journal of Clinical Neurophysiology，2008，25（2）：77-82.

[12] 刘雷，周仁来.一个测量抑郁症的重要神经指标：静息额叶脑电活动的不对称性[J].心理科学进展，2015，23（6）：1000-1008.

[13] Jianfeng Hu.Comparison of different features and classifiers for driver fatigue detection based on a single EEG channel[J].Computational and Mathematical Methods in Medicine，2017（3）：1-9.

[14] 馬超，张政石.基于二维高斯混合模型的驾驶行为分析[J].硅谷，2011（5）：15-16.

[15] Michael J. Hogan，Liam Kilmartin，Michael Keane. Electrophysiological entropy in younger adults， older controls and older cognitively declined adults[J].Brain Research，2012（1445）：1-10.

[16] Richman Joshua S，Moorman J.Physiological time-series analysis using approximate entropy and sample entropy， American Journal of Physiology-Heart and CirculatoryPhysiology，2000（6）：H2039-49.