飞行员异常事件处理能力的脑电评估方法

2022-12-05崔志翔陈大伟吴东苏魏方平

科学技术与工程 2022年30期

崔志翔，陈大伟*，吴东苏，魏方平

(1.南京航空航天大学通用航空与飞行学院，南京 210000; 2.南京航空航天大学民航学院，南京 210000; 3.上海华模科技有限公司，上海 200000)

民航飞机事故发生的主要因素是人为因素[1]，人为因素在航空安全的重要性早已得到认可[2]，理解和预防人为差错依旧是航空安全的首要挑战[3]。据统计[4-5]，近年所发生航空事故中20%是因为机械问题所致，近乎75%～80%的航空事故是由人为因素导致。并且，大多数航空事故发生正是因为飞行员没有正确处理好飞行过程中发生的异常事件[6]。因此，需要对飞行员遭遇异常事件时，是否具备将飞机从非正常状态中调整过来的能力进行评估。目前，飞行员评估这类课题受到中外航空安全领域学者的广泛关注并展开了相关研究。

Mansikk等[7]设计3种不同程度的飞行任务，并利用主观量表与心率评估飞行员所处负荷程度，结果表明NASA-TLX(NASA task load index)量表、MCH(modified cooper-harper)量表、IBI(inter-beat interval)量表均能区分出飞行员所处负荷程度；Zheng等[8]比较了NASA-TLX量表与眼动信号(electronystagmogram，EOG)作为飞行员压力评估指标的可靠性一般，指出需要寻找更加可靠的生理指标作为评判标准； Dussault等[9]研究了不同飞行阶段的EEG信号和心电信号 (electrocardiogram，ECG)的差异，证明了生理信号可以作为评价飞行员处于不同飞行阶段心理负荷的指标。由以上研究可知，飞行员评估方法一般分为两类，一类是主观评估法，采用的量表包括NASA-TLX、MCH等量表，另一类是客观评估法，包括电生理信号例如EEG、ECG、EOG等[10]。

EEG信号被证实能够客观反映被试者状态[11]，在道路交通领域驾驶员评估方面已有相关研究证实EEG信号脑电特性能够用于判定驾驶员驾驶状态[12-13]。然而，将其应用到飞行员评估领域的研究并不多，尤其是飞行员面对异常事件时候的处理能力评估方面的研究更加稀少。

图3 实验流程图Fig.3 Flow diagram of experiment

因此，基于EEG脑电信号对飞行员异常事件处理能力，现收集两类飞行员脑电信号的实验，其中一类为未受过异常事件训练的飞行员，另一类为受过异常事件训练的飞行员。对收集到的脑电数据进行预处理后使用小波包分析以及近似熵法提取特征用于构建特征向量再形成特征数据集，该数据集被用于构建及验证分类器模型，并引入F1、ROC-AUC曲线作为模型评价指标，以选择最优模型。最终将模型用于评估飞行员处理异常事件的能力，从而辅助资源的合理配置以及保障航空安全。

1 实验设计与数据采集

(1)实验人员：无异常事件训练经验飞行员4名，有异常事件训练经验飞行员4名。

(2)实验设备：实验设备包括飞行模拟器、脑电采集系统。A320 NEO/CEO全动飞行模拟器如图1所示，其具备的全动平台和优秀视景系统为飞行员提供了近乎真实的飞行环境，且该飞行模拟器可设定飞行险情，如单双发失效、风切变、重着陆、火警等，为实验提供了仿真环境。

脑电采集系统中使用的是如图2所示的EPOC flex 32导联湿电极脑电帽，采集到的数据可无线传输至硬件，采样频率为128 Hz，内置50 Hz和60 Hz陷波滤波器，电极分布符合国际10～20标准分布标准。

(3)实验场景：设定4种实验场景，分别为风切变，失速，发动机失效，火警。

对于8名被试，每位被试需将上述设定的每种实验场景重复4次，目的是保证实验的可靠性。实验全部结束后，共收集128组数据，其中未经异常事件训练的飞行员于异常事件发生后脑电信号共64组，并标记为0类信号；经异常事件训练飞行员于异常事件发生后脑电信号共64组，并标记为1类信号。实验流程如图3所示。

图1 全动飞行模拟器Fig.1 Full flight simulator

图2 脑电帽：EPOC flexFig.2 EEG caps: EPOC flex

2 数据预处理与特征提取

首先，对采集到的数据，利用带通滤波和FASTICA方法去除杂讯，保留信号中的脑电信号成分供后续分析使用。

2.1 小波包分解与重构

目前，在脑电方面主要的研究频带为Delta(0～4 Hz)符号为δ, Theta(4～8 Hz)符号为θ, Alpha(8～12 Hz)符号为α, Beta(14～30 Hz) 符号为β[14]这4个频带的脑电信号也被称为脑电节律。实验收集到的脑电信号为时域信号，为提取上述频域特征，去除噪音信号，且考虑脑电信号非平稳的特性，故采取小波包分解法。在多分辨率分析方法中，小波包分解法对比小波分解法，不仅保留信号的低频特性，亦保留了信号的高频特性，利用这种方法对脑电信号进行分解，既无冗余也无疏漏。

小波包分解算法:

(1)

小波包重构算法：

(2)

式中：h、g为滤波器系数，由小波函数和尺度函数决定；d为小波包分解系数；p、t为分解层数；j、k为小波包节点号。

经过小波包分解，最终层的带宽Δf=1 Hz，对小波包分解序列进行重构，将重构过程中将不需要的小波包分解系数置零，重构分析所需特征频带，如图4所示。

图4 小波包分解与重构示意图Fig.4 Schematic diagram of wavelet packet decomposition and reconstruction

值得注意的是，信号在利用共轭镜像滤波器进行小波包分解过程中需对信号进行隔点采样，过程中高通滤波器会执行一次“翻转”操作，造成采样频率减半且排序混乱[15]。因此需通过Gray编码规则进行重排。假定二进制码为Bn-1Bn-2…B2B1B0，格雷码为Gn-1Gn-2…G2G1G0，则二者间可通过式(3)进行转换，

(3)

式(3)中：⊕为异或运算符。

实验过程中，实验过程中，从异常事件发生到飞行员妥善处理完成大约需要20 s，为更好地表征能量差异，截取前10 s飞行员脑电信号，将其分解重构从而提取出δ、θ、α、β这4种脑电节律。4种脑电节律的时域信号图像如图5所示。

图5 重构所得信号的时域图Fig.5 Time-domain diagram of the reconstructed signal

2.2 能量特征提取

利用信号能量计算公式[式(4)]计算重构后的时域信号x(t)，t∈[0,10]，单位为s。其中i为脑电节律的种类，分别为δ、θ、α、β，定义Ei为脑电信号节律能量，其计算公式为

(4)

对于实验收集到的32通道脑电信号，每个通道的4种节律的能量特征Eδ、Eθ、Eα、Eβ均作为样本的特征被计算从而构建出特征向量。

2.3 熵值特征提取

针对生物信号中往往既有确定成分，也有噪声等随机成分的特点；以及脑电信号属于非稳态信号，具有非线性特性[16]。因此引入具备一定抗干扰与抗噪能力的近似熵算法对脑电信号进行分析。近似熵计算步骤[17]如下。

(1)假定数据为时间序列u，u(i)为其中一个元素，且i∈[0,N]。

(2)定义m维向量X(i)为

X(i)=[u(i),u(i+1),…,u(i+m-1)]

(5)

式(5)中：i∈[0,m-1]。

(3)定义向量X(i)和X(j)间对应元素差值为距离d，计算公式为

d[X(i),X(j)]=max|u(i+k)-u(j+k)|

(6)

式(6)中:k∈[0,m-1]。

(7)

式(7)中：number为d

(8)

(6)近似熵值 (approximate entropy，ApEn)计算方式为

(9)

实验过程中，从异常事件发生到飞行员妥善处理完成大约需要20 s，为避免个别值对ApEn均值影响过大，故将20 s的信号都纳入计算范围，计算过程中选取m=2，r=0.2SD，N=512[SD为数据u(i)的标准差][18]，因设备采样频率为128 Hz，则需4 s的数据段来计算1个ApEn值，20 s的数据可计算5个ApEn值，然后平均这5个ApEn值，所得的值则为该通道20 s内的ApEn均值。数据选取示意图如图6所示。

图6 数据选取示意图Fig.6 Data selection diagram

对于实验收集到的32通道脑电信号，每个通道在异常事件发生后的20 s数据都会被用来计算得出ApEn均值。

3 模型选择与模型评估

根据机器学习算法在脑电方面的应用情况[19-21]，选取随机森林(random forest classification)、用于分类的支持向量机(support vector classification)、逻辑回归(logistic regression classification)3种分类器，利用网格搜索对分类器进行超参数的调整，并采用五折交叉验证，直至得到具有最佳参数的分类器模型。分类所得结果使用混淆矩阵表征，并使用准确率、F1、接收者操作特征曲线(receiver operating characteristic，ROC)对应的曲线下的面积(area under the curve，AUC)作为模型评估参数。

混淆矩阵是评价分类模型性能的重要工具，由混淆矩阵可以计算各种评价指标。此研究中用于区分0类信号和1类信号的模型均为有监督的二分类模型，模型对每个样本的预测结果为一个概率值，设定阈值，概率值高于设定阈值即为0类信号，低于阈值为1类信号，0类信号被视作阳性(positive),而1类信号被视作阴性(negative),对二分类问题，样本的真实类型与模型的预测类型均为两类，故混淆矩阵有4个参数：TP(true positive)、FP(false positive)、FN(false negative)、TN(ture negative)。参数与标签的对应关系如图7所示。

图7 混淆矩阵Fig.7 Confusion matrix

模型的预测准确率(Accuracy)计算公式为

(10)

召回率(Recall)表示实际值为0类且预测结果也为0类的信号占全部实际值0类信号的比例，计算公式为

(11)

精确率(Precision)表示实际值为0类且预测结果也为0类的信号占全部预测值为0类信号的比例，计算公式为

(12)

F1是召回率与精确率的调和平均值，计算公式为

(13)

通过绘制ROC-AUC曲线对模型进一步评估，ROC-AUC曲线图横坐标表示假阳性比率即FPR(the false positive rate)，纵坐标表示真阳性比率即TPR(the true positive rate)，计算公式为

(14)

通过变化阈值得到不同的混淆矩阵，计算获取FPR和TPR数值对(xi,yi)，用于计算AUC，即曲线下阴影面积，AUC计算公式为

(15)

ROC-AUC曲线图示例如图8所示。

图8 ROC-AUC曲线Fig.8 ROC-AUC curve

4 实验结果分析

实验收集到的每一段脑电信号为一个样本，单一样本分别以信号能量，近似熵值，以及信号能量与近似熵值融合所得的合并特征集这3种方式构建3类特征向量，综合所有样本的特征向量得到特征集，因有3类特征向量，所以可获得3个特征集。将每个特征集归一化处理后分别使用：随机森林(random forest)、用于分类的支持向量机(support vector classification)、逻辑回归(logistic regression)三种算法构建分类器，为方便表述，将上述三种算法构建的分类器简记为RFC、SVC、LRC。经参数调整与5折交叉验证后依据混淆矩阵所得的各项模型评估参数包括：准确率、召回率、精确率、F1，并变换阈值计算FPR与TPR，绘制ROC-AUC曲线，计算AUC，结合各项评估参数选取最适合的特征集与模型。

模型分类过程中将未受异常事件训练的飞行员错误地预测为已受异常事件训练的飞行员将会导致飞行风险，同时若将已受异常事件训练的飞行员错误地预测为未受异常事件训练的飞行员，会使训练成本急剧增加，而高精度的模型能够有效地降低风险并且降低训练成本，因此有必要通过模型预测结果得出混淆矩阵，再利用混淆矩阵计算各项模型评估参数，从而选择出最优模型。

模型评估阶段，测试集占全部数据集的20%，图9为3类特征集基于SVC模型的混淆矩阵。图10为3类特征集基于LRC模型的混淆矩阵。图11为3类特征集基于RFC模型的混淆矩阵。

0类信号为实验收集的未受异常事件训练飞行员的脑电信号，1类信号则为实验收集的经过异常事件训练的飞行员脑电信号，若通过混淆矩阵计算所得的召回率低，则说明大量0类号被错误的预测为1类信号，而在脑电信号划分过程中，召回率低说明未受异常事件训练飞行员的脑电信号被错误地预测为经过异常事件训练飞行员脑电信号，若用这类召回率低的模型判定飞行员受训情况会导致未受训飞行员被错误地认定为已受到初步训练，则会使航空安全存在潜在风险；综上召回率低则风险高，召回率高则风险低。

图9 SVC混淆矩阵Fig.9 Confusion matrixof SVC

图10 LRC混淆矩阵Fig.10 Confusion matrix of LRC

图11 RFC混淆矩阵Fig.11 Confusion matrixof RFC

除却考虑风险控制能力，仍需考虑高昂的训练成本。精确率可表征训练成本，精确率低说明大量1类信号被错误的预测为0类信号，若用这类模型判定飞行员受训情况会导致已受训飞行员被错误的认定为未受训，则会导致训练成本上升。综上，精确率低则训练成本高，精确率高则训练成本低。为综合考虑风险控制能力与训练成本，利用二者调和均值F1对模型进行评价。

为动态反应模型的风险控制能力与训练成本之间的关系，可通过ROC-AUC曲线图，曲线图横坐标为FPR可用于反应训练成本，纵坐标为TPR可用于反应风险控制能力。通过特征集与算法模型组合所绘制ROC-AUC曲线如图12所示。从图12中可见所有曲线图均过两个坐标点(0,0)与(1,1);其中(0,0)坐标表示极低训练成本，相应地，此时的风险控制能力极低；其中(1,1)坐标表示极高训练成本，相应地，此时其风险控制能力极高；且由图12可以观察得出对于3类不同的特征集，运用随机森林算法构建得出的RFC模型的ROC-AUC曲线优于SVC与LRC模型。说明随机森林分类算法比其他脑电领域常用的分类算法更加适用于异常事件下的飞行员能力评估。

图12 ROC-AUC曲线Fig.12 ROC-AUC curve

表1归纳总结了计算所得的RFC、SVC、LRC这三类模型的各项评估参数，包括：准确率、召回率、精确率、F1。

从图11与表1中可得知，基于能量特征集与基于合并特征集的RFC模型的AUC均高于0.95，说明两者均能够在风险控制能力与训练成本之间取得良好的平衡。继续分析表1中数据得知，虽然基于能量特征集的RFC模型的召回率与AUC无明显差异；但前者的准确率、精确率、F1却明显低于后者，这也说明近似熵特征的引入提高了分类器的性能。综上，最优分类器为基于合并特征集的RFC模型，其分类准确率可达88.5%，召回率为88.8%，精确率为80.0%，F1为84.2%，AUC为0.95。