基于GA-BP网络的脑电与心电融合疲劳识别算法研究

白志强，尤文斌，刘晓琦，胡时光

(中北大学 电子测试技术重点实验室，山西 太原 030051)

0 引 言

战区兵种越来越专业化，武器装备越来越智能化，作战环境越来越复杂化，这凸显了“人-机-环”一体化新时代新型作战发展的思想. 单兵作为战场最重要的组成单位，其作战精神状态是影响部队战斗力的决定性因素之一. 由于长时间的脑力认知活动、精神压力或体力运动而引起的精神疲劳会导致大脑认知能力暂时性下降，表现为注意力、记忆力和执行力的下降[1-2]. 在某些重要的作战岗位，例如舰艇指挥员、火炮手或核按钮操作员等极易因注意力长时间集中或精神压力出现误操作和决策失误，从而产生不可挽回的损失，这也是事故发生的重要原因. 国内外医学研究表明，精神疲劳已经成为多种突发性致命疾病的主要原因，比如中风心血管疾病等[1]. 除此之外，不同程度的精神疲劳对不同的人群产生着不同程度的危害，精神疲劳会使医生诊断疾病时出现医疗事故，而这往往与患者的生命密切联系[3]. 精神疲劳还会使车辆驾驶员发生交通事故的概率明显上升. 因此，对不同兵种的单兵作战精神状态进行监测分析是十分必要的，针对单兵在不同精神疲劳状态下的任务完成表现，依据大数据分析提出科学的作战岗位安排和针对性训练，可以使作战更加智能化和可靠化.

神经科学表明，精神疲劳[4-5]的量化与识别的主要途径是分析人体生物电信号的变化. 脑电(EEG)信号检测被认为是最可靠有效的疲劳检测技术[6]. 心电信号能够直观准确地反映人体的生理状态并间接地反应人体的精神状态. 邹策[7]在驾驶疲劳方面提出了基于脑电、心电和肌电的多源生理信息融合策略，分别用SVM和深度信念网络进行了驾驶疲劳的识别，其建立的深度信念网络疲劳识别率高达95.83%，但其学习过程缓慢还容易收敛于局部最优解. 周磊[8]采用D-S证据模型在决策层对人脸视觉信息和脑电信息进行融合来评估驾驶员的疲劳状态，结果表明信息融合建立的分类器比单一分类器的识别准确率大约高6%. 路万里[9]建立的多源生物信息融合算法采用附加动量法BP神经网络对疲劳进行评估，其疲劳识别率为87%. 王缘[10]设计了基于模拟驾驶平台疲劳检测系统，采用了BP神经网络对前额脑电双导联数据进行疲劳状态识别，其疲劳分类准确率均为83%，说明了前额双导联具有关联性.

针对疲劳识别中单一脑电信息不能完全反应疲劳状态和传统BP神经网络模型识别率低下这一问题. 本文采用多源信息的特征层数据PCA融合方法，通过遗传算法对BP神经网络进行权重和阈值的参数优化，然后将其作为改进BP神经网络的初始参数进行网络训练和验证，该方法可以提高单兵疲劳状态的识别正确率.

1 脑电、 心电的特征提取

1.1 脑电信号的特征提取

脑电信号[6,11]是大量神经细胞活动时可以在大脑皮层检测到电位差的变化，由不同频率的节律波叠加而成的复杂电信号，与疲劳相关的波段特性如表1 所示.

表1 脑电节律波特性表

采集到的原始脑电数据的时域表现为随机性、非平稳性和信号微弱性，直接对其进行数据分析的误差极大. 针对脑电信号的非线性与非平稳性，离散小波变换(DWT)是有效的时频分析方法，该方法可以将时域上不同频率的信号变换到频域上进行分析，为信噪分离提供了新思路.

离散小波变换是在连续小波变换的基础上将尺度参数(j)和平移参数(k)进行离散化采样，ψj,k(t)是其母函数，数学定义为

(1)

(2)

小波包变换[12-14]可以将非平稳信号在频域上层层分解得到更小频带的信号分量，再对需要的信号按小波系数进行重构来达到信噪分离的目的. 经典三层离散小波包分解过程如图1 所示，A代表原始信号，Aij表示第i分解层的j个小波包节点, 假设原始信号的最高频率为f. 实验采用2倍降频法对脑电数据进行分解，可以得到0 Hz～0.5fHz的低频分量A11和0.5fHz～fHz的高频分量A12.第一层的A11小波分解得到0 Hz～0.25fHz 的A21和0.25fHz～0.5fHz的A22. 以此类推，每次分解得到的分量频率范围都为原分量频率的一半，典型三层小波包变换的信号分辨率为0.125fHz. 小波重构过程就是其分解的逆过程，即将不同的小波分量采用二倍过采样的方式再经过重构滤波器作为重构信号.

图1 小波包分解示意图

采集到的脑电信号属于微弱生理信号，其值一般为微伏级别，容易受到工频干扰、眼电伪迹和基线漂移的影响，所以需要对其进行数据预处理. 其中，工频电磁干扰直接选用40 Hz的巴特沃斯低通滤波器进行滤波； 眼电伪迹的幅值较大，采用小波阈值进行去噪，设置其幅度阈值为50 μV； 基线漂移采用中值滤波法进行滤除.

(3)

(4)

1.2 心电的特征提取

心电信号是心脏周期跳动而产生的微弱生理信号，对其时频域特征进行分析就能得到丰富的生理信息[15]. 心率(HR)指标和心率变异性(HRV)指标是疲劳研究领域最重要的生理指标. HRV指标中最常用的是R-R间期的标准差(SDNN)，其中R-R间期与疲劳具有明显的映射关系.

原始心电信号不可避免地受工频干扰、基线漂移和肌电干扰的影响，其数据预处理方法和脑电相同. 由QRS波群的特征可知，心电图中的R波峰值远大于其他波的波峰，其特征明显且容易识别. 采用Pan-Tompkins算法[16]对QRS波群中的R波进行定位识别，其算法流程框图如图2 所示. 算法首先对原始ECG信号进行IIR型巴特沃斯带通滤波去噪，其截止频率为[0.5 45]. 对滤波去噪后的数据进行微分处理以得到波形的斜率信息从而对峰值进行检索，同时去除了输入的直流成分. 平方处理的作用是使样本值变为正数，进一步增强了QRS波群的斜率以方便分析. 滑动窗口积分滤波器可以将输出平滑处理，其窗口大小根据心电信号的采样率选择为30. 算法整体采用状态机的方式不断对心电信号的不同波形进行检测，运用自适应阈值来搜索信号的峰值并进行了避免多重R波检测的设计.

图2 Pan-Tompkins算法原理图

根据Pan-Tompkins算法可以轻松求取心电信号的各时域指标，选取SDNN和HR作为其时域疲劳指标. 将HRV进行功率谱计算，选取其低频和高频比值的功率谱(LH/HF)作为频域的疲劳判别指标. 图3 为某次心电信号的QRS波群定位结果.

图3 QRS波群定位图

2 GA-BP疲劳识别算法

2.1 附加动量的改进BP网络

BP神经网络具有非线性映射能力强、柔性网络结构、环境适应性强和搭建简单等优势而被广泛应用. 针对疲劳状态评估这类复杂问题时，传统BP训练模型存在收敛速度慢、无法收敛以及模型效果差等缺点.

针对上述问题提出了一种附加动量法来对BP网络进行优化，即在梯度下降算法的基础上引进附加动量η(0<η<1)作为调节参数，式(5)为权重迭代更新公式，式(6)为权重修正量的调节公式，其中,α为学习率，k为迭代次数，E(k)为输出的误差能量.

wij(k+1)=wij(k)+Δwij(k),

(5)

(6)

该方法将前次修正量作为影响本次修正量的一个因素. 当前次修正量过大时，式(6)的后一项符号将与前次修正量的符号相反，使本次修正量减小； 当前次修正量过小时，式(6)的后一项符号将与前次修正量的符号相同，使本次修正值增大. 该方法起到了加快收敛速度、提高学习效率和减小学习振荡的目的. 为了避免调整后权重发生较大变化，提出式(7)来对η进行自适应调整.

(7)

神经网络算法的学习率α的选取非常重要，其大小直接决定了学习收敛的快慢.我们总是希望网络在开始训练时能大一些以使误差快速下降，在接近收敛点时小一些来避免过度学习.故引入比例因子ξ∈(0，1]来调节α的大小，如式(8)所示.根据经验，取ξ=0.8.当E(k+1) 小于E(k) 时，说明学习的方向正确，学习率α将会增大来提高学习效率； 相反，α乘以一个小于1的ξ就会降低学习效率来及时修正.相较于传统BP神经网络，该模型的学习率调整更加灵活而不会产生振荡，具有更快的收敛速度,在引入附加动量的情况下可以有效避免局部最小问题的出现.

(8)

2.2 GA-BP优化疲劳算法

遗传算法(GA)[17-18]是一种基于物种进化的优化算法，其出色的全局搜索能力避免了局部最优的问题. 使用GA算法对BP网络的初始权重和阈值进行优化，避免了BP网络随机初始化参数对网络结果的影响，使得网络预测结果更加精确，其优化流程图如图4 所示. GA编码方式采用浮点数编码； 选择算子为基于切断的轮盘赌选择，即在轮盘赌的基础上进行选择，将选中个体的轮盘比例相应地减少固定的数值； 交叉算子采用离散重组； 变异方式采用高斯变异，适应度函数为神经网络的输出误差函数，误差小则说明其适应度高.

图4 GA-BP算法流程图

3 疲劳实验

3.1 脑电、心电的采集

实验以树莓派无线数据采集模块和干电极脑电帽作为脑电和心电信号的采集装置，该装置具有16路信号采集，24位数据精度，采样率可调等特点. 按照标准10～20电极系统进行8导联脑电信号的采集，分别为F7，Fp1，Fp2，F8，C3，C4，P3和P4导联； 按照标准心电图12导联的V2导联进行心电信号的采集，位置在胸骨左缘第四肋间.

设计了疲劳诱发实验来采集脑电和心电数据. 精神疲劳的产生时间较长，实验设置在一个狭小且灯光昏暗的小屋，既避免了外界噪声的干扰又加速了疲劳的产生，将受试者午休后的疲劳状态作为基准无疲劳状态，疲劳实验流程如图5 所示.

图5 疲劳实验流程图

当前，精神疲劳检测方法主要分为主观检测和客观检测[19]. 主观检测法受个体主观意识的影响较大，但它是个体疲劳程度的最直接反应，故常被用作疲劳检测的重要辅助手段[1]. 客观检测法是对人体客观存在的指标的定量分析，这些方法不随个体主观变化，但不同个体之间具有差异性. 故结合上述两种方法的优势提出了将客观疲劳评估和主观疲劳问卷相结合的方法来确定疲劳程度的真实值. 客观疲劳评估利用人体反应时间与疲劳程度成正比进行测试，内容为受试者准确说出间隔为0.5 s的随机图像的颜色，每组30次共2组，其正确率的归一化参数为f1.主观疲劳问卷是受试者对自身疲劳状态的主观感受，其归一化参数为f2.则疲劳评估实验的真实值T=0.75f1+0.25f2，系数不同表明实验结果是在客观疲劳评估的基础上将主观疲劳问卷作为辅助手段，将输出疲劳值按阈值划分为如下等级：清醒(<0.4)、轻度疲劳(<0.6)、中度疲劳(<0.85)和重度疲劳. 图6 为一次脑电数据采集的实际测试图，图7 为脑电、心电数据测试的软件显示界面.

图6 脑电数据实际测试图

图7 脑电、心电信号软件界面图

3.2 PCA数据融合

针对单源信息的片面性，多源数据的融合算法使得疲劳识别的结果更加准确，但高维数据存在一定程度上的信息冗余问题. 主成分分析(PCA)[20]是被广泛应用的特征融合降维方法，本质是对特征维数高的样本进行合适的线性变换将其映射到低维空间. 本文将脑电和心电数据进行特征层面的融合，将11维的样本特征作为PCA算法的输入矩阵，设定其累积贡献率阈值为95%，其主成分累积贡献率如图8 所示，第7维时的累积贡献率为95.19%.

图8 PCA主成分贡献率

3.3 GA-BP训练数据的生成

以MATLAB神经网络工具箱为基础建立训练模型. PCA降维后的数据为7维，故神经网络的输入层包含7个节点. 输出层只对疲劳值进行预测，包含一个节点. 隐含层为了兼顾学习效率及训练误差，经过多次尝试确定为12个节点，此时训练效果最佳. 为了避免反向传播过程中梯度衰减引发梯度消失和网络不稳定，选取tanh作为隐含层激活函数，Sigmoid作为输出层激活函数. GA的初始种群设置为40，交叉概率为0.7，变异概率为0.01，最大迭代次数为200.

将疲劳诱发实验中采集到的30个受试者的300组脑电、心电信号和疲劳状态的主观评估指标样本扩充为600组，即将每组样本按时间二等分. 将600组样本按6∶2∶2的比例划分为训练集、验证集和测试集，以此对疲劳评估模型进行训练与预测.

3.4 实验结果分析

采用上述数据训练，得出受试者在不同疲劳状态下模型预测值与实际值的对比如图9 所示. 预测值为测试集作为GA-BP网络输入时的输出值，实际值为疲劳评估实验归一化处理后的真实值T. 图中显示了实验中疲劳产生的全过程，实验前期和后期的疲劳指数增长缓慢，中期的疲劳指数增长较快. 实验前期状态良好，随着时间的流逝疲劳程度不断加强，到16:30之前保持清醒状态，到18:40之前保持轻度疲劳状态，20:30之前保持中度疲劳，之后为重度疲劳状态，与疲劳诱发实验预期相符. 预测值与实际值的平均绝对误差(MAE)为0.263 2，说明GA-BP网络的输出值与实际值非常接近，验证了预测模型的正确性.

图9 受试者疲劳预测图

将疲劳指数按阈值划分4个等级，据此得出受试者的疲劳识别准确率，表2 为不同预测网络模型的疲劳识别率对比. 由表中的数据知，改进后的GA-BP神经网络的疲劳识别正确率为90.8%，高于传统BP神经网络的84.2%和支持向量机的80%. 基于改进GA-BP神经网络的疲劳识别模型在原有的基础上进行了一定程度的性能优化，具有较好的识别能力.

表2 正确率对比结果

4 结 语

本文以实验室环境下的疲劳诱导实验为依托，对实验者的精神疲劳进行了研究. 提出将主观疲劳问卷和客观疲劳评估进行融合的方法来确定精神状态评估的实际值，采用PCA数据降维的方法对高维数据进行了冗余信息处理，将遗传算法优化的改进BP神经网络创造性地运用到疲劳识别领域. 得出受试者平均疲劳识别正确率为90.8%，优于传统BP神经网络和支持向量机训练模型，为精神疲劳识别领域的多参数数据融合和后续可穿戴式便携设备的实时疲劳检测提供了参考.