基于脑电信号组合熵特征的驾驶疲劳检测分析
2022-07-20蔡娇英李胜民赵春临
蔡娇英,李胜民,赵春临
(1.第一机动总队机动第六支队,河北保定,071000;2.武警贵州总队参谋部,贵州贵阳,550081;3.武警工程大学装备管理与保障学院,陕西西安,710000)
0 引言
据公安部统计,2020 年全国机动车保有量达3.72 亿辆,驾驶员达4.18 亿,数据呈逐年增长的趋势,道路交通安全正面临着严峻的考验[1]。导致交通事故的因素多种多样,而疲劳驾驶是最不可忽视的。驾驶员长时间驾驶后极易驾驶疲劳,出现注意力下降、判断力下降、应机能力下降等现象,这个时候就容易发生交通事故[2]。因此找到有效的可以实时监测疲劳驾驶的方法对车辆安全辅助系统研究具有现实意义。国内外对疲劳驾驶进行了多方面的研究,主要集中在驾驶疲劳产生、产生原因、检测量化和对策防御这些方面[3],而疲劳的检测和量化是所有相关研究的重点。
检测和量化驾驶疲劳的方法有很多,大体包括这三个方面,一是基于事实表现出来的特征,比如驾驶员疲劳时会出现打哈气、闭眼、点头等现象,即通过捕捉驾驶员面部表情的变化来检测驾驶疲劳[4-5]。二是基于各种车辆传感参数,如汽车方向盘转向、车道偏离等指标[6-7]。三是基于生理信号脑电图(Electroencephalogram,EEG)[8]、心电图(Electrocardiograph,ECG)[9]、眼电图(Electro-oculogram,EOG)[10]和肌电图(Electromyography,EMG)[11]的生理特征也大量用于检测驾驶疲劳。正常状态下脑电信号属于自发的电信号是无法人为控制和伪造,它能够直接客观的反应出大脑当前的神经活动状态,与其他手段例如基于机器视觉的方法相比,基于脑电信号的方法可以提供驾驶员状态的更直接有效的客观表征[12]。张淞杰等[13]采用将经验模态分解方法与能量谱算法相结合的特征提取方法分析模拟驾驶时采集的EEG 信号,并在粒子群算法优化的多层感知超限学习机分类器中实现对驾驶员疲劳状态的检测。Silveira 等人[14]提出了一种基于单个EEG 信道(Pz–Oz)的警觉性水平评估方法,利用归一化的Haar 离散小波包变换,发现 (γ+β)/(δ+α)这个指标取得了最好的效果。Fu 等人[15]提出了基于HMM 的疲劳检测模型,基于两通道(O1 和O2)的EEG 信号和其他生理信号,获得了最高的92.5%的准确率。目前驾驶疲劳脑电信号分析更趋向于采集疲劳相关的脑区的脑电信号,使用尽可能少的导联数来检测大脑疲劳程度,这大大降低了信号分析的复杂性,使驾驶疲劳检测更注重于实际应用研究。另外由于脑电非线性非平稳性的特征,通过提取脑电非线性特征的检测方法受到了相关研究者的积极探索和研究。所以本文提出基于EEG 信号AE 和SE 组合熵特征集的驾驶员疲劳的检测方法,并综合4 种分类器识别基于该方法的驾驶疲劳状态,以期使用最少的导联数,实现稳定可靠精准的驾驶疲劳检测。
1 材料和方法
1.1 被试样本
选取已取得驾驶证的6 名在校大学生志愿者参加模拟驾驶实验(21-25 岁)。为保证实验的有效性,所有的受试者没有晚上加夜班和使用处方药的习惯,睡眠规律,视力正常。同时在实验前和实验期间被要求戒烟戒酒戒茶。实验前一周进行模拟驾驶培训,培训时间根据受试者学习情况而定,达到连续驾驶15 分钟内不出人为导致的驾驶操作错误为止。
1.2 实验条件
本文是基于持续注意力驾驶任务,选用上海育联科教设备有限公司的WM-5 型主被动式汽车训练驾驶模拟器作为驾驶操作平台,如图1 所示。该设备是真实驾驶汽车的模拟形式,操作和真实车辆操作一致,包含了车辆的所有驾驶能力;利用计算机软件技术,可以构建不同的驾驶环境和条件,如晴天、大雾或雪天以及山区、高速公路或乡村;同时也可通过计算机语音合成技术,生成车辆行进过程中的各种喇叭声、机械动力声、周围环境声。本次实验所选择的驾驶环境为交通密度较低的高速公路,行驶路线简单,更容易进入疲劳状态,脑电信号更稳定,有利于记录。脑电采集与预处理软件(Neuroscan4.3)、脑电分析软件(matlab)、脑电电极位置按照国际10-20 电极扩展分布图放置,如图2 所示。
图1 WM-5 型驾驶模拟器
图2 国际10-20 电极扩展分布图
1.3 实验过程及数据采集
模拟驾驶实验在安静,灯光适中,舒适的实验室中进行。准备工作就绪后,首先进行疲劳等级自我评定,评价标准参照李曾勇的疲劳等级评价表(七个等级)[16];接着记录驾驶任务前5 分钟清醒状态下的闭眼静息态脑电数据;然后进行模拟驾驶任务,时间为150 分钟;由于存在个体进入疲劳状态时间上有差异,每名被试在模拟驾驶后仍需进行自我主观评价,当主观量表结果显示受试者处于疲劳状态时,实验才有效;最后记录疲劳状态下闭眼静息态5 分钟脑电数据,至此完成一名被试的完整数据采集。
2 特征提取
2.1 脑电信号预处理
数据预处理的主要内容包括:数据筛选,去除基线漂移,滤波、去除眼电肌电伪迹,降采样。经过数据预处理后,对每名被试每个电极的疲劳前后选取一分钟的脑电数据通过滑动窗6 秒,滑动步长0.2 秒进行分段,最终产生1800 个样本,其中疲劳前后正负样本各900 个。
2.2 近似熵特征提取
近似熵(Approximate Entropy,AE)是用于量化时间序列波动的复杂性和规则性的定量分析方法[17]。使用一个非负数来表示时间序列复杂性,时间序列越复杂,AE 值越大[18]。近似熵的定义为:
本文AE 参数的取值为m=2,r=0.2SD。
2.3 样本熵特征提取
样本熵(Sample Entropy,SE)也是衡量时间序列复杂度和维数变化时时间序列产生新模式概率的大小的指标,。SE 对丢失数据不敏感,不依赖数据长度,具有抗噪和抗干扰能力强的特点。由于不包含对自身数据段的比较,SE 提高了计算精度,节约了计算时间。SE 值越低,时间序列的越复杂[19]。样本熵定义为:
本文SE 参数取值为m=2,r=0.2SD.
3 驾驶疲劳检测及结果分析
3.1 驾驶疲劳特征提取结果分析
对疲劳前后状态下6 名被试的AE 和SE 熵值进行t 检验统计分析。为直观展示不同状态下的熵值变化情况,绘制了驾驶疲劳前后SE 和AE 脑电地形图,如图3 所示。从图中可以看出驾驶疲劳状态下2 种熵值均为蓝色区域面积增加颜色加深,红色区域面积减少颜色变浅,即驾驶疲劳状态下脑电信号的复杂度降低,说明AE 和SE 这2 种非线性指标均能够反映驾驶疲劳变化情况。驾驶疲劳前后AE 和SE 存在显著差异(p<0.05)的导联主要分布在前额区、右额区、右中央区和颞区。存在非常显著差异(P<0.01)的脑电通道主要集中在FP1、FP2、F4、F8 和T7,如图4 所示。
图3 不同状态下熵值和P 值的脑电地形图(每列上为样本熵,下为近似熵)。(a)清醒状态;(b)疲劳状态;(c)清醒状态和疲劳状态统计学对比的P 值分布(蓝色区域内的导联P<0.05)
图4 存在显著差异脑电通道t 检验P 值(**表示存在非常显著差异)
3.2 驾驶疲劳检测结果分析
数据需要进行归一化处理,按9:1 将数据分为两部分,其中9 份数据用于模型训练,1 份数据用于模型测试,采用10折交叉验证分类器的识别性能。为检测该方法的稳定性和鲁棒性,采用KNN、DT、Adaboost、SVM 这4 种经典分类器对存在显著差异的脑电通道进行组合熵特征集和单一特征集的清醒状态和疲劳状态的识别,各通道各分类器识别准确率如图5 所示。从图中可以看出通过4 种分类器的各脑电通道基于组合熵特征集的分类准确率明显比基于单一特征的高,其中FP1、FP2、F8 和T7 脑电通道分类准确率比其他通道的高,这对于选择有较高精度的EEG 单通道提供方向。基于此,本文重点分析4 种分类器对这四个脑电通道的分类情况。对于分类器性能的好坏需要各类指标来评价,通常评价的指标有accuracy(准确率)、precision(精确率)、recall(召回率)、F1-分数、ROC 曲线、AUC 值等。ROC 曲线所覆盖的区域面积即为AUC 值,是反映分类器性能的综合指标,ROC 越靠近左上角,AUC 值越大,则模型分类效果越好,反之效果越差。本文采用这六项指标来进行比较,如表1 所示。FP1、FP2、F8和T3 脑电通道的ROC 曲线如图6 所示.类器ROC 曲线都接近于左上角,表明其分类性能都不错。FP1导联脑电数据KNN 分类器AUC 值0.980,平均准确率92.8%;DT 分类器AUC 值为0.939,平均准确率91.9%;Adaboost 分类器AUC 值为0.970,平均准确率90.6%;SVM 分类器AUC值0.9737,平均准确率90.4%。FP2 导联脑电数据KNN 分类器AUC 值0.958,平均准 确 率88.1%;DT 分类器AUC 值为0.911,平均准确率85.6%;Adaboost 分类器AUC 值为0.923,平均准确率84.1%,SVM 分类器AUC 值0.922,平均准确率82.8%;F8 导联脑电数据KNN 分类器AUC 值0.980,平均准确率92.3%;DT 分类器AUC 值为0.939,平均准确率91.2%;Adaboost 分类器AUC 值为0.970,平均准确率88.9%,SVM 分类器AUC 值0.962,平均准确89.3%;T7 导联脑电数据KNN分类器AUC 值0.968,平均准确率90.8%;DT 分类器AUC 值为0.928,平均准确率88.6%;Adaboost 分类器AUC 值为0.937,平均准确率84.9%,SVM 分类器AUC 值0.952,平均准确率87.9%.从各类性能指标来看KNN 分类器最佳,准确率和综合指标AUC 均高于其他分类器,FP1 的KNN 平均识别率最高92.8%,其他分类器的平均识别率均在90%以上,达到了满意的效果。由此说明通过EEG 单通道FP1 采用组合熵特征集的方式进行驾驶疲劳检测具有一定的鲁棒性和稳定性。
图5 显著差异脑电通道组合熵特征集与单一特征准确率对比图
图6 4 种分类器的ROC 曲线(FP1 FP2 F8 T7)
表1 4 种分类器性能指标对比表
4 讨论
本文采用AE 和SE 来量化驾驶疲劳前后脑电信号的复杂度,并作为组合熵特征集通过4 种常用分类器进行疲劳识别,旨在以安全为关键的人机交互中人类驾驶员或操作员上实现 使用EEG 单通道的疲劳程度的识别检测系统。熵从脑电信号复杂度的角度描述了大脑皮层中神经元的活跃程度,本研究结果表明驾驶疲劳状态下AE 和SE 熵值均比清醒状态下的熵值小,这说明疲劳抑制了大脑皮层神经元活动的活跃性,脑电复杂性降低,AE 和SE 均能很好的表征驾驶疲劳;清醒与疲劳状态存在显著差异的主要集中在额区、颞区和右半球的若干脑区,这可能与大脑各区功能化的差异有关。额区对精神状态有密切的关系,颞区主要负责听觉,中央区负责肢体的运动和感觉。而本研究的脑疲劳诱导任务正是为时150 分钟的驾驶任务,需要较强的空间感知需要、肢体活动、精神集中、抽象思维、判断识别,需要各脑区的联合作业,涉及的脑区也比较广,所以这些脑区比其他脑区受疲劳抑制程度更大;非常显著差异的导联主要集中在前额区、右额区和左颞区,说明这几个导联的区域对驾驶疲劳变化具有更加敏锐的反应;从分类结果看,与单一特征方法相比,组合熵特征集能够更好的识别驾驶疲劳状态;对比4 种经典分类器性能指标,KNN 分类器的性能最佳,特别是在FP1 通道中分类准确率达到令人满意的效果,也说明利用一个通道FP1 检测驾驶疲劳状态也是可行的,这对于下一步基于BCI 技术脑电采集设备的不断发展,研制使用单导联的便携式可穿戴式疲劳检测装置具有很强的理论依据。在本项研究中,由于受试者的样本人群主要是大学中年轻健康的人群,以尽量减少个体差异的影响,但缺乏考虑各年龄段的差异,未来的研究应该包括广泛的受试者,以检测年龄和驾驶经验等其他变量的可能影响。