融合眼动和脑电特征的疲劳驾驶检测研究

徐军莉,王 平,穆振东

(江西科技学院 协同创新中心, 江西 南昌 330098)

0 引 言

疲劳驾驶是造成交通事故的主要因素之一。2017年5月交通网资料显示,2016年度京沪高速淮安段共发生交通事故787起。其中因疲劳驾驶导致的交通事故414起,约占事故总量52.6%。因此实时检测出驾驶员是否处于疲劳驾驶状态,并在出现疲劳驾驶时给出有效的预警是有着十分重要的现实意义。

为了降低由于疲劳引发的交通事故, 相关学者通过各种方法进行疲劳驾驶检测研究。根据研究手段的不同, 疲劳驾驶研究可以分为3个方向[1]：①基于车辆行为的驾驶检测, 包括车道偏离、车辆行驶速度、方向盘压力、转向转速等，例如刘军等[2]提出基于转向盘转角的疲劳检测方法, 这种方法可高效地判断出受试者的疲劳状态；②基于驾驶行为检测, 包括眼动行为、面部行为和头部位置行为等，例如赵雪鹏等[3]以眼部行为为特征，提出基于级联卷积神经网络结构的疲劳检测算法；③基于人体生理信号的检测, 主要包括脉搏跳动、眼电、肌电、心电和脑电等，例如HU Jianfeng[4]采用样本熵(SE)、模糊熵(FE)、近似熵(AE)和谱熵(PE)4种熵测度对原始脑电信号进行分析，并用10种最先进的分类器进行比较，发现将通道CP4、特征FE和分类器随机森林(RF)相结合，可以获得最佳的单通道性能。3种研究方式各有优缺点。如利用车辆行为作为特征的优势在于实时性强，对受试者无干扰，但车辆行为特征并不能真正反映受试者疲劳的状态变化，因而疲劳识别准确率基本在80%左右；利用驾驶行为特征的疲劳检测克服了车辆行为不能直接反映受试者疲劳状态变化的缺点，疲劳检测率达到90%左右，但它的缺点是受光照变化、面部表情、复杂背景等因素的影响较大；直接利用生理特征作为疲劳检测依据识别准确率最高，能达到98%以上，但是由于生理信号过于敏感，个体差异性较大，因而稳定性较差。因此为了更好的利用多种不同信号特征的优势，很多研究者在疲劳检测中综合了多种不同的信号特征。例如白中浩等[5]利用眼睛闭合百分比Perclos(percentage of eyelid closure),眼皮的平均闭合速度Aecs(average eye closure speed)，哈欠频率(yawning frequency)，点头频率(nod frequehcy)4个疲劳特征，借助自适应神经模糊推理系统检测驾驶员疲劳，检测准确率达93.3%；王琳等[6]通过提取表征颈腰部肌电特性的特征参数，并对特征参数进行主成分分析，以此为自变量建立疲劳检测模型，检测模型检测率在90%以上。这些不同特征融合的研究结果表明：不同信号特征融合可以提高疲劳识别效果。但很多研究者大多是将同类特征之间进行融合，其中以人体生理特征之间的融合最多。其中EEG被誉为疲劳检测的“金标准”。虽然生理特征检测率高，但一旦移植到真实环境下，检测率会较不稳定。而眼动特征是疲劳引发的一种带有生理因素的外在特征，特征信号稳定。为了获得高的检测准确率和检测稳定性,笔者拟将脑电特征和眼动特征动态融合作为反映受试者疲劳状态的特征，然后从检测的稳定性和准确率两方面来比较基于融合特征的疲劳检测模型与基于脑电(眼动)特征的检测模型的性能。

1 疲劳驾驶实验

1.1 实验采集过程

实验在一间屏蔽室里进行。眼动数据采用Ergoneers公司的Dikablis头戴式眼球追踪仪采集。具体实验平台和设备如图1。脑电信号是用Neuroscan 32导电极帽采集。

图1 信号采集平台和设备Fig. 1 Signal acquisition platform and equipment

受试者坐在屏蔽室中，为了实现脑电和眼动信号的同步采集，受试者同时戴着电极帽和眼球追踪仪。两个设备的另一端分别接到室外的两台电脑上。眼球追踪仪的信号被传输到室外电脑中的D-lab软件中。D-lab软件根据采集的眼动数据计算出眼睛闭合百分比Perclos，注视时间(fixation duration)，扫视长度(saccade length)等眼动参数信息。其中D-lab软件的采样频率为25 Hz。电极帽将采集的信号放大后传输到室外电脑的Scan软件中。其中电极帽采样频率为1 000 Hz。

实验中选取了20名在校有驾驶证的大学生(男生14名，女生6名)作为受试对象，年龄在19～21岁之间。实验选取模拟驾驶的软件，通过实物方向盘操控驾驶过程。本实验目的是要采集受试者在驾驶过程中不同状态下的眼动数据和脑电数据。为了保证正常驾驶，要求受试者实验前一晚无熬夜行为。实验时间为下午14:00。受试者试驾5 min后，实验员开始采集受试者的眼动和脑电数据。20 min后, 受试者填写卡罗林斯卡嗜睡量表(karolinska sleepiness scale, KSS), 对当前自身的警觉状态做一个评分。量表等级及计分如表1。

表1 KSS表Table 1 Karolinska sleepiness scale

KSS表将警觉度状态分为9个等级, 得分越高表示受试者警觉度状态越差。当受试者的KSS≥7则认定受试者处于疲劳状态, 否则为未疲劳。每隔15 min, 受试者就要求填写KSS问卷调查。当通过问卷调查确认受试者进入疲劳状态,则开始采集受试者当前状态的眼动数据。记录时间为20 min，20 min后实验结束。将整个实验数据前10 min的数据作为清醒状态数据, 最后10 min为疲劳状态数据。因此每个受试者的脑电样本数据有1 200×1 000个样本数据, 其中清醒状态数据600×1 000个, 疲劳状态数据600×1 000个。而眼动数据以1 min为周期计算眼动参数, 因此每个受试者的眼动数据样本为20个, 其中清醒状态数据10个, 疲劳状态数据10个。

1.2 疲劳特征的选取

根据原始眼动数据计算眼动参数, 包括Perclos, 注视时间(fixation duration),注视次数眼睛闭合百分比(number of fixation),扫视长度(saccade length),扫视次数(number of saccade), 瞳孔面积(pupil area)以及眨眼时间均值(t_zy)等。通过对受试者清醒和疲劳状态下各眼动参数进行t检验, 发现两种状态下的Perclos, saccade length, pupil area及t_zy的p值都小于0.01。图2显示了某个受试者清醒和疲劳两个状态下Perclos, saccade length, pupil area及t_zy对比图及t检验的对应p值。

图2 某个受试者在清醒与疲劳状态的眼动参数的对比Fig. 2 Comparison of eye movement parameters of a subject in awake and fatigue state

从图2可以看出, 清醒状态下的sccade length, pupil area的值普遍大于疲劳状态下的对应值, 而清醒状态下的Perclos, t_zy的值普遍小于疲劳状态下的对应值。清醒状态下的4个眼动参数的值与疲劳状态下的对应值存在明显的差异性。因此, 笔者将选用Perclos, saccade length, pupil area及t_zy作为眼动的疲劳特征参数。

脑电信号经过预处理后, 选取其中30导的数据, 电极的分布图如图3。从图3可以看到1～30导对应的电极。利用小波熵函数提取受试者脑电特征, 然后采用KNN算法, 建立疲劳检测模型对脑电样本数据进行检测, 发现检测率大于70%的电极大部分都集中在第20～30导之间。因此为了提高疲劳检测率, 选取第20～30导的10个电极提取的脑电特征作为疲劳特征指标。从图3中可以作为脑电特征指标的10个电极分别为CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz、O2。此外,笔者参考MU Zhendong等[7-8]在论文中提到的分别采用前额的Fp1、Fp2和T5、TP7、TP8、Fp1提取的脑电特征作为疲劳特征指标。据此建立3个基于不同脑电特征的疲劳检测模型。

图3 国际10-20系统脑电极分布Fig. 3 Brain electrode distribution of international 10-20 system

2 建立疲劳检测模型

2.1 建立基于眼动特征的疲劳检测模型

当样本数据的特征数较少, 且有较多交叉数据的待分类样本集, KNN方法更为适合。因此,笔者选用KNN算法作为分类算法，分别采用Perclos, saccade length, pupil area及t_zy作为眼动疲劳特征建立疲劳检测模型。由于实验样本中有部分样本数据存在一定缺失值,只选取14例受试者的眼动样本数据, 共280个样本。其中200个作为训练样本, 80个作为测试样本。表2中显示了各疲劳检测模型对每个受试者的检测率、检测率均值和方差。

表2 采用不同眼动疲劳特征参数的检测模型的检测率Table 2 Detection rate of the detection model with different eyemovement fatigue characteristic parameters %

从表2的各检测模型的检测率均值和方差可以看出, 检测率均值较大的模型眼动特征是Perclos和saccade length, 检测率均值较小的是pupil area和t_zy。但模型检测率相对稳定的是pupil area、t_zy和saccade length。

2.2 建立基于脑电小波熵的疲劳检测模型

小波熵是一个衡量非线性信号多尺度动力学行为有序、无序程度的量化指标, 它可提供信号非线性动力学过程复杂程度的信息。近年来, 小波熵在脑电信号中的研究日益受到关注, 国内外学者用小波熵研究脑电信号、诱发电位、事件相关电位等的复杂程度, 揭示了大脑电活动的动力学机制。因此, 将利用小波熵函数提取受试者的脑电特征。为了和眼动数据匹配, 笔者选取了相同14例受试者的脑电数据。然后用小波熵函数从CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz、O2共10个电极提取脑电特征建立疲劳检测模型。为了与前期研究者选取的电极比较检测效果。笔者也分别用小波熵函数提取了前额的Fp1, Fp2两个电极,T5,TP7,TP8,FP1 4个电极的脑电特征, 并建立了对应的两个疲劳检测模型。表3中显示了各疲劳检测模型的检测率。

表3 3个基于不同电极数的疲劳检测模型的检测率Table 3 Detection rate of three fatigue detection models based ondifferent electrode numbers %

从表3的检测率均值可以看出, 基于10导电极的疲劳检测模型的平均检测率为92.48%, 明显高于2导电极和4导电极的平均检测率。对比表2和表3中均值和方差, 我们也能发现:基于脑电特征的模型检测率普遍比基于眼动特征的模型检测率高很多, 但稳定性却普遍不如基于眼动特征的模型。

2.3 建立基于混合疲劳特征的疲劳检测模型

由于采用10导电极作为疲劳特征指标的检测效果更好, 因此在融合脑电疲劳指标和眼动疲劳指标时, 笔者将10导电极分别融合眼动的Perclos, saccade length, pupil area及t_zy,形成4个具有不同融合特征的疲劳检测模型, 分类方法仍然采用KNN算法。4个混合疲劳特征模型和基于10导电极的疲劳检测模型的平均检测率对比如图4。

图4 不同特征的疲劳检测模型检测率的均值方差对比Fig. 4 Comparison of mean variance of detection rate offatigue detection models with different characteristics

从图4中可以看出, 采用saccade length+10导平均检测率为92.32%, 远高于其他3个混合特征的平均检测率, 只略微比采用10导的疲劳检测值92.47%小一些。但从各检测模型的检测率方差可以看出, saccade length+10导的稳定性是最好的。因此, 采用saccade length+10导的混合特征的疲劳检测模型效果是最好的。不仅具有较高的检测率, 检测效果还具有较强的稳定性。

3 结 论

为了减少因疲劳驾驶而导致的交通事故, 很多研究者已经开始对疲劳驾驶进行研究。为了兼顾疲劳识别的稳定性和高的检测率, 笔者融合了脑电特征和眼动特征建立疲劳检测模型。结论如下：

1)利用小波熵函数提取受试者脑电特征, 基于2导电极、4导电极、10导电极的疲劳检测模型的平均检测率都要远大于单纯选取某一个眼动特征建立的疲劳检测模型的平均检测率。其中以10导电极提取的疲劳特征建立的疲劳检测模型的平均检测率最高。

2)以10导分别融合眼动的Perclos, saccade length, pupil area及t_zy形成的4个具有不同融合特征的疲劳检测模型中, 采用saccade length+10导的混合疲劳特征的疲劳检测模型效果是最好的。不仅具有较高的检测率, 检测效果还具有较强的稳定性。

当然,在saccade length+10的混合特征中由于采用的脑电电极过多会增加计算量影响检测速度。因此,如何在保证高检测率和较强稳定性的前提下减少混合特征中的脑电电极数是未来进一步研究的方向。