基于模糊神经网络的驾驶警觉度识别方法研究
2018-09-14吴志敏潘雨帆洪治潮
吴志敏,潘雨帆,洪治潮
(1.公路交通安全与应急保障技术及装备交通运输行业研发中心,广东 广州 510420;2.广东华路交通科技有限公司,广东 广州 510420;3.西南交通大学交通运输与物流学院,四川 成都 610031)
0 引言
驾驶警觉度通常是指驾驶员在执行驾驶任务时长时间保持注意力或警惕性的水平[1]。在长时间的连续驾驶作业过程中,驾驶员需对车辆运行、车辆状态、运行环境等多重信息进行实时监控,易诱发驾驶员疲劳,导致驾驶警觉度下降,从而增加了事故发生率。因此对驾驶员的驾驶警觉度进行有效识别,是驾驶安全研究的关键问题之一。
目前国内外学者针对驾驶员的驾驶警觉度进行了一系列研究。汪澎[2]以驾驶员低警觉度不安全驾驶行为为研究对象,提出了一种驾驶员驾驶行为实时监测系统。李凡[3]则采用支持向量机、线性判别分析等分类方法,构建了基于方向盘握力信号的警觉度监测模型。董书琴等[4]采用不同程度的警觉度(睡眠与清醒)对应的脑电信号(Electroencephalograph,简称EEG),通过对EEG进行特征提取建立了驾驶警觉度识别模型。Papadelis等[5]采用生理信号评估驾驶警觉度,研究结果表明驾驶员EEG、心电信号可对驾驶警觉度进行有效检测。Mbouna等[6]采用眨眼次数、瞳孔活动与头部姿势3项指标,构建了基于SVM的驾驶警觉度识别模型。
上述研究从不同角度丰富了驾驶警觉度相关研究,但缺乏对驾驶警觉度等级的合理划分。以往的研究证明了不同时段的主观疲劳测评、驾驶行为绩效能够反映驾驶精神状态的差异性,同时EEG与驾驶精神状态有着高度相关性[7-8],因此本文拟采用主观疲劳测评、驾驶行为绩效对驾驶警觉度进行等级划分,以EEG为特征指标,结合模糊神经网络模型(Fuzzy Neural Network,简称FNN),提出一种驾驶警觉度识别方法,以期对驾驶员的驾驶警觉度进行有效识别,为设计、开发相关预防控制系统提供理论依据。
1 驾驶员的驾驶警觉度划分
目前,国内外研究通常采用驾驶作业前后两个时段对驾驶警觉度等级进行划分[9-10]。在驾驶作业开始不久,驾驶员具有较高的警觉度,故选取驾驶作业前时段作为驾驶员的高警觉度时段;随着驾驶作业时长增加,驾驶员的疲劳程度逐渐增加,警觉度也随之下降,故选取驾驶作业后时段作为驾驶员的低警觉度时段。
为了量化驾驶员的驾驶警觉度,本文结合主观疲劳评估与驾驶监控作业行为绩效两项指标来衡量驾驶员的驾驶警觉度。通过对比前后两个时段的主观疲劳评估(卡罗林斯卡嗜睡量表(Karolinska Sleepiness Scale,简称KSS)得分)、驾驶监控作业行为绩效(反应时间、速度偏差等)差异性,以验证驾驶警觉度划分的合理性。
2 基于小波变换的脑电参数提取
EEG是一种时变非平稳信号,而小波变换是一种时频结合的分析方法,具有多分辨率的优点[11],适用于对非平稳信号提取相关特征信息。因此本文采用小波变换对EEG进行分解,将分解得到的θ(4~8Hz),α(8~13Hz),β(13~30Hz)3种频段分别提取小波系数能量值作为EEG特征参数,具体处理过程如下。
(1)对信号f(n)进行小波变换,其小波系数定义如下式所式:
式中:(n)为小波函数;k为信号带宽;j为信号中心频率。
(2)将Cj,k进行逆变换,得到逆信号h(n)如下式所示:
式中:hj(n)为逆信号h(n)在某一刻度的分量。
(3)为了对逆信号h(n)进行有限层分解,本文引入Mallat算法[12],即:
式中:W为分层级数,本文取W=3;hW(n)为模糊分量;a为信号某一刻度;haj(n)为不同刻度下的细节分量。因此,可通过上述有限层分解得到θ,α,β3种不同频段的EEG。
(4)小波系数能量值能够反映EEG的时域与频域特征,而各频段的小波系数具有能量的量纲,因此分别提取θ,α,β的小波系数能量值,同时计算合成参数(α+β)/β,α/β,(θ+α)/(α+β),θ/β,(α+β)/θ的比值作为EEG特征参数。
按照步骤(1)~(4)对q个电极的EEG进行处理,则相应得到8q项EEG特征参数,将其作为驾驶警觉度识别特征指标。
3 基于模糊神经网络的识别模型构建
模糊神经网络是将模糊理论引入人工神经网络,较好地实现了两者融合。人工神经网络有着强大的学习能力,并能够对目标事物开启自动识别模式[13]。一般来说,人工神经网络对事物中存在的模糊信息无法有效处理,导致其适用范围不够广泛[14-15]。通过引入模糊理论,弥补了神经网络处理模糊信息的缺陷,从而能够同时对模糊与明确信息进行分类识别。脑电信号作为一种复杂的生理信号,其隐含着诸多复杂信息,也必然存在着大量的模糊信息。鉴于此,结合模糊神经网络有着较强的学习能力与处理模糊信息的特点,本文采用该方法对不同驾驶警觉度等级进行有效识别,构建模型过程如下。
建立含一个输入层、一个模糊层、一个模糊推理层、一个补偿运算层以及一个输出层的FNN模型。其中输入层节点个数由驾驶识别特征指标个数确定,并与节点一一对应;模糊层节点个数由输入变量及其模糊子集个数所确定;模糊推理层与补偿运算层节点个数均由规则数m所确定;输出层节点个数为1,规定高警觉度的输出结果为1,低警觉度的输出结果为0。该网络结构如图1所示。
图1 FNN模型网络结构
对于某一组驾驶警觉度识别特征指标X=(x1,x2,…,x8q),每个EEG特征参数xi视为模糊语言变量。选择高斯型函数作为模糊层隶属函数μip(xi)(i=1,2,…,8q;p=1,2,…,m),所得到的隶属度作为该层输出,如下式所示:
式中:cip为xi的第p个节点对应隶属度的均值;σip为xi的第p个节点对应隶属度的方差。
在模糊推理层,第p个节点的输出量ϕp如下式所示:
而在补偿运算层中第p个节点的输出量φp如下式所示:
式中:γ为补偿度,且γ∈[0,1]。
输出层输出结果为:
式中:wip为第p个补偿模糊节点到第i个输出节点的权值;τ为给定阈值。
4 识别效果测评
表1 识别模型输出结果
基于上述识别结果,可构建FNN识别模型对高驾驶警觉度的识别正确率(TPR)、FNN识别模型对低驾驶警觉度的识别正确率(SPC)、FNN识别模型的整体识别正确率(ACC)3项指标,分别定义如下:
式(8)~式(10)中:TP为模型判断为真高警觉度的样本量;FN为模型判断为伪高警觉度的样本量;TN为模型判断为真低警觉度的样本量;TP为模型判断为伪低警觉度的样本量。
通过计算上述3项指标,以SPC为横坐标、TPR为纵坐标构成反映识别模型效果优劣的接收者操作特征(Receiver Operating Characteristic,简称ROC)曲线。为了对识别模型识别效果进行评价,将ROC曲线的线下面积(Area Under the Curve,简称AUC)作为评价指标。当AUC≤0.5时,说明识别模型识别效果较差;当AUC〉0.5且越来越逼近1时,说明识别模型识别效果越来越好[16]。
5 实例分析
5.1 试验设计
试验有偿招募了20名男性驾驶员(年龄在32~40岁之间,驾龄在4~9年之间)进行测试。被试者身体健康,无精神病史,无色盲或者色弱,且视力或矫正视力在1.0以上。
试验采用型号为VDS—S—I的高仿真驾驶模拟器,其驾驶舱外部如图2(a)所示。试验路线选用一条双向4车道公路,每车道宽度为3.75m,线路里程为100km,设计时速为60km/h。在试验过程中,驾驶操作台前方屏幕将会随机呈现信号,当随机信号出现时要求被试者尽可能快速按键做出反应(若反应时间超过1 000ms,则视此次反应无效)。随机信号刺激呈现120次,相邻两信号刺激时间间隔在25~35s之间。同时,要求被试者始终保持以不低于5km/h的设计时速运行驾驶模拟器,连续驾驶时长为3h。
在整个试验过程中,记录被试者对随机信号的反应时间、车辆当前运行速度。在试验开始前与结束后要求被试者填写KSS量表以评估其主观疲劳度。同时,采用德国Brain Products公司研制的64导Neuroscan脑电仪实时对被试者EEG数据进行采集并记录,如图2(b)所示,普遍选用FC1电极作为参考。脑电采样率、采集频率带宽分别设置为500Hz,1~50Hz,所有电极阻抗均低于2kΩ。
图2 试验场景
5.2 驾驶警觉度等级划分合理性验证
选取试验开始后的16~46min作为高驾驶警觉度时段、150~180min作为低驾驶警觉度时段。对上述两个时段的主观疲劳测评(KSS量表得分)与驾驶监控行为绩效数据(速度偏差、反应时间及反应正确率)进行独立样本t检验。通过检验两者的差异性来验证警觉度等级划分的合理性,检验结果如图3所示。
从图3可看出,前后时段KSS量表得分检验结果为显著性水平低于0.01,其在第1时段(16~46min)显著低于第2时段(150~180min),表明驾驶员经过长时间驾驶操作导致驾驶疲劳,且疲劳程度显著增加;前后时段速度偏差检验结果为显著性水平低于0.05,其在第1时段显著低于第2时段,表明驾驶员对车辆运行速度控制能力下降;前后时段反应时间检验结果为显著性水平低于0.01,其在第2时段显著高于第1时段,表明驾驶员对信号认知能力有所下降;前后时段反应正确率检验结果为显著性水平低于0.01,其在第2时段显著低于第1时段,表明驾驶员误操作率明显上升。
图3 主观疲劳与行为数据检验结果
综上所述,验证了以试验第1时段作为高驾驶警觉度时段、第2时段作为低驾驶警觉度时段的划分具有合理性。
5.3 驾驶警觉度识别结果
采用第2节处理方法分别对试验中第1时段与第2时段的EEG数据进行特征参数提取,均得到512项EEG特征参数,作为驾驶警觉度等级识别特征指标。将所得到的警觉度等级识别特征指标样本作如下处理:将样本分为训练样本与测试样本,按照3∶1的比例从样本中随机抽取。为了验证本文所提模型的优势,分别对FNN识别模型与参考文献[17]中的BP神经网络识别模型进行训练与测试,共测试200次,其结果如表2所示。
表2 两种不同模型的识别结果
由表2可看出,在警觉度识别结果中,FNN模型与BP模型两者对低警觉度识别正确率高于高警觉度,说明两模型对低驾驶警觉度易于识别;在整体识别正确率结果中,FNN模型的整识别体正确率高于BP模型;同时从模型识别效果来看,FNN模型在AUC值上明显高于BP模型,且AUC值接近于1,表明FNN模型识别效果较优。因此,本文所提模型具有可行性与有效性。
6 结论
本文针对驾驶员的驾驶警觉度识别问题,基于EEG构建了驾驶员的驾驶警觉度等级识别方法,其成果主要体现在以下2个方面。
(1) 通过前后 2个时段 (16~46min与 150~180min)驾驶员主观疲劳测评数据与驾驶监控作业行为绩效差异性对比分析,验证了长时间连续驾驶作业会导致驾驶员的驾驶警觉度下降。
(2)以EEG特征参数作为识别特征指标,分别结合FNN模型与BP模型构建了驾驶员的驾驶警觉度识别方法,结果表明FNN模型识别效果优于BP模型。
本文实现了对机动车驾驶员的驾驶警觉度等级的有效识别,可为后续预防控制系统的设计与开发提供理论依据。由于该研究是基于模拟驾驶环境展开的,今后将对该方法在实际驾驶状态下的适用性予以进一步验证。