疲劳驾驶检测方法研究进展
2023-11-21陈见哲
陈见哲
疲劳驾驶检测方法研究进展
陈见哲
(长安大学汽车学院,陕西西安 710064)
疲劳驾驶是诱发交通事故的重要因素,研究如何快速准确地识别出驾驶员的疲劳状态,并在事故发生前进行疲劳预警,对预防疲劳驾驶、促进交通安全具有重要的研究价值和社会意义。文章从疲劳的检测原理出发,对比介绍了基于驾驶员生理特征、车辆行为特征、驾驶员面部特征的疲劳检测方法,重点分析了基于机器视觉的疲劳驾驶检测研究现状及其特点,以期为研究人员提供新思路。
疲劳驾驶;检测方法;驾驶行为;机器视觉;交通安全
随着我国经济和交通运输业的飞速发展,汽车已成为居民生活中最常用的交通运输工具。据公安部统计,截至2022年3月底,全国机动车保有量达4.02亿辆,其中汽车3.07亿辆,超越美国居全球首位。不断增加的车辆数有可能导致更多的交通事故发生。据国家统计局统计,2022年全国共计发生273 098起交通事故,致使62 218人死亡和281 447人受伤,直接财产损失达14.503 6亿元。越来越多的统计数据和研究表明,疲劳驾驶是造成交通事故的主要原因之一,因其造成的交通事故数量约占总体事故数量的10%~20%[1]。因此,进行与疲劳驾驶相关的研究非常重要。
疲劳是一种介于清醒和睡眠之间,精神警觉性降低的状态。驾驶疲劳是驾驶员反复、连续操作使其生理、心理上发生变化出现驾驶机能低落的现象,主要表现为注意力分散、打瞌睡、视野变窄、信息漏看、反应判断迟钝、驾驶操作失误或完全丧失驾驶能力,以至发生碰撞、冲出路面等交通事故,其产生的原因主要为长时间驾驶、睡眠不足或质量差、生理节律和驾驶员因素等[2],且疲劳程度通常随着清醒时间的延长而增加。
研究人员发现,处于疲劳状态的驾驶员在驾驶过程中,发生交通事故和交通冲突的概率是清醒状态下的4~6倍[3]。这表明疲劳驾驶将严重影响行车安全,是造成交通事故的重大隐患。21世纪以来,越来越多的国家开始重视疲劳驾驶的治理问题。我国的《道路交通安全法实施条例》指出,连续驾驶机动车超过4 h,中途未停车休息或者停车休息时间少于20 min均属于疲劳驾驶,将对驾驶员进行扣分处理。德国法律规定营运车辆驾驶员每天驾驶时间累计不得超过9 h,且连续驾驶4.5 h必须休息45 min以上。违反驾驶时间规定的驾驶员和相关运输企业都将受到处罚,且相关处罚记录将作为企业今后获取营运资格的依据。美国对长途客运公司建立了疲劳预警机制,客车装有疲劳预警系统,通过检测驾驶员的疲劳状态并发出警报,可以减少由于疲劳引起的交通事故。
德国Daimler-Benz公司的研究结果显示,若在事故发生前0.5 s进行预警,则能够避免50%的碰撞事故,若预警时间提前1 s,则能够避免90%的事故发生。因此,如能对驾驶员的疲劳状态进行实时准确地检测、合理有效的预警,将大大降低疲劳导致的交通事故率,保障行车安全。
1 疲劳驾驶检测原理
疲劳驾驶检测通常借助各类传感器和设备获取驾驶员的驾驶行为与状态,以分析驾驶员的疲劳情况。早期的研究可以追溯到1935年,主要通过医疗器械,从医学的角度出发开展疲劳驾驶的测评研究[4]。随着电子技术的发展和机器视觉的崛起,物理传感器和图像处理技术相继被运用于疲劳检测研究。目前,已有许多汽车公司研发了较有效的疲劳监测系统。本文根据所用疲劳特征的差异对疲劳驾驶检测原理进行概述。
1.1 驾驶员生理参数
生理指标能反映人的精神状态。疲劳时,驾驶员难以集中注意力(神情恍惚),其部分生理指标将发生显著变化。这些生理指标可作为疲劳特征用于疲劳检测。在目前的科研领域中,用于疲劳驾驶检测的生理指标涉及到脑电图(Electro Encephalo Gram, EEG)、心电图(Electro Cardio Gram, ECG)、肌电图(Electro Myo Graphy, EMG)、眼电(Electro Oculo Gram, EOG)、脉搏波(Blood Pressure Waveform, BPW)信号等,下面将进行详细分析。
1.EEG信号
脑电信息作为反映大脑活动的重要信号,并与驾驶疲劳关系密切,故被称为驾驶疲劳检测的“金标准”。脑电图频域范围被划分为波(0.5~4 Hz)、波(4~8 Hz)、波(8~13 Hz)、波(13~30 Hz)、波(30 Hz以上)。大量的研究表明,人的疲劳程度与脑电图的频带密切相关,在疲劳时,波和波的活动显著增强,波活动会随之下降[5]。通过在驾驶员头皮表面安装电极可以采集较微弱的脑电图信号,将信号放大后可以用于疲劳驾驶的检测。
2.ECG信号
研究表明,心电信号的几个典型特征,如心率变异性(Heart Rate Variability, HRV)、低频能量、超低频能量和高频能量,在驾驶员清醒和疲劳时将发生显著变化。因此,利用心电特征可识别驾驶员的疲劳状态[6]。有研究人员采用毫米波雷达获取驾驶员的心率,并以此识别驾驶员的疲劳状态[7]。
3.EMG信号
疲劳后,驾驶员动作会变得僵硬,操作动作缓慢,肌电信号的幅值上升,平均频率下降。通常采用诱发电位的测量方法,监测驾驶员肌电信号的变化,判断其疲劳状态。
4.EOG信号
眼电信号是眼角膜和视网膜之间的电位差,当眼睛发生某种运动时就会产生相应的电信号,可以反映眼部的运动状态。当驾驶员进入疲劳状态,其眼部的运动状态将发生改变,眼电信号随之产生变化,因此,眼电信号可以用于疲劳检测。相比于其他检测方法,眼电信号具有鲁棒性好、信噪比高、直观易处理等优点。通过前额眼电信号采集(在头部前额布置电极)的方式获取眼电信号的平均值、标准差、均方根特征,利用结合遗传算法-广义回归神经网络(Genetic Algorithm- Generalized Regression Neural Network, GA-GRNN),构建了疲劳驾驶检测模型,平均检测准确率达到了72.5%[8]。
5.BPW信号
脉搏指人体表可触摸到的动脉搏动。动脉内的血液容积及压力等均会呈现出周期性改变,这种改变会引起血管壁周期性舒张与收缩,便形成了脉搏波,其波形特征在一定程度上反映了人体的生理状态。研究表明,脉搏信号的功率谱峰值和峰值中心频率能够很好地识别驾驶员的疲劳状态[9]。脉搏波信号可通过血氧脉搏仪(类似于手环)采集,其信号采集过程几乎不会影响驾驶员操作。
将生理参数作为疲劳特征的检测方法检测精度较高、鲁棒性好,作为理论研究具有很大的学术价值,但多数信号采集设备成本较高,需要驾驶员穿戴接触式信号采集装置,往往会影响驾驶员的操作,对驾驶员侵入性强,致使该类检测方法多用于科研和驾驶模拟器场景。
1.2 车辆行为特征
疲劳状态下,驾驶员反应时间增长,且操作水平下滑,对车辆的控制明显异常。例如:疲劳驾驶时,驾驶员对方向盘的握力将会逐渐降低,转动方向盘的情况也会与正常驾驶时存在偏差,车辆的车道偏移量也将发生变化。故可通过转向、车道偏离和车速等车辆行为特征监测疲劳状态。
1.转向行为
方向盘是驾驶员与汽车横向控制最直接的连接方式。疲劳驾驶时,驾驶员对方向盘的轻微修正(0.5~5°)次数比正常驾驶时要少[10],大幅度修正次数要比正常驾驶时更多[11]。同时,随着驾驶员肌肉的放松,驾驶员对方向盘的握力会减小[12]。通过安装在转向柱上的角度传感器和方向盘上压力传感器,可以采集驾驶员的转向信息,进而了解驾驶员的疲劳情况。此类方法目前已应用于日产(Nissan)和雷诺(Renault)等汽车公司开发的疲劳驾驶预警系统。
2.车道偏离量
考虑到疲劳驾驶时,驾驶员往往无法及时对车辆状态进行修正而使车辆偏离车道,车道偏离量将产生异常。车道偏离预警系统(Lane Departure Warning System, LDWS)致力于对疲劳、分心等情况下的车道偏离进行检测和预警,可以有效减少疲劳引发的交通事故。目前的车道偏离预警算法一般先对驾驶员的换道意图进行识别,以免换道行为对疲劳识别造成干扰。在部分研究中,研究人员以驾驶员是否打转向灯为换道意图的判别标准[13],并对无换道意图(未打转向灯)时的车道偏离进行预警。
3.车速特征
车速标准差能反映驾驶员控制车辆的能力,车速越平稳,标准差越小。随着驾驶过程的延长和疲劳程度的加深,驾驶员对行车环境的感知能力下降,操作更迟缓,平均车速和车速标准差会发生变化[14]。因此,车速特征也可以应用于疲劳驾驶检测。沃尔沃(Volvo)汽车公司于2005年研制的“驾驶员警示系统”就是基于车辆速度特征识别车辆状态,如:车辆被判定为失控状态则认为驾驶员大概率处于疲劳状态。
基于车辆行为特征的疲劳驾驶检测方法一般为非接触式,往往采用传感器和图像处理技术对车辆行为特征进行检测,检测设备易于实车安装,数据采集方便,对驾驶员无侵入性且成本较低、实时性较强、市场前景较好。但该方法鲁棒性较差,检测精度易受车辆型号、行驶路况及驾驶习惯等因素影响。
1.3 驾驶员面部特征
疲劳驾驶时,驾驶员面部特征和头部活动将发生变化,如点头行为异常、眨眼情况变化等。目前,基于面部特征的疲劳检测方法主要依靠车载摄像头获取驾驶员的面部图像信息,运用图像处理技术对面部疲劳特征进行提取,以用于疲劳识别。随着机器视觉的快速发展,该类方法的检测精度和检测速度均有较大的进步,是研究中的热点。常用的面部特征包括眼部特征、嘴部特征和头部特征等。
1.眼部特征
眼部的疲劳特征主要和眨眼情况相关,如:单位时间内眼睑闭合率(PERcentage of eyelid CLOSure over the pupil over time, PERCLOS)、眨眼频率、眨眼速率、视线方向、瞳孔直径等。
1)PERCLOS特征。PERCLOS是最具代表性的眼部疲劳指标,表征单位时间内眼睛闭合状态所占时间的百分比。最开始研究眼睛特征与疲劳关系的学者是KNIPLING[15],实验表明,眼睛闭合时间与疲劳程度呈正相关。在此基础上,卡内基梅隆大学(Carnegie Mellon University)驾驶研究中心经长期试验,提出度量疲劳的物理量PERCLOS[16]。PERCLOS的计算有三个标准,分别是EYEMEAS(EM)标准、P70标准、P80标准,其中EM标准以眼睑闭合情况的均方百分比为疲劳指标,而P70和P80标准分别表示眼睑遮盖瞳孔的面积超过70%和80%时,判定为眼睛闭合状态,分别以对应标准计算PERCLOS。后续研究表明,P80标准相较于其他两个标准能更好地匹配驾驶员的疲劳状态,是目前科研中常用的标准。1999年4月,疲劳驾驶方面的专家参加了美国联邦公路管理局(Federal High Way Administration, FHWA)召开的学术会议,明确了PERCLOS作为疲劳驾驶判别指标的可行性。
2)眨眼特征。疲劳状态下眨眼持续时间、眨眼频率和速率都将发生变化。日产(Nissan)汽车公司研制了一款根据驾驶员的眨眼频率来识别疲劳状态的疲劳预警系统。通过高清摄像头实时采集驾驶员的眼部图像,然后将信息传入到疲劳预警系统进行分析和处理。如果在某一时间段内,驾驶员的眨眼次数太多或者是太少,系统则判定驾驶员可能处于疲劳驾驶状态,将通过报警系统发出疲劳警告。
3)视线特征。在正常的驾驶场景中,为了观察周边环境,驾驶员视线会正视前方或者紧盯后视镜,而疲劳时视线方向会发生偏离。WAHLST- ROM[17]使用高清摄像头获取驾驶员的面部图像,随后通过颜色分析法筛选出眼部图像,并以瞳孔比周围虹膜及巩膜颜色更深理论依据,确定出瞳孔的位置,最后根据瞳孔和眼角的相对位置关系确定视线方向。当检测到的视线长时间偏离正前方,则认为驾驶员注意力不集中,很可能处于疲劳状态。
4)瞳孔特征。瞳孔检测最初用于检测饮酒和吸毒行为,目前也被用于疲劳检测。当人处于疲劳状态时会对光更敏感,视力更模糊,观察环境时眼睛会过度调节,会使瞳孔缩小。瞳孔直径与疲劳程度关系密切,而瞳孔直径变异系数(Coeff- icient of Variation of Pupil Diameter, CVPD)能反映瞳孔的波动情况。研究表明,驾驶员在清醒、轻度疲劳、中度疲劳和重度疲劳下的CVPD存在显著差异,且疲劳对驾龄长的驾驶员影响比新驾驶员更显著[18]。
2.嘴部特征
疲劳状态下,打哈欠频次将升高。提取哈欠特征的方式与眨眼特征提取的方式较类似,且嘴部状态相对于眼部状态更易准确识别。但在检测哈欠特征时需要排除唱歌、咳嗽、讲话等类似张嘴行为的干扰。其排除依据是驾驶员在唱歌、咳嗽、讲话的过程中,嘴部会频繁开闭,张、闭状态不断改变,这与哈欠时的嘴巴持续张开有显著差异。此外,当驾驶员打哈欠时用手遮挡嘴部,或者在光线较差的情况,基于RGB(Red Green Blue)图像和嘴巴开闭的哈欠检测将失效[19]。
3.头部特征
疲劳状态下的驾驶员会情不自禁地低头和反复点头,其点头频率增加、头部姿态产生变化。因此,驾驶员单位时间内的点头频率和低头时长可以间接反映其疲劳状况。早期的头部姿态计算方法通常是利用多个距离传感器,以此估算驾驶员的头部位置和姿态。如澳大利亚先进安全概念公司设计了一种头部位置传感器,利用一个相邻的电极电容传感器阵列,并将其安装在驾驶员座位上面,每个传感器均能输出驾驶员头部对应点位到传感器的距离。利用三角代数算法便可实时计算头部在三维空间中的位置,最后根据头部位置的变化特征来识别驾驶员的疲劳状态[20]。近年来,有学者采用人脸识别技术来计算头部关键点,并将二维的特征点映射到三维空间以估计头部姿态。也有学者采用欧拉角来描述头部姿态变化,将头部抽象为一个刚体,用俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)三个自由度定义其运动空间,其中点头动作将引起较大的俯仰角变化和较小的偏航角及翻滚角变化。每当驾驶员头部俯仰角产生较大变化时,判定为一次点头行为,过多的点头行为将作为疲劳的依据。
基于驾驶员面部特征的检测方法是通常利用摄像头和图像处理技术提取疲劳特征。该方法信息采集比较便捷,不会影响驾驶员的正常驾驶,设备小巧成本低,方便实车安装。随着机器视觉技术的发展,其检测精度越来越高,市场前景好,易于推广使用。
2 基于机器视觉的疲劳驾驶检测
机器视觉是人工智能领域非常具有代表性的技术。目前,机器视觉在疲劳驾驶检测领域有着较为广泛的应用,检测过程中所提取的疲劳特征一般为驾驶员面部特征,其检测流程通常如图1所示。
图1 基于机器视觉的疲劳驾驶检测基本流程
下面介绍机器视觉技术在疲劳驾驶检测领域的研究现状,这些研究的主要特征如表1所示。
表1 基于机器视觉的疲劳驾驶检测研究现状
注:MLP:多层感知器(Multi Layer Perceptron);RF:随机森林(Random Forest);SVM:支持向量机(Support Vector Machine);NB:朴素贝叶斯(Naïve Bayes);LR:逻辑回归(Logistic Regression);DT:决策树(Decision Tree);KNN:-近邻(Nearest Neighbor)。
2.1 RGB图像
2.1.1 眼部特征
MAIOR[21]通过Dlib库提取人脸的68个关键特征点,其中包括左右眼的眼角和眼睑位置,再通过特征点坐标计算出眼睛的高宽比(Eye Aspect Ratio, EAR),以反映眼睛的开闭情况,其理论依据是闭眼时,EAR接近0,而睁眼时EAR较大。此外,将眼睛的开闭状态分为睁眼、长眨眼、短眨眼三类,并要求受试者做不同的眨眼行为,生成用于训练的数据集。检测过程中,首先通过摄像头获取图像,计算并记录每一帧的EAR,然后,将连续15帧的EAR作为MLP、RF和SVM三种机器学习算法的输入,以实现疲劳的检测。总体而言,SVM表现最好,平均测试准确率为94.9%。
2.1.2 面部信息熵
YOU[22]发现驾驶员在疲劳时,头部转动和面部的变化会更少,此时面部蕴含的信息熵会更小。通过聚类分析发现,在不同的头部姿势下,驾驶员的面部三角区(双眼与嘴巴构成的区域)面积、中心的横坐标F、纵坐标F将发生显著变化,并以这三个分量构建面部特征向量。随后利用特征向量计算当前帧的面部二维特征点,用于计算信息熵,实现疲劳检测。
在实验中,以WIDER FACE数据库为训练集,将训练后的YOLOv3卷积神经网络用于驾驶员面部图像的提取,再通过Dlib库提取人脸的特征点,计算当前帧的面部特征向量和特征点。随后利用滑动窗口技术,计算每1 000帧的面部特征点所蕴含的信息熵。最后通过SVM分类器训练一个疲劳信息熵阈值,当计算出的信息熵小于阈值时,可认为驾驶员当前时段处于疲劳驾驶状态。
2.1.3 各类面部特征
CHENG[23]以某段时间内,驾驶员眨眼持续时间(Blink Duration, BD)、闭眼速度(Closing Speed, CS)、睁眼速度(reOpening Speed, rOS)的最大值、最小值、均值、25%分位数、50%分位数、75%分位数以及眨眼频率(Blink Rate, BR)、哈欠次数(Number of Yawns, NY)、PERCLOS特征,共计21个疲劳特征为出发点,构建疲劳驾驶检测模型。
通过驾驶模拟器环境收集驾驶员面部图像,并实时计算EAR、嘴巴高宽比(Mouse Aspect Ratio, MAR)用于计算疲劳特征。在实验中,将眨眼阈值和哈欠阈值分别设置为0.16和0.6,这意味当<0.16时将眼睛识别为闭眼状态;>0.6时将嘴巴识别为开口状态。根据阈值模型即可计算某一时段内驾驶员的PERCLOS等特征。随后开展了一系列交叉验证,通过最小冗余最大相关性(max-Relevance and Min-Redundancy, mRMR)算法对比各疲劳特征在不同疲劳程度分级场景、不同场景(城市道路、高速公路)中与疲劳的相关性,实验表明PERCLOS特征在大多数情况与疲劳的相关性最强。最后通过比较检测精度对比了SVM、NB、LR和DT在不同疲劳程度分级场景、不同场景下,选用不同疲劳特征时的表现,实验中疲劳程度二分类模型下的LR表现最佳,平均检测准确率为84.1%。
2.1.4 多特征融合
张闯[24]采用多特征融合的思路,将眨眼特征与哈欠特征进行融合,并设计了一个阈值模型完成疲劳检测。实验在真实道路场景下实车采集数据,将摄像头采集的驾驶员实时图像输入多任务级联卷积神经网络(Multi-Task Cascaded convolu- tional Neural Networks, MTCNN),筛选出含有面部的图像,并对含有面部的图像进一步提取眼睛和嘴巴的感兴趣区域(Region Of Interest, ROI),以提高检测效率。随后利用Dlib库中的68个面部特征点,基于PERCLOS、EAR和MAR按不同的权值相加得到每一帧的疲劳识别参数,并在其大于阈值时计数,在一定时间内,计数次数越多说明驾驶员越疲劳。实验结果显示,使用MTCNN进行面部区域检测的检测速度为0.029 s,准确率达96.4%,且该疲劳驾驶检测系统的准确率达到了93.1%。
基于RGB图像的疲劳检测方法受驾驶环境的影响较大,具体表现为在光线较差的场景检测效果不理想、驾驶员佩戴眼镜时影响眼部特征提取等、佩戴口罩时影响嘴部特征提取。
2.2 红外热像图
如2.1小节所述,基于RGB图像的疲劳检测往往容易受到光照的影响,在光照较差的夜间检测效果欠佳。红外热成像技术不受光照影响,能提取被测物体的温度分布信息。目前,已有研究将热成像技术应用于疲劳检测领域,为此提供了新的研究思路。
2.2.1 皮肤温度特征
研究表明,缺乏睡眠将诱发交感神经兴奋,产生血管收缩异常现象,具体表现为眼部区域充血、额头处血流增多等情况。在红外热像图上,这些异常表现将使额头区域出现不对称的温度分布、眼部区域出现面积更大的热区区域,且这些异常的红外热成像表达与性别无关。
陈莉莉[25]使用SWIRI-FX红外热像仪采集驾驶员面部的红外热成像数据,其测温范围为-20~150 ℃,采集频率为50帧/s。随后针对眼部区域和额头区域通过计算灰度梯度共生矩阵得到纹理特征,分别利用KNN、SVM和RF三种分类器建立检测模型。实验表明,SVM的检测效果最佳,精度达91%。
2.2.2 哈欠特征
在打哈欠过程中,嘴巴吸入空气会导致口腔内温度下降,尤其是舌头上半部分。此外,舌头下方或口腔底部,也会暴露在相机面前,导致热像图出现变化。而这些变化在呼出经肺部加热过的空气时会更明显。
KNAPIK[26]提出一种基于热成像哈欠检测的驾驶员疲劳识别新方法。将FLIR A35红外温度传感器安装在挡风玻璃的顶部(遮阳板的下方),红外图像采集频率为30帧/s,将不会影响驾驶员的视野。考虑到嘴巴闭合时,嘴唇与面部其他部位温度差异较小,口腔轮廓较难提取。而在热像图中,眼部位置较容易提取,因此,利用眼部的位置信息辅助定位嘴部位置。将口腔温度的异常变化作为哈欠检测的依据,并利用温度变化的均值和标准差特征排除由正常呼吸和说话引起的温度波动干扰。
2.2.3 呼吸特征
KIASHARI[27]提出一种基于热成像分析驾驶员呼吸特征的疲劳检测系统,其基本原理是吸气和呼气将引起呼吸区域温度变化,通过红外热像图即可提取呼吸信号。实验利用热图像序列在前几秒的变化来定位呼吸区域。由于驾驶员的正常呼吸频率在12~20次/min变化,因此,两次连续呼吸之间可能的最大时间间隔约为5 s。故将热图像序列前5 s内具有较大变化的图像区域定位为呼吸区域候选区域。基于驾驶模拟器实验获得的热信号数据,计算呼吸频率(Respiratory Rate, RR)和吸气呼气时间比(Inspiration/Expiration, I/E),并以其2 min内的均值和标准差作为输入特征,以训练SVM和KNN分类模型。结果显示,SVM识别效果要优于KNN,且SVM再将所有呼吸特征融合时,检测表现最佳,准确率和查准率均达到90%。
基于红外热像图的疲劳检测方法虽然不受光照等环境影响,但驾驶员的眼镜、过长的头发等因素将对温度检测产生干扰。
2.3 特点分析
基于机器视觉的疲劳驾驶检测具有如下特点:
1.车载实时性强
疲劳驾驶检测设备需有较强的车载实时性,且不能干扰驾驶员正常驾驶。基于机器视觉的疲劳驾驶检测借助深度学习算法能够满足检测的实时性,而利用车载摄像头提取疲劳特征的方式往往不会对驾驶员造成干扰。
2.数据集丰富
目前,已经标定用于疲劳分析的视频数据集较丰富,如国立清华大学疲劳驾驶检测(National Tsing Hua University-Driver Drowsiness Detection, NTHU-DDD)、YawDD、CEW(Closed Eyes in the Wild)、WIDER FACE数据集等。
3.检测精度高
目前,基于机器视觉的疲劳驾驶检测能较好地与机器学习分类算法耦合,而由于视频数据信息量庞大,较容易训练出分类效果好的疲劳检测模型。
4.部分场景鲁棒性差
基于机器视觉的疲劳驾驶检测易受特定环境的干扰。如使用RGB图像进行检测时,光线强弱、驾驶员是否佩戴眼镜、口罩将会对检测结果造成干扰;使用红外热像图进行检测时,驾驶员过长的头发和胡须、空调时不时吹出的冷热空气会使检测效果变差。
3 发展趋势
近年来,在国内外研究人员的努力下,疲劳驾驶检测领域已有了较大的进展。在实际应用领域,已有许多车型配备了疲劳驾驶监测系统,如零跑T03、广汽埃安AION Y、一汽-大众高尔夫GTI、长安UNI-K、岚图梦想家、哈弗赤兔、斯巴鲁FORESTER、比亚迪护卫舰07、领克05等。在此研究领域的发展趋势如下:
3.1 多源信息融合
相较于利用单一特征进行疲劳检测,多源信息融合式的疲劳检测系统虽然较复杂,但其能够融合各方面疲劳特征的优点,往往能达到更优越的鲁棒性和检测精度,在真实道路场景具有更大的潜力,是今后研究的热点。
3.2 机器学习方法
传统的疲劳驾驶检测模型一般通过统计学方法提取行为概率特征或是基于少量数据样本的数理模型驱动。随着人工智能在各个领域的广泛应用,众多学者将机器学习方法应用于疲劳驾驶检测,如使用YOLO(You Only Look Once)算法提取驾驶员的眼部图片、采用SVM模型识别眼睛开闭状态等,为疲劳状态识别带来了新的研究思路。机器学习能够通过对数据深度特征学习,构建应对复杂分析问题的模型,非常适用于疲劳驾驶检测领域。
3.3 检测模型的鲁棒性
目前,大部分的疲劳检测方法是在驾驶模拟器上进行验证,缺少基于真实道路数据的验证。并且许多研究并未考虑驾驶员的个体特征(如性别、年龄、是否佩戴眼镜等)、驾驶环境特征(如光线强度、道路线型等)。未来的研究应完善不足,进一步提高检测模型的鲁棒性。
3.4 检测设备的车载实时性
疲劳驾驶检测设备车载性要好,且检测过程实时性要强,不能干扰驾驶员正常驾驶,对疲劳的驾驶员做到及时有效地预警,才能真正走进驾驶员日常生活,切实保障行车安全。今后的研究应逐步由理论向实际应用转型。
4 结语
疲劳驾驶的研究围绕检测、预警和管控三大核心展开,其最终目的是改善道路交通安全。目前在疲劳驾驶的检测和预警方面已开展了较多研究,但只有部分研究成果能够走出实验室,走进驾驶员的日常生活,仍需要进一步完善产学研的深度融合。在管控方面,大多数驾驶员能够准确感受自己的疲劳情况,但由于自身安全意识淡薄,对疲劳驾驶的危害认识不足,往往会选择继续驾驶,到达目的地才进行休息。
今后不仅要继续发展与完善疲劳驾驶检测和预警方法,同时也要加大交通安全相关知识的宣传力度,让更多驾驶员对疲劳驾驶产生科学的认识,从根源上减少疲劳驾驶行为,为安全出行提供更好的保障。
[1] LI Y Y,TOSHIYUKI Y,ZHANG G N.The Effect of Fatigue Driving on Injury Severity Considering the Endogeneity[J].Journal of Safety Research,2018,64: 11-19.
[2] 李都厚,刘群,袁伟,等.疲劳驾驶与交通事故关系[J].交通运输工程学报,2010,10(2):104-109.
[3] 胥川,裴赛君,王雪松.基于无侵入测量指标的个体差异化驾驶疲劳检测[J].中国公路学报,2016,29(10): 118-125.
[4] 施翔匀.基于心电信号的疲劳驾驶诊断[D].北京:北方工业大学,2019.
[5] 王洪涛,殷浩钧,陈创泉,等.基于脑电信号的驾驶疲劳检测综述[J].华中科技大学学报(自然科学版), 2022,50(11):54-65.
[6] JEONG I C,DONG H L,PARK S W,et al.Automobile Driver's Stress Index Provision System that Utilizes Electrocardiogram[C]//Intelligent Vehicles Symposium. Piscataway:IEEE,2007:652-656.
[7] 张磊,方遒,孙彦超.基于毫米波雷达的疲劳驾驶监测系统[J].机电技术,2022(2):92-95.
[8] 王侃.基于眼电信号的疲劳驾驶检测技术的研究[D].吉林:东北电力大学,2022.
[9] 李鑫,张晖,吴超仲等.基于脉搏波特征融合的驾驶疲劳检测方法[J].中国公路学报,2020,33(6):168-181.
[10] SAHAYADHAS A,SUNDARAJ K,MURUGAPPAN M.Detecting Driver Drowsiness Based on Sensors:A Review[J].Sensors,2012,12(12):16937-16953.
[11] 兰振东.基于脑电与车辆运动信息融合疲劳检测研究[D].大连:大连理工大学,2021.
[12] 张海兵.基于方向盘握力的驾驶员状态识别系统设计[D].太原:太原理工大学,2020.
[13] 刘志峰.车辆集成式横向安全预警系统及其关键技术[D].北京:清华大学,2011.
[14] 郭思强,滕靖,郭旭健,等.基于车辆行驶数据的营运车驾驶员疲劳驾驶监控研究[C]//第九届中国智能交通年会.北京:中国智能交通协会,2014:89-100.
[15] KNIPLING R R,WIERWILLE W W.Vehicle-based Drowsy Driver Detection:Current Status and Future Prospects[R].Washington:United States Department of Transportation,1994:1-22.
[16] DINGES D F,GRACE R.PERCLOS:A Valid Psycho- physiological Measure of Alertness as Assessed by Psychomotor Vigilance[J].NASA Tech Brief,1998,3: 5-9.
[17] WAHLSTROM E,MASOUD O,PAPANIKOLOPOULOS N.Vision-based Methods for Driver Monitoring[C]// 2003 Proc IEEE International Conference.Piscataway: IEEE,2003:382-394.
[18] 赵小平,闵忠兵,薛运强,等.新手驾驶人疲劳状态下的视觉特性研究[J].重庆理工大学学报(自然科学), 2023,37(1):149-157.
[19] JAGANNATH M,BALASUBRAMANIAN V.Assess- ment of Early Onset of Driver Fatigue Using Multi- modal Fatigue Measures in a Static Simulator[J]. Applied Ergonomics,2014,45(4):1140-1147.
[20] 迟健男,张国胜,刘琳娜.驾驶疲劳监测方法综述[J].交通节能与环保,2015,11(4):84-89.
[21] MAIOR C,MOURA M,SANTANA J,et al.Real-time Classification for Autonomous Drowsiness Detection Using Eye Aspect Ratio[J].Expert Systems with Appl- ications,2020,158:1-12.
[22] YOU F,GONG Y,TU H,et al.A Fatigue Driving Detec- tion Algorithm Based on Facial Motion Information Entropy[J].Journal of Advanced Transportation,2020 (2):1-17.
[23] CHENG Q,WANG W,JIANG X,et al.Assessment of Driver Mental Fatigue Using Facial Landmarks[J]. IEEE Access,2019,99:1-10.
[24] 张闯,朱天军,李学民.基于深度学习和面部多特征融合的驾驶员疲劳检测研究[J].计算机测量与控制, 2022,30(12):42-50.
[25] 陈莉莉.基于视觉特征融合的疲劳驾驶检测方法[D].上海:上海工程技术大学,2020.
[26] KNAPIK M,CYGANEK B.Driver's Fatigue Recogni- tion Based on Yawn Detection in Thermal Images[J]. Neurocomputing,2019(21):274-292.
[27] KIASHARI S E H,NAHVI A,BAKHODA H.et al. Evaluation of Driver Drowsiness Using Respiration Analysis by Thermal Imaging on a Driving Simulator [J].Multimedia Tools and Applications,2020,79(25/ 26):17793-17815.
Research Progress of Detection Methods for Fatigue Driving
CHEN Jianzhe
( School of Automobile, Chang'an University, Xi'an 710064, China )
Fatigue driving is an important factor that induces traffic accidents,and it is of great research value and social significance to study how to quickly and accurately identify the fatigue state of drivers and provide fatigue warning before accidents occur to prevent fatigue driving and promote traffic safety.This paper introduces fatigue detection methods based on driver's physiolo- gical characteristics, vehicle behavior characteristics and driver's facial characteristics in comparison from the principle of fatigue detection, and analyzes the current status of research on fatigue driving detection based on machine vision and its characteristics, in order to provide new ideas for researchers.
Fatigue driving; Detection method; Driving behavior; Machine vision; Traffic safety
U471.15
A
1671-7988(2023)21-179-08
10.16638/j.cnki.1671-7988.2023.021.036
陈见哲(2000-),男,硕士研究生,研究方向为交通安全,E-mail:627512269@qq.com。