疲劳驾驶检测研究综述

成亚玲 谭爱平

摘 要：疲劳驾驶是导致交通事故的重要原因，严重影响公众的交通安全出行。全球各国高度重视，科研人员进行了大量研究。相关文献从生理特征信息、车辆行为特征信息、视觉特征信息和多特征信息融合等四维度进行了梳理，并指出了不同检测方法的优缺点。最后，基于不同场景的应用需求，指出了基于深度学习、神经网络与多特征信息融合的疲劳检测研究将是未来研究的重点和热点。

关键词：驾驶行为疲劳检测检测方法信息融合预测

中图分类号：U491.254;TP391  文献标识码： A  文章编号：

Review on Fatigue Driving Detection

CHENG Yaling  TAN Aiping

（Hunan Industry Polytechnic， Changsha， Hunan Province， 410208 China）

Abstract： Fatigue driving is an important cause of traffic accidents， which seriously affects the public's traffic safety. Countries all over the world attach great importance to it， and researchers have carried out a lot of research about it. The relevant literature combs the four dimensions of physiological feature information， vehicle behavior feature information，visual feature information and multi feature information fusion， and the advantages and disadvantages of different detection methods are pointed out. Finally， based on the application requirements of different scenarios， it is pointed out that the research on fatigue detection based on deep learning， neural network and multi feature information fusion will be the focus and hotspot of future research.

Key Words： Driving behavior; Fatigue test; Detection method; Information fusion; Forecast

駕驶员疲劳驾驶会导致其注意力、意识、判断能力、反应能力和执行能力减弱，进而使得对车辆的控制能力下降，导致对紧急情况处理不及时、操作出现失误等情况发生。各国通过法律法规以防止驾驶员疲劳驾驶，降低交通事故频率。研究驾驶员疲劳驾驶检测，对降低交通事故频率有着重要意义。目前，国内外业界与学者对疲劳驾驶检测相关研究主要集中在生理信息特征、车辆行为特征、视觉特征以及多特征信息融合的疲劳检测4个方面。下面将分别对这些研究进行阐述。

1基于驾驶员生理特征信息的疲劳驾驶检测

该类检测方法通过采集驾驶员的EEG（脑电信号）、ECG（心电信号）、EMG（肌电信号）、ESG（皮电信号）等生理特征信息进行检测与分析，从而判定驾驶员的是否处于疲劳驾驶状态。

（1）在脑电波方面，LI G和CHUNG W Y利用人机界面技术（BMI）系统，并结合了头部动作对困倦进行判断，通过EEG信号研究了驾驶员困倦现象，研究结果显示整体准确率接近83%，实现了对困倦的早期检测[1]。Saroj K.L.Lal与Ashley Craig基于脑电波中的δ波和θ波，研究δ、θ波其与疲劳驾驶密切相关性，研究结果表明驾驶员疲劳程度与δ波和θ波的活跃程度呈线性正相关[2]。LEE B G等通过在时域和频域中分析脑电和呼吸信号，对精神疲劳进行分类并运用SVM对结果进行分类，精度高达98.6%[3]。如关伟等人通过提取、对比分析驾驶员警戒状态下和疲劳状态下的脑电信号EEG，可以有效判别疲劳驾驶[4]。GOLZ M等人提出了基于微睡眠和α触发模式识别的方面来高精度识别的EEG分析方法，结果显示前者在碰撞发生前表现频率更高[5]。也有学者基于脑电建立了模拟试验/实车试验之间的关系研究，ZHANG H等同时进行了模拟/实车试验，并对EEG是否存在与实际驾驶意图的识别相悖进行分类，结果表明人机互联界面可应用于实际驾驶[6]。

（2）心电波方面，基于HRV（Heart Rate Variability，心率变异性）对驾驶员疲劳状态进行判别。如Denso 公司通过传感器设备及时采集到驾驶员的心电信号平均值与动脉血压来监测驾驶员的疲劳状态[7]。郭孜政等人[8]将心率变异性的相关参数作为疲劳判别模型的输入变量，同时基于BP神经网络分类模型对驾驶疲劳进行分类，研究结果显示其判别准确率为73.16%。王琳虹等[9]以驾驶员心率均值（Heart Rate，HR）为因变量，分析了驾驶时间、景观色彩均值、驾驶疲劳之间的关系，并建立了相应的数学模型。

（3）肌电、皮电波方面，SAHAYADHAS A等[10]利用肌电信号中的标准差来检测驾驶员嗜睡程度，分类结果显示该方法有效率达89%。GRUJICIC M等[11]同样采集了肌电信号来检测疲劳。ARTANTO D等[12]利用ESP8266系统，采集眼睑周边的肌电信号，并结合眼睑的闭合情况能有效检测驾驶员的早期睡意。

（4）运用多个生理指标对驾驶疲劳进行评价方面，如BORGHINI G等人[13]运用EEG、HR和EBR综合队驾驶员的精神疲劳或困倦进行检测，结果表明EEG在精神状态上的变化表现敏感，尤其是EEG中的θ波和α波的功率谱在不同的行驶条件下有相应的变化。ZHANG C等人[14]记录了EEG、ECG和EOG，通过提取小波熵等参数来评价疲劳状态，应用人工神经网络进行训练及预测，将疲劳状态分为4类，分类精度高达96.5%以上。

以上文献从多个方面基于驾驶员生理特征信息展开了驾驶疲劳检测方法研究。通过梳理发现该类疲劳检测方法虽然在准确性、可靠性、精度等方面相对较高，但是需要将相关的传感设备需要与驾驶员身体接触，在一定程度上妨碍驾驶操作，同时设备价格昂贵，故导致该类方法在实际应用推广受到了很大的限制。

2基于视觉特征的驾驶疲劳检测

该类方法通过计算机视觉技术获取驾驶员面部特征变化来判断疲劳，主要包括駕驶员的头部位置[15]、嘴部状态[16]、眨眼频率、眼睛闭合度、眼睛转动速度、闭眼持续时间占空比[17，18]等参数，提取这些参数特征量，然后运用相应的算法来判别其疲劳程度。

（1）在眼睛特征与疲劳状态的关系研究中，如潘晓东等人[19]选取睑闭合时间、眨眼次数等生理特征参数，研究驾驶员在不同疲劳状态下的变化规律，研究结果表明这两类参数在疲劳状态识别上的有效性。学者XUJL [20]提出了一种通过追踪眼球运动行为检测系统，WANG [21]提出基于双目一致性的鲁棒疲劳检测系统，实现对疲劳的检测。HE等人[22]通过嗜睡检测系统，分析驾驶员眨眼频率，从而判断驾驶员是否疲劳。

（2）在嘴巴特征与疲劳状态的关系研究中，如学者KNAPIK等人[23]提出了一种哈欠热模型，利用热成像技术可以不分昼夜检测打哈欠情况，实现对驾驶员的疲劳检测。ANITHA等人[24] 开发出一种新型哈欠检测系统，通过提取嘴巴区域特征、哈欠特征，通过系统检测判断驾驶员否处于疲劳状态。李智等人[25]利用红外线光源采集驾驶员人脸图像，提取人脸区域眼睛与嘴巴的特征信息，利用Adaboost算法检测疲劳状态，结果表明该方法正确率高，速度快，具有很好的泛化能力和较强的鲁棒性。

（3）在面部表情、头部运动与疲劳状态的关系研究中，如郭慧利等人[26]利用Adaboost算法进行脸部检测，精准定位眼和嘴区域，提取眼、嘴、头等指标参数，运用D-S信息融合算法，能有效判别驾驶员是否处于疲劳状态。Zhu等人[27]提取眼睑运动，凝视运动，头部运动和面部表情等参数，建立概率模型来对驾驶员疲劳状态进行建模。YANG等人[28]提出了一种基于面部微表情的打哈欠检测方法，该方法采用图像直方图快速消除冗余帧，并通过中值绝对偏差来检测离群值提高算法的实时性与精准度。

基于视觉特征的驾驶疲劳检测方法是一种非侵入式的检测方式，具有对驾驶员干扰少、成本低、操作简单等优点，是业界最受欢迎的主流方法。同时，这类视觉特征疲劳检测方法，容易受光照、视觉采集设备、面部遮挡、振动、眼镜等外在因素影响，其鲁棒性不是很高，有待在人工智能和机器视觉技术等技术助力下进一步提高准确率及鲁棒性。

3基于车辆行为的驾驶疲劳检测

该类检测方法主要是通过车辆的操控信息（脚刹使用、方向盘握力、方向盘旋转角度、旋转加速度）[29]和车辆行驶轨迹信息（车辆行驶速度、前车后车的车距、车道偏移量、轮胎轨迹）[30]进行监测，实时对驾驶员的疲劳状态进行判别。

（1）在基于操控信号的疲劳驾驶检测算法中，如Sayed等人[31]利用方向盘的转向角度、转向加速度等信息，基于人工神经网络（ANN）的方法，对驾驶员嗜睡/困倦进行检测。CHAIM等人[32]利用方向盘状态来检测驾驶员的睡意，选择4个与驾驶员疲劳状态显著相关的参数，并建立数学模型，实现对驾驶员的睡意监控。张明明[33]利用提驾驶员方向盘握力特征，根据该特征实现对疲劳驾驶的检测。于兹文[34]通过采集驾驶员不同状态下的方向盘转角、方向盘转角速率、横摆角、横摆角速度等数据信息，研究结果发现方向盘转角、方向盘转角速率、横摆角速度、横向位置4类信息与疲劳驾驶状态显示强相关性。

（2）在基于车辆行驶轨迹信息的疲劳驾驶检测算法中，如Forsman从车道偏移量特征参数和方向盘转角特征参数等方面进行研究，结果表明这两个特征参数在判定驾驶员疲劳状态时差异性最显著 [35]。Sandberg D 等人从驾驶行为时间序列测量的视角，通过方向盘转角、车速、车辆横摆角等参数指标对驾驶员疲劳状态检测[36]。万蔚等人使用车辆的横向位置、车速、方向盘的转角等参数组成疲劳状态信息特征，并基于BP神经网络构建了一种疲劳驾驶判别算法[37]。

以上研究阐述了基于车辆行为的驾驶疲劳检测方法。此类检测方法非接触式方法，因此对驾驶员侵扰性小、采集驾驶员操作行为数据和车辆状态特征参数便捷、处理过程不复杂等优点。同时，此类方法受到道路环境（车道线）、交通状况、车辆行驶速度、驾驶员操作熟练程度、驾驶习惯等因素影响，因此其准确性有待进一步提高。

4多特征信息融合的疲劳检测

单一特征信息的疲劳检测算法存在可靠性低、精度不高等缺陷，基于多特征信息融合算法则可以弥补其不足，也正逐渐成为业界研究热点。此类算法业界、学者的主要研究集中在生理多特征信息融合、视觉多特征信息融合、车辆行为多特征信息融合、不同类多特征信息共同融合4个方面[38]。

（1）生理多特征信息融合与疲劳检测的关系中，如白中浩等人提出了一种基于主动形状模型的多个特征融合疲劳检测算法，以提高对驾驶员疲劳程度检测的准确性与鲁棒性，研究表明，本方法对驾驶员疲劳检测准确率达93.3%[39]。Du等人[40]提出了一种新颖的多模式融合递归神经网络（MFRNN），用于对心率、睁眼程度和张嘴程度的判断从而提高疲劳驾驶检测的准确性。王斐等人将将脑电图识别（主要是EEG 信号）与车辆操纵特性相结合来检测驾驶员的疲劳状态，以此来判别驾驶员是否疲劳驾驶[41]。

（2）视觉多特征信息融合与疲劳状态检测的关系中，如曹国震等人提出一种基于视觉多特征（头部、眼部、嘴巴）融合判别方法，提高检测系统的准确性[42]。李玲玲提出了一种改进的贝叶斯算法融合多视觉信息来估计驾驶员的疲劳程度[43]。周云鹏等人[44]提出了一种基于面部多种疲劳参数的驾驶员状态检测算法，该算法结合模糊系统推理系统判别驾驶员疲劳状态。

（3）车辆行为多特征信息融合与疲劳状态检测的关系中，如沈永增[45] 等选取方向变化、方向盘动作状态、PERCLOS 值、连续驾驶时间作为融合参数，并进行综合判断。黄皓[46]设计了基于车辆行为多特征参数的模糊聚类算法和神经网络算法，以提高此类算法的识别效果。

（4）不同类多特征信息共同融与疲劳检测的关系中，如视觉特征和生理特征的融合方面，王宁[47]提出一种基于多信息融合的疲劳状态监测算法模型，该算法融合图像和脉搏两类信息，建立疲劳状态识别决策器，以检测并识别驾驶员的疲劳状态;视觉特征和车辆行为特征信息融合方面，李娟[48]等将眼部特征参数、车辆行为（车辆越线指标）特征参数进行分类，利用支持向量机SVM算法建立数据融合的疲劳检测模型，研究结果显示该模型提高了疲劳检测的准确性。汪宴宾[49]提取驾驶行为和眼睛特征参数，利用信息融合理论，建立驾驶疲劳识别模型，实验验证了该模型的具有较高的识别精度。基于深度学习的多特征信息融合方面，李小平等人[50]提出一种基于MTCNN-PFLD-LSTM深度学习模型的疲劳驾驶检测算法，通过多任务卷积神经网络MTCNN进行人脸区域检测;利用PFLD模型检测人脸眼部、嘴部和头部的关键点及空间姿态角;计算出基于时间序列的人脸疲劳特征参数矩阵并输入长短期记忆网络LSTM进行疲劳驾驶检测，研究结果显示该方法明显提高了疲劳检测的准确度和效率。

基于多特征信息融合的疲劳驾驶检测方法相比较其他3类检測方法，该类方法具有较高的准确率及鲁棒性，是目前业界研究热点算法和最常用方法。同时由于该类算法融合了多个疲劳特征参数，增加了信息融合的计算量，也需要大量的训练集，增加了此类算法实时性要求的难度。

5 结语

本文从生理特征信息、车辆行为特征信息、视觉特征信息和多特征信息融合等四类算法对疲劳驾驶检测方法进行了综述，并对各类算法的优缺点进行了总结。一方面，虽然当前疲劳驾驶检测方法取得了较好的成果，但随着人民对美好生活的向往，对检测算法的鲁棒性、精准度、实时性等方面有待进一步提高。另一方面，随后深度学习技术在不同领域的广泛应用，神经网络、深度学习等技术与多特征信息融合的疲劳驾驶检测研究将是未来研究的重点和热点。

参考文献

[1] LI G，CHUNG W Y.A context-aware EEG headset system for early detection of driver drowsiness [J].Sensors，2015，15（8）：20873-20893.

[2] Saroj K.L. Lal，Ashley Craig.A critical review of the psychophysiology of driver fatigue[J]. Biological Psychology，2001，55（3）：173-194.

[3] LEE B GLEE B L，CHUNG W Y.Mobile healthcare for automatic driving sleep-onset detection using wavelet-based EEG and respiration signals[J].Sensors，2014，14（10）：17915-17936.

[4] 关伟，杨柳，江世雄.脑电在交通驾驶行为中的应用研究综述[J[.交通运输系统工程与信息，2016，16（3）：35-44..

[5] GOLZ M，SOMMER D，KRAJEWSKI J.Driver Sleepiness Assessed by Electroencephalography-Different Methods Applied to One Single Data Set： Driving Assessment 2015： Proceedings of the 8th International Driving Symposium on Human Factors in Driver Assessment， Training， and Vehicle Design， lowa City， July 9-11，2015[C].Washington： The National Academies Press，2015.

[6] ZHANG H，CHAVARRIAGA R，KHALILIARDALI Z，et al.EEG-based decoding of error-related brain activity in a real-world driving task[J].Journal of neural engineering，2015，12（6）：066028.

[7] Chacon-Murguia M I，Prieto-Resendiz C.Detecting Driver Drowsiness： Asurvey of system designs and technology[J].Consumer Electronics Magazine，IEEE，2015，4（4）：107-119.

[8] 郭孜政，谭永刚，马国忠，等.基于BP神经网络的驾驶精神疲劳识别方法[J].哈尔滨工业大学学报，2014，46（8）：118-121.

[9] 王琳虹，李世武，周茹波，等.高速公路路侧景观色彩对驾驶员心率指标的影响[J].吉林大学学报：工学版， 2013（1）：74-80.

[10] SAHAYADHAS A，SUNDARAJ K，MURUGAPPAN M.Electromyogram signal based hypovigilance detection [J]. Biomedical Research，2014，25（3）：281-288.

[11] GRUJICIC M，PANDURANGAN B，XIE X，et al.Musculoskeletal computational analysis of  the influence of car-seat design/adjustments on long-distance driving fatigue[J].International Journal of Industrial Ergonomics，2010，40（3）：345-355.

[12]  ARTANTO D，SULISTYANTO M P，DERADJAD I D，et al.Drowsiness detection system based on eye-closure using a low-cost EMG and ESP8266[C]// 2017 2nd International conferences on Information Technology， Information Systems and Electrical Engineering （ICITISEE）.2017，578-584..

[13] Borghini G，Vecchiato G，Colosimo A，et al.Assessment of Mental Fatigue During Car Driving by Using High Resolution EEG Activity and Neurophysiologic Indices[C]// 34rth Annual International IEEE EMBC Conference.IEEE，2012，1089-1096.

[14] ZHANG C，WANG H，FU R.Automated detection of driver fatigue based on entropy and complexity measures [J]. IEEE Transactions on Intelligent Transportation Systems，2014，15（1）：168-177.

[15] Lee D，Oh S，Heo S.Drowsy driving based on the driver's head movement using infrared sensors[C].In：2nd Int Symposium on Universal Communication，Osaka，Japan，2008：231-236.

[16] 鄔敏杰，穆平安，张彩艳.基于眼睛和嘴巴状态的驾驶员疲劳检测算法[J].计算机应用与软件，2013，30（3）：25-54.

[17] 孟勇.人眼状态及疲劳检测技术研究：西安电子科技大学硕士学位论文[D].西安：西安电子科技大学，2012.

[18] 吴从中，贺伟，汤润森等.光照自适应的疲劳驾驶检测系统[J].电子测量与仪器学报，2012，26（1）：60-66.

[19] 潘晓东，李君羡.基于眼部行为的驾驶疲劳监测方法[J].同济大学学报：自然科学版，2011，39（2）：231-235.

[20] XUJL，MINJL，HUJ F.Real time eye tracking for the assessment of driver fatigue[J]. Healthcare Technology Letters，2018，5（2）：54-58.

[21] WANG Y，HUANG R，GUO L.Eye gaze pattern analysis for fatigue detection based on GP-BCNN with ESM[J].Pattern Recognition Letters，2019，123：61-74.

[22] HE J，WILLIAM C，YANG Y，et al.Detection of driver drowsiness using wearable devices：A feasibility study of the proximity sensor[J].Ap-plied Ergonomics，2017，65：473-480.

[23] KNAPIK M，CYGANEK B.Driver's fatigue reognition based on yawn detection in thermal images[J]. Neurocomputing，2019，338：274-292.

[24] ANITHA C，VENKATESHA MK，ADIGA BS.A two fold expert system for yawning detection[J].Procedia Computer Science，2016，92：63-71.

[25] 李智，谢剑斌，陈章永，等.基于Adaboost的红外视频图像疲劳检测算法[J].计算机工程与科学，2012，34（5）：107-111.

[26] 郭慧利，王恁，郭浩.基于面部多特征的疲劳驾驶预警系统的研究[J].通信学报，2018，39（S1）：22-29.

[27] Zhu Z，Ji Q， Lan P.Real-time nonintrusive monitoring and prediction of driver fatigue[J].IEEE Transactions on Vehicular Technology，2004，53（4）：1052-1068.

[28] YANG H，LIU L，MIN W，et al.Driver yawning detection based on subtle facial action recognition[J].IEEE Transactions on Multimedia，2020（99）：1.

[29] Baronti F，Lenzi F，Roncella R，et al.Distributed sensor for steering wheel rip force measurement in driver fatigue detection[C]// Design， Automation & Test in Europe Conference & Exhibition， 2009. DATE '09.IEEE，2009：894-897.

[30] Adachi T，Butsuen T，Kamiyama S.Application of real-time simulation to the lane-keeping system[C]// Proceedings of VNIS'94 -1994 Vehicle Navigation and Information Systems Conference.IEEE，1994：415-418.

[31] Sayed R， Eskandarian A.Unobtrusive drowsiness detection by neural network learning of driver steering[J].Proceedings of the Institution of Mechanical Engineers Part Journal of Automobile Engineering，2001，215（9）：969-975.

[32] CHAIM， LIS W， SUN W C， et al.Drowsiness monitoring based on steering wheel status[J].Transportation Research Part D： Transport and Environment，2019，66：95-103.

[33] 张明明.基于方向盘握力的疲劳驾驶检测研究[D].镇江：江苏大学，2016.

[34] 于兹文.驾驶员疲劳状态分析及其预警算法研究[D].长春：吉林大学，2018.

[35] Forsman P M， Vila B J， Short R A， et al.Efficient driver drowsiness detection at moderate levels of drowsiness[J]. Accident Analysis and Prevention，2013，50（1）：341-350.

[36] Sandberg D， Wahde M. Particle swarm optimization of feed forward neural networks for the detection of drowsy driving[C]// IEEE International Joint Conference on Neural Networks. IEEE，2008：788-793.

[37] 万蔚，王振华，王保菊.基于驾驶行为的疲劳驾驶判别算法研究[J].道路交通与安全，2016，16（06）：21-24.

[38] 杨海燕，相运杰，胡蓉.疲劳驾驶检测方法研究综述[J].宝鸡文理学院学报：自然科学版，2020，40（1）：23-28.

[39] 白中浩，刘浏，焦英豪，等.基于ASM的多特征融合驾驶员疲劳检测方法[J].电子测量与仪器学报，2016，30（12）：1877-1883.

[40]Du G， Li T， Li C， et al.Vision-Based Fatigue Driving Recognition Method Integrating Heart Rate and Facial Features[J].IEEE Transactions on Intelligent Transportation Systems，2020（99）：1-12.

[41] 王斐，王少楠，王惜慧，等.基于脑电图识别结合操纵特征的驾驶疲劳检测[J].仪器仪表学报，2014，35（2）：398-404.

[42] 曹国震，彭寒.基于多特征模糊融合的疲劳状态判决[J].火力与指挥控制，2017，42（4）：96-100.

[43] 李玲玲.基于多视觉信息融合的驾驶员疲劳检测方法研究与实现[D].北京：北京工业大学，2010.

[44] 周云鹏，朱青，王耀南，等.面部多特征融合的驾驶员疲劳检测方法[J].电子测量与仪器学报，2014，28（10）：1140-1148.

[45] 沈永增，胡立芳，冯继妙.多源信息融合在驾驶疲劳检测中的应用[J].计算机应用与软件，2012，29（2）：272-274+297.

[46] 黄皓.基于驾驶操作及车辆状态的疲劳驾驶行为检测研究[D].东南大学，2016.

[47] 王宁. 基于多信息融合的疲劳状态识别研究[D]. 济南： 山东大学，2016.

[48] 李娟， 王富， 王维锋，等. 基于数据融合的疲劳驾驶检测算法[J]. 武汉工程大学学报，2016，38（5）：505-510.

[49] 汪宴宾. 基于驾驶行为特征与眼动特征的疲劳驾驶辨识方法研究[D]. 成都： 西南交通大學，2015.

[50] 李小平，白超.基于深度学习的司机疲劳驾驶检测方法研究[J].铁道学报，2021，43（06）：78-87.