基于面部多特征融合的驾驶员疲劳驾驶监测系统

摘 要：文章介绍了一种基于面部多特征融合的驾驶员疲劳驾驶监测系统。该系统通过分析驾驶员的驾驶行为，包括方向盘操作、车辆速度和驾驶员面部表情等，利用机器学习算法、标定算法、中值滤波算法对驾驶员的疲劳状态进行实时监测，并在发现驾驶员疲劳时给予提醒，从而降低因疲劳驾驶引发的交通事故的风险。文章详细阐述了系统的设计原理、实现方法和实验结果，并讨论了该系统的优缺点以及在实际应用中的适用性。

关键词：机器学习 中值滤波算法 疲劳驾驶 监测系统

1 绪论

随着我国经济持续高速发展，汽车保有量逐年攀升。然而，交通事故频发，引起了广泛的关注[1]。在这些事故中，疲劳驾驶是一个主要的诱发因素。研究表明，疲劳驾驶不仅会显著增加交通事故的风险，而且还可能导致严重的人员伤亡和财产损失[2]。疲劳驾驶状态下的驾驶员常常反应迟缓，注意力不集中，容易产生误判和失误，进而增加了交通事故的发生概率。根据公安部一项调查显示：6月以来全国一次死亡3人以上交通事故中疲劳驾驶肇事占17.5%。由于驾驶人长时间驾驶车辆极容易导致注意力分散和反应迟钝等行为，在发生交通事故之前不能及时采取正确的操作，同时由于疲劳引发的交通事故的后果更加严重[3]。因此对驾驶人的疲劳驾驶监测研究具有重大意义。近年来，机器学习技术的发展为解决这一问题提供了新的思路[4]。通过分析驾驶员的驾驶行为，机器学习算法可以训练出能够识别驾驶员疲劳状态的模型，从而实现实时监测[5]。

2 系统设计

2.1 软件架构

系统的软件部分包括数据采集、数据预处理、特征提取、分类器、预警和可视化界面六个部分。数据采集负责从摄像头等设备采集数据，包括驾驶员的面部状态等。数据预处理对采集到的原始数据进行清洗、过滤和标准化处理，以去除异常值和噪声，提高数据分析的准确性。特征提取从预处理的数据中提取出与驾驶员疲劳状态相关的特征。分类器可以对使用机器学习算法对提取的特征进行分类，判断驾驶员的疲劳状态。根据分类器的结果，预警可以在发现驾驶员处于疲劳状态时发出警报，提醒驾驶员停车休息或采取其他措施。

2.2 机器学习算法

在本系统中采用了深度学习中的卷积神经网络（CNN）和时序模型（RNN）相结合的方法来训练识别驾驶员疲劳状态的模型。CNN用于处理图像数据，在驾驶员疲劳检测中，RNN用于处理时间序列数据，从驾驶员的驾驶行为中提取出与疲劳状态相关的特征。通过将CNN和RNN提取出的特征进行融合，得到最终用于训练模型的输入数据。

3 系统实现

3.1 数据收集与处理

需要收集驾驶员的行为数据。将收集到的原始数据进行预处理，包括数据清洗、去除异常值、标准化等操作，以提高数据分析的准确性，同时从预处理的数据中提取出与驾驶员疲劳状态相关的特征。

在验证集上评估模型的性能，包括准确率、召回率、F1得分等指标。将训练好的模型部署到实时的监测系统中，对驾驶员的行为数据进行实时分析，并预测其疲劳状态。如果发现驾驶员处于疲劳状态，系统可以发出警报，提醒驾驶员停车休息或采取其他措施。

3.2 特征提取

在疲劳驾驶识别中，眼部特征是最能反映驾驶员是否疲劳的[6]。根据眼部信息都能识别疲劳状态，但是根据单一的眼部特征存在一定的局限性，因此采用多个特征来判断疲劳状态。由于人在困倦时面部表情会有明显的变化，如会伴有眼睛闭合、不断打哈欠及连续点头等现象。本文主要根据眼部、嘴部及头部的状态来提取疲劳信息，然后综合这些疲劳信息建立疲劳状态识别模型，采用多特征加权和值来判断驾驶员的疲劳状态。

在数据预处理后，采用CNN和RNN相结合的方法从驾驶员的面部表情和驾驶行为中提取出与疲劳状态相关的特征。特征提取可以从面部特征进行。面部特征提取主要通过视频监控系统完成，可以提取驾驶员的眼部、嘴部和头部区域信息等特征。可以通过提取驾驶员的眨眼频率、眼睛闭合程度、头部姿态等特征，这些特征可以反映驾驶员的疲劳状态。

在人脸特征点定位的基础上使用特征点的位置对人眼进行进一步精确定位，提出了一种基于支持向量机的人眼识别方法。进而从眼睛定位及跟踪流程进行干预处理。再用基于EAR算法的眨眼检测，当人眼睁开时，EAR在某个值域范围内波动，当人眼闭合时，EAR迅速下降。当EAR低于某个阈值时，眼睛处于闭合状态；当EAR由某个值迅速下降至小于该阈值，再迅速上升至大于该阈值，则判断为一次眨眼。为检测眨眼次数，需要设置同一次眨眼的连续帧数。

EAR计算公式如下：

当后帧眼睛宽高比与前一帧差值的绝对值（EAR）大于0.2时，认为驾驶员在疲劳驾驶。使用基于MAR算法的哈欠检测，提取嘴部的6个特征点，通过这6个特征点的坐标来计算打哈欠时嘴巴的张开程度当一个人说话时，从而使MAR值迅速增大反之，当一个人闭上嘴巴时，MAR值迅速减小。嘴部主要取六个参考点

通过公式计算MAR来判断是否张嘴及张嘴时间，从而确定驾驶员是否在打哈欠。通过分析嘴部参数的变化趋势，可以判断驾驶员的疲劳状态。在人脸面部的特征定位实验如图3。

3.3 模型训练

利用提取出的特征，通过训练一个能够识别驾驶员疲劳状态的模型。该模型采用支持向量机（SVM）算法进行分类。对收集到的原始数据进行预处理，包括数据清洗、去除异常值、标准化等操作，以提高数据分析的准确性。从预处理的数据中提取出与驾驶员疲劳状态相关的特征。其次使用训练数据集训练SVM模型，将不同状态的驾驶员数据分隔开，从而进行分类。实验证明实验该算法最终得到的模型能够准确识别出驾驶员的疲劳状态，并具有较高的实时性。

3.4 实时监测

实时监测驾驶员疲劳驾驶的方法主要是通过摄像头对驾驶员的面部特征进行实时采集，然后使用图像处理和机器学习的方法，提取得到驾驶员的眼部、嘴部以及头部区域信息等特征信息，从而对驾驶员的疲劳状态进行实时监测。基于行为特征的方法主要是通过分析驾驶员的操作行为来判断其疲劳状态，再结合机器学习和深度学习等技术，从而实现对驾驶员疲劳状态的实时监测。

4 系统测试

4.1 系统测试结果

系统测试环境：处理器：Intel（R） Core（TM） i5-10200H CPU @ 2.40GHz 2.40 GHz；机带 RAM：16.0 GB。视频采集设备：HUAWEI Kirin ISP 5.0图像处理技术，可以通过从摄像头捕获的人脸图像数据。

通过对本系统进行了大量的实验验证其有效性和可靠性。实验结果表明该系统能够准确识别出驾驶员的疲劳状态，并在发现驾驶员疲劳时及时发出提醒信号。此外，还对该系统的实时性进行了评估实验。结果表明该系统能够在短时间内完成对驾驶员疲劳状态的识别和判断，从而保证了其实时性。

为了演示算法的可靠性，在安全封闭道路上记录了驾驶员驾驶车辆的实时视频，在记录驾驶过程中，让驾驶员分别模拟不同状态驾驶车辆，视频控制在大约5分钟。最后根据记录的视频数据，综合一系列算法进行计算分析，实验结果如表1所示。

4.2 系统创新点

（1）多特征融合：该系统不仅仅采用了眼睛状态、头部姿态等单一特征，而是综合了多种面部特征，如眼睛、嘴巴等多个部位的状态，利用深度学习技术将这些特征融合在一起，从而提高了疲劳驾驶检测的准确性和可靠性。

（2）实时监测：该系统能够实时监测驾驶员的面部特征，及时发现驾驶员的疲劳状态，并通过报警系统提醒驾驶员及时停车休息，从而有效预防交通事故的发生。

（3）系统可靠性高：该系统具有高度的可靠性和稳定性，能够适应不同光线和环境条件下的疲劳驾驶检测，同时还能够实现多任务处理，保证了系统的效率和稳定性。

系统的创新点和特色主要体现在多特征融合、实时监测、精度高和系统可靠性高等方面，这些特点使得该系统在疲劳驾驶监测领域具有较大的应用价值。

5 结论与展望

本系统在一定程度上解决了驾驶员疲劳驾驶的问题，通过实时监测驾驶员的面部表情和驾驶行为来识别其疲劳状态并发出提醒信号降低因疲劳驾驶引发的交通事故的风险。然而该系统仍存在一些不足之处，例如对于一些特殊情况如驾驶员佩戴墨镜或使用蓝牙耳机等情况下该系统的识别准确性可能会受到影响。因此未来可以考虑在这些特殊情况下对该系统进行改进和完善，以提高其适用性和准确性。

基金项目：2023年陕西国家级大学生创新创业训练计划项目（S202313121005）。

参考文献：

[1]李忠慧，李进，高健，等.2016-2021年全国重特大道路运输事故原因分析及对策研究[J].中国应急救援，2023（05）：53-57.

[2]Wang， J.， Zhang，W.， Zhao， J.， Guo， J. （2024）. Driver Fatigue Monitoring Based on Facial Multifeature Fusion. In： Zhang， M.， Xu， B.， Hu， F.， Lin， J.， Song， X.， Lu， Z. （eds） Computer Applications. CCF NCCA 2023. Communications in Computer and Information Science， vol 1960. Springer， Singapore.

[3]冉险生，贺帅，苏山杰，等.融合特征增强与DeepSort的疲劳驾驶检测跟踪算法[J].国外电子测量技术，2023，42（08）：54-62.

[4]王畅，李雷孝，杨艳艳.基于面部多特征融合的疲劳驾驶检测综述[J/OL].计算机工程：1-14[2023-10-29].

[5]张博熠，者甜甜，赵新旭，等.基于眼嘴状态识别网络的疲劳驾驶检测[J].计算机工程，2023，49（05）：310-320.

[6]杨锡亮.基于EEG核心脑网络的驾驶疲劳检测方法[D].杭州：杭州电子科技大学，2023.

[7]郭高超.面向疲劳驾驶的设备管理平台设计与实现[D].武汉：华中科技大学，2022.

[8]张芳婷.基于面部特征的实时疲劳驾驶检测方法研究[D].武汉：华中科技大学，2022.