基于面部多特征融合的疲劳驾驶检测综述

王 畅，李雷孝，杨艳艳

（1.内蒙古工业大学 数据科学与应用学院，呼和浩特 010080；2.内蒙古自治区科学技术厅 内蒙古自治区基于大数据的软件服务工程技术研究中心，呼和浩特 010080）

0 概述

随着我国经济的高速发展，汽车已成为公民最常用的交通运输工具，近年来，公路上的实际车流量一直在急速提升。据公安部统计，截止到2022 年3 月底我国机动车保有量已达4.02 亿辆，其中汽车保有量为3.07 亿辆，占机动车总量的76.37%［1］。汽车在给生活提供便利的同时也带来了一系列问题，比如交通事故的频发。有报告统计，在导致交通事故的诸多原因中，疲劳驾驶是肇事致死数量最多的因素之一，其每年造成的事故死亡人数占机动车事故死亡人数的10.9%以上［2］。因此，疲劳驾驶一直是国家交管部门及驾驶员非常重视的问题。若能在驾驶员疲劳驾驶迹象发生时及时提醒驾驶员进行休息，则能有效减少因驾驶员疲劳驾驶而导致的交通事故发生。

基于单一特征的检测方法存在一些不足，如现实中驾驶员面部可能出现部分遮挡，此时基于单一特征的判别准确率不够稳定。因此，大量学者开始研究多特征融合的疲劳驾驶检测方法。基于面部多特征的疲劳驾驶检测方法主要分为4 个步骤，即人脸检测、特征提取、单特征状态判别及多特征融合判别。本文分析不同的面部特征提取方法，探究在不同方法下对单一特征状态和单一特征疲劳的判别，归纳不同特征融合方式下进行疲劳判别的差异性，分析讨论当前检测方法中存在的不足并对未来的研究方向进行展望。

1 疲劳驾驶

1.1 疲劳驾驶的概念

疲劳驾驶一般是指驾驶员在长时间精神高度集中的连续行车后，因脑力和体力消耗而产生的一种生理、心理机能衰退现象。疲劳驾驶会造成肌肉上的松弛和精神上的疲倦，导致手脚反应能力和预判能力下降，会影响到驾驶员的注意力、感觉、知觉、思维、判断、意志、决定和运动等诸多方面，进而使驾驶员产生反应迟钝以及对外界环境的感知、判断能力和控制车辆的能力下降的现象。在早期疲劳驾驶的定义中，文献［3］认为疲劳是一种从清醒到睡眠状态的过渡，疲劳状态下驾车更容易引发交通事故，给自身安全带来巨大隐患。

1.2 面部疲劳特征

驾驶员面部的部分特征信息及头部姿态变化信号可以很好地表征疲劳状态，在研究中，主要通过眼部、嘴部和头部姿态进行分析。轻微疲劳的特征体现为眨眼次数增多、间歇式打哈欠等；中度疲劳的特征体现为频繁眨眼且经常性揉眼睛、经常性点头、头部有轻微昏沉等；重度疲劳的特征体现为眼睛干涩且闭合时间较长、频繁打哈欠、反应迟钝或无法集中注意力等。疲劳驾驶判别所需的具体特征行为如图1 所示。

图1 疲劳驾驶判别所需的面部特征Fig.1 Facial features required for fatigue driving discrimination

1.3 疲劳驾驶检测流程

基于驾驶员面部特征的疲劳驾驶检测是通过车内摄像头记录驾驶员驾驶时的面部状态，随后使用疲劳驾驶检测系统对采集到的面部视频数据进行分析并做出结论的过程。疲劳驾驶检测在实际情况下具有方便、直观和非侵入性等优点，因此得到了广泛的研究与应用。基于面部多特征的疲劳驾驶检测流程如图2 所示。

图2 基于面部多特征的疲劳驾驶检测流程Fig.2 Fatigue driving detection procedure based on facial multiple features

首先，通过车内摄像头获取驾驶员驾驶时的视频图像；然后，使用算法实现对视频的人脸检测和跟踪；随后，对面部不同区域进行特征提取，并判别特征状态；最后，根据特征状态判别是否疲劳，对疲劳情况发出预警，提醒驾驶员及时休息，注意驾驶安全。

2 特征提取

由于驾驶员疲劳状态的判别主要通过其面部特征区域信息分析，因此在检测到人脸图像的基础上，首先需要利用不同方法提取相应区域的特征。本节分别对不同区域的特征提取方法进行深入分析，整理不同提取方法下提取到的信息，进而分析不同方法的优缺点。由于疲劳行为主要分布在眼部、嘴部和头部，因此本文重点关注这3 个方面。

2.1 眼部区域特征提取

驾驶员在疲劳状态下眼部会出现眨眼和长时间闭眼的现象，这些现象明显、直观且便于提取和判别，因此，大量学者研究眼部特征在疲劳驾驶检测中的应用。通过对大量文献的调研发现，当前研究中眼部疲劳状态的判别主要通过2 种不同的方法实现：一是获取眼部关键点信息，根据数学计算判别眼部状态；二是获取眼部感兴趣区域（Region of Interest，ROI）图像，通过算法分类判别眼部状态。表1 整理了以面部特征点为核心的眼部特征提取方法。

表1 基于面部特征点的眼部特征提取方法Table 1 Eye features extraction methods based on facial feature points

从表1 可以看出，大多数方法使用Dlib 和多种算法检测人脸特征点，提取眼部关键点直接参与眼部状态判别。此外，文献［24-26］中还介绍了另外的检测方法。文献［24］介绍的方法中使用的眼部特征信息由两部分构成，分别是眼部关键点信息和由眼部关键点经椭圆拟合后的虹膜图像。文献［26］也介绍了一种眼部特征信息由两部分构成的方法，分别是通过眼部关键点曲线拟合的眼部曲线和眼部曲线对应的外接圆。文献［25］介绍的方法中眼部特征信息是眼部关键点经椭圆拟合后提取的虹膜图像，通过虹膜图像判别驾驶员眼部状态。

在提取眼部ROI 图像时通常需要在预先已经检测到的人脸区域上找到眼部位置，再提取眼部ROI。在获取到眼部ROI图像后，通常还会进行一些后续处理，突出眼部特征，便于后续对眼部状态进行判别。判别方法都是通过算法判别图像上的眼部状态。

表2 总结了近年来提取眼部ROI 的方法，并整理了对提取出的眼部ROI 图像进行处理的方法。

表2 眼部ROI 信息提取和处理方法Table 2 Methods of eye ROI information extraction and processing

通过表2 可知，对眼部位置的定位可以通过面部特征点和多种算法获取，进而提取眼部ROI 图像和眼部窗口信息。表2 中主要介绍获取眼部ROI 图像的方法，获取到的眼部ROI 图像要进行后续处理才能判别眼睛状态。文献［31-32］介绍了提取眼部窗口信息的方法，通过信息计算眼睛张开度从而判别眼睛状态。值得关注的是，文献［28］方法提取眼部椭圆拟合图像，文献［29-30］方法则通过眼部区域像素点数目判别眼睛状态，文献［29］方法还提取了眼部窗口信息，综合2 种信息判别眼部状态。

通过上述总结发现，大部分研究成果都是对驾驶员正脸图像上的特征进行提取。文献［27］介绍了基于驾驶员侧脸图像的疲劳判别方法，此方法提取了驾驶员侧脸轮廓线，然后提取侧脸各区域特征以判别疲劳。但是，该方法停留在提取特征信息这一步，提取的特征信息在疲劳判别时的准确性和实时性等未作实验验证，实际可行性仍需进一步验证。

综上所述，当前提取眼部区域特征的技术主要分为基于面部特征点和人脸对齐算法这两种。本节根据2 种技术整理分析了近些年眼部特征提取方法，发现提取到的特征也分为眼部关键点信息和眼部ROI 图像2 类。表3 对2 种眼部特征在不同方法下的优点、缺点和适用场景进行了总结。

综上所述，眼部关键点信息的优点是便于数学计算，通过数值直观展示眼部特征信息，在判别状态的方法上简明扼要；缺点主要是遮挡、光照、眼睛大小等因素对数值影响较大。缺点产生的原因是特征信息反馈为数值，数字波动非常敏感，任何轻微的变化都会直接反馈在数字上。此外，不同人眼睛的差异对数值影响较大，相同数值对不同人可能代表不同含义。这些缺点导致了其更适用于正面角度和小角度下的正常光照。但也有学者研究了适用于夜间环境提取眼部关键点信息的方法，虽然准确率低于正常光照时的情况，但是结果已得到了提升。至于眼镜遮挡产生的影响，当前研究成果中主要通过调节阈值标准实现对眼镜佩戴者的眼部状态判别。

眼部ROI 图像中包含的眼部窗口信息等可通过数学计算判别状态，其优点是提取方法简单，计算结果简明扼要；缺点是提取信息单一，眼睛大小对计算结果影响较大，判别准确率较低。眼部ROI 图像通过算法分类判别的优点是遮挡、光照、眼睛大小等因素对判别结果影响较小，算法准确率高；缺点是提取到图像后还需后续处理，流程更繁琐，并且算法分类的方法对模型预训练要求较高。在适用场景方面，眼部ROI 图像在多角度视频、正常光照、夜间环境、眼镜遮挡等场景中都适用，但是在夜间环境和遮挡情况下准确率低于正常情况。

任何方法都无法在墨镜遮挡下提取眼部特征，因此，上述方法适用场景的前提是无墨镜遮挡。

2.2 嘴部区域特征提取

除眼部区域特征外，多种疲劳驾驶检测方法中也会使用嘴部特征作为辅助信息来判别疲劳。因此，嘴部区域的特征信息也非常重要。本节将总结整理疲劳驾驶检测系统中对嘴部区域特征的提取方法，分析不同方法下提取到的不同特征信息及其优缺点。

与眼部相似，嘴部特征信息也划分为嘴部关键点信息和嘴部ROI 图像。表4 整理了以面部特征点为核心的嘴部特征提取方法。

表4 基于面部特征点的嘴部特征提取方法Table 4 Mouth features extraction method based on facial feature points

通过表4 可以发现，和眼部关键点信息提取相似，在嘴部关键点信息提取的过程中，也主要使用Dlib 获取人脸全部特征点后定位提取嘴部关键点信息。除Dlib 外，还可以使用多种算法模型检测人脸特征点。

在检测到人脸特征点之后，嘴部特征的获取除文献［26］外都是直接将嘴部关键点信息作为特征信息通过计算判别嘴部状态。文献［26］介绍的方法中，嘴部关键点信息与其眼部信息处理方法相同，也是通过拟合嘴部曲线及曲线对应的外接圆作为嘴部特征用于后续判别使用，在判别时的方法也相同。

提取嘴部ROI 图像的方法和表2 中眼部ROI 图像提取方法相似，通常需要在预先已经检测到的人脸区域上找到嘴部位置，从而将嘴部ROI 图像划分出来。表5 总结了近年来提取嘴部窗口信息的各种方法。通过表5 可以发现，当前学者们通常使用算法模型在人脸图像上获取所需的嘴部位置并提取嘴部ROI 图像或嘴部窗口信息，其方法与表2 中获取眼部ROI 图像和眼部窗口信息的方法相同。而且，大部分方法直接将提取到的嘴部ROI 图像或嘴部窗口信息作为嘴部特征，少量方法使用其他信息作为嘴部特征。文献［27］介绍了获取驾驶员侧脸嘴部区域轮廓线并作为特征的方法，其他文献中都是获取驾驶员正脸图像上的嘴部特征。文献［30］介绍了通过嘴部区域像素点数目判别嘴部状态的方法。

表5 嘴部ROI 信息提取和处理方法Table 5 Methods of mouth ROI information extraction and processing

本节整理分析了近些年对嘴部特征提取的研究成果，发现当前提取嘴部特征的技术、提取的特征信息及其优缺点都和眼部相似。表6 对2 种嘴部特征在不同方法下的优点、缺点和适用场景进行了总结。

表6 2 种嘴部特征在不同方法下的优点、缺点及适用场景Table 6 Advantages，disadvantages and application scenarios of the two mouth features in different methods

总体来说，嘴部特征的优缺点与适用场景和眼部相似。因此，嘴部关键点也更适用于正面和小角度的正常光照，嘴部ROI 图像也更适用于多角度视频、正常光照等。两者在夜间环境下准确率都低于正常情况。除此之外，嘴部特征要在无遮挡情况下才能提取，因此，所有适用场景的前提都是无遮挡。

每种嘴部特征的提取和判别方法都会因说话等张嘴行为而影响嘴部状态判别的准确率。因此，在嘴部状态判别中，将张嘴准确判别为打哈欠或说话等行为，是嘴部状态判别的重难点。

2.3 头部姿态特征提取

除眼部和嘴部区域的特征外，还会使用头部姿态辅助判别疲劳。因此，头部姿态信息也很重要。本节将总结整理头部姿态提取方法，分析不同方法下提取到的不同信息及其优缺点。

文献［48］介绍了人头部姿态的变化情况，将其分为Pitch、Yaw 和Roll 3 个角度。头部姿态的变动方向如图3 所示。

图3 头部姿态的变动方向Fig.3 Change direction of head posture

在图3 中，Pitch、Yaw、Roll 分别对应三维空间中的x、y、z轴。驾驶员的点头行为可以理解为头部绕x和z轴运动，对应Pitch 和Roll 轴的变化；头部左右晃动的行为是绕y轴的运动，对应Yaw 轴变化。在疲劳驾驶检测系统中通过计算头部姿态在各角度上的变化，结合其他特征来判别疲劳。表7 中整理了头部姿态提取方法和提取出的各种信息。

表7 头部姿态提取方法和提取的信息Table 7 Head pose extraction methods and extracted information

通过表7 可以发现，学者们通常使用头部在三维各角度的姿态变化。此外，文献［27］介绍了获取侧脸下颌区域轮廓线以判别头部姿态的方法，文献［20，49］介绍了使用面部特征点计算相关数据以对应各角度变化的方法。

驾驶员头部在三维各角度的特征提取方法是获取到人脸特征点后，通过算法或者计算求解得出头部姿态的变化。虽然目前在头部姿态上的提取方法不多，但是综合来看，大多以坐标系转换为核心，并且在选取多角度变化上，大多选取Pitch 轴的变化来判别疲劳，这是因为Pitch 轴反映点头行为，疲劳判别准确性最高。其中，文献［8，14-15］介绍的方法中还选取了Roll 轴辅助Pitch 轴判别，文献［16］介绍的方法则选取Yaw 轴辅助Pitch 轴判别，文献［41］介绍的方法选取3 个轴的变化来判别。还有方法不使用Pitch 轴，文献［10］选取单Yaw 轴判别，文献［23］选取Roll、Yaw 这2 个轴上的变化判别疲劳。

本节整理分析了近些年对头部特征提取的研究成果，表8 总结了不同特征信息在不同方法下的优点、缺点和适用场景。

表8 不同头部特征信息在不同方法下的优点、缺点及适用场景Table 8 Advantages，disadvantages and application scenarios of different head feature information in different methods

综上所述，因为头部特征信息都是数值信息，所以都具有清晰直观的优点和数字变化敏感、阈值判别易失误的缺点，而且都是在获取到人脸关键点后提取特征，适用场景都相同。

除此之外，提取的特征信息是头部在3 个角度上的变化情况时，特征信息直接体现头部状态，有利于提高判别准确率；缺点是提取方法复杂、繁琐。而特征信息是人脸关键点计算所得的数值信息时，因为数据为直接计算所得，所以提取更简洁；缺点是它间接反映头部姿态，判别准确率不够稳定，还需进一步提升。

3 特征状态判别

从不同特征区域提取出相应的关键信息后，需要对提取的信息做出判断以得到结论，然后根据不同部位的特征结论分析驾驶员的疲劳状态。本节分别整理总结不同特征区域对数据的判别方法。

3.1 眼部特征状态判别

眼部特征区域要根据提取到的眼部特征信息判别眼睛的开闭状态。在判别时由于提取的特征信息不同，判别方法也有所差异。根据特征信息类别可将判别方法分为2 种：一是根据关键点信息或眼部窗口信息等，采用数学计算的方法进行判别；二是根据眼部ROI 图像等，采用不同算法进行分类判别。

3.1.1 数学计算判别

关于关键点信息和眼部窗口信息，通过公式计算得出相关数值，根据预先设置的阈值判断眼睛状态。提取出的6 个人眼关键点信息如图4 所示。

图4 眼部关键点信息Fig.4 Eye key point information

在图4 中，Pi(i=1,2,…,6)为眼部6 个关键点的坐标信息。根据坐标信息计算得到眼部纵横比（Eye Aspect Ratio，EAR），其计算公式如下：

为了确定眼睛在不同状态下EAR 值的变化情况，根据驾驶员驾驶视频进行疲劳判别实验，实时记录一段时间内驾驶员眼部视频流数据的EAR 值变化情况，结果如图5、图6 所示，图5 为驾驶员正常状态下EAR 值的变化情况，图6 为驾驶员疲劳状态下EAR 值的变化情况。

图5 正常状态下EAR 值的变化情况Fig.5 Changes of EAR values under normal conditions

图6 疲劳状态下EAR 值的变化情况Fig.6 Changes of EAR values under fatigue conditions

从中可以看出，驾驶员眼睛闭合与张开状态下EAR 值有显著差异，在闭眼时EAR 值会显著下降。在图5 的正常状态下，闭眼次数很少，大部分时候EAR 值在0.28～0.32 之间，只记录到1 次闭眼，其EAR 值显著下降至0.18 以下；在图6 的疲劳状态下，发生了长时间持续闭眼和多次眨眼，图中EAR 值长时间连续低于0.15，还记录到了3 次EAR 值下降到0.15 之下的变化。因此得出结论，EAR 值在判别眼睛开闭状态上具有很高的参考意义，但是在当前研究中，阈值标准在不同方法中各有不同。

对于眼部窗口信息，需要计算窗口纵横比来判别眼部状态。眼部窗口纵横比计算公式如下：

其中：Ymax-Ymin为眼部窗口信息中的高度；Xmax-Xmin为长度；Z为高度与长度的比值。

此外，还有研究方法［34］通过计算眼部纵向差值，根据阈值标准判别眼睛的开闭状态。

3.1.2 算法分类判别

除数学计算的方法外，眼部ROI 图像等根据不同算法分类判别眼睛开闭状态。表9 总结了根据眼部ROI 图像判别眼部状态的方法。

表9 眼部ROI 图像分类判别方法Table 9 Classification and discrimination methods of eye ROI images

通过表9 的总结可知，当前研究中主要通过不同算法实现对输入眼部ROI 图像的分类判别，最终得到眼部开闭状态。此外，文献［28］介绍了通过椭圆拟合方法对眼球图像拟合，再根据由预先实验总结的标准判断拟合图像状态的方法。文献［4］介绍的方法也不同于大部分研究，其输入信息并非常用的眼部ROI 图像，而是眼部特征向量。

3.2 嘴部特征状态判别

嘴部特征状态判别和眼部相似。嘴部区域提取到的特征信息为嘴部关键点信息和嘴部ROI 窗口信息，嘴部区域对两者的判别与眼部判别也相似，即针对关键点信息或ROI 窗口信息，根据数学计算方法判别嘴部闭合程度。

针对嘴部关键点信息和嘴部ROI 窗口信息，都是利用其坐标数据根据公式计算得出数值，然后依据设置的不同阈值来判断嘴部闭合程度。提取出的嘴部关键点信息如图7 所示。

图7 嘴部关键点信息Fig.7 Mouth key point information

在图7 中，Mi(i=1,2,…,6)为嘴部6 个关键点的坐标信息。根据图中关键点坐标计算得出嘴部纵横比（Mouth Aspect Ratio，MAR），其计算公式如下：

为了确定在不同状态下嘴部MAR 值的变化情况，根据驾驶员驾驶视频进行嘴部疲劳判别实验，实时记录一段时间内驾驶员嘴部视频流数据的MAR值变化情况，结果如图8、图9 所示。图8 为驾驶员正常状态下MAR 值的变化情况，图9 为驾驶员疲劳状态下MAR 值的变化情况。

图8 正常状态下MAR 值的变化情况Fig.8 Changes of MAR values under normal conditions

图9 疲劳状态下MAR 值的变化情况Fig.9 Changes of MAR values under fatigue conditions

从中可以看出，驾驶员在嘴部闭合和张开状态下MAR 值具有显著差异，且不同状态下嘴巴的张开程度也不同，如在说话、吃东西和打哈欠状态下嘴巴张开程度都不一样，在MAR 值上也体现出了差异。图8 中正常状态下MAR 值虽然因说话发生了提高，但其最高值未超过0.55；图9 中有说话和打哈欠2 种情况造成的MAR 值提升，其中打哈欠时MAR 值超过了0.8，说话时MAR 值最高不超过0.6。综合2 张图可以明显发现，在说话和打哈欠的状态下MAR 值均会显著提升，但是说话时MAR 值的提升程度不足打哈欠的一半，因此，可以根据MAR 值判断嘴部张开程度，从而判别疲劳状态。但是在当前研究中，阈值标准在不同方法中也不同。

与眼部窗口信息相同，对于驾驶员的嘴部窗口信息，同样计算窗口的纵横比，通过与阈值的对比来判定嘴部状态。嘴部窗口纵横比计算公式如下：

其中：Ymax-Ymin为嘴部窗口信息中的高度；Xmax-Xmin为长度；Z为高度与长度的比值。

3.3 头部姿态状态判别

当驾驶员处于疲劳状态时，头部通常表现为频繁点头和姿态异常。通过表7 的总结可知，多数方法都会观察头部姿态在Pitch 轴上的变化，通过点头情况判别疲劳状态。但是，文献［48］发现正常情况下头部姿态的变化范围有一个固定值，研究后给定了一般头部在3 个角度上的最大变化范围。因此，很多学者通过多角度变化判断头部姿态的异常情况，从而判断驾驶员的疲劳状态。

在头部姿态的判别中，不同方法中判别疲劳状态的阈值标准设定也有所不同。如文献［12］方法判别点头的Pitch 轴变化标准为30°，而文献［14］方法中Pitch 轴的变化标准为25°。因此，在参考他人研究成果的同时，还要通过预先实验确定判别标准，保证疲劳判别的准确率。

4 疲劳判别

在疲劳状态下，眼部、嘴部和头部都可能会出现一些症状。因此，疲劳状态的判别就是通过眼部、嘴部和头部姿态信息进行判别。部分研究通过单特征即可分析判别疲劳，但是大多数还是根据多特征信息综合判别疲劳。本节首先总结单特征疲劳判别方法，然后整理分析多特征融合的疲劳判别方法。

4.1 单特征疲劳判别

单特征判别疲劳根据提取到的驾驶员特征分为单眼部特征疲劳判别、单嘴部特征疲劳判别和单头部姿态疲劳判别。

4.1.1 眼部特征疲劳判别

通过驾驶员眼部特征判别疲劳采取的方法是对驾驶员的眨眼频率和眼部闭合时间进行计算。利用文献［51］经过大量实验和验证提出的测量疲劳的PERCLOS 参数来判别驾驶员疲劳程度，是当前根据眼部特征判别疲劳最可靠、最有效、最常用的方法。PERCLOS 指单位时间内闭眼时间占总时间的百分比，计算方法如下：

在PERCLOS 方法中，有3 种较为常用的标准，分别为P70、P80、EM。EM、P70、P80 分别指当眼睛闭合程度超过50%、70%、80%时即看作眼睛闭合。其中，P80 最为常用，在多篇通过眼部特征判别疲劳的文献中都使用了P80 标准作为指标。

眨眼频率也可作为疲劳判别的指标，其计算公式如下：

其中：NTB是单位时间内的眨眼次数；NT是单位时间内的总帧数；fB是单位时间内的眨眼频率。

最长持续闭眼时长也经常作为一个判别指标，其通过记录连续闭眼帧数获取。

根据调研发现，不同方法中判定标准不尽相同，但是均采用了PERCLOS、眨眼频率、最长持续闭眼时长等指标中的一个或多个来判别疲劳状态。而且，大部分方法通过眼部特征结合其他特征来综合判别疲劳，仅少数方法是通过单眼部特征进行判别，包括文献［28-29，31，34，52-56］中的方法。

4.1.2 嘴部特征疲劳判别

嘴部特征判别疲劳是通过对驾驶员在单位时间内打哈欠次数、频率等数据的计算来判别疲劳。打哈欠频率的计算公式如下：

其中：NTY是单位时间内打哈欠的次数；NT是单位时间内的总帧数；fY是单位时间内打哈欠的频率。

单位时间内打哈欠的帧数占总帧数的百分比可用式（8）表示：

最长持续打哈欠时长有时也会作为嘴部的疲劳判别指标，通过记录连续张嘴图像帧数获取。

通过调研大量文献发现，嘴部特征通常是辅助眼部特征来判别驾驶员疲劳。嘴部特征虽然不是主要成分，但是加入后准确率得到了提升。在2020年后发表的研究中，很多都综合了眼部与嘴部的特征来判别疲劳，由此可见嘴部特征在疲劳判别中的重要性。

4.1.3 头部姿态疲劳判别

驾驶员疲劳时通常会伴随频繁点头和头部倾斜、晃动等现象。因此，头部姿态疲劳判别时可以根据单位时间内点头次数、点头频率、姿态异常频率等指标进行判断。点头频率的计算公式如下：

其中：NTN是单位时间内点头的次数；NT是单位时间内的总帧数；fN是单位时间内点头的频率。

姿态异常频率根据式（10）计算所得：

其中：NTP是单位时间内姿态异常的次数；fP是单位时间内姿态异常的频率。

头部姿态一般也仅作为辅助标准，结合其他区域特征来共同判别驾驶员疲劳状态。

4.2 多特征融合疲劳判别

由于多特征融合的疲劳判别方法比单特征判别方法考虑的因素更多、更全面，因此近年来更多的疲劳驾驶检测方法是基于多特征融合来判别的。本节对不同特征的融合判别进行深入分析，研究各种方法的内在联系与差异。

4.2.1 眼部与嘴部特征融合

表10 总结了一些眼部与嘴部特征融合的疲劳判别方法，在不同判别方法下使用的判别疲劳特征信息有所差异。

表10 眼部与嘴部特征融合的疲劳判别方法Table 10 Fatigue discrimination method based on fusion of eye and mouth features

在融合眼部特征与嘴部特征判别疲劳的方法研究中，都是根据眼部和嘴部特征判别疲劳的多种参数，综合判别驾驶员疲劳状态，主要利用眼部的PERCLOS 参数、眨眼频率、眨眼次数和嘴部的打哈欠频率、打哈欠次数。其中，大多数研究还停留在综合考虑阶段，只有少数文献介绍了将多特征融合落实到具体数学公式上的疲劳判别方法，这种落实在具体数学公式上的疲劳判别方法更具直观性，将来更具研究价值。

4.2.2 眼部与头部特征融合

眼部特征与头部姿态融合的疲劳判别研究比较少见，当前仅文献［23］使用眼部特征结合头部姿态综合判别驾驶员疲劳状态，它根据眼部的PERCLOS参数、眨眼频率融合头部的点头频率和姿态异常频率，综合判断驾驶员疲劳状态。

4.2.3 眼部、嘴部和头部特征融合

眼部、嘴部和头部3 种特征信息融合的疲劳判别方法在近年来有了少量的研究成果，其与眼部、嘴部特征融合相似，在眼部、嘴部融合的基础上结合头部特征判别疲劳。

表11 总结了当前眼部、嘴部、头部3 种特征融合的疲劳判别方法。

表11 眼部、嘴部和头部特征融合的疲劳判别方法Table 11 Fatigue discrimination method based on fusion of eye，mouth，and head features

可以发现，3 个特征融合和2 个特征融合相似，主要都是综合考虑多种参数来判别驾驶员疲劳状态。只有文献［16，26］方法通过数学公式加权计算多特征参数的综合疲劳指数，这种体现在具体数学关系上的方法相较于其他方法更具参考性，但是各参数对应的具体权重还需进一步研究。

4.3 不同特征疲劳判别分析

在当前研究中，眼部、嘴部和头部特征成为疲劳判别的重要标准。在疲劳判别时，3 种不同特征发挥的作用不同，对判别结果产生的影响也不同。表12针对当前研究成果总结了3 种特征单独使用和多特征融合的优缺点及适用范围，并分析了其对疲劳判别产生的影响。从表12 可以看出，多特征融合判别较单一特征判别方法更复杂，流程更繁琐，算法理解难度和模型预训练要求都更高。虽然这些缺点导致多特征融合的实现难度高于单一特征，但是多特征融合较单一特征考虑得更加全面，准确率更高。因此，多特征融合成为近年来疲劳判别的重要研究方向。眼部、嘴部和头部这3 种特征有一些共性，都受光照影响较大，但是凭借多年的技术进步和研究，也都实现了夜间环境下的疲劳判别，只是准确率仍有提升空间。3 种特征提取方法和疲劳判别方法也都较为成熟，强有力的技术支撑使得各种疲劳判别方法都易实现。

在3 种特征中，眼部特征对疲劳判别最为重要，这主要是由于驾驶员容易出现佩戴口罩和帽子的情况，对嘴部和头部特征的提取影响更大，存在提取特征失败的可能。而眼部特征在受遮挡情况下大多只是因为佩戴眼镜而影响准确率，少数情况下才会因配戴墨镜而使得特征提取失败。适用场景方面也充分证明了这一点，眼部特征只需保证无墨镜遮挡，其他都要保证完全无遮挡。因此，在面部特征中眼部特征对疲劳判别最为重要，其他特征主要用于辅助眼部特征。

5 未来展望

当前学者们在基于面部多特征融合的疲劳驾驶检测领域开展了大量研究工作，并得到了一定成果，但是在以下方面还需要进行发展或改进：

1）近年来，多特征融合较单特征方法更流行，其中，融合眼部与嘴部特征较融合眼部和头部特征成果更多，融合3 种特征的方法也逐渐展示出成果。因此，本文认为基于多特征融合判别疲劳仍是该领域的热点，值得进一步研究。

2）在多特征融合的疲劳判别方法中，有部分使用多特征加权计算来判别疲劳，但是当前成果较少，主要还只是对多特征的综合考虑，未体现到具体的数学关系上。而且，研究成果中计算多特征指标的权重各有不同，难以确定最优结果。因此，通过数学公式体现多特征与疲劳之间的关系并确定合适的权重，需要进行探索。

3）当前研究对现实中可能存在的问题考虑不够充分。在现实中，驾驶员车内摄像头位置是随机的，图像并非都是正面的，而当前成果主要是对正面图像进行处理与判别，对侧面图像的研究很少，仅文献［27］意图对侧面图像提取特征并判别疲劳，但其止步于提取侧脸特征信息，未通过实验验证其特征判别疲劳的准确性。因此，通过驾驶员侧面判别疲劳值得进一步探索。

4）当驾驶员头部姿态快速变化、处于大角度的侧面状态或佩戴墨镜时，当前方法容易出现无法追踪到人脸或是无法检测到人脸关键点的情况。因此，提高在各种情况下人脸追踪和人脸关键点定位技术的稳定性是一个重要的研究方向。

6 结束语

基于面部多特征的疲劳驾驶检测方法对驾驶员具有非侵入性的优点，便于在实际中应用。本文调研大量疲劳驾驶检测方法的相关研究，总结分析依据不同面部特征判别疲劳的方法，归纳不同特征在疲劳驾驶状态判别时使用的参数，介绍基于单一特征和多特征融合的疲劳判别方法。同时，总结当前基于面部多特征融合的疲劳驾驶检测领域面临的一些挑战。未来可重点关注多特征融合的疲劳判别和驾驶员侧面状态下的疲劳判别，推动疲劳判别方法在实际中的应用和发展。