一种基于多传感器融合的疲劳驾驶检测方法

张长隆



一种基于多传感器融合的疲劳驾驶检测方法

张长隆1,2

（1.湖南大学 电气与信息工程学院，湖南 长沙 410000；2.长沙智能驾驶研究院有限公司，湖南 长沙 410000）

为减少交通事故，提出一种基于多特征融合的疲劳检测方法，以提高疲劳检测精度。其检测方法是：首先通过响应的传感器采集驾驶员眼部、嘴部及车辆方向盘特征，再经过状态判别单元综合处理，最终判定驾驶员是否处于疲劳驾驶状态。通过三个特征的融合，开启疲劳驾驶检测门限条件，并对三种特征分别取不同的权重，运用Fisher线性判别算法进行分类，最终对驾驶员是否在疲劳驾驶做出判定。最后通过实验验证了基于多特征融合的疲劳检测方法较之单一要素检测的准确率更高，并能够实时监测，具有可行性与正确性。

疲劳驾驶；方向盘特征；眼部特征；嘴部特征；特征融合

1 引言

随着社会经济的发展，机动车辆与日俱增，疲劳驾驶一直是影响驾驶安全的重要因素之一。据调查，我国与疲劳相关的交通事故占事故总数的20%左右，占重特大交通事故的40%以上[1]。因此，为减少疲劳驾驶而引起的交通事故和保障人们的人身安全，研究有效的方法来实时检测驾驶员的疲劳状态是非常必要和具有重要意义的。

目前，国内外对驾驶员疲劳驾驶检测的方法主要有：主观检测和客观检测。其中，主观检测方法主要有：驾驶员自我记录表、皮尔逊疲劳量表、睡眠习惯自我记录表、斯坦福睡眠尺度表[2]。

客观检查方法主要包括：

1）驾驶员生理参数，比如脑电图、心电图、肌电图、脉搏等特征；此方法的优点是能够准确的判断出驾驶员是否处于疲劳状态，尤其是脑电是测量睡眠的金标准，其缺点也显而易见，这种方法需要一些电线或电极接触驾驶员身体，不受驾驶员欢迎[3]。

2）驾驶员行为特征，包括PECRCLOS法、点头时间检测、视线方向检测、点头频率等；3）车辆特征，包括方向盘转动变化特征、手握方向盘力度特征、车道偏离特征、前方车距等。

主观评价虽然容易实现，但是它仅仅是驾驶员的主观判断，驾驶员所处的环境不同、记忆力相异、身体状况和个体差异，都会影响判断。当今的研究热点是将多重驾驶疲劳检测方法有机融合，并综合判断。因为多源信息融合可以弥补单个检测方案的局限性及不足，从多个方面全方位的判定驾驶员的疲劳程度[4][5]，使检测系统具有更强烈的实用性和精确度。

本文结合实际道路条件，进行驾驶员疲劳驾驶测试，分析了驾驶员疲劳情况下的方向盘操作特征，从方向盘修正频度、幅度、时间三个方面并融合眼部及嘴部的特征，建立了驾驶员疲劳状态实时监测系统，并在驾驶模拟器上进行仿真验证。

2 基于特征融合的疲劳算法

如图1所示，为基于特征融合的疲劳驾驶检测系统示意图，其中包括三个单元，分别是：1）数据采集单元，包括视觉-面部特征传感器及车辆状态传感器；2）状态判别单元，包括眼部、嘴部及方向盘特征的数据融合；3）报警单元，本系统采用声音预警提示。

图1 基于特征融合的疲劳驾驶检测系统示意图

2.1 基于眼部及嘴部特征的疲劳驾驶检测

基于驾驶员眼部及嘴部特征的疲劳检测可以大致分为两个部分：眨眼（或眼睛微闭，此时眨眼次数增多，且眨眼速度变慢）及打哈欠（嘴巴张大且相对较长时间保持这一状态），分别对应为眼部特征、嘴部特征。本文从跟踪定位眼部及嘴部入手，利用图像处理技术通过对驾驶员眨眼及打哈欠的情况进行监测，发现疲劳状态时进行报警提示。

如图2所示，为基于眼部及嘴部特征的疲劳驾驶检测流程示意图。

图2 基于眼部及嘴部特征的疲劳驾驶检测流程示意图

基于驾驶员眼部及嘴部特征的疲劳检测具体流程为：

Step1：提取图像帧，进行人脸检测，并对人脸的眼部及嘴部进行粗定位；

Step2：眼部及嘴部精确定位，基于68点的landmark点的标号直接定位眼睛位置，计算眼睛的睁开度同时，利用OpenCV的人脸检测算法及Harris角点检测算法，获取嘴部特征值K1。若k1大于阈值T1，则进行Step3，否则K2=K1/2，count=0回到step1，进行下一帧图像的提取，重新进行驾驶员人脸检测；

Step3：提取眼部外轮廓，通过左右眼的各六个特征点，进行长宽比计算，表征了驾驶员眼睛的睁开度，通过设定一个初始阈值来确定驾驶员的眼睛是睁开还是闭上。同时，提取嘴部内轮廓，取嘴巴的宽度值和高度值之比，做为特征值K2，若K2大于阈值T2，则Step4，否则count=0，返回Step1，检测下一帧；

Step4：统计哈欠特征count=count+1，当count超过阈值且下一帧的哈欠特征消失，保存count到Yawn，Yawn(i)= count，count=0（count清0，回到Step1，否则直接跳转到Step1；

Step5：基于眼部及嘴部的特征融合及决策，分析完1min内所有图像，计算眨眼及打哈欠特征总数，并计算眨眼及打哈欠的频率，当打哈欠的频率大于10%时则认为是深度哈欠或者至少连续两个浅哈欠，则发出疲劳预警。然后根据PERCLOS值作为可靠指标，分别将眼部特征和嘴部特征取不同的权重，其中，眼部特征的权重为0.8.嘴部特征的权重为0.5，首先计算单一指标的疲劳程度，然后将对应的权重与单一疲劳度相乘甲醛，综合疲劳值为0-0.23为清醒状态，0.23-0.69为轻度疲劳，0.69-2.3为重度疲劳。

2.2 基于方向盘特征的疲劳驾驶检测

研究发现，随着驾驶人疲劳程度的增加，对方向盘的控制精度降低。当驾驶员处于正常驾驶状态时，方向盘转角的幅度较小，转向频率较大[6]。而当驾驶员处于疲劳驾驶状态时，对方向盘操作表现出低频大幅修正特征以及长时间持续不动后大幅快速修正特征[7]。可见通过检测方向盘的转动情况，可以判断驾驶人的疲劳水平。当检测到方向盘持续长时间的不动时，判定为疲劳驾驶，发出预警[8]。

方向盘特征采集的方法是：通过罗技模拟器模拟驾驶员相关动作，并选取车速为中速时的情况，进行驾驶过程中方向盘数据的采集。

疲劳判定条件如表1所示，为三种，分别为：1）10秒之内方向盘的修正频度，即在10s内仅出现2-4次的修正频度时，可以进行驾驶员疲劳提醒；2）方向盘转角绝对值，即，在没有转向灯信号的情况下，认为车辆处于直行状态，在直行的情况下，出现6度以上的修正角度，则可以进行驾驶员疲劳提醒；3）方向盘持续不动时间，即车辆在中速行驶的过程中，考虑到方向盘转向裕度，如果出现4s中未对方向盘进行任何操作，则认为驾驶员处于疲劳状态。

表1 基于方向盘三大特征的疲劳驾驶判定指标

2.3 基于眼部、嘴部及方向盘特征融合的疲劳驾驶检测

以上我们描述了几种常用的疲劳驾驶检测方法，在得到以上数据的基础上，我们首先将方向盘4S不动作为疲劳驾驶检测系统开启条件。之后将眼部、嘴部及方向盘特征信息进行加权统计，利用Fisher线性判别算法对驾驶员疲劳状态进行综合判定，利用有向无环图模型进行数据分析，最终给出驾驶员的疲劳状态的判定结果。如图3所示，为基于特征融合的疲劳驾驶检测流程图。

图3 基于特征融合的疲劳驾驶检测流程图

具体流程为：

Step1：根据方向盘转角特征，判定方向盘在4s的时间内是否发生转动；

Step2：若发生转动，则进入基于眼部及嘴部特征的疲劳驾驶检测和基于方向盘特征的疲劳驾驶检测；若没有发生转动，则进入step1；

Step3：特征融合之数据融合，即利用Fisher线性判别算法对驾驶员疲劳状态进行综合判定。

其中Step3的Fisher线性分类器决策的出发点是：把所有的样本都投影到一维空间，使得投影后两类相隔尽可能远，而对同一类的样本又尽可能聚集。其判别算法如式（1）所示：

式中，1为驾驶员眼部及嘴部融合特征；

2为方向盘特征；

1、2、3为清醒、轻度疲劳、重度疲劳三种状态下的判别函数；

a、b、c（i=1,2,3）为Fisher算法系数，通过参与训练的样本决定。

Step4：特征融合之数据分析决策，即在经过Step3的数据融合之后，对数据进行分析决策，得出最终的疲劳判定结果。

其中Step4的数据分析决策采用基于改进的支持向量机的学习方法，支持向量机(SVM)是一种基于结构风险最小化准则的学习方法，是借助最优化方法，解决机器学习问题的一种二分类工具，对小样本、非线性以及高位识别问题更具有优势。而本文经过数据融合处理后的特征为多个特征，即：基于眼部及嘴部、基于方向盘10秒内修正频度以及基于方向盘转角绝对值三个特征。在此采用将多个SVM进行组合的方法，即有向无环图模型。该方法的优势在于分类速度快，且没有分类重叠和不可分类的情况。在对多个“一对一”二元子分类器进行组合的过程中，引入图论中有向无环图的思想，将多个二元分类器组合成多元分类器。对于一个m元的分类问题，有向无环图共有(-1)/2个节点，对应(-1)/2个二元分类器，分布于m层结构中。如图4所示，为有向无环图结构示意图。顶层只含有1个节点，成为根节点，第二层含有2个节点，以此类推，第i层有i个节点，最底层有m个叶节点，其中，第j蹭的第i个节点只想第j+1层的第i个和第i+1个节点。

对于给定的输入样本X，从根节点出发，计算每个节点的决策函数值，若为1，则从左边进入下一个节点，若为-1，则从右边进入下一节点，然后计算下一个节点的值，以此类推，在最后一层叶节点处的输出就表示了X所属的类别。

基于三通道信息的疲劳驾驶行为分析共有三个状态，即清醒、疲劳、重度疲劳，因而需要构建3个SVM，每次判断时，调用2个分类器即可，各SVM的优化参数通过训练样本给出。

图4 有向无环图结构示意图

3 实验数据

由于实验条件的限制，并考虑到疲劳驾驶这一实验的安全性，本文算法的方向盘数据采集基于罗技模拟驾驶实验平台。通过串口实时获取驾驶行为数据，包括仿真时间、方向盘转角、方向盘转角速度、档位信息、离合踏板位置、刹车踏板位置、加速踏板位置等变量。如图5所示，为在100ms的采样频率下，模拟驾驶平台的输出数据。

图5 模拟驾驶平台的输出数据

同时，为了在实验过程中能尽快出现疲劳驾驶状态，对参与实验的部分驾驶人员进行睡眠限制，实验前一天限制参与实验的驾驶人员睡眠时间为1:00am-6:00am 共5h，实验当天上午禁止驾驶人饮酒、茶和咖啡。驾驶模拟实验选在驾驶人最易出现疲劳的时间段进行，开始时间为14:00pm，持续2h。选取了300个测试样本，其中，清醒状态的样本为184个，疲劳样本为116个。通过本文提出的融合算法进行样本疲劳状态识别，其中清醒状态的正确检测数量为172个，疲劳状态的样本正确检测数量为100个，经统计清醒与疲劳状态的正确识别率为90.6%。而基于单一面部特征的清醒状态的正确检测数量为164个，疲劳状态的样本正确检测数量为91个，检测准确率为85%，基于单一方向盘特征的清醒状态的正确检测数量为157个，疲劳状态的样本正确检测数量为81个，检测准确率为79.3%。如表2所示，为基于单一特征和基于多传感器融合的疲劳驾驶检测方法的判定结果。

表2 基于单一特征和基于多传感器融合的疲劳驾驶检测方法的判定结果

4 结束语

在研究了多种疲劳驾驶检测方法的基础上，提出了基于眼部、嘴部及方向盘特征融合的疲劳驾驶检测系统。该方法利用OBD传感器获取车辆本身的信息，比如方向盘转动信息、转向灯信息、车辆加速度等，同时，利用CCD摄像头获取驾驶员眼部及嘴部特征，融合眼部、嘴部三方面的特征对驾驶员疲劳状态进行检测。最后，在保证安全的情况下，利用驾驶模拟器进行了仿真实验，在不降低检测速度的情况下，提高了检测精度，漏检误检少，受环境影响小，成本低等特点。

[1] 2006年全国道路交通事故情况, 道路交通管理,2007(2):22-23.

[2] Friedrichs F, Yang Bin. Drowsiness Monitoring by Steering and Lane Data Based Feathers under Real Driving Conditions. 18th European Signal Processing Conference, Aalborg, 2010:23-27.

[3] 王磊,吴晓娟,俞梦孙驾驶疲劳磕睡检测方法的研究进展阴生物医学工程学杂志,2007,24(1):245-248.

[4] Wierwille W W, Ellsworth L A, Wreggit S S, et al. Research on Vehicle-Based Driver Status/Performance Monitoring: Development, Validation, and Refinement of Algorithms for Detection of Driver Drowsiness. Report DOT-HS-808-247, NHTSA, US Department of Transportation, 1994.

[5] Wylie C D,Shultz T,Mitler M M,et al.Commercial motor vehicle driver fatigue and alertness study: Technical summary[R].

[6] 李伟,何其昌,范秀敏.基于汽车操纵信号的驾驶人疲劳状态检测. 上海交通大学学报,2010, 44(2): 292-295.

[7] 李啸.转向盘转角特性在驾驶疲劳检测中的应用研究[D].北京林业大学, 2009.

[8] 张希波.基于方向盘操作的驾驶人疲劳检测方法研究[硕士学位论文].北京:清华大学,2009.

A Fatigue Driving Detection Method Based On Multi-Sensor Fusion

Zhang Changlong1,2

( 1.Hunan Univessity College of Electrical and Information Engineering, Hunan Changsha 410000; 2.Changsha Intelligent Driving Research Institute Co., Ltd, Hunan Changsha 410000 )

In order to reduce traffic accidents, a fatigue detection method based on multi-feature fusion is proposed to improve the fatigue driving detection accuracy.The detection method is: firstly, the driver's eye, mouth and steering wheel characteristics are collected by the corresponding sensors, and then comprehensive processing through state discrimination unit,and finally the driver is judged whether he is in the fatigue driving state or not by the comprehensive processing of the state discrimination unit.Through the fusion of the three features, firstly,the threshold condition of fatigue driving detection is opened, then the three features are classified by Fisher linear discriminant algorithm, finally, the driver is judged whether he is driving in fatigue or not.Experiments show that the fatigue detection method based on multi-feature fusion has higher accuracy than other single element detections, and can be real-time monitoring, which is feasible and correct.

Fatigue driving;Steering wheel features;Eye characteristics;Characteristics of the mouth;Charac -teristics of the fusion

A

1671-7988(2018)24-131-04

U467.4

A

1671-7988(2018)24-131-04

U467.4

张长隆，车联网专家，国防科技大学通讯工程博士，湖南大学电气与信息工程学院教师，长沙智能驾驶研究院有限公司网联交通部总监。

10.16638/j.cnki.1671-7988.2018.24.048