基于多特征模糊融合的疲劳状态判决

曹国震，彭寒，谭伟

（1.西安航空学院，西安710077；2.西北工业大学计算机学院，西安710072；3.西安导航技术研究所，西安710068）

基于多特征模糊融合的疲劳状态判决

曹国震1，彭寒2，谭伟3

（1.西安航空学院，西安710077；2.西北工业大学计算机学院，西安710072；3.西安导航技术研究所，西安710068）

在基于视觉的疲劳驾驶识别过程中，使用单个特征进行疲劳驾驶判断，常常会受到非普遍适用性、噪声等因素的影响，从而导致识别率降低。为了解决眼部特征参数或者是嘴巴特征参数单个特征识别率低甚至特使环境无法识别的问题，提出一种基于多特征融合的判决方法，利用了各种特征之间的优势互补，可以降低噪声和类内类间差异的影响，从而提高系统的性能，并且能增强适用性。最后通过实验结果证明，使用眼部和嘴巴特征融合的方法比单一的判决方法准确率更高。

模糊控制器，多特征模糊融合，眼部特征参数，嘴巴特征参数

0 引言

我国汽车保有量与日俱增，道路交通事故发生率居高不下，已成为一个不可忽视的问题，2012～2014年的交通事故死亡人数分别为30 222、31 604、34 292［1］。Klauer等研究发现，疲劳驾驶引发交通事故的概率是正常驾驶的46倍［2］。据美国NHTSA相关研究表明，每年由于疲劳驾驶而导致的交通事故至少有10万起［3］。在我国，每年因疲劳驾车而造成的事故分别占总事故率、特大事故率、死亡事故率的20%、40%以上、83%［4］。虽然疲劳驾驶引发交通事故所占比例在不同的国家之间存在一定差异，然而基本都在20%左右［5］。因而疲劳驾驶检测成为智能交通的一部分。

基于视觉的疲劳驾驶判断主要是通过提取典型的疲劳特征，最后进行疲劳程度判断。基于眼睛特征提取来判决疲劳状态有很多，例如Suzuki M［6］、Lenskiy A A［7］等国内外研究者就基于眼睛特征进行了研究，并取得显著的成果；基于嘴巴特征提取来判决疲劳状态的方法也有大量研究者在进行研究，例如Li，Lingling［8］、Jin Li-sheng［9］等国外学者。

基于单个特征进行疲劳驾驶判断的方法，常常会受到非普遍适用性、噪声等因素的影响，从而导致识别率降低。在驾驶员的疲劳检测中，如果嘴巴或者眼睛出现部分、全部遮挡时，单特征判决法将无法判决。而应用多特征融合的判决方法，由于利用了各种特征之间的优势互补，从而提高系统的性能，并且能增强适用性。由于模糊逻辑控制是一种易于控制，容易掌握的非线性控制器，有不错的适应性和鲁棒性，因此，得到广泛的应用，所以提出了一种基于模糊逻辑融合的方法进行疲劳驾驶检测方法。

1 疲劳驾驶模糊控制器的设计

打哈欠是疲劳或者当人体睡眠不足的表现，这就预示着大脑和其他器官已经疲劳，需要得到休息；同时在疲劳状态下，眼睛部位的特征将会发生明显的变化，出现眨眼频率加快，眨眼持续时间延长等特征。

使用两个模糊控制器组合的方式来进行疲劳判决，首先对提取到的眨眼频率和平均每次眨眼持续时间这两个参数使用模糊逻辑的方法进行特征融合，获得眼部状态，然后再与嘴巴状态一起输入到眼嘴模糊控制器，进行最终的疲劳判决，如图1所示。

图1 模糊融合判决

1.1 隶属度函数的建立

对于眼睛特征模糊控制器，眨眼频率和持续时间作为两个输入、一个输出变量分别定义模糊集合，并选择不同的隶属度函数。选择如下:眨眼频率= {快、较快、中、较慢、慢}={PB，PS，Z，NS，NB}；平均眨眼持续时间={短、较短、中、较长、长}={NB，NS，Z，PS，PB}；眼部疲劳状态={清醒、较清醒、注意、较疲劳、疲劳}={NB，NS，Z，Ps，PB}。选取1 min之内的眨眼次数和平均眨眼时间作为输入，选用经验法来确定隶属度函数，采用三角形隶属度函数。其中眼部频率隶属度函数分别为PB=［21 28 50 57］，PS=［14 21 28］，Z=［7 14 21］，NS=［0 7 14］，NB=［1 0 7］；平均眨眼持续时间隶属度函数分别为PB=［1.05 1.4 5 5.7］，PS=［0.7 1.05 1.4］，Z=［0.35 0.7 1.05］，NS=［0 0.35 0.7］，NB=［0.1 0 0.3 5］。据此，可以得到眨眼频率和平均眨眼持续时间的隶属度函数。

对于输出眼部疲劳状态，隶属度函数为PB=［0.9 1.2 1.21］，PS=［0.6 0.9 1.2］，Z=［0.3 0.6 0.9］，NS=［0 0.3 0.9］，NB=［0.01 0 0.3］，使用模糊控制器1（即眼部特征模糊融合）的输出眼部疲劳状态和嘴巴打哈欠状态作为模糊控制器2（即眼嘴模糊融合）的输入，进行最终的疲劳度判决。模糊控制器二的输入输出隶属度函数同样采用常用的三角形隶属度函数。

模糊控制器2输入为眼睛疲劳度和嘴巴疲劳度，输出为最终的疲劳度，隶属度函数分别为:眼睛疲劳度={清醒、较清醒、注意、较疲劳、疲劳}={NB，NS，Z，PS，PB}，其中NB=［0.1 0 0.3］，NS=［0 0.3 0.6］，Z=［0.3 0.6 0.9］，PS=［0.6 0.9 1.2］，PB=［0.9 1.2 2］；打哈欠频率={快、较快、中、慢}={PB，Ps，Z，NB}，其中NB=［0.1 0 2］，NS=［0 2 4］，Z=［2 4 6］，PB=［4 6 20 24］；输出疲劳度={清醒、较清醒、注意、较疲劳、疲劳}={NB，NS，Z，PS，PB}，NB=［0.1 0 0.3］，NS=［0 0.3 0.6］，Z=［0.3 0.6 0.9］，PS=［0.6 0.9 1.2］，PB=［0.9 1.2 2］，当最终输出大于等于0.8时则判定为疲劳，否则为正常状态。

1.2 模糊推理规则的建立

模糊控制器的输入变量为平均眨眼持续时间和眨眼频率，采集的图像经过处理后得到眼睛睁闭的情况，并将眨眼频率转换为频率快、眼频率较快、频率中、频率较慢、频率慢、平均眨眼持续时间转换为持续时间长、持续时间较长、持续时间中、持续时间较短、持续时间短等模糊语言。

对于模糊控制器1，平均眨眼持续时间的重要性要高于眨眼频率，这是因为眨眼持续时间越长代表了眼睛在眨眼过程中眼睛闭合的时间越长，眼睛闭合越长代表危险性越高；同时由于驾驶员进入轻度疲劳时，眨眼持续时间增加、眨眼频率增加，但当进入深度疲劳以至于睡眠时，眨眼持续时间非常长，而眨眼频率降低，因此，本文在建立模糊规则库时，针对眨眼持续时间过高这种特殊情况，则不论眨眼频率是否高低均判断为眼睛疲劳。建立模糊控制规则表，其相互间最多可得25条控制规则，可以将上述规则以简单的模糊控制规则表，如下页表1所示。

表1 模糊控制规则表

疲劳状态数值越高表示越疲劳，文中眼睛疲劳状态的重要性要高于嘴巴疲劳状态，因为眨眼持续时间越长或眨眼频率越高代表了眼睛在眨眼过程中眼睛闭合的时间越长，不论驾驶员疲劳与否，眼睛闭合越久代表危险性越高。

对于模糊控制器2输入变量为眼睛疲劳状态和嘴巴疲劳状态，将眼部状态转换为清醒、较清醒、注意、较疲劳、疲劳等模糊语言，嘴巴状态转换为不打哈欠、打哈欠频率低、打哈欠频率较高、打哈欠频率高。因此，其相互间最多可得20条控制规则，推理的20条控制规则如表2所示。

表2 控制规则表

2 疲劳驾驶检测算法整体设计

图2 疲劳驾驶检测总流程图

疲劳驾驶检测总流程如图2所示。整体设计思路为:人脸检测*人脸跟踪*特征定位*参数提取*疲劳判决。特征定位为定位人眼和嘴巴并求其宽高比，参数提取为提取该帧前1 min之内的眨眼频率、平均眨眼持续时间和打哈欠频率。首先针对第一帧图像进行人脸检测，确定人脸区域，在其后的帧中对该人脸区域进行跟踪，只有在跟踪失败（相似度Bhattacha}yya系数＜0.8或特征定位失败的时候才重新启动人脸检测算法；因为本文提取的是1 min（即120帧）之内的参数，因此，在开始的120帧之内并不进行参数提取，只是提取每帧眼睛、嘴巴的宽高比，并求取该120帧中的宽高比最大值及最小值，当120帧处理完毕之后，在后续帧中便可以对该帧前1 min的眨眼频率等参数进行提取，并进行疲劳判定。

2.1 人脸检测

人脸检测流程如图3、图4所示，该流程分为两部分:第1部分为神经网络训练，如图3，首先对人脸及非人脸样本进行Gabor滤波，得到一组特征向量，其次使用PCA特征降维，将降维后的向量输入到神经网络进行训练，训练后得到神经网络分类器。

图3 神经网络训练

图4 人脸标记流程

第2部分为人脸检测部分，如图4所示，首先将待检测的原始图像经过光照补偿预处理，其次进行非线性肤色分割，并进行形态学处理得到人脸候选区域，然后分别对每个候选区域进行逐次缩放，进行人脸判别，缩放停止的判断标准是直到检测到为人脸或缩放到训练样本大小。对每个候选区域进行人脸判别的过程为:首先将候选区域与人脸库样本平均脸做二维卷积运算，在结果矩阵中选取与候选区域相同大小的中间部分作为一个新矩阵，在该矩阵中寻找极值点，在候选区域上与极值点位置对应的附近一定范围内依次选取样本大小的图像区域，将该区域经过Gabor滤波和PCA降维之后输入到神经网络进行人脸判别；当该区域没有检测到人脸，但神经网络输出值较大时，可将极值点附近的范围适当放大。人脸跟踪流程如下页图5所示。

2.2 特征定位和参数提取流程图

图5 人脸跟踪流程

根据上述人脸检测和跟踪提取到人脸图像之后便可以进一步定位眼睛和嘴巴，在文中，为避免受跟踪误差的影响，选取的人脸图像为跟踪窗口适当放大之后包含的图像。首先对该人脸图像进行肤色二值分割，分别用垂直、水平灰度积分投影确定眼睛、嘴巴的大致区域，即眼睛和嘴巴的初定位；其次将该人脸图像转化为灰度图像，进行直方图均衡化增强、最大类间方差分割和形态学处理，这样便可以获得将眉眼区域有效区分开的二值图，结合之前的初定位，使用连通域标记法便可以精确定位出眼睛和嘴巴；然后分别计算眼睛和嘴巴的宽高比，进行状态分析，判断是否张开或闭合；最后如果该帧前面帧数大于120，便可以获得该帧前120帧的眨眼频率、平均眨眼持续时间和打哈欠频率等参数。特征定位和参数提取流程图如图6所示。

图6 特征定位和参数提取

2.3 疲劳判决流程图

获得眨眼频率、平均眨眼持续时间和打哈欠频率等参数之后，便可以使用本文建立的模糊融合法判定疲劳度，疲劳判决流程图如图7所示。首先对眨眼频率和平均眨眼持续时间根据模糊控制器一输入隶属度函数进行模糊化，进行模糊推理，结合输出隶属度函数进行反模糊化，得出眼睛的疲劳状态；其次把眼睛疲劳状态和打哈欠频率作为输入，通过模糊控制器二得出最终的疲劳度，判定是否疲劳驾驶。

3 试验分析

图7 模糊控制器

选取20组在实验室模拟的驾驶员疲劳驾驶时的序列图像进行的测试，其中1～5组含有打哈欠动作并且眼部疲劳程度较高，6～10组不含打哈欠动作但眼部疲劳程度较高，11～15组含有打哈欠动作但眼部疲劳程度较低，16～20组不含打哈欠动作且眼部疲劳程度较低，系统使用处理器为Inter Pentium E5300 2G内存的计算机进行测试，图像大小为320 ×240，每秒为20帧，分别使用A:眼睛状态判定（使用眨眼频率和平均眨眼持续时间）、B:嘴巴状态判定（使用打哈欠频率）、C:先嘴巴状态判定再眼部状态判定、D:眼睛和嘴巴融合判定4种方法来判断驾驶员是否疲劳，实验结果如下页表3所示，表3中疲劳用Y表示，不疲劳用N表示。

由表3可知，使用A方法在组别3，4，6，7，12，15，20出现误判，使用B方法在组别8，9，10，11，13，14出现误判，使用C方法在组别6，7，11，13，14出现误判。从实验结果可以看出，联合使用眼睛和嘴巴比使用单一的特征进行疲劳判决在准确性上有明显提高。对不同的驾驶员疲劳和不疲劳状态下的视频序列进行检测，每段视频序列时长为3 min，试验结果表明，本文提出的算法在头部偏转不大时疲劳检测正确率为93.6%，当存在头部偏转时，正确率为87.9%。由此可知，本文算法具有较高的检测率。

表3 试验结果

4 结论

为了解决单个特征进行疲劳驾驶判断的方法，常常会受到非普遍适用性、噪声等因素的影响从而导致识别率降低的问题。本文提出了一种基于多特征模糊融合的疲劳状态判决，通过使用两个模糊控制器组合的方式来进行疲劳判决。针对眼睛特征模糊控制器（模糊控制器1）建立了眨眼频率和平均眨眼持续时间隶属度函数，并确定相应的规则表，使用眨眼频率和平均眨眼持续时间这两个参数进行特征融合，获得眼部状态，并结合嘴巴打哈欠状态作为眼嘴模糊控制器（模糊控制器2）的输入，建立相应的隶属度函数和规则表，进行最终的疲劳判决。实验结果表明，结合使用眼睛和嘴巴比使用单一的特征进行疲劳判决在准确性上有明显提高，本文提出的算法在头部偏转不大时疲劳检测正确率为93.6%，当存在头部偏转时，正确率为87.9%。由此可知，本文算法具有较高的检测率。

［1］公安部交通管理局.中华人民共和国道路交通事故统计年报［R］.北京:公安部交通管理局，2014.

［2］KLAUER S G，DINGUS T A，NEALE V L，et al.The impact of driver inattention on near crash/crash risk:An analysis using the 100 car naturalistic driving study data［R］.Washington:National Highway Traffic Safety Administration，2006.

［3］LIU C，SUBRAMANIAN R.Factors related to fatal singlevehicle run off road crashes［R］，DOTHS811232，U.S.Department of Transportation，American National Highway Traffic Safety Administration，Washington，DC，USA，2009.

［4］牛清宁.基于信息融合的疲劳驾驶检测方法研究［D］.长春:吉林大学，2014.

［5］MAC LEAN A W，DAVIES D R T，THIELE K.The hazards and prevention of driving while sleepy［J］.Sleep Medicine Reviews，2003（7）:507-521.

［6］SUZUKI M，YAMAMOTO N，YAMAMOTO O，et al.Measurement of driver’s consciousness by image processing a method for presuming driver’s drowsiness by eye blinks coping with individual differences［C］//IEEE International Conference on Systems，Man and Cybernetics，2006.

［7］LENSKIY A A，LEE J S.Driver’s eye blinking detection using novel color and texture segmentation algorithms［J］.International Journal of Control Automation and Systems，2012，10（2）:317-327.

［8］LI L L，CHEN Y Z，XIN L.Driver Fatigue Detection Based on Mouth Information［C］//8th World Congress on Intelligent Control and Automation，Jinan，PEOPLES R CHINA，2010: 6058-6062.

［9］JIN L S，SUN X，JIANG Y Y.Study on driver's mouth segmentation and location based on color space［C］//IEEE Intelligent Vehicles Symposium，Xi’an，Peoples R China，2009:500-506.

Decision of Fatigue State Based on Characteristics'Fuzzy Fusion

CAO Guo-zhen1，PENG Han2，TAN Wei3
（1.Xi’an Aviation Academy，Xi’an 710077，China；2.School of Computer Science，Northwestern Polytechnical University，Xi’an 710072，China；3.Xi’an Institute of Navigation Technology，Xi’an 710068，China）

The fatigue recognition process based on visual，using a single feature to fatigue driving，often by the universal applicability，the influence of factors such as noise，leading to the recognition rate is reduced.Characteristic parameters in order to solve the eye or mouth feature parameters of the individual character recognition rate is low and even envoy environment cannot be any other questions，this paper proposes a decision method based on feature fusion，using a variety of characteristics between the complementary advantages，can reduce the effects of difference between noise and class in the class，so as to improve the performance of the system，and can enhance the applicability.Finally，the experimental results show that using the eye and mouth features fusion method is higher accuracy than a single sentence.

fuzzy controller，characteristics'fuzzy fusion，eye feature parameters，mouth characteristic parameters

TP391

A

1002-0640（2017）04-0096-05

2016-02-13

2016-04-07

国家青年科学基金资助项目（61201321）

曹国震（1980-），男，陕西榆林人，讲师，硕士研究生。研究方向：计算机应用技术、信息安全。