基于人眼状态的驾驶员疲劳检测

赵晓琳，王世刚，姜秀红，王晓燕，赵文婷

(吉林大学通信工程学院，长春130012)

基于人眼状态的驾驶员疲劳检测

赵晓琳，王世刚，姜秀红，王晓燕，赵文婷

(吉林大学通信工程学院，长春130012)

为提高驾驶员疲劳检测的准确性，提出一种改进的眼睛状态检测方法。利用“参考白”算法对原始帧图像做光照补偿处理，基于肤色特征检测出人脸;利用积分投影法将人脸和眼睛分割出来，结合眉毛和眼睫毛之间距离的变化、眼睛区域黑色像素点的个数变化这两个参数对眼睛的状态做出判断。若连续5帧图像眼睛均为闭合状态，则系统给出疲劳警报。实验结果表明，利用两个参数检测的准确率高于单个参数检测的准确率。关键词:疲劳检测;肤色特征;眼睛状态

0 引 言

驾驶员疲劳是引发交通事故的一个重要因素。据数据统计，有20%的交通事故发生原因是疲劳驾驶，因此，对驾驶员做出实时准确的疲劳警告尤为重要。近年来，驾驶员检测系统正在被广泛研究，通过检测驾驶员的疲劳程度并给驾驶员发送疲劳警报信息，减少交通事故的发生。国内外的研究人员主要从驾驶员的生理信息、面部信息以及车辆状态3方面对驾驶员的疲劳进行研究。基于驾驶员生理信息的检测方法需要在驾驶员的身体上加一些测量设备，检测驾驶员的生理参数，如心电图、脑电图、脉搏等。当驾驶员疲劳时，这些生理信号会发生变化，可利用设备的测量值变化判断是否疲劳。前人对采集到的不同驾驶员的脑电图信号(EEG:Electro Encephalo Gram)作处理，提取出不同EEC不同波段的特征，以此区分出驾驶员的疲劳程度。基于车辆状态的检测方法通过检测方向盘转动、车辆速度、转弯角度的异常，判断驾驶员是否疲劳，但由于道路状况、驾驶员的驾驶习惯等外界干扰，这种方法很难保证检测结果的准确性。王斐等［1］通过采集驾驶员的脑电信号，结合对应的方向盘操纵数据，将驾驶员的疲劳程度分为3类进行定性分析，分类检测效果较理想。基于驾驶员面部信息的检测方法通过检测驾驶员的眼睛闭合度、眨眼频率、头部位置、打哈欠等判断驾驶员是否疲劳。该方法是非接触式的，受外界干扰较少，也是被普遍采用的研究方法。Dong等［2］利用眼睛状态分析驾驶员的疲劳程度，提出一种利用眼睑之间距离的变化判断眼睛状态的方法。当眼睑之间的距离小于标准值时，将眼睛判为闭合状态。Seifoory等［3］利用虹膜分析眼睛状态，当虹膜存在时，说明眼睛是睁开的;否则，眼睛是闭合的。文献［4］通过水平投影图的曲线斜率得到眼睛边界，然后利用相邻帧图像眼睛区域内像素点个数差的变化趋势分析眼睛的睁闭状态。文献［5］通过两帧图像之间的差异分割出脸部区域，然后基于鼻孔和下巴之间距离的变化检测驾驶员是否打哈欠。牛清宁等［6］利用滑移时窗的方法对眨眼频率、PERCLOS(Percentage of Eyelid Closure)、注视方向和注视时间这4个特征数据进行融合，搭建了疲劳驾驶检测模型。

1 疲劳状态检测

图1 疲劳检测流程示意图Fig.1 The fatigue detection system

笔者提出了一种改进的双参数眼睛状态判断方法，通过:1)脸部检测;2)眉眼区域检测;3)眼睛状态分析;4)实验结果与比较4部分眼睛状态进行分析。先对眉毛和睫毛之间的距离与阈值n1进行比较，若大于阈值，再判断眼睛区域黑色像素点的个数是否大于阈值n2，若是，则判断眼睛为睁开状态;否则将眼睛状态判断为闭合。如果在连续5帧图像中，眼睛均为闭合状态，则对驾驶员进行疲劳警告。

系统流程示意图如图1所示。

2 脸部检测

2.1 光照补偿

人脸的检测是整个疲劳系统检测的第1步，在分割出的人脸基础上，对眼睛检测可以提高检测的准确性。影响脸部检测的主要因素有驾驶员头部的转动、光照等，其中在驾驶时驾驶员头部的转动是微弱的，但光照强度会随着驾驶环境和时间发生变化。鉴于此，选择一种改进的“参考白”算法对原始图像进行光照补偿［7］，图2是光照补偿前后对比图，光照补偿前的图像(见图2a)。首先检测图像中像素点的亮度，按照亮度值的大小对图像中的像素点从高到低排序，得到亮度值在前5%的像素(参考白);然后设置亮度值在前5%的像素点的灰度值均为255，即将这些像素点的3种色彩分量R、G、B均调到最大值255;最后依比例对图像的RGB 3个分量进行线性调整，得到光照补偿后的图像(见图2b)。

图2 光照补偿前后对比图Fig.2 The contrast figure before and after illumination

其中比例的设计方法如下。

2)计算 Rsum，Gsum，Bsum在像素中占的比例，并找出3者中的最大值 Mr，

2．2 人脸分割

在对人脸进行检测时，一种比较简单有效的方法就是基于肤色特征的检测。将图像由RGB色彩空间转换到HSV色彩空间和YCbCr色彩空间进行处理。在YCbCr色彩空间，亮度分量Y和色度信息CbCr是独立的，利用肤色的聚类特性可以很好地将肤色区域提取出来。在HSV色彩空间，色调Hue在肤色区域和非肤色区域有明显的不同值。采用

Cr≥140 and Cr≤165 and Cb≥140 and Cb≤195 and H≥0.01 and H≤0.1 (1)所示的规则对肤色区域提取。

图3a是原始图像，首先将肤色点和非肤色点区分出来，得到一个二值图像(见图3b);然后对此二值图像进行连通性分析等数学形态学处理。通过对处理后的二值图像作水平积分投影和垂直积分投影，定位人脸的边界，进而提取出人脸区域。图3c是分割出的人脸肤色区域二值图像，图3d是人脸肤色区域的RGB图像。

图3 人脸分割图Fig.3 Face segmentation results

3 眉眼区域检测

眼睛在人脸的上半部分，利用积分投影法对人脸上半部分处理，得到眉眼区域［8-10］。图4a是睁眼状态二值图像，图4b是睁眼状态灰度图像，图4c是闭眼状态二值图像，图4d是闭眼状态灰度图像。

图4 检测到的眼睛睁闭图像Fig.4 Imageswhen eyes are open and close

4 眼睛状态分析

当眼睛处于睁开状态时，眉毛和眼睛上部的睫毛之间距离小;但当眼睛闭合时，眉毛和睫毛之间的距离会增大。因此，基于眉毛和睫毛之间的距离变化分析眼睛的睁闭状态是可行的。对眉眼区域的灰度图像像素点的x坐标求均值，得到图5所示的眼睛状态及其均值图像。从图5可以发现，均值图像上有两个明显的波谷，第1个波谷是眉毛，第2个波谷是睫毛区域。将这两个波谷之间的距离与阈值n1对比，若小于阈值，则眉毛和睫毛之间的距离较近，此时将眼睛判断为睁开状态(见图5a，图5b);闭眼状态及均值图像如图5c，图5d所示。笔者经统计计算，得到的阈值n1=21，即两波谷之间的距离若大于21，则说明此时眼睛是闭合的。

另外，观察睁眼和闭眼的二值图像(见图4a和图4c)，可以发现睁眼二值图像中黑色像素点的个数明显多于闭眼二值图像，因此通过将眼睛区域黑色像素点的个数与设定的阈值n2比较，也可以判断眼睛的状态。为了提高检测的准确性，将这两种方法结合在一起。如果基于波谷之间的距离将眼睛判断为睁开状态，再将此眼睛区域黑色像素点个数与阈值比较，若大于阈值则眼睛睁开;否则判断眼睛状态为闭合。

图5 眼睛状态及其均值图像Fig.5 Mean imageswhen eye open and close

5 实验结果与比较

当检测到连续5帧图像的眼睛状态均为闭合时，认为驾驶员此时处于疲劳状态，给出疲劳警报。在光照变化的环境下录制一段驾驶员人物视频，然后将视频转换为大小为1 280×720像素的RGB图像，在Matlab环境下对其中连续的180帧图像进行检测，实验结果如表1所示。从表1可以看出，利用两个参数综合检测的结果优于单个参数。

鉴于本实验中采用的驾驶员睁眼和闭眼状态的变化较明显，在一定程度上提高了眼睛状态检测的准确率，通过3种方法的对比，将两个参数结合后检测的结果仍然优于单个参数的检测结果。

表1 3种疲劳检测方法准确率比较结果Tab.1 The accuracy of comparison results of 3 fatigue detection methods

6 结 语

笔者在对眼睛状态进行检测时，利用了眉毛和眼睛之间的特征变化关系，而不需要精确检测到眼睛，减小了搜索范围，是一种新的判断眼睛状态的方法。结合两个参数进行判断，与单一参数相比对疲劳判断的准确率和可靠性更高。可大幅降低由于驾驶员疲劳驾驶而引发的交通事故，为保证驾驶员的生命财产安全提供了新的防范措施。

［1］王斐，王少楠，王惜慧，等.基于脑电图识别结合操纵特征的驾驶疲劳检测 ［J］.仪器仪表学报，2014，35(2):398-404. WANG Fei，WANG Shaonan，WANG Xihui，etal.Driver Fatigue Detection Based on EEG Recognition and Vehicle Handling Characteristics［J］.Chinese Journal of Scientific Instrument，2014，35(2):398-404.

［2］DONGW，WU X.Fatigue Detection Based on the Distance of Eyelid［C］∥Workshop VLSIDesign and Video.Tech Suzhou，China:IEEE，2005:365-368.

［3］SEIFOORY H，TAHERKHANI D，ARZHANG B，et al.An Accurate Morphological Drowsy Detection［C］∥2011 International Conference on Signal.Shanghai，China:ICEEA，2011:51-54.

［4］GAN L，CUIB，WANGW.Driver Fatigue Detection Based on Eye Tracking［C］∥Intelligent Controland Automation，2006. WCICA 2006.The Sixth World Congress on.Dalian，China:IEEE，2006:5341-5344.

［5］YUFENG L，ZENGCAIW.Detecting Driver Yawning in Successive Images［C］∥Bioinformatics and Biomedical Engineering，ICBBE 2007.The 1st International Conference on.Wuhan，China:IEEE，2007:581-583.

［6］牛清宁，周志强，金立生，等.基于眼动特征的疲劳驾驶检测方法 ［J］.哈尔滨工程大学学报，2015，36(3):394-398. NIU Qingning，ZHOU Zhiqiang，JIN Lisheng，et al.Detection of Driver Fatigue Based on Eye Movements［J］.Journal of Harbin Engineering University，2015，36(3):394-398.

［7］HSU R L，ABDEL-MOTTALEB M，JAIN A K.Face Detection in Color Images［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2002，24(5):696-706.

［8］方君院，陆玲.基于灰度投影的眼睛定位研究［J］.湖南农机:学术版，2011，38(1):142-143. FANG Junyuan，LU Ling.Eye Location Based on Gray Projection［J］.Hunan Agricultural Machinery:Academic Edition，2011，38(1):142-143.

［9］TABRIZI P R，ZOROOFI R A.Drowsiness Detection Based on Brightness and Numeral Features of Eye Image［C］∥Intelligent Information Hiding and Multimedia Signal Processing，IIH-MSP'09.Fifth International Conference on.Kyoto，Japan:IEEE，2009:1310-1313.

［10］程国，丁正生，刘亚亚.基于混合投影峰分析的人眼定位方法［J］.五邑大学学报:自然科学版，2010，24(3):50-55. CHENG Guo，DING Zhengsheng，LIU Yaya.Eye Location Method Based on Hybrid Projection Peak Analysis［J］.Journal of Wuyi University:Natural Science，2010，24(3):50-55.

(责任编辑:刘东亮)

Driver Fatigue Detection Based on Eye State

ZHAO Xiaolin，WANG Shigang，JIANG Xiuhong，WANG Xiaoyan，ZHAOWenting

(College of Telecommunication Engineering，Jilin University，Changchun 130012，China)

To improve the accuracy of driver fatigue detection，presents an improved eye state detectionmethod. Firstly，we use“reference white”algorithm for the processing of illumination compensation on original frame image，then segment the skin region from background based on color feature.Secondly，we use gray-scale integral projection method to segment face and eyes，combining two parameters that change in the distance between eyebrow and eyelash the change in the number of black pixels in the eye region to judge the state of eyes.If the eyes are found closed for5 consecutive frame images，the system will give a fatigue alert.The results show that the use of two parameters is better than the use of a single parameter.

fatigue detection;color feature;eye state

TP391

A

1671-5896(2015)04-0449-05

2014-12-01

博士点基金资助项目(20120061110091)

赵晓琳(1990— )，女，山东聊城人，吉林大学硕士研究生，主要从事驾驶员疲劳检测研究，(Tel)86-15714404874 (E-mail)zhaoxl2009@126.com;王世刚(1962— )，男，长春人，吉林大学教授，博士生导师，主要从事图像与视频信号智能处理研究，(Tel)86-13504325626(E-mail)wangshigang@vip.sina.com。