哈欠检测研究综述

郑伟超，袁平，殷锋

（四川大学计算机学院，成都610065）

0 引言

根据世界卫生组织2015年发布的道路交通安全报告[15]显示，2013年全世界共有约125万人死于交通事故，排在该年所有死亡原因中的第九位。另外，报告还显示，该年仅中国死于交通事故的人数就超过25万人。大量的交通事故，不仅给国家和社会的经济与安全带来了诸多的影响，更重要的是给遇难者的家庭带来了金钱所无法衡量的伤害。而在众多交通事故（尤其是告诉公路重大交通事故）的起因当中，疲劳驾驶无疑与超速、无证驾驶等一样，已经成为当之无愧的罪魁祸首之一。近几十年来，许多高校、机构以及商业公司都开始致力于研究如何对驾驶员的疲劳状态进行监测，以实现对疲劳驾驶事故的防范。目前常用的疲劳驾驶检测方案可分为三类：①人体生命体征的检测。如心电检测、脑电检测、心跳检测、呼吸检测、表面肌电等；②人体行为模式检测。如哈欠检测、眨眼频率检测、驾驶习惯检测等；③车辆行驶轨迹检测。其中，第一类检测方式通常是侵入式的，需要驾驶员佩戴或者连接某种测量设备，容易造成驾驶员反感和不适。第三类检测方式需要在车上增加大量的传感器及其他设备，系统部署复杂，成本较高。目前研究最广泛的疲劳驾驶测量方式是基于驾驶时驾驶员的行为模式的检测，通常是以人脸识别为基础的面部行为特征的检测，即通过识别人脸及面部器官，检测驾驶员的眨眼频率、打哈欠检测，点头检测等。还有基于驾驶员的驾驶行为的检测，如操作方向盘或换挡杆的力度，或者检测驾驶员是否在形式过程中有转身、弯腰等不安全行为。

1 概述

每年，全球因为交通事故而导致的死亡人数不断增加，每年因为交通事故而给社会带来的损失与危害都是巨大的。在造成交通事故的众多原因中，驾驶员疲劳驾驶就是其中重要的一个。因此，不断有组织与机构投入大量的金钱和精力研究如何检测驾驶员的精神状态，力图通过检测驾驶员是否已经处于疲劳状态对其进行提醒进而预防交通事故的发生。研究者意识到，人在疲劳和感到困倦时，都会不自觉地打哈欠。因此，越来越多的研究针对打哈欠这一行为进行研究，以期找到一种高效的方式检测该行为。

目前，已有的哈欠检测研究都是基于计算机视觉和图像处理的。基本的研究步骤可以笼统地概括为以下四步。第一，人脸识别。人脸识别是已有哈欠检测的基础；第二，嘴部定位。打哈欠时，嘴部相较于人的正常状态会持续张大数秒，嘴部就是研究检测的重点；第三，特征提取。通过从定位到的嘴部图像提取有效的特征信息作为打哈欠行为判定的参考；第四，哈欠判断。根据所提取的特征信息，制定科学合理的模式判定规则和阈值，最后通过匹配判定打哈欠这一行为。

2 现状

目前的哈欠检测都是基于计算机图形学进行分析研究的，所以研究的第一步就是进行图像影像的采集。大部分的研究都是利用简单的光学摄像机最为图像的采集工具。同时，为了克服外界光影变化以及夜间光线不足的弊端，有些研究者引入了近红外光源作为补偿，提高图像的可靠性[5，7]。

采集图像后，第一步要做的就是定位人脸，这个哈欠检测中很关键的一步。目前有很多算法可以对图像的人脸进行定位追踪，Viola-Jones算法[16]就是常用的一种经典算法。该算法提出积分图像的概念，极大地提高了Haar-like特征的提取速度。随后，V-J算法利用AdaBoost分类器对前述的Haar-like特征进行分类选择。最后，V-J算法改造AdaBoost算法，提出级联分类器的概念，进一步提高了分类的效率。利用V-J算法，可以非常准确且高效地进行人脸检测，因此被许多研究者使用[1，4，5，11，14]。除此之外，Lu Yufeng和 Wang Zengcai[2]通过检测连续的两帧图像中的不同进行人脸的定位，而Xiao Fan等[3]则是利用Gravity-center Tem⁃plate匹配的方式定位人脸。M.Omidyeganeh等[8]直接根据人体肤色与环境色彩的不同，利用在YCbCr和HSV色彩空间中做形态学运算提取人脸。在检测到人脸后，许多研究者[1，9]根据连续的帧之间的关联性，引入Kalman滤波器，提高人脸识别的速度。

成功检测到人脸后，进行哈欠检测的关键步骤就是嘴部区域的定位以及嘴部特征的提取。Tiesheng Wang和PengfeiShi[1]利用多阈值二值化法，在密度空间中使用形态学闭运算去结合连续的二值化影像中的组件，以此判定人脸中的嘴部区域。随后又通过在RGB色彩空间中运用Gaussian模型检测唇部，以此增强嘴部检测的鲁棒性。之后，他们利用投影方式计算嘴部特征，即嘴部的上下唇外边距与左右嘴角距，得出嘴部的纵横比。Xiao Fan等[3]根据Gravity-center Template匹配定位人脸的同时可以得到面部器官的粗略位置。随后，他们首先绘制瞳孔的连线，然后利用嘴角连线与瞳孔连线基本平行这一特征定位嘴角。他们分别计算嘴部区域的水平灰度投影和垂直灰度投影以检测嘴部的垂直位置和水平位置。接着，他们提取嘴部的几何特征（即左右嘴角距离）和嘴角的纹理特征（即二维Ga⁃bor小波）作为研究对象。王霞等[14]则是先利用先验知识，将嘴部检测区域缩小到人脸的下二分之一处，然后根据YCbCr色彩模型和Lab空间模型结合，精确定位嘴部。同时，考虑到不同人的唇部的厚度不同，他们选择提取嘴部的内轮廓作为进一步研究的对象，并根据提取的嘴部内轮廓获取嘴部纵横比。Yong Du等[10]在定位嘴部以后，提取了嘴部高度、宽度、纵横比、Angu⁃lar Second Moment和Entropy等共63个特征描述一张人脸的状态。

获取嘴部特征以后，就需要根据所提取的特征进行打哈欠行为的判定。Lu Yufeng等[2]简单地定义了一个嘴部纵横比的阈值，然后根据所提取照片中的嘴部纵横比是否大于该阈值进行哈欠的判定。这一方法虽然简单，但是容易造成误判，因为大笑或者受到惊吓等情况下，人也会不自主地长大嘴巴。但是，大笑和打哈欠有一个显著的区别，即打哈欠通常会持续6-8s的时间，而大笑等通常只是一个较短期的行为。因此，大多数的研究者[1，6，11-13]会在此基础上，增加时间这一维度，即增加连续帧数的阈值，通过计算纵横比大于给定阈值的连续帧数是否同时大于给定的阈值判断驾驶员是否在打哈欠。Xiao Fan等[3]和Mandalapu Sara⁃dadevi等[4]则分别使用LDA分类器和支持向量机（SVM）进行哈欠判定。

3 结语

由于驾驶员疲劳驾驶引发的交通事故数量常年居高不下，国内外越来越多的组织和机构开始研究如何对驾驶员的疲劳状态进行检测并以此为依据适时对驾驶员发出警告，以期避免或者尽可能减少此类交通事故的发生。

目前的疲劳驾驶检测方案中，通过采集驾驶员的面部图像，进而分析驾驶员的嘴部特征，识别驾驶员是否打哈欠的方式判定疲劳是主要的研究手段之一，并且该方式也取得了不错的研究结果。但是，这种方式依旧存在较多的问题：

（1）使用照相机实时采集驾驶员的面部影像，首先需要对于车辆本身进行改造；其次，通过照相的方式，会给一些注重隐私的人群带来心理上的负担，影响这类人员在驾驶时的心态。

（2）基于图像的方式容易受外部因素的影响。例如，外部环境多变的光源会影响基于色彩空间的肤色分析，进而影响人脸或者嘴部的识别；又如，有些驾驶员喜欢戴各种墨镜开车，这在某种程度上影响了人脸的检测，影响了人脸识别的难度；再如，有些人在打哈欠的时候往往会不自觉地用手遮挡嘴部，这以行为无疑会严重影响人脸和嘴部的检测。

虽然目前市面上已经有利用文中所提出的类似方案实现的实际产品，但是，距离出现一个统一且高效安全的疲劳驾驶检测的标准还任重道远。

参考文献：

[1]Wang T,ShiP.Yawning Detection for Determining Driver Drowsiness[C].IEEE International Workshop on VlsiDesign and Video Technology.IEEE,2005:373-376.

[2]Lu Y,Wang Z.Detecting Driver Yawning in Successive Images[C].The,International Conference on Bioinformatics and Biomedical Engineering.IEEE Xplore,2007:581-583.

[3]Fan X,Yin BC,Sun Y F.Yawning Detection for Monitoring Driver Fatigue[C].International Conference on Machine Learning and Cybernetics.IEEE,2007:664-668.

[4]Saradadevi M,Bajaj P.Driver Fatigue Detection Using Mouth and Yawning Analysis[J].International Journal of Computer Science&Network Security,2008(6):183-188.

[5]Azim T,JaffarM A,Mirza AM.Automatic Fatigue Detection of Drivers through Pupil Detection and Yawning Analysis[C].Fourth International Conference on Innovative Computing,Information and Control.IEEEComputer Society,2009:441-445.

[6]Li L,Chen Y,Li Z.Yawning Detection For Monitoring Driver Fatigue Based on Two Cameras[C].International IEEE Conference on Intelligent Transportation Systems.IEEE,2009:1-6.

[7]Liu W,Sun H,Shen W.Driver Fatigue Detection Through Pupil Detection and Yawing Analysis[C].International Conference on Bioinformatics and Biomedical Technology.IEEE,2010:404-407.

[8]Omidyeganeh M,Javadtalab A,ShirmohammadiS.Intelligent Driver Drowsiness Detection Through Fusion of Yawning and Eye Closure[C].IEEE International Conference on Virtual Environments Human-Computer Interfaces and Measurement Systems.IEEE,2011:18-23.

[9]AbtahiS,HaririB,ShirmohammadiS.Driver Drowsiness Monitoring Based on Yawning Detection[C].Instrumentation and Measurement Technology Conference.IEEE,2011:1-4.

[10]Du Y,Hu Q,Chen D,etal.Kernelized Fuzzy Rough Sets Based Yawn Detection for Driver Fatigue Monitoring[J].Fundamenta Informaticae,2011,111(1):65-79.

[11]Hemadri V B,Kulkarni U P.Detection of Drowsiness Using Fusion of Yawning and Eyelid Movements[M].Advances in Computing,Communication,and Control.Springer Berlin Heidelberg,2013:583-594.

[12]谢国波,陈云华,张灵,等.基于嘴巴特征点曲线拟合的哈欠检测[J].计算机工程与科学,2014,36(4):731-736.

[13]张恒.基于近红外图像的疲劳驾驶检测研究与系统实现[D].长安大学,2015.

[14]王霞,仝美娇,王蒙军.基于嘴部内轮廓特征的疲劳检测[J].科学技术与工程,2016,16(26):240-244.

[15]Cossio M L T,Giesen L F,Araya G,etal.Global Status Report on Road Safety 2015[J].Injury Prevention Journal of the International Society for Child&Adolescent Injury Prevention,2015,15(4):286.

[16]Viola P,Jones M.Rapid Object Detection using a Boosted Cascade of Simple Features[C].Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE,2003:I-511-I-518 vol.1.