基于驾驶员面部检测的自适应碰撞预警系统

余卓平 袁子佳 冷搏 熊璐

摘要：碰撞预警系统（FCW）是高级辅助驾驶系统（ADAS）的重要组成部分，它可以识别潜在的碰撞危险并提醒驾驶员。传统的FCW对驾驶员假设了固定的反应时间，导致警报无法根据不同的驾驶员状态调整从而产生误报。在此基础上，本文提出了一种基于驾驶员面部监测的自适应碰撞预警系统，该系统利用相机采集驾驶员面部信息，通过深度残差网络、PERCLOS（百分比眼开度跟踪）和位姿估计等方法检测驾驶员的年龄、情绪、疲劳和注意力，然后利用模糊控制对所获信息进行评价，得到相应的反应时间，最后将此系统放在CarMaker/Simulink进行建模仿真测试。结果显示此系统通过测试标准并可以自适应不同的驾驶员状态。

关键词：碰撞预警系统（FCW）;高级辅助驾驶系统（ADAS）;驾驶员面部检测;PERCLOS;位姿估计;模糊控制;CarMaker

0  引言

联合国世界卫生组织《2018年道路安全全球现状报告》指出，全球每年大约有135万人死于道路交通碰撞，2000万至3000万人受到非致命伤害。道路碰撞所带来的损失占大部分国家国内生产总值的3%，所以十分有必要解决道路碰撞问题。[1]

文献显示，大约90%的交通事故归因于驾驶员自身[2]，约34%的致命事故的主要原因是缺乏有效的预警。[3]所以，能够高级驾驶辅助系统（ADAS，Advanced  Driver Assistant System）是汽车主动安全系统的重要技术，可以有效提升行驶安全性。它利用车载的各种传感器，实时收集车内外环境数据，进行静、动态物体的辨识、侦测与追踪等技术处理，从而让驾驶员在最短的时间察觉到潜在危险。高级辅助驾驶系统范围很广，通常包括自适应巡航、车道保持系统，自动泊车系统、驾驶员疲劳探测等。其中，前向碰撞预警系统（FCW，Forward Collision Warning System）可以在车辆与障碍物距离小于安全距离时，向驾驶员发出警报从而有效避免碰撞的技术。

ADAS与FCW已经相对成熟，广泛运用于各大汽车制造商，但仍然有些问题需要改进。首先，目前主流的ADAS与FCW都聚焦于监测车外环境，而忽略了驾驶员自身状态。但是，安全性首先是一项人因工程。身心状态良好的司机可以提前避开潜在的危险，然而如果司机在疲惫、醉酒或分心等恶劣状态下，即使是在一个简单的交通场景中，也可能会发生事故。所以，对驾驶员进行实时监测并在其状态异常时，发出相应的警报是十分有必要的。其次，传统的FCW对驾驶员假设了固定的反应时间，导致警报无法根据不同的驾驶员状态调整，从而产生误报，让驾驶员对其失去信任。过早的警报会频繁打扰驾驶员，而过晚的警报会让驾驶员没法及时反应从而产生危险。解决此方法的有效途径仍是实时监测驾驶员状态，对其不同状态下的反应时间进行预测，从而调整安全距离，以实现报警阈值的自适应调整。故将驾驶员状态监测技术融入ADAS与FCW，可以更有效地保障安全性。

驾驶员状态可以通过各种模态进行分析，如面部图像、驾驶行为、生物电如心电等。[4]不同方法的比对如表1所示。

通过比对，本系统选择面部监测方法，因为它可以检测最多的信息，同时设备简易，且拥有较高的精度与速度。

1  自适应碰撞预警系统设计

为把驾驶员面部检测技术与自适应碰撞系统相结合，将相机置于驾驶员正前方实时监测并识别驾驶员状态。模糊控制系统通过分驾驶员状态信息，对其反应时间作出预测，然后利用安全距离算法计算出不同反应时间下对应的安全距离。当汽车与障碍物距离小于安全距离时，系统向驾驶员发出警报。整个系统的方案如图1。

2  驾驶员状态检测系统设计

面部信息识别是用摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的相关技术。

影响驾驶员状态的因素有很多。Helen WR[5]通过K-means聚类方法，将美国国家公路交通安全管理局（NHTSA）的交通事故死亡分析报告数据库所提供的原因分为若干组。年龄、酒精、药物等因素可以归为长期因素。疲劳、分心、情绪或任何个人失误可以归为短期因素。由于酒驾和药驾在许多国家被禁止，所以此系统只考虑年龄、疲劳、情绪与注意力四种主要因素。

反应时间作为驾驶员驾驶状态的主要指标，它与驾驶员状态主要因素的关系一直受到许多研究者的关注。然而由于生理与心理因素的复杂性和测量的困难，这些关系很难用数学模型来描述。但反应时间与各因素的定性关系已经有了大量研究结果。从总体上看，制动反应时间在20-80岁之间逐渐增加，从0.4s左右增加到1.8s左右。[6]郭梦竹发现，从警戒状态到疲劳状态的反应时间平均增加16.72%。[7]Utumporn发现，不同分心程度下，反应时间的范围在0.5秒到1.8秒之间。[8]胡天一发现情绪会通过风险感知和风险态度影响驾驶员的驾驶行为。[9]

2.1 年龄识别

通过面部信息进行年龄识别本质上是图像分类问题。卷积神经网络可以有效提取人脸的特征点，准確进行图像分类。何凯明[10]设计了一种深度残差网络（ResNet，Residual Network），通过残差快结构可以有改善传统卷积神经网络的梯度爆炸/消失问题，从而以更深的网络深度更高效地提取出图像特征点，在ImageNet、CIFAR-10。等大型图像数据库上获得了优异的结果。UTKFace数据集是一个大范围的面部数据集，年龄跨度从0到116岁。在搭建101层ResNet模型，调整训练参数后，模型在年龄验证数据集的准确率达到90%。

2.2 情绪识别

情绪识别仍然是图像分类问题，故仍采用深度残差网络。数据库采用FER2013和CK+人脸数据库。FER2013是一个面部数据库，包含7类情绪，包括愤怒、厌恶、恐惧、高兴、悲伤、惊讶和中性。它包括28709个训练实例和3589个验证实例。CK+是扩展的Cohn-Kanade数据集，包含327个带有情绪标签的图像序列。为了增加训练集，这两个数据集被合并扩充为一个更大的混合数据集。模型在情绪验证数据集的精度达到82%。

2.3 疲劳识别

疲劳识别问题与年龄和情绪识别不同。因为没有足够的疲劳人脸图像数据库，所以无法使用神经网络进行训练。PERCLOS是把一定的时间内眼睛闭合时所占的时间比来作为疲劳量度的方法。美国联邦公路管理（FWHA）与NHTSA认为PERCLOS是最可靠的已知实时报警措施之一，适用于车内疲劳检测系统，其计算方法可以表示如下[11]：

为得到PERCLOS疲劳量度，本系统通过回归决策树识别出眼睛特征点，然后计算出计算眼睛的纵向欧氏距离和横向欧氏距离之比，当比值小于一定阈值时，则认为其眼睛处于闭合状态。最后，通过计算单位时间的闭眼时间百分比得到PERCLOS量度。

2.4 注意力识别

注意力或者走神状态检测与疲劳检测有着同样的问题，即缺乏足够有效的数据库，且缺少广泛认同的方法。Sung Joo Lee[12]等人通过测量驾驶员面部朝向的左右和俯仰角度，确定了一个正常行驶过程中的实时注视区域。区域边界由左后视镜左侧，右后视镜右侧，上遮光板，仪表盘，中控台等组成。利用Sung测量的角度空间，当驾驶员面部朝向超过边界时，可被判断为注意力不集中。

则可以求解出旋转矩阵R与平移矩阵T，其中旋转矩阵便包含了驾驶员面部朝向的左右角度与俯仰角度。

利用上述驾驶员状态检测方法，实时检测结果如图2。

从结果中，可以看到被识别者的年龄、疲劳度、情绪和注意力状态皆被准确检测。同时，当某些状态异常，如疲劳、愤怒或严重分心时候，系统会发出相应警报。

3  模糊控制系统设计

由于生理和心里因素的复杂性，对于不同状态下的反应时间测量较为困难，例如很难测量驾驶员在不同情绪和注意力下的反应时间。因为缺乏反应时间与年龄、疲劳、情绪和注意力之间的定量关系，所以无法使用机器学习或数据分析方法。但是根据经验与逻辑，可以得到反应时间与驾驶员状态的定性关系，如老年驾驶员的反应时间一般比年轻的驾驶员长，驾驶员在走神时比专心时的反应时间长。

模糊控制系统是一种基于知识的人工智能系统，可以描述无法用精确数学模型计算的不确定或难以描述的变量，适合用于驾驶员反应时间预测。[13]模糊控制是以模糊集合论、模糊语言变量及模糊逻辑推理为基础的一种计算机数字控制。它由一定的先验知识来构造模糊控制规则，通过一系列不精确的控制来达到精确的控制目的。模糊控制在自动化控制、制造技术、人因工程中都得到了广泛的应用。在汽车安全性领域，它可被用来估测驾驶员反应时间与安全距离[14][15][16]，驾驶员注意力状态[17]等。

模糊控制系统设计借助于Matlab的模糊控制工具箱。将年龄、情绪、疲劳和注意力四个变量分别分组，分别设计各变量在不同分组中的隶属度函数，再依据文献中的研究结果，制定各个变量状态与反应时间之间的模糊规则，则可以推理出不同状态下对应的反应时间。

以反应时间-疲劳度-注意力分散度三维图为例，随着横轴疲劳度和注意力分散度的增加，纵轴的反应时间也在不断增加。总体结果显示，反应时间与各变量之间的关系都粗略符合文献中所研究出的定性关系。

4  仿真与测试

为了测试系统的性能，利用CarMaker与Simulink对系统进行联合仿真。CarMaker是IPG公司的仿真软件，为虚拟驾驶提供了完整的解决方案。测试步骤参照NHTSA的FCW测试标准流程[14]。

以场景一为例，前车或者障碍物处于静止状态，本车以72km/h的速度行驶。假设驾驶员处于年轻、愉悦、专心且无疲劳状态，则他的反应时间被预测为0.46s，由安全距离算法计算出的距离为60.67m，结果如图4所示。

而当驾驶员因为看手机而走神且处于普通情绪状态时，他的反应时间被预测为0.79s，安全距离为67.26m。（图5）

假设一位老年驾驶员，且处于愤怒、分心和疲劳状态时，他的反应时间被预测为1.64m，安全距离为84m。（图6）

经过测试，本系统通过了所有场景测试标准，且可以有效适应不同的驾驶员状态。

5  总结

该系统利用摄像头对驾驶员面部进行监控，通过深度残差网络、PERCLOS和位姿估计等方法检测驾驶员的年龄、情绪、疲劳和注意力状态。当驾驶员疲劳、分心或情绪不佳时，系统会发出相应的警告。模糊控制系统通过驾驶员状态预测出其反应时间，然后结合安全距离算法计算安全距离。当车辆与障碍物距离小于安全距离时，系统会产生警告提醒驾驶员刹车。最后，根据NHTSA提供的FCW标准测试，在CarMaker虚拟环境中对其性能进行测试和评估。结果表明，該系统满足标准要求，能够适应不同的驾驶员状态。

参考文献：

[1]世界卫生组织.2018年全球道路安全状况报告[R].2018.

[2]Bekiaris， E.， Petica， S.， Brookhuis， K.A. （1997）. Driver needs and public acceptance regarding telematic in-vehicle emergency control aids. In： Proceedings of the 4th Word Congress on Intelligent Transport Systems. Brussel： Ertico （on CD）.

[3]Vallet， M. （1991）. Les dispositifs de maintien de la vigilance des conducteurs de voiture. In： Le maintien de la vigilance danskes transports. M. Vallet （Ed.）. Caen： Paradigm.

[4]Florian Eyben. Emotion on the Road—Necessity， Acceptance， and Feasibility of Affective Computing in the Car In： Advances in Human-Computer Interaction，2018， S.1-17.

[5]Helen WR： Mining Road Accident Data Based on Diverted Attention of Drivers. In： Proceedings of the Second International Conference on Intelligent Computing and Control Systems，2018， S.245-249.

[6]Matija Svetina： The reactiontimesofdriversaged 20 to 80 during a dividedattentiondriving. In： Traffic Injury Prevention，2016，S.810-814.

[7]MengzhuGuo; Shiwu Li; Linhong Wang; Meng Chai; FachengChe; Yunong Wei： Research on the Relationship between ReactionAbility and Mental State for Online Assessment of Driving Fatigue. In： International Journal of Environment Research and Public Heath，2016， S.1-15.

[8]UtumpornKaewken： Driving Distraction Effects on Reaction Time in Simulated Driving. University of Illinois at Chicago.2012.

[9]Tianyi Hu; XiaofeiXie; Jie Li： Negative or positive？ The effect of emotion and mood on risky driving. In： Transportation Research Part F： Traffic Psychology and Behaviour，2013，S.29-40.

[10]Kaiming He; Xiangyu Zhang; Shaoqing Ren; Jian Sun： Deep Residual Learning for Image Recognition. In： The IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016. S.770-778.

[11]FHWA（Federal Highway Administration）： PERCLOS： A Valid Psychophysiological Measure of Alertness As Assessed by Psychomotor Vigilance.1998.

[12]Sung Joo Lee; Jaeik Jo， Ho Gi Jung; Kang Ryoung Park; Jaihie Kim： Real-Time Gaze Estimator Based on Driver’s HeadOrientation for Forward Collision Warning System.In： IEEE Transactions On Intelligent Transportation Systems.2011.

[13]李悟早，郭術义，任思杰.模糊控制理论综述[J].河南科技，2019（S）：12-15.

[14]U.Chattaraj; K.Dhusiya; M.Raviteja： Fuzzy Inference Based Modelling of Perception Reaction Time of Drivers. In： International Journal of Computer and Information Engineering，2007. S.8-12.

[15]夏道华.基于驾驶员特性的汽车防撞安全距离模型研究[J]. 辽宁工业大学，2016.

[16]Ge Ruhai; Zhang Weiwei; Wang Zhong： Research on the Driver Reaction Time of Safety Distance Model on Highway Based on Fuzzy Mathematics. In： 2010 International Conference on Optoelectronics and Image Processing.2010. S.293-216.

[17]César Arroyo; Luis M. Bergasa; Eduardo Romera： Adaptive Fuzzy Classifier to detect Driving Events from the Inertial Sensors of a Smartphone. In： 2016 IEEE 19th International Conference on Intelligent Transportation Systems （ITSC）， 2016.

[18]NHTSA （National Highway Traffic Safety Administration）： Forward Collision Warning System Confirmation Test.2013.