驾驶员疲劳状态监测系统综述

2019-03-04于立娇吴振昕王文彬高洪伟

汽车文摘 2019年3期

于立娇吴振昕王文彬高洪伟

（中国第一汽车集团有限公司智能网联开发院，汽车噪声振动与安全控制综合技术国家重点实验室，吉林长春 130011）

主题词：驾驶员疲劳状态监测驾驶员疲劳状态预警驾驶员疲劳状态主动控制驾驶员疲劳状态评价

1 前言

随着社会发展和人们生活水平不断提高，机动车保有量和具有驾驶资质的人员数量不断增加，公路总长不断扩大，交通安全逐渐成为社会广泛关注的热点问题。各国家的政府机构都曾统计过因驾驶疲劳导致的交通事故数量，并得到一致的结论：由驾驶疲劳引起的交通事故数量居高不下，而且驾驶疲劳是诱发重大交通事故的重要因素。美国国家公路交通安全管理局的调查数据显示每年平均有5.6万起交通事故与疲劳驾驶相关，造成4万人受伤，1 500多人死亡，占交通事故死亡总数的3.7%[1]。中国交通管理局2009年的交通事故统计结果表明疲劳驾驶导致的交通事故达到1 900多起、造成2 400多人伤亡。

2003年中华医学会等机构联合在高速公路上对516名驾驶员进行与驾驶疲劳相关的调查并对调查结果统计分析，结果表明近25%的驾驶员感觉自己行车时处于疲劳状态，10%的驾驶员在调研当天的驾驶过程中打过瞌睡，一半的驾驶员承认在过去驾驶过程中曾打过瞌睡[2]。2008年加拿大交通研究基金会对750名驾驶员进行与驾驶疲劳相关统计，结果显示58.6%的驾驶员有疲劳驾驶的经历，14.5%的驾驶员在参与调查前的1年内曾经疲劳驾驶过[3]。

由此可见：疲劳驾驶在实际行车中经常发生，如果能有效监测驾驶员是否疲劳，并在疲劳时发出警告甚至主动控制车辆运动，那么驾驶员和乘员的安全将得到显著提高，还能够大大降低引发交通事故的可能性。自20世纪80年代起，许多科研机构、整车厂和零部件供应商开始从事驾驶疲劳相关研究，并取得了显著成果。

2 驾驶员疲劳状态监测技术发展历程

驾驶员疲劳状态监测系统最早应用于飞机等高级辅助驾驶或自动驾驶程度比较高的领域，初期的驾驶员疲劳监测系统是一种基于人体疲劳时生理反应特征信号的监测系统。根据使用信号属性不同，驾驶员疲劳状态监测系统可分为直接监测和间接监测两种。

直接监测使用驾驶员面部运动、眼部运动、心电、脑电等直接表征驾驶员疲劳状态的信号，与采集心电信号和脑电信号相比，采集驾驶员面部运动和眼部运动信号比较简单方便并且精度较高，所以目前直接监测系统中基于驾驶员面部运动信号和眼部运动信号的监测系统应用比较广泛。

间接监测则使用驾驶行为信号并结合车辆状态信号，采用统计分析、机器学习等方法分析驾驶员的状态。目前该方法的精度虽然没有直接监测方法精度高，但不需要在车辆上额外增加任何传感器及硬件设备，不会造成车辆制造成本的增加。因此各个整车厂、零部件制造商和科研机构纷纷深入研究间接监测方法，并已经实现产品化。现在直接监测方法和间接监测方法两种类型的驾驶员疲劳状态监测系统在市场上的在售车型上都有应用。

2.1 国外研究与应用情况

国外关于驾驶员疲劳状态监测技术的研究起步较早，20世纪80年代开始就有专家和学者从事这方面的研究，现有关于驾驶员疲劳状态监测综述性文献和博硕士论文里已经详细地介绍了各个时期专家学者的研究情况，此处不再赘述。本文主要介绍国外汽车整车厂和零部件供应商的研究与应用情况。

2.1.1 梅赛德斯-奔驰公司Attention Assist和大众公司疲劳驾驶检测系统

Attention Assist是德系车驾驶员疲劳状态监测系统的代表，属于间接监测，如图1所示，它依据驾驶员驾驶行为、基于车辆状态参数检测驾驶员状态，例如车速、发动机转速、横摆角速度、侧向加速度、转向盘角速度和角加速度等及各信号的后处理参数，综合考虑以上因素进行分析计算得到驾驶员状态监测结果;Attention Assist除覆盖正常行驶工况外还考虑外部干扰对疲劳监测的影响，例如侧风、路面凸起和斜坡等不均匀工况，使其适用范围更广、精度更高;Attention Assist有效车速区间80～180 km/h，在监测到驾驶员疲劳时会主动报警并在仪表盘上显示提示信息，已于2011年应用于梅赛德斯-奔驰B级车上[4]。此外，At⁃tention Assist顺利通过欧盟新车安全评鉴协会(Euro⁃pean New Car Assessment Program，Euro NCAP)评审，证明该系统也适用于其他车型，例如奔驰C级、E级、M级车型。

图1 Attention Assist工作原理

大众疲劳驾驶检测系统与梅赛德斯-奔驰Atten⁃tion Assist一样，同属于间接监测，根据驾驶员驾驶行为如转向盘运动、车速、行驶时间等估计驾驶员疲劳程度。如果驾驶员处于疲劳状态，则发出蜂鸣声提醒驾驶员并在仪表盘上显示提示信息，显示时长为5 s；如果驾驶员未采取任何措施，提醒信息会重复出现。MKE工作车速大于65 km/h，除被动触发外，还能在连续行驶时间超过4 h的情况下主动触发，提醒驾驶员驾驶时间过长需要停车休息；如果驾驶员未停车休息而继续行驶，MKE 15 min后会再次提醒。如果用户不想激活MKE，可以在设置中选择关闭。现已应用于迈腾、高尔夫7、凌渡等车型[5]。2.1.2 福特公司Driver Alert System

与德系基于驾驶员驾驶行为监测驾驶员疲劳状态不同，福特公司采用直接监测和间接监测相融合的方法，从车辆运动状态、驾驶行为、周围环境和驾驶员生理信息4个维度出发，依靠大而全的数据源使监测算法的准确性得到较大提高。但是，大量数据运算时需要占用较大内存，一般很难集成到某一电子控制系统的控制器里，需要额外增加一个控制器，用于Driver Alert system的数据运算。Driver Alert system在后视镜的后方安装一个前置摄像头，以获取车辆运动轨迹信息。现在福克斯、S-MAX和Galaxy系列车型都配备Driver Alert System，在监测到驾驶员疲劳时提供报警功能,Driver Alert System的工作原理请见图2[6]。

图2 Driver Alert System工作原理

2.1.3 丰田公司和日产公司的驾驶员疲劳监测系统

丰田公司在Lexus和商用车上配备的Driver Moni⁃tor由电装株式会社提供，属于直接监测方法，利用摄像头获取驾驶员面部状态信号和眼睛运动信号，结合红外传感器获得的驾驶员头部位置和运动信息来识别驾驶员状态;当发现驾驶员处于疲劳状态时，车辆会发出警报提醒驾驶员,Driver Monitor的工作原理请见图3[7]。Driver Monitor识别驾驶员疲劳状态的精度相当高，但是需要车辆额外安装一个摄像头和红外传感器，硬件成本较高。随着车辆ADAS（Advanced Driver Assistant System）和生物识别技术的普及，Driver Moni⁃tor应用范围会越来越广。

图3 Driver Monitor系统工作原理

与丰田公司不同，日产公司使用间接监测方法，原理是当驾驶员处于疲劳状态时，转向操纵行为与正常驾驶情况下的转向操纵行为存在较大差异，例如疲劳时驾驶员转向操作可能逐渐变缓甚至停下，因此可以根据驾驶员转向行为信号监测驾驶员状态。日产公司利用电动助力转向（Electric Power Steering，EPS）系统的转向盘转角与角速度、转向盘力矩信号，结合车辆状态信号和车内环境信息例如车速、侧向加速度、横摆角速度、车内温度、雨刮器、空调控制等信号，判断驾驶员是否疲劳。当监测到驾驶员处于疲劳状态时，会如图4所示在仪表盘上显示警告信息“Take a Brake？”[8]。现在已经应用在日产Murano和Maxima轿跑上。

图4 Driver Monitor疲劳信息提示[8]

2.1.4 沃尔沃公司驾驶员安全警告系统（DAC）

DAC（Driver Alert Control）除了监测驾驶员疲劳状态外，还能监测驾驶员注意力是否分散。DAC硬件包括摄像头、各种车辆状态传感器、车辆轨迹传感器和控制器，控制器综合分析驾驶员头部位置和角度、眼睛运动、车辆与车道的相对位置、转向盘操纵数据等判断当前的驾驶状态，并与内置于控制器中记录器里驾驶员正常的驾驶状态对比，判断驾驶员是否处于疲劳或注意力分散状态；如果是，则发出声音信号提醒驾驶员，并在仪表盘上显示提示信息。DAC还可以与其他驾驶辅助系统如车道保持、自适应巡航、碰撞预警等集成，除警报提醒外还能主动对车辆运动进行有效干预。当车速高于65 km/h时，DAC激活；当车速低于60 km/h时，DAC休眠。驾驶员安全警告系统工作原理请见图5[9]。

图5 驾驶员安全警告系统工作原理

2.1.5 捷豹公司Driver Monitor System(DMS)

捷豹F-Type在转向盘里内置一种驾驶员状态监测系统，由澳大利亚Seeing Machines公司提供，采集驾驶员面部运动和眼睛运动信息，监测驾驶员状态和注意力集中情况，控制器选择英特尔酷睿i7处理器。DMS与紧急制动系统集成，如果判断出驾驶员处于疲劳状态或注意力分散状态，并有可能发生碰撞事故时，将主动制动以确保行车安全。驾驶员佩戴的眼镜或墨镜对识别精度没有影响[10]。

2.1.6 博世公司Driver Drowsiness Detection System（DDDS）

博世公司研发的DDDS是驾驶员疲劳状态间接监测的典型代表，德系车的疲劳状态监测系统原理与其基本一致，此处不再赘述。博世的DDDS集成性好，可以和电子稳定控制系统、CAN网关、FlexRay网关等集成，应用载体不受限于制造商。

2.2 国内研究与应用情况

国内与驾驶员疲劳状态监测技术相关的研究起步稍晚，虽然部分国产车上已经匹配该系统，但大部分由国外零部件供应商提供。自主研发主要集中在高校，清华大学、同济大学、上海交通大学、吉林大学、哈尔滨工业大学等都有相关研究，并取得了一定的研究成果，但距离产品化还有一段距离。到目前为止只有清华大学实现了科研成果的产品化。下面介绍一下清华大学产品化的驾驶员疲劳监测系统及国内主要车企的匹配应用情况。

2.2.1 清华大学的疲劳驾驶预警系统

清华大学成波教授团队自2000年初开始从事驾驶行为相关研究，先后完成国家863项目“驾驶人状态及行为监测预警技术与装置”和国家自然科学基金资助项目等科研课题，并通过清华大学苏州学院孵化的清研微视公司实现科研成果的产品化。

清研微视公司开发的疲劳驾驶预警系统依据驾驶员面部信息判断驾驶员疲劳状态和注意力是否分散等欠安全状态，属于直接监测，如果驾驶员处于疲劳或注意力分散状态，将会发送警报提醒。除此项功能外，该疲劳驾驶预警系统还能监测驾驶员是否脱管转向盘和其他危险驾驶行为，例如行车过程中吸烟、接打电话、玩手机等，图6是清研微视公司开发的疲劳驾驶预警系统具备的功能[11]。该系统现在已应用于众泰M11、M12和陕汽重卡。

图6 清研微视公司的疲劳驾驶预警系统功能[11]

2.2.2 哈弗H9的驾驶员状态监测系统

哈弗H9的驾驶员状态监测系统的工作原理与博世的DDDS基本相同，根据驾驶员的驾驶行为判断其状态，属于间接监测。该系统利用转向盘转角、制动踏板位移、车速、侧向加速度、横摆角等信号监测驾驶员状态，并把驾驶员疲劳状态划分为9个级别，涵盖轻微疲劳到重度疲劳，以声音报警和仪表盘显示信息的方式向驾驶员发送警告。车辆启动后10 min该系统自动开启，不受车速限制，一次报警时长20 s。如果报警后驾驶员没有采取相应措施改变驾驶状态，该系统10 min后会再次报警；如果驾驶员想要关闭疲劳报警，需要停车熄火[12]。

2.2.3 比亚迪G6疲劳驾驶预警系统（Biological Aero⁃sol Warning System，BAWS）

BAWS属于直接监测，硬件由摄像头、红外线传感器和控制器组成，采集驾驶员面部表情、眼部和头部运动等信号，综合分析得到驾驶员状态。如果驾驶员处于疲劳状态，则立即采取相应措施并向驾驶员发送警报信号[13]。

2.2.4 吉利领克（LYNK&CO）DAC（Driver Alert Con⁃trol）

吉利领克源于沃尔沃和吉利共同搭建的CMA（Compact Modular Architecture）紧凑型车模块化平台，配备了众多驾驶辅助系统，例如自适应巡航（ACC）、主动紧急制动（AEB）、360°环视系统、驾驶员疲劳状态监测等。领克DAC的工作原理与沃尔沃DAC相同，此处不做赘述。

2.2.5 一汽集团红旗H7 DSM（Driver State Monitor）

红旗H7 DSM驾驶员状态监测系统属于直接监测系统，根据车内摄像头采集的驾驶员面部和眼部的运动信息结合车辆与车道的相对位置关系，判断驾驶员是否疲劳、注意力是否分散及是否酗酒，并在需要的时候发送警报并主动控制车辆运动。该系统的优点在于其基于车道偏离预警系统的硬件，不需要额外添加其他硬件设备，并且当驾驶员疲劳导致车辆偏离车道时，车道保持辅助系统能够主动控制电子转向系统使车辆回到原车道继续行驶。

3 驾驶员疲劳状态监测技术的发展趋势

综合分析国内外车型驾驶员疲劳状态监测系统的应用情况，发现疲劳监测技术路线沿着两个方向发展：一种是基于驾驶员面部、眼部、头部运动等直接表征驾驶员疲劳程度的图像信号，另一种是基于驾驶员行为、车辆状态与轨迹等众多间接表征驾驶员疲劳程度的信号。前者一般需要在车辆上额外增加摄像头、红外传感器等传感器，使车辆成本增加，但识别精度较高，适用于高端车型或匹配ADAS的车型，可以利用ADAS的硬件。后者不需要增加任何硬件设备，不会带来成本增加，适用于中低端车型，基于车辆CAN总线信号、GPS信号等就可以实现驾驶员疲劳状态监测，但精度低于前者。下面按照驾驶员疲劳状态监测技术路线详述其发展趋势。

3.1 驾驶员疲劳状态数据库建立试验方案

早期由于试验条件的限制和出于安全考虑，绝大多数驾驶疲劳试验在驾驶员模拟器上进行。优点是虚拟交通道路环境不存在碰撞、追尾、偏出车道等危险工况，可以在从轻度疲劳到严重疲劳全范围内试验；缺点是驾驶员模拟器与真实交通环境存在较大差异，用于疲劳监测方法的探索可以，若用于疲劳监测系统设计则缺乏真实性。

在驾驶员模拟器试验之后，出现了规定工况实车试验。经过改造的试验车辆，按照预先设计好的工况行驶，记录试验数据。如果需要采集驾驶员面部、眼部、头部运动信息，则需要额外添加传感器和对应的数采设备；如果需要采集驾驶员行为、车辆状态和车辆轨迹信号，一般不需要额外增加传感器，车辆自带传感器即可满足要求。试验时设计若干具有典型特征的工况，例如城市道路直线行驶、乡村道路直线行驶、高速公路直线行驶，不考虑转弯、变道、侧风、路面凸起等特殊工况。据此设计出来的驾驶员疲劳状态监测系统具有比较广泛的适用性，精度也比基于驾驶员模拟器设计出来的监测系统高，但不适用于某些特殊工况。

随着疲劳监测技术的发展和用户对疲劳监测系统精度的要求不断提高，基于自然驾驶数据的疲劳监测技术研究逐渐成为主流方向。自然驾驶涵盖各种工况，数据能够真实反应各种工况下驾驶员的疲劳状态，据此设计出来的疲劳监测系统覆盖各种工况下近驾驶员疲劳的真实状态，精度也就越高。美国在2004年开始组织大规模的自然驾驶试验[14]，欧盟紧随其后开始进行自然驾驶试验[15]。我国在自然驾驶研究方面起步较晚，第一个自然驾驶研究项目于2012年9月份开展，由同济大学、通用汽车中国公司和美国弗吉尼亚理工大学交通研究中心共同合作[16]，在5辆测试车上安装数据采集设备，监测并记录60位驾驶员在3年内的驾驶情况，用于分析真实交通环境和驾驶行为特点。

3.2 驾驶疲劳评价标准

目前驾驶员疲劳程度评价标准按照执行者不同分为自评法和他评法。自评法就是驾驶员根据KSS（Karolinska Sleepiness Scale）标准每隔一段时间对自己当前状态的疲劳程度打分，将十分清醒到十分疲劳划分为9个等级对应分数1分到9分[17]。KSS优点：通用性好、精度高，是疲劳程度自评法广泛使用的标准；缺点：试验人员询问驾驶员疲劳程度与驾驶员回答自己的疲劳程度都会对驾驶员状态的延续产生刺激，影响驾驶员疲劳程度的评分。

他评法分为主观他评法和客观他评法。主观他评法根据信号源不同分为两种：一种是试验人员首先观察驾驶员面部表情、眼动情况、打哈欠频繁程度等，然后根据KSS标准给驾驶员当前的状态打分；第二种是基于驾驶员面部视频的主观他评法，采用摄像头采集驾驶员面部信息，后期处理时对视频进行分段，经过专门训练的多名试验员对某视频片段打分，最后各个试验员的平均评分作为该段视频里驾驶员疲劳程度的分值[18]。后者较前者的精度高，只需要在车内安装一个采集驾驶员面部视频信息的摄像头，所以基于视频的主观他评法更常用。

客观他评法利用驾驶员生理信号判断其疲劳程度，例如心电图、脑电图，尤其是脑电图最能表征驾驶员的疲劳状态[19,20,21]。客观他评法的优点：精度高；缺点：需要增加专用的测试设备，并且不同驾驶员间可能存在个体差异。

未来车辆将普及生物识别技术，因此基于驾驶员生理信号的疲劳程度判断将具有硬件基础，将会逐渐取代主观自评法和主观他评法。

3.3 驾驶员疲劳状态监测算法

早期的驾驶员疲劳状态监测算法基本上都是设定某一阈值，属于基于专家系统和规则算法，根据驾驶员面部、眼部、头部或驾驶行为分析计算得到一个疲劳程度值。如果该值大于预先设定的阈值，则判定驾驶员处于疲劳状态；反之，则驾驶员处于正常状态[22]。现在市场上在售车型匹配的驾驶员疲劳状态监测系统大多数也是采用此方法，优点：算法简单、实时性好、占用内存小，在大多数工况下精度都比较高。缺点：在某些特殊工况下精度较低，或者不适用于某些特殊工况，例如侧风、路面凸起等工况。此外，设定单一阈值还忽略了不同驾驶员间的个体差异。

随着芯片技术和云存储技术的发展，控制器允许实时运算占用内存较大的算法，或者在云后台运行内存较大的算法而不占用车辆有限的控制器资源，这为机器学习进入驾驶员疲劳状态监测领域提供了有利条件。机器学习的优点：能够处理海量数据、不需要建立复杂的数学模型，还能够从数据中提取尽可能多的有效信息，保证分析结果具有较高的精度；缺点：算法运行时占用内存较大。

机器学习算法可以对多维信息进行处理，例如在监测驾驶员疲劳状态时，不仅可以分析驾驶员面部、眼部、头部等视频信号或驾驶行为、车辆状态、车辆轨迹信号，还可以结合车内环境信息如温度、外部道路交通信息如车流量等。现在国内外很多高校、科研机构都在研究基于机器学习算法的驾驶员疲劳监测系统[23,24,25,26,27]。与传统方法相比，机器学习算法使驾驶疲劳识别精度有所提高，但运算时占用内存较大，很难集成到车辆现有电子控制系统的控制器里，实时性差。随着云平台技术的发展，机器学习算法可以运行在云平台上，不占用电子控制系统的控制器内存，实现在不增加车辆硬件成本的情况下提高疲劳监测精度。疲劳监测系统的精度提高后，能够扩大其应用范围，除了预警外还可以与其他驾驶辅助系统集成，例如自主紧急制动（AEB）、车道保持(LKA)、车道偏离预警(LDW)等，进一步保障行车安全。

不同类型驾驶员操纵偏好不同，有的驾驶员喜欢激进性驾驶，例如大幅度踩加速踏板和制动踏板、大幅修正转向、经常换道等；而有的驾驶员喜欢谨慎性驾驶，例如慢踩加速踏板和制动踏板，小幅高频修正转向、较少超车换道等；还有驾驶员介于两者之间。如果不考虑驾驶员类型，用同一标准或同一模型监测驾驶员疲劳状态，容易误报和漏报，导致驾驶员体验较差[28]。此外，驾驶员操纵偏好还受工况影响，例如侧风工况下，不管是哪种类型的驾驶员都需要不断修正转向以保持车辆直线行驶，只是修正幅度略有差别，这要求疲劳监测算法适用于这些特殊工况[29,30,31]。

因此，未来的驾驶员疲劳状态监测系统将会是一种高精度、考虑驾驶员类型、适用于各种工况的驾驶辅助系统。