浅析人机协作智能增强的驾驶员状态监控系统实现

季华

摘 要 本文阐述了一种人机协作智能增强的驾驶员状态监控系统的实现方法。该系统可以对驾驶员的疲劳状态（打呵欠、频繁闭眼等）、不良驾驶行为（长时间不目视前方、接打手持电话、抽烟、双手同时脱离方向盘、跟车过近等）进行实时监测与报警。其特点在于：驾驶员面部视觉感知、驾驶员身体姿态视觉感知与车辆运行状态信息、道路信息融合，并利用人机协作认知的演进模型实现智能增强的驾驶员状态预测，弥补了仅利用驾驶员面部特征进行驾驶员状态判别方法的不足。

关键词 驾驶员状态监控;不良驾驶行为;视觉感知;人机协作;深度学习;神经网络;智能增强

随着改革开放我国的经济持续快速增长，汽车的保有量迅速上升。交通事故发生率也越来越高。事故造成了大量的人民生命和财产损失，已成为一个重要的社会问题。2016年，我国共发生了约21.3万起交通事故，导致约6.31万人死亡、约22.64万人受伤，直接财产损失超过12.07亿元[1]。据世界卫生组织统计在众多交通事故中由于驾驶员的疲劳驾驶造成的事故占20%左右。为了减少由于驾驶员疲劳驾驶带来的事故隐患，2018年8月，交通运输部办公厅发布了《关于推广应用智能视频监控报警技术》的文件，鼓励道路运输车辆安装智能视频监控报警装置，实现对驾驶员不安全驾驶行为的自动识别和实时报警。其中就包含了对驾驶员的疲劳状态及不良驾驶行为的监控要求。本文要阐述的是一种人机协作智能增强的驾驶员状态监控系统的组成与实现。

1人机协作智能增强驾驶员状态监控系统的组成與实现

人机协作智能增强驾驶员状态监控系统是一个将人的作用或人的认知模型引入的人工智能系统，具备混合智能增强范式。由信息感知、融合预测、协作增强、反馈预警等子系统组成。

1.1 信息感知子系统

信息感知子系统由三个视觉感知摄像头、一个车辆CAN总线采集模块组成：①一个位于驾驶员前方仪表台上的朝向驾驶员的940纳米红外摄像头（适用于各种光照条件，可大幅降低强光及弱光环境对摄像画面成像质量的影响）。用于采集驾驶员面部特征及上半身部分视觉图像信息，通过深度神经网络模型推理图像中存在打呵欠、闭眼、接打手持电话、抽烟、不系安全带、长时间不目视前方等驾驶员疲劳以及不良驾驶行为画面的置信度;②一个位于驾驶员上方朝向驾驶员的广角短焦摄像头，用于采集驾驶员姿态与动作和方向盘转动信息，通过深度神经网络模型结合传统计算机视觉算法推理画面中存在驾驶员异常坐姿、较长时间不转动方向盘、异常速度转动方向盘、驾驶员双手脱离方向盘等疲劳和不良驾驶行为现象的置信度;③一个贴于挡风玻璃内侧中央，朝向道路方向天际线的摄像头，用于采集前方车辆、行人、车道线等目标信息，通过深度神经网络模型结合传统计算机视觉算法检测前方车辆、行人、车道线等目标，并计算本车与前方的车辆、行人的距离以及本车与两侧车道线的距离;④一个车辆CAN总线信息采集模块，通过车辆自身的CAN总线采集车辆的车速、转速、油门开度、刹车状态、横摆角速度等信息，用于辅助判断驾驶员是否处于正常驾驶状态。

1.2 融合预测子系统

融合预测子系统，将来自信息感知子系统的多种感知信息进行融合，而后对驾驶员是否存在疲劳驾驶行为或者不良驾驶行为进行预测。如预测结果置信度低于指定的阈值，则将通过信息感知子系统采集到的当前时间点前的指定时间段内的视频及车辆总线数据和预测结果一并提交到协作增强子系统，并由协作增强子系统作进一步处理。

融合预测的主要步骤为：①以100毫秒为单位时间对各感知信息进行配准后组成特征向量;②以1000毫秒为周期，100毫秒为间隔进行滑窗操作将采集到的5组特征向量组成特征矩阵;③将特征矩阵连续的送入基于LSTM（Long short-term memory）结合CNN构建的神经网络得到切片预测结果向量;④将1000毫秒内的10个切片预测结果向量组成预测结果矩阵，利用可演进评分模型对结果矩阵进行评分得到最终预测结果向量及其置信度;⑤如置信度小于指定阈值则将预测结果及相关感知信息提交至协作增强子系统进一步处理，如置信度大于指定阈值则将预测结果提交至反馈预警子系统做进一步处理。

1.3 协作增强子系统

协作增强子系统将人的作用引入到对驾驶员疲劳及驾驶员不良驾驶行为的认知模型，形成人机协作智能增强的形态。将融合预测子系统预测结果中置信度低于阈值的场景通过视觉方式还原现场，由人工来判断驾驶员是否存在疲劳或者不良驾驶行为的情况。并将人工判断的依据及判断过程按照预先设计的演进模型进行记录并转换成用于感知和预测模型训练的素材自动送入训练素材库。当新入库素材达到指定阈值时，启动新的感知和预测模型训练，促使模型在人的协助下不断的演进，提高感知和预测模型对驾驶员疲劳和是否存在不良驾驶行为判断的准确率。

1.4 反馈预警子系统

反馈预警子系统由声光报警模块、报警事件记录模块组成。接收来自融合预测子系统的报警信息通过声光提醒的方式按照不同的报警级别进行不同的声光提醒，同时将报警事件在本地记录并通过无线网络传输到云端服务平台。

2人机协作智能增强驾驶员状态监控系统的优点

（1）将人的作用引入到系统中对驾驶员疲劳和不良驾驶行为进行判断，形成了人机协作认知的混合智能增强范式。当智能终端的输出置信度较低时，由人介入主动给出合理的判断与依据，构成系统智能水平提升的反馈回路;

（2）在传统的仅仅利用驾驶员面部特征进行驾驶员状态判别方法的基础上添加了对行车过程中是否系了安全带、行车过程中是否双手脱离方向盘的检测，并利用视觉检测方向盘转动幅度的方法判断驾驶员是否存在长时间不对方向盘进行转动（含微调）的行为，以及驾驶员是否存在对行车道路上出现的状况（如：跟车过近、偏离车道）反应迟缓或者异于往常的问题。

3结束语

随着驾驶员状态监控系统的普及与不断演进，以及监管手段的不断完善，驾驶员的疲劳驾驶行为及不良驾驶行为将逐步减少，因驾驶员疲劳驾驶及不良驾驶行为所引发的交通事故数量也将逐步降低。由于人机协作智能增强驾驶员状态监控系统的上文所述优点，其将对减少驾驶员疲劳驾驶及不良驾驶行为引发的事故，起到更好的抑制作用，更利于营造和谐、安全的交通运输环境，构建和谐社会。

参考文献

[1] 公安部交通管理局.中华人民共和国道路交通事故统计年报[M].北京：人民交通出版社，2017：78.