基于信息融合的多列卷积神经网络异常驾驶研究

王富强，龙 涛

（西安明德理工学院信息工程学院，西安 710100）

0 引言

随着我国经济的快速增长，我国机动车拥有量已达到历史新高。据公安部统计，截至2023年1月11日，我国机动车保有量已达4.17亿辆，每年仍以10%左右的速度在快速增长［1］。由此引发越来越多的交通事故，有90%以上事故是由于驾驶员操作不当引起的，其中最突出的就是疲劳驾驶和分心驾驶引起的操作不当。驾驶员疲劳驾驶和分心驾驶导致的交通事故已占交通事故的30%～40%，尤其在高速上，高达40%以上，所以近几年来疲劳驾驶和分心驾驶已经成为轨道交通安全领域的研究热点［2］。

当前驾驶员在驾驶习惯中存在着玩手机、打电话、东张西望、喝水、吸烟、疲劳驾驶、和后排乘客聊天等不良驾驶习惯，这些行为都会给安全驾驶构成一定的威胁。在驾驶期间当驾驶员出现上述行为时如果能够提醒驾驶员以减少驾驶员分心，会减少交通事故发生，保护人民生命财产。

异常驾驶是一种注意力不集中的行为表现，美国汽车协会交通安全基金会（AAAFTS）将异常驾驶定义为驾驶员由于车内或车外发生的事件，导致驾驶员注意力从驾驶任务转移，对安全完成驾驶任务所需的信息识别较慢的反应。异常驾驶可以分为四种主要类型［3］：视觉干扰、听觉干扰、认知干扰和生物力学干扰。视觉干扰是指驾驶员在车内或车外观察其他事件、物体或人时视线的转移；认知干扰被定义为由于思考其他事情而从驾驶中转移注意力；听觉干扰的定义是由于使用手机、与其他乘客交流或使用其他音频设备而从驾驶中分心。

1 相关工作

为了减少交通事故和提高道路安全，人们提出了各种基于计算机视觉的方法。Kaggle 发起了一项名为State farm distracted driver detection的竞赛，旨在通过一个仪表盘摄像头拍摄的图像，将注意力分散的驾驶行为与安全驾驶区分开来。在本文中主要利用图像识别技术检测驾驶员在驾车行驶过程中的不规范行为，以及时提醒驾驶员，减少交通事故的发生。

驾驶员异常检测基于传统的检测方法主要分为基于生理信号的检测、基于车辆行驶状态的检测和基于视觉的检测三类。基于脑电信号的异常驾驶检测主要是通过传感器采集驾驶员生理信号来分析判断驾驶员是否处于异常驾驶状态。Li等［4］提出了通过小波变换分析心率变异性来检测驾驶员是否处于异常驾驶状态，此方法达到了95%的准确率，但其是一种侵入性检测方式，对正常驾驶有一定干扰，目前只应用于理论研究。基于车辆行驶状态的检测是通过判断车辆有无偏离车道线、方向盘偏转角度、车速等来判断驾驶员是否处于异常驾驶状态；屈肖蕾等［5］提出通过提取车辆转向操作特性和车辆状态特征，运用SVM 算法判断驾驶员是否处于异常驾驶状态；Hu 等［6］通过获取车辆实时速度运用局部设计的神经网络来判断驾驶员是否处于异常驾驶状态，其缺点是该方法受道路环境、驾驶员驾驶经验等因素影响。基于视觉的检测是通过摄像头实时采集驾驶员头部姿态，从采集的实时视频中提取帧图像来检测驾驶员是否存在喝水、东张西望、抽烟和玩手机等特征来判断驾驶员是否存在异常驾驶；Yan 等［7］通过对驾驶员手部位置进行监测，来判断驾驶员是否处于异常驾驶；Ragab 等［8］通过对6 名受试者眼睛状态、手臂位置、面部表情和面部方向采用AdaBoost、隐马尔可夫模型、随机森林和神经网络进行异常检测；Eraqi 等［9］提出了遗传加权的卷积神经网络进行异常驾驶检测，达到了90%准确率；Hu 等［3］提出基于信息融合的多列卷积神经网络异常驾驶检测，但该方法存在网络中参数多、时间开销大且易过拟合等不足。

深度学习概念是由Hinton 等［10］于2006 年提出的，是机器学习中一种基于大量数据学习特征的学习方法，是机器学习的一个新的研究领域。受Hubel和Wiesel对猫视觉皮层电生理研究启发，提出卷积神经网络（convolutional neural network，CNN）。

本文主要通过对深度学习中经典的模型-卷积神经网络进行改进，来检测驾驶员在驾驶过程中出现的异常驾驶行为，从而达到发出精准警告信息的目的，进而有效地降低交通事故的发生。因此驾驶员违规行为识别研究就变得十分重要且有意义，本文正是基于此做的相关研究。

2 基于信息融合的多列卷积神经网络异常驾驶检测

考虑到普通卷积神经网络识别率低、鲁棒性差，本文提出一种基于信息融合的多列卷积神经网络模型，如图1 所示，本模型由三列卷积神经网络构成，每列卷积神经网络结构相同，只是卷积核大小不一样，卷积核大小分别为3×3、5×5、7×7，每列卷积神经网络由VGG16结构改进而成，结构如图2所示。

图1 信息融合多列卷积神经网络模型

图2 单列卷积神经网络结构

每列卷积神经网络包含10 个层、8 个卷积层、一个全局平均池化层和一个全连接层，它以640×480的RGB 图像作为输入，8个卷积层可以分为五个阶段来实现，全局平均池化层（global average pooling，GAP）将卷积后的每个卷积特征图均值，所有的卷积特征图经过全局平均池化层后输入全连接层（fully connected，FC），最后通过Softmax 分类器输出不同驾驶行为的概率。每列卷积神经网络激活函数采用ReLU，步长设置为2，最大池化（MaxPool）尺寸选为2×2。

3 实验与结果分析

3.1 数据集介绍

实验数据集采用Kaggle 竞赛官方提供的State farm distracted driver detection 驾驶员行为标准数据集（https://www.kaggle.com/），该数据集由102150 张640×480 的RGB 彩色图片构成，包含有十种驾驶状态，其中，训练集提供了22424张图片，测试集提供了79726张图片，每种驾驶状态提供的数据样本数见表1，每种驾驶状态如图3所示。

表1 数据集详情

图3 State farm distracted driver detection 数据集十种驾驶状态

3.2 结果分析

在State farm distracted driver detection 标准数据集上，将本文提出的多列卷积神经网络与其他算法进行了比较。在该数据集上将图片大小修改为224×224×3，学习率设置为0.0001。

大量研究者在State farm distracted driver detection 数据集上做了相关研究，都取得了不错的研究成果，本文主要针对Alexnet、ResNet34和本文提出的融合算法进行了对比实验，主要从算法的识别准确率和精确率方面进行了对比分析，具体对比结果见表2和表3。

表2 不同算法在State farm distracted driver detection 数据集上的准确率/%

表3 不同算法在State farm distracted driver detection 数据集上的精确率/%

4 结语

本文提出了一种基于信息融合的多列卷积神经网络的异常驾驶行为识别方法。该方法首先利用卷积核大小不一样的卷积神经网络进行卷积，将每列卷积神经网络得到的卷积特征进行融合，然后通过全局平均池化层进行特征均值，全连接层将特征均值进行降维，最后利用多分类函数Softmax 输出不同驾驶行为的概率。相对传统的卷积神经网络，本文方法有效减少了参数运算量，避免了全连接层带来的过拟合问题，提高了分类正确率。