基于嵌入式神经网络的危险驾驶行为检测系统

龙劲峄 周骅

摘要：驾驶行为规范性不仅是行车安全的保障，也是解决交通高峰期道路畅通的前提，对驾驶行为识别的研究是道路交通安全的研究热点之一。本文设计一款基于嵌入式系统的卷积神经网络图像分类器用来实时检测危险驾驶行为，将AlexNet卷积神经网络改进为能适应在嵌入式系统的小型卷积神经网络mAlex，同时加入一些图像预处理算法和优化策略，建立了驾驶员关于危险驾驶行为检测模型。经过实验表明实时检测危险驾驶行为系统对驾驶人的危险驾驶行为具有较高的识别精度和较高的鲁棒性。同时该系统使用在嵌入式系统中具有成本低、节能和小巧等许多优点。

关键词： 卷积神经网络; 嵌入式系统; 图像分类; 危险驾驶行为

【Abstract】 Normative driving behavior is not only the guarantee of driving safety， but also the premise of dealing with the traffic jam in rush hour. In this paper， a convolutional neural network image classifier based on embedded system is designed to detect dangerous driving behaviors in real time.By improving AlexNet convolutional neural network into a small convolutional neural network which can adapt to embedded system， and with some image preprocessing algorithms and optimization strategies， a complete model of driver upper body behavior classification recognition is established. Experiments show that the real-time detection system of dangerous driving behavior has high recognition accuracy and robustness to the driver's dangerous driving behavior. At the same time， this system has many advantages such as low cost， energy saving and small size etc， in embedded system.

【Key words】  Convolutional Neural Networks; embedded system; image classification; dangerous driving behavior

0 引 言

近年來，随着各国城市化进程的加快以及科学技术在汽车领域的发展和应用，机动车保有量逐年攀升，成为人类日常生活中不可或缺的交通工具[1-3]。但是汽车行业的发展给人类社会带来财富和方便的同时，也带来了日益严峻的交通安全问题，其中由驾驶员人为过失导致的交通事故占所有交通事故的90%以上[1]。本文设计一款基于嵌入式系统的卷积神经网络图像分类器用来实时检测危险驾驶行为，搭载嵌入式相机采集驾驶人实时数据。通过嵌入式搭载卷积神经网络危险驾驶检测系统，可以使设计应用更加灵活。而考量本文系统的使用环境以及使用条件，本文中简化了卷积神经网络模型，为了使驾驶人更加注意危险驾驶的行为，本文加入了语音提醒功能。

在整个系统的设计中，需要嵌入式系统和卷积神经网络模型结合来实现对驾驶人危险行为判断，其中卷积神经网络模型的识别最为重要，是整个系统检测精确度的核心。嵌入式信息采集模块主要是将驾驶人的驾驶行为实时采集到嵌入式系统中;卷积神经网络模型识别判断模块是对采集的信息进行识别和判断;嵌入式系统存储模块是存放采集模块的采集信息和识别判断模块的判断信息;显示模块是将最后的结果显示出来，如图1所示。

1 图像分类及检测算法基本原理

1.1 卷积神经网络模型设计

卷积神经网络结构有多种，目前常见的有LeNet、GoogleNet、SSD以及AlexNet等上述几种结构的结合[4-7]。其中，AlexNet具有更深的网络结构，使用层叠的卷积层，即卷积层+卷积层+池化层来提取图像的特征，使用Dropout抑制过拟合，使用数据增强Data Augmentation抑制过拟合，使用Relu函数替换之前的sigmoid函数作为激活函数等优点[7-15]。同时在视觉识别检测中，该卷积神经网络也是成熟的。AlexNet网络具有少于5个可训练层，以便使计算在嵌入式设备上实时可行。这种限制是合理的，因为原始架构是为大规模视觉识别任务而设计的，这比当下的二元分类问题更加复杂。事实上，通过实验观察到，减少的架构可以很容易地应对驾驶人危险行为检测问题。因此本论文的检测卷积神经网络是在AlexNet基础上调整的。这里，对研究中涉及的各部分内容可阐释分述如下。

1.3 危险驾驶行为数据库制作

根据疾控中心汽车安全部门称，五分之一的车祸是由驾驶员分心造成的。这意味着每年有425 000人受伤，3 000人因分心驾驶而死亡。本次制作数据集的图片由美国Statefarm公司提供，由2D仪表板相机所拍摄的图像制作成数据集，对每个驾驶员的行为进行分类。将数据库分为2类，一类为正常驾驶，另一类为危险驾驶。其中，危险驾驶包括的动作有左手/右手打电话、左手/右手发消息、吃喝东西、回头、化妆和乘客说话。本数据集共有25 000张图像，包括有训练集22 424张（正常驾驶2 489张、危险驾驶19 935张），测试集2 576张。这里，给出危险驾驶行为数据库示例如图2所示。

1.4 卷积神经网络模型训练和分析

根据mAlex设定的网络结构及选用的参数对网络进行训练，使用caffe深度学习库的函数式模型来进行卷积神经网络整体网络结构的搭建，同时将网络的学习率设置为0.001，选择随机梯度下降法带动量参数（动量设置为0.9）作为优化方法，经过10 000次迭代训练后完成该卷积神经网络模型的建立，并且将训练好的网络模型参数进行存储，得到结果如图3所示。

从图3中可以看出，随着迭代次数的增加，train loss和test loss不断地降低，最后稳定在接近0的位置。说明该模型训练效果良好，模型网络误差低，同时accuracy在迭代6 000次时就接近1，说明该模型的精确度也达到要求，因此训练的模型网络的性能能够满足本文应用的需要。

2 嵌入式系统设计

嵌入式系统设计是危险驾驶检测系统设计的重要组成部分，只有对硬件和卷积神经网络模型进行合理有效的编程，危险驾驶检测的功能性和实用性才能真正得到实现，同时嵌入式系统设计的好坏对系统的稳定性和可靠性也有很大的影响。

2.1 嵌入式危险驾驶检测系统整体设计

开启嵌入式危险驾驶检测系统时，相机采集实时影像将影像存储到嵌入式系统的存储器中，然后将影像处理后输入到训练好的卷积神经网络模型中，模型识别影像后将结果返回到嵌入式系统中，当判断的影像类型为危险驾驶行为时，提醒语音响起并把图像上传到指定的服务器存储。程序设计总体框图如图4所示。

2.2 提醒程序设计流程图

卷积神经网络返回的结果只是图像分类的类型，因此需要在嵌入式系统中设置需要提醒图像类型，当卷积神经网络图像分类模型返回的图像类型与设置的提醒图像类型一致时，嵌入式系统将启动提醒程序进行提醒。具体流程如图5所示。由于模型返回的图像结果可能存在误判的问题，因此在语音提醒设置中，只有当返回结果的概率达到0.6以上，并且处于危险驾驶图像类型连续大于10帧时才会启动提醒程序。这样即可减少误报的概率。

2.3 服务器上传主程序设计

首先是将WiFi上传的控制设备和可读设备数据点的值进行初始化，当提醒程序通过时，截取1 min内的影像，通过WiFi上传的控制设备和可读设备，向指定的服务器上传影像信息。

3 系统测试与分析

3.1 危险驾驶行为检测系统测试

将嵌入式系统和卷积神经网络模型mAlex调试好后，对其进行测试，测试影像如图6所示。

从图6可知，系统会一直实时在左侧面板上显示出每帧图像的驾驶人驾驶行为是安全还是危险的概率，取最高的概率为当前驾驶人的行为状态，并在图像的左上侧标记出图像类型，从图6分析来看，危险驾驶时显示的是1类型，安全驾驶时显示为2类型。然后把显示的1类型或者2类型和概率反馈到树莓派中，连续10帧且概率高于0.6，如果反馈的信号是1类型，此时喇叭就开始提醒驾驶人，并且将1 min内影像截取上传到服务器中。同时，通过左侧的概率可以看出危险驾驶行为的识别概率要高于安全驾驶的概率，通过分析后发现这是数据库的安全驾驶样本过小所致，今后需要提高安全驾驶的图片数据。经多次测试表明，本次设计的危险驾驶行为检测系统能够对图像数据进行实时、准确的获取、判断、显示和响应。

3.2 嵌入式危险驾驶检测系统分析

本文将精简后的卷积神经网络mAlex与传统的方法SVM进行了比較。在依赖于纹理特征的直方图上训练的RBF核SVM。实验使用危险驾驶数据集进行了比较实验。

为了进行模型比较，在测试集上评估训练后的模型分类的性能，并最终绘制了Receiver Operating Characteristic （ROC） 曲线，同时也得到了Area Under the Curve（AUC）值。ROC曲线y轴上为真正类率（TPR）和x轴上的负正类率（FPR）随着阈值的不同而有所变化。ROC曲线下的面积就是AUC。模型比较结果如图7所示。在图7中，ROC曲线与每次单个实验求得的AUC值一起显示。

由图7可知，在比较同一类型测试集时，mAlex的AUC达到了0.94，在阈值为0.5的精确度下，mAlex模型高于SVM模型。而在引入新的测试集后，mAlex的AUC也是达到了0.92。说明该模型具有良好的泛化能力。

4 结束语

本文实现从研究的难点和创新点出发，围绕着如何精简卷积模型、提高模型精度和减少检测误差等方面来分析基于嵌入式和卷积神经网络的危险驾驶行为系统可行性。在选择好卷积神经网络结构AleNet后，对其模型结构进行精简，去掉AlexNet第三和第四个卷积层和一个完全连接的层后，得到精简的小型mAlex，基于此来制作危险驾驶相关的数据集。接下来则在深度学习框架caffe下训练mAlex。训练结束后得到危险驾驶行为检测的模型，再将其存入嵌入式系统中，在嵌入式系统中通过python调用嵌入式各个部分的硬件和存入嵌入式系统中的卷积神经网络mAlex模型，以此来实现危险驾驶行为的检测。最后，本文对系统进行测试得出检测的图像，同时与经典二分类模型SVM进行ROC比较，得到AUC的值，通过测试得到精简的mAlex的精确度和泛化能力都是最好。因此，本文设计的危险驾驶行为检测系统优于传统的检测系统。

参考文献

[1] 李元明. 关于近年来危险驾驶案件数量增减情况的调研报告[N]. 河南法制报，2018-12-28（018）.

[2]庄杰. 基于人车耦合的安全驾驶行为预警关键技术研究[J]. 电子技术与软件工程，2018（13）：237.

[3]应海宁，唐振民，韩旭. 基于两次聚类的PWARX驾驶行为辨识模型[J]. 重庆交通大学学报（自然科学版），2019，38（2）：79.

[4]PEI Jifang， HUANG Yulin， HUO Weibo， et al. SAR automatic target recognition based on multiview deep learning framework[J]. IEEE Transactions on Geoscience & Remote Sensing， 2018，56（4）：2196.

[5]张文达， 许悦雷， 倪嘉成，等. 基于多尺度分块卷积神经网络的图像目标识别算法[J]. 计算机应用， 2016， 36（4）：1033.

[6]林志洁， 罗壮， 赵磊，等. 特征金字塔多尺度全卷积目标检测算法[J]. 浙江大学学报（工学版）， 2019， 53（3）：533.

[7]KRIZHEVSKY A ， SUTSKEVER I ， HINTON G. ImageNet classification with deep Convolutional Neural Networks[J]. Advances in Neural Information Processing Systems， 2012， 25（2）：1106.

[8]宋光慧. 基于迁移学习与深度卷积特征的图像标注方法研究[D]. 杭州：浙江大学，2017.

[9]王茜， 陈一民， 丁友东. 基于改进卷积神经网络的机动车图像分类算法[J]. 计算机应用与软件， 2018， 35（7）：263.

[10]ACKERMANN S ， SCHAWINSKI K ， ZHANG Ce ， et al. Using transfer learning to detect galaxy mergers[J]. Monthly Notices of the Royal Astronomical Society， 2018， 479（1）： 415.

[11]DING Z ， SHAO M ， FU Y . Incomplete multisource transfer learning[J]. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（2）：310.

[12]KHAN R U， ZHANG Xiaosong， KUMAR R. Analysis of ResNet and GoogleNet models for malware detection[J]. Journal of Computer Virology and Hacking Techniques， 2019，15：29.

[13]BALLESTER P， ARAUJO R M. On the performance of GoogLeNet and AlexNet applied to sketches[C]// Thirtieth AAAI Conference on Artificial Intelligence（AAAI-16）. Phoenix， Arizona USA：AAAI，2016：1124.

[14]王敬仁，傅凯，蔡晖，等. 基于机器视觉的地铁分流系统[J]. 教育教学论坛，2019（21）：55.

[15]李國诚，黄明，崔进宝，等. 基于树莓派的智能监控系统设计与实现[J].  工业技术创新，2019，6（2）：42.