基于深度学习的大学校园非机动车乱泊监测系统
2022-05-05孔浩冉
孔浩冉
(山东师范大学信息科学与工程学院,山东 济南 250399)
0 引言
随着人们生活水平的提高以及城市机动化发展,以自行车为代表的非机动车数量急剧增加,各种停放问题也随之而来。大学校园是特殊的公共场所,由于许多大学校园面积很大,功能区分散,校内通勤不便[1],再加上非机动车具有方便、快捷等特点,因此,许多学生选择将非机动车作为代步工具,并且对于大部分学生而言,购买非机动车大都在经济上可以承受,受到周围同学的影响以及自身的需求[2],大学校园内非机动车的数量大幅增加。随着校园非机动车数量的增加,非机动车乱停乱放的现象越来越明显,这不仅影响了道路交通,还影响了校园美观。宿舍和教学楼是高校学生的主要活动地,导致这些地方的非机动车停放尤为不规范,在占用道路的同时也给师生的生活带来了不便,甚至同学之间因此发生过一些矛盾。由于非机动车乱停的范围较大,时间较分散,并且数量极多,如果安排校园管理人员去规范每辆非机动车的停放,不仅需要大量的人力物力,而且取得的效果也不理想,甚至部分学校也没有这方面的管理人员。
因此,为了更好地解决大学校园非机动车的乱停乱放问题,构建美丽校园,改善非机动车乱泊给师生带来的不便,本文提出了基于深度学习的大学校园非机动车乱泊监测系统,来帮助解决大学校园的非机动车乱泊问题。
1 系统整体方案
本文针对校园非机动车停放的管理,提取出两类用户:非机动车驾驶员以及校园管理人员。由于存在着非机动车乱停的范围较大,时间较分散,并且数量极多的问题,导致校园管理人员无法有效对非机动车乱泊进行实时地管理与监测;对于非机动车驾驶员来说,往往由于时间匆忙或者不清楚学校非机动车的停放管理制度,从而将非机动车乱停乱放,他们需要在违规停放非机动车时收到实时的提醒。
本系统结合YOLOv3算法的图像识别技术以及性能强大的嵌入式设备NVIDIA Jetson TX2,对校园里停放的非机动车进行实时地监测,一旦发现非机动车停放在了违禁地段,便通过NVIDIA Jetson TX2上的蜂鸣器发出警报,从而提醒驾驶员将非机动车移走。
本系统的工作流程是:预先将道路口、宿舍楼门前等相关地段设为违禁停车区域,并在这些区域安装高清摄像头,利用摄像头实时获取非机动车的停放状况,NVIDIA Jetson TX2通过USB口连接摄像机,并基于YOLOv3算法对在违禁区域停放的非机动车进行识别,当监测到有非机动车停放时,嵌入式设备上的蜂鸣器便会及时发出警报,提醒驾驶员将违规停放的非机动车移走,从而保证道路的畅通无阻。系统工作流程图如图1所示。
图1 系统工作流程图
本文将研究并实现深度学习的大学校园非机动车乱泊监测系统,算法上选择的是卷积神经网络YOLOv3算法以及Darknet框架,硬件部分拟采用嵌入式设备NVIDIA Jetson TX2,通过对数据集的训练与测试,实现对违禁停车区域非机动车的精准识别以及对非机动车驾驶员的实时提醒。
2 系统设计
2.1 算法介绍
早期的目标识别一般利用人工设计的图像特征进行目标的检测以及识别,但当产生遮挡或目标体型较小时,传统的目标识别方法便很难提取特征,因此很难用于对校园非机动车的实时监测。2015年,Redmon等人[3]提出YOLO系列算法,在很大程度上提高了算法的检测速度[4]。Liu等人[5]提出的SSD(Single Shot MultiBox Detector)算法,通过多尺度方法进一步提高了检测的精确度。YOLOv3[6]算法属于YOLO系列算法,并且相比于其他算法,YOLOv3算法具有速度快、精度高的特点。因此本系统使用YOLOv3算法实现对校园非机动车的实时监测。
YOLOv3算法使用的网络结构是DarkNet-53,由卷积模块和残差模块两部分组成。DarkNet-53参考了ResNet的思想,将残差模块加入到了网络结构中,解决了深层网络的梯度问题,方便构建更深层次的网络。DarkNet-53通过将卷积的Stride设为2来完成网络的下采样,而没有池化层和全连接层。卷积层的实现需要Conv、BN以及Leaky_relu,残差模块之后还需要加上Zero Padding。YOLOv3算法还具有可以检测更加细粒度特征的优点,这是因为它使用3个不同尺度的特征图去检测目标,因此检测精度较高。
YOLOv3算法通过K-means聚类为每种下采样尺度设定了3种先验框,因此共聚类出来了9种尺寸的先验框[7]。YOLOv3算法通过Logistic Regression对Bounding Box进行预测,Logistic Regression可以用于计算Anchor包围的部分是目标的可能性是多少。使用Logistic Regression从9个Anchor Priors中选出目标存在可能性得分[7]最高的Anchor,然后YOLOv3算法只对得分最高的Anchor进行操作。
通过对YOLOv3算法进行目标识别的原理进行分析与理解可以发现,YOLOv3算法可以很好地帮助系统进行目标区域内非机动车的实时监测。
因此,本系统通过使用YOLOv3算法并将其部署在硬件设备NVIDIA Jetson TX2上实现了对违禁停车区域中停放的非机动车的识别,由此可以实时地监测是否有非机动车停放在违禁区域,以便及时发出警报提醒驾驶员规范停车行为。
2.2 硬件基础
由于嵌入式设备NVIDIA Jetson TX2具有丰富且强大的资源配置,具有极高的性能以及极低的功耗,并且占用空间极小方便在各种场合使用,因此拟采用NVIDIA Jetson TX2来为本系统提供硬件支持。
嵌入式设备NVIDIA Jetson TX2通过USB口与违禁停车区域的摄像头相连接,并通过在NVIDIA Jetson TX2上部署YOLOv3算法实现对违禁停车区域非机动车的精准识别。在对NVIDIA Jetson TX2部署YOLOv3算法时,首先从GitHub下载安装并编译DarkNet源代码,然后下载预先训练的权重参数文件,下载完成后放在YOLOv3目录下,然后通过运行相关代码调用NVIDIA Jetson TX2的外接摄像头,实现对违禁停车区域非机动车的精准识别以及实时监测。当系统检测到在禁停区域有非机动车出现时,将产生一个非机动车检测的输出,此时连接在TX2上的蜂鸣器检测到信号将发出声音,完成对违规现象人员的提醒。
3 模型训练结果与分析
3.1 模型训练
本系统针对非机动车乱停乱放现象进行卷积神经网络的训练,前期我们针对COCO数据集中三类已知的数据集进行提取,之后自己收集并制作了500张带标签的图片加入到数据集中,制作成一个新的数据集进行训练。
在进行模型训练时,首先配置了cfg文件,然后配置了obj.name文件以及obj.data文件并将其放在了相应目录下,预先准备了数据集并对数据集图片上的每个物体做了标记,生成标记文件并放于相应目录下,然后准备了存储图片路径的文件。下载DarkNet-53放至相应目录下,然后进行模型的训练,每当模型训练中断后,在之前的基础上继续训练,通过输出数据查看模型精确效果来决定是否终止训练。在制作的数据集中,我们使用80%的图片作为训练集,剩余20%作为测试集进行测试,识别效果良好。
对模型进行多次训练后,通过输出的数据可以看出模型已可以精确地识别停放在违禁停车区域的每一辆非机动车,并且用时极短,已达到预期目标,可以终止训练。
3.2 识别结果
通过实地调查发现,宿舍楼出口处经常停放非机动车,严重影响了师生的日常生活,因此以出口处的非机动车识别为例来展示本系统的识别结果。通过对出口处的监测,可以看出本系统可以在有非机动车停放时准确地将其识别出,如图2所示。
图2 识别结果
通过多次试验可以看到,当违禁停车区域有机动车停放时,系统可以在短时间内识别出停放的非机动车,并且即使有遮挡也并没有影响识别的准确性,一旦识别出非机动车,嵌入式设备上面的蜂鸣器便会发出警报,由于系统的响应时间极短,因此违规停车的驾驶员可以及时地得到提醒,从而将非机动车移出违禁停车区域,进而提升其规范停车意识。
4 结束语
针对校园非机动车乱停乱放的现象以及校园管理人员无法对此进行有效管理与监测的问题,本文提出了一种基于深度学习的大学校园非机动车乱泊监测系统。本系统通过将YOLOv3算法部署在嵌入式设备NVIDIA Jetson TX2上,并将NVIDIA Jetson TX2与监控摄像头相连,实现了对非机动车乱泊的实时监测。实验结果表明,本系统可以对在违禁停车区域停放的非机动车进行很好的实时监测以及管理,精度和效率都比较高,可以解决由于校园非机动车乱泊带来的一系列道路拥堵等问题。