基于深度学习的车辆异常事件检测研究

郭天鸿,刘海峰,张禹森,祁天星

(国网河北省电力有限公司雄安新区供电公司,保定 071600)

随着智慧交通[1-2]的不断发展,交通事件检测也变得更加智能。本项目将在高速公路路段中进行数据采集与测试,针对如何完成车辆异常事件检测任务进行详细探讨。

本项目中的车辆异常事件指车辆目标做出的有可能妨碍其他车辆正常行驶的行为。本文运用设计的检测方法主要对车辆的违停、逆行、超速、慢行、变道、掉头6 类异常事件进行了准确的检测。该方法可为高速公路车辆危险预警提供帮助,并降低连锁反应导致的交通事故发生率,从而保障车辆通行安全。

1 现状分析

事件检测算法[3-10]发展至今,大致有模式识别算法、统计预测算法、突变理论算法、神经网络算法等类型。传统的异常事件检测算法主要依靠逻辑判断,首先使用目标检测算法对环境传感器返回的数据进行目标检测,再使用多目标跟踪算法对目标进行跟踪,最后基于多目标跟踪后的目标轨迹数据进行逻辑判断,实现交通异常事件检测。例如,当目标位于违停区域且运动速度＜1 m/s 时可认为其是违停,当目标的运动方向与行车方向相反且运动距离＞20 px 时认为其是逆行,当目标的运动轨迹点集与车道线直线方程有交叉关系且目标的运动距离＞20 px 时认为其是变道。

违停事件传统检测算法逻辑流程如图1 所示,为降低异常检测帧的影响,对目标进行逻辑判断时还应求标准差和位移抖动比等。此外,在违停检测逻辑中有一个步骤为计算目标的速度,起初只计算其瞬时速度,这产生了事件检出频繁和误检的问题,后改为计算目标平均速度,虽然检出频繁的问题得以解决,但又出现了检出速度较慢和漏检的问题。

图1 违停事件传统检测算法逻辑流程

随着传感器所处场景逐渐复杂化,为更准确地检测出异常事件,需要对检测算法进行反复探讨、改进、再校验,着重对表达式进行修正、增补并调整参数阈值,这导致检测模型日趋复杂化。交通参与者逐渐增多,异常事件检测中的逻辑循环会随之增加,相关检测耗时也会更长。

以往利用激光雷达实现的交通异常事件检测偏重于检出异常事件,而未考虑及时获取造成异常事件的目标用以验证。因此本项目在异常事件检测后,还将利用雷达、视频融合数据对发生异常事件的位置目标进行视频相机取图。

2 目标设计

本项目应用神经网络算法实现对交通异常事件的检测[11-16],所输入的为激光雷达与视频相机进行目标检测、目标融合以及目标跟踪后得到的具有连续车辆位置信息的数据。对正常目标的违停、逆行、超速、慢行、变道、掉头6 类异常事件应用相同的输入目标数据,通过提取输入数据的多维度特征(车辆位置、速度、航向角、车道偏移等)对神经网络模型进行训练,实现对目标交通异常事件的检测分类。该方法不需要通过大量数据分析寻找最优参数,同时神经网络模型在检测交通异常事件时可以对数据进行并行推理,解决了传统逻辑循环中需要对每一帧图像中的每一辆车进行判断的问题。

本项目中的检测方法可对真实的车辆目标轨迹数据进行训练,归纳出车辆目标不同种类异常事件的轨迹规律特征,从而完成检测任务。该方法可解决传统交通异常事件检测过程中人为确定参数阈值有效性差、易出现漏检与误检、检测结果与事实偏差较大等问题。

3 数据介绍

3.1 智慧路侧基站的确定

车辆目标的可靠轨迹和及时的照片抓拍,是精准检测与验证交通异常事件的必备条件。激光雷达提供的车辆轨迹更加准确、稳定、可靠,视频相机可提供直观的视觉信息与车辆身份信息,因此本项目基于多维度数据视角,利用激光雷达与车道矢量线共同确定车辆目标的详细位置信息,并将激光雷达目标与视频相机的目标相关联。多传感器路侧基站如图2 所示。

图2 多传感器路侧基站

首先对传感器设备进行时间同步,然后对激光雷达与视频相机进行联合标定。

为了实现在高速公路上的长距离检测,需要将多个路侧基站串联安装。为获得各路侧基站的准确位置与朝向,研究过程中采用高精度地图与激光雷达点云数据进行配准,从而实现路侧基站传感器位置与大地坐标系位置的精准转换,再根据联合标定后的转换关系,将视觉检测目标的二维检测信息映射至大地坐标系内,最后根据目标间位置关系将视觉检测目标与激光雷达检测目标进行融合。

路侧基站中,激光雷达主要提供车辆的位置信息,并由此计算出车辆的速度信息;视频相机主要负责提供目标的身份信息,例如车牌、车身颜色、类别等。在本项目中,激光雷达信息将主要应用于异常事件检测过程中;视频相机信息则主要应用于异常事件检测后的取证,不将其作为神经网络算法的输入特征。

最后结合车道矢量线信息与目标位置,共同确定车辆航向角、车道号与车辆偏移车道线距离,对数据进一步细化赋值,得到完备、可靠的融合感知数据。

3.2 输入数据

输入数据为路侧基站提供的目标轨迹数据。本项目设计的神经网络算法输入层为车辆目标的行驶轨迹特征。视频相机属于高频检测设备,而激光雷达属于低频检测设备,扫描频率低,因此结合激光雷达目标检测算法的耗时,最终能够稳定输出的目标检测数据的频率约为10 Hz。在激光雷达目标检测数据输出时,找到距离该时刻最近的一次视频相机目标检测数据进行融合,最终每帧数据间隔约为100 ms。在样本制作过程中选择2 s 内共计20 帧车辆轨迹作为输入数据,每一帧轨迹含x,y,z,θ,v,lane_num,lane_d,Frame_id 共8 个特征,其中,x为目标在坐标系下的横轴坐标;y为目标在坐标系下的纵轴坐标;z为目标在坐标系下的立轴坐标(坐标系为右手坐标系);θ为目标航向角;v为目标行驶速度;lane_num 为目标所处车道号;lane_d 为目标与所在车道中心线的距离;Frame_id 为时间帧号。数据传入帧率代表时间间隔,与目标位置存在一定关联性,因此将目标轨迹数据的时间帧号也作为输入数据。

在数据集制作过程中,为便于区分目标的轨迹特征,加快制作速度,对采集的数据先进行可视化制图,人工区分后再查找对应的数据并进行打标制作。车辆异常事件轨迹示例如图3 所示,其中数字1 与20 表示该20 帧轨迹点的起始点与结束点。车辆目标的20 帧轨迹数据实例如表1 所示。

表1 车辆目标的20 帧轨迹数据实例

图3 车辆异常事件轨迹示例

为了提高样本的均衡性以及算法识别异常目标的准确性,训练输入的目标轨迹数据包括车辆正常行驶轨迹和车辆违停、逆行、超速、慢行、变道、掉头轨迹。对这7 类轨迹数据,将统计采取上述提及的数据格式,采用本文设计的全连接神经网络进行分类检测,以区分各类异常事件。例如违停、超速、慢行事件都可以通过目标的位移距离以及速度进行区分。数据中的速度为标量,因此逆行事件可以通过位移的递增或是递减进行区分;变道与掉头则可以通过目标的车道号变化与车道中心距离变化进行区分。

3.3 验证数据

基于目标轨迹检测出的异常事件,其验证工作需要视频相机的辅助。在本项目中,检测出的目标经过融合与跟踪后都具备唯一的目标ID(identity document,身份标识号码),而每个ID 内都存储有一定长度的历史检测信息,包括激光雷达检测信息与视频相机检测信息。

在完成异常事件检测任务后,对被检测出的目标,可以在其历史检测信息中找到所处位置对应的时间戳以及相应所需取证的视频相机位置,由这些信息便可对异常事件目标进行截图取证。

4 算法的应用及实现

本项目的异常事件检测算法基于全连接神经网络模型进行设计,输入数据为车辆目标的连续轨迹数据。首先进行数据集制作,然后构建全连接神经网络结构,将训练数据输入网络模型中进行训练,并利用最终训练出的模型对目标轨迹进行异常事件检测。根据检测事件时间戳,对视频相机进行目标取图后,利用人工验证的方式验证算法精度并评价算法的检测效果。

4.1 隐藏层与输出层计算

全连接层经过前向传播和反向传播两个阶段,对结构层中的参数进行更新。前向传播可将输入层信息经过各隐藏层计算,传输至输出层并给出结果。反向传播是通过梯度下降法对全连接网络中各层参数进行更新修正,极小化损失函数,最大限度地保证输出结果与预期结果相一致。隐藏层是全连接神经网络模型中最为核心的一层,由若干个神经单元组成。其中的激活函数对神经元的计算结果进行非线性映射,使神经网络可以解决非线性问题。

常见的激活函数有ReLU 函数(rectified linear unit,线性整流函数)、sigmoid 函数(S 型函数)、tanh函数(双曲正切函数)、softmax 函数(归一化指数函数)等,其中ReLU 函数相较于其他函数收敛速度更快,因此选取其作为最终的激活函数,计算公式如式(1)所示:

全连接层各层之间所有神经元相互连接,并使用激活函数实现非线性映射。l层激活函数输出计算公式如式(2)所示:

式中,al为激活函数的非线性映射输出;zl为全连接层(l层)的原始输出;Xl为全连接层输入;Wl为权重;bl为偏置;f为激活函数。

此外,由于神经网络的参数过多,为防止过拟合,增加dropout(随机失活)层,其作用在于每次训练时随机激活某些神经元,未被激活的神经元不进行前向传播和反向梯度计算。

输出层使用softmax 函数计算不同类别概率分布,并选择最大概率类作为输出,具体计算如式(3)所示:

式中,pj为第j类别输出的概率;zj为第j类别输出值;O为类别总数,且所有类别概率累加和为1。

4.2 算法流程

步骤1:初始化各层网络及其参数、学习速率,转至步骤2。

步骤2:输入数据按前向传播过程依次经过全连接层计算并得到输出数据,转至步骤3。

步骤3:计算网络输出值与期望值之间的误差,转至步骤4。

步骤4:判断误差是否大于期望值。若是,按照反向传播过程将误差传回网络,依次求得全连接层输出数据,并更新参数,转至步骤5;若否,结束训练,固定模型参数。

步骤5:根据误差更新相关权重,转至步骤2。

5 试验与分析

5.1 原始数据说明

本项目采用实际高速公路作为数据采集场地,根据点云目标检测算法的最优效果,路侧基站激光雷达安装高度为5.5 m,视频相机与激光雷达处于同一平台,因此其安装高度也为5.5 m。为获取更完整的车辆轨迹,根据激光雷达与视频相机的可靠检测距离,每120 m 间隔安装一台路侧基站,共计10 台基站,可检测范围约为1 200 m。路侧基站检测效果如图4 所示。

图4 路侧基站检测效果

当目标经过路侧基站检测范围时,通过目标检测、融合、跟踪,便可获得在该路段内完备的目标轨迹数据。

该条高速公路路段单月自然车流量约1.5 万辆,由于在自然车流中的掉头车辆较少,因此选择在封路时段采用人工驾车制造掉头数据约1 500条,从中挑选数据并制作试验用数据集。数据集共包含车辆轨迹10 000 条,其中70%作为训练集(在此7 000 条数据内分别有车辆目标正常行驶、违停、逆行、超速、慢行、变道、掉头数据各1 000 条),剩余30%作为测试集。

5.2 参数设置

本项目的神经网络算法为具有3 个隐含层的全连接神经网络。神经网络结构如图5 所示,其由输入层、隐含层1、隐含层2、隐含层3 和输出层共5 层组成。网络有160×64×128×64×7 个节点,其中输入层为20 帧目标数据,每帧目标数据包括8 个参数,共160 个节点,隐含层1 有64 个节点,隐含层2 有128 个节点,隐含层3 有64 个节点,输出层有7 个节点。隐含层的神经元经过经验公式和反复调试获得。

图5 神经网络结构

本项目中的试验环境为Ubuntu 16.04 操作系统,显卡配置为NVIDIA-RTX 3080,显存为10 GB,满足一般训练对批量块大小(batch size)的设置要求。

将处理好的训练数据输入网络模型中,提取和学习轨迹数据特征,通过对设置参数的调整优化完成检测模型的不断训练,使模型可更好地进行收敛,学习到异常事件的轨迹特征。不同训练参数所训练出的模型会存在检出性能上的差异,通过多次试验,得到神经网络训练参数如表2 所示。

表2 神经网络训练参数

训练过程中,训练误差曲线如图6 所示,迭代次数为194 次时,误差达到精度期望要求,最终误差为9.789 07×10-6。

图6 训练误差曲线

5.3 算法评价指标

评价指标包括检出率、准确率以及综合性能,三者的计算公式如式(4)～式(6)所示。

检出率、准确率能够反映事件检测算法的有效性,综合性能是检出率与准确率的调和平均值,其计算公式中准确率与检出率取自各类别事件的加权平均值。

5.4 试验结果分析

为了检验所提出算法的有效性,利用测试集(包括正常目标480 组和异常事件目标6 类各420 组)对训练好的异常事件检测模型进行验证,通过与传统的车辆异常事件检测算法的检测效果进行对比,验证模型的实用性。事件检测算法判别的结果包括正常目标和6 类异常事件目标。

在实际的异常事件检测中,需要依据某一规则判别检测对象是否符合成为异常事件的条件,因此需要根据实际需求平衡检出率和准确率。根据实际高速公路场景下的交通情况,经过多次调教得到传统算法与所研究算法的最佳性能,其中传统算法1 通过计算瞬时速度、降低击打次数研判、降低异常位移比来提高异常事件的检出率,传统算法2 通过计算平均速度、提高击打次数研判、提高异常位移比来提高异常事件检出的准确率。检测结果对比如表3 所示。

表3 检测结果对比

传统算法1 具有较高的异常事件检出率,但准确率较低,影响到了正确目标,使其检出率骤降;传统算法2 具有较高的异常事件检测准确率,但检出率较低,影响到了正常目标,使其准确率骤降,意味着造成的漏检会较多。

本研究算法相较于传统算法取得了更均衡、更优秀的检测结果。其综合性能评分为97.10,分别高出2 个传统事件检测算法3.29 分与4.68 分。同时,对异常事件识别能力的提高也可促进对正常车辆目标检测性能的提高。此外,本研究算法的检测平均时延比传统算法缩短约33 ms,能够在10 帧/s的检测数据输入频率内完成检测任务。研究结果表明,本研究算法能够以更高的检出率和更高的准确率识别异常事件。

值得一提的是,测试集中的数据虽然都经过人工确认,但为了确保工程落地,并提高本研究算法的实际使用体验,在完成异常事件检测任务后,还应根据异常事件检测得到的开始时间、中间时间、结束时间,以及本地存储的视频数据,在对应的检测位置进行取图操作,以验证异常事件。变道事件检出后的目标前、中、后取证图片如图7 所示,逆行事件检出后的目标前、中、后取证图片如图8 所示。

图7 变道事件检出后的目标前、中、后取证图片

图8 逆行事件检出后的目标前、中、后取证图片

事件的取图验证有利于提高事件检出后的工作效率与准确性。

6 结语

研究构建基于全连接神经网络的面向高速公路的车辆异常事件检测算法,以激光雷达检出的目标轨迹结合道路矢量线地图,得到以时间为序列且增加目标速度、所在车道等信息的具有时空特征的输入数据。利用多隐藏层进行特征提取,学习车辆目标轨迹的特征,实现对道路中车辆目标交通异常事件的自动检测。最后以融合后对应的视觉信息,获取目标发生异常事件时的图片信息。试验结果表明,本研究算法的检出率与准确率均高于传统算法,减少了漏检与误检的问题,且耗时更少,具有较高的实用性。

该类研究能够提升对类似道路的全局监控能力,本项目仅对一些常规的交通异常事件检测进行了探讨和研究,对更加复杂的异常事件的检测有待进一步拓展研究。