智慧路灯场景下车祸检测预警系统设计与实现

宋 鑫，张 珣

（杭州电子科技大学电子信息学院，浙江杭州 310018）

0 引言

在人工智能技术飞速发展的今天，智慧路灯（Intelligent Street Lamp）逐渐走进了人们的生活。智慧路灯是在普通灯杆单一照明功能基础上根据所需集成了其他功能的模块化组合［1］。如今随着车辆的不断增加，每天几乎每时每刻都在发生车祸。在人流较多的繁华路段发生车祸一般会获得及时救助，但如果车祸发生在人流稀少的路段，人们往往无法得到及时、有效的救助而导致悲剧的发生。在车祸面前，时间就是生命。在人工智能技术背景下，使用机器替代人工完成该工作成为了可能。在交通事故检测过程中，检测算法是关键，目前关于检测算法的研究，国内外有许多可借鉴的成果。如徐谦［2］提出一种基于视频的车辆碰撞检测算法，使用背景差分法对车辆特征进行提取，并结合车祸发生特点进行判断，但由于检测环境复杂，检测精度波动很大；刘杰［3］提出一种基于RCNN 的翻车事故检测算法，使用卷积神经网络对翻车行为进行检测，但该算法只检测翻车这一类交通事故，应用范围十分有限；凤鹏飞等［4］提出一种基于音频检测的交通事故自动报警系统，利用发生车祸时的音频信息判断交通事故，为从另一角度进行交通事故判断提供了借鉴，但是不同车型或不同车速所造成车祸的音频信息均有明显不同，检测精度较低；Fang 等［5］提出一种基于深度循环极限学习机的事件自动检测算法，该方法具有普适性，但针对复杂环境下的车祸检测，检测精度波动极大。

根据以上情况，本文在道路随处可见的路灯基础上添加一些功能模块作为载体，设计一个车祸预警系统。该系统能检测到车祸发生时的情景，通过功能模块获取车祸相关信息并发送到云平台进行处理，克服了传统算法在复杂环境下检测精度不高的问题。

1 智慧路灯系统总体框架

智慧路灯经过快速发展，目前已逐渐进入到应用试验阶段，使用者可根据不同需求将不同功能集成到杆体之上［6］。本文设计的智慧路灯系统主要分为服务与管理两部分，系统结构如图1 所示。

Fig.1 Intelligent street lamp system structure图1 智慧路灯系统结构

服务部分主要由智慧路灯杆体、通信部分、基础部分、供电部分、增值服务部分、传感通信部分与定位部分组成。①智慧路灯杆体：主要起承载作用，将各功能模块集成到杆体上，使其可更好地进行协作；②通信部分：可集成5G 微型基站，实现网络的大范围覆盖，同时集成通信模块进行信息交互传输；③基础部分：主要包括照明与监控功能，可根据环境自动进行灯的开关并调节亮度，通过在每个路灯安装一个摄像头并调节各摄像头角度，从而在使用最少摄像头的情况下，在最大范围内进行监控，以更好地满足人们需求；④供电部分：采用太阳能供电模式，白天所储备的电量足够夜晚的消耗，以实现节能减排的目标；⑤增值服务部分：可集成有偿的共享充电、充气服务，将剩余电量提供给道路上不具备充电条件的人们进行充电，还可对车辆轮胎进行充气，极大地方便了人们出行；⑥传感通信部分：主要包括监控功能和环境监测功能，并将收集到的信息实时传送给管理云平台。

管理部分的主体为智慧路灯管理云平台，在其中加入检测算法作为智慧路灯的“大脑”，负责为服务部分提供相应的管理服务。

2 算法设计

2.1 系统流程

为尽可能扩大车祸预警范围并节约成本，以遍布道路的智慧路灯为载体进行车祸预警系统设计。车辆事故可分为车辆间事故、车辆单独事故、车辆与固体物碰撞事故三大类［7］。

为减少数据处理量，以缩短识别时间、提高识别速度，采用YOLOV3 目标检测算法对收集到的图像信息进行识别与筛选，只选择出具有车辆信息的视频图像信息。收集大量车祸信息后，提取出图像的灰度阈值特征进行训练，同时利用Kalman 滤波跟踪算法获取车辆的速度、加速度等特征信息［8］。以现有车祸现场图像的灰度阈值作为输入，对其进行分割与边缘删除，获取其中重要的信息定位图像并进行输出。图像识别工作以定位图像作为输入，采用模式匹配技术识别出其中的目标车祸参数。发生车祸后由于司机下意识的反应，会猛打方向盘并踩刹车，从而导致车辆偏移角度、速度及加速度信息发生显著变化。通过背景差分法和卡尔曼滤波法得到的车辆相关信息对车辆状态进行辅助判断，若在模式匹配符合的基础上，车辆的偏移角度、速度与加速度信息同时发生骤变，则进行预警，智慧路灯将得到的位置信息传送到云平台。系统具体流程如图2 所示。

Fig.2 System flow图2 系统流程

2.2 样本信息识别与筛选

随着人工智能技术的发展，人们开始将人的视觉等各种感觉赋予机器，使其能代替人类进行一些复杂工作。视觉是人最重要的感觉，人获得的70%的信息来自于视觉，因此视觉作为主要的信息获得渠道，也将成为机器获取信息的基础。所以怎样让机器人像人类一样具有视觉并分辨出所看到的对象，成为科学家们研究的重点课题，深度学习技术是实现这一目标的关键技术［9］。机器不像人一样具有聪明的大脑，其只能通过对海量数据的计算提取特征来学习需要分辨的对象。令机器人具有分辨对象的能力具有重要的研究意义，其不仅能解放生产力，还能使机器在不适合人类活动的场景下代替人类进行工作。车祸可能发生在道路的任何一个路段，路灯作为道路上几乎无处不在的一种基础设施，为车祸预警提供了有利条件。面对道路上各种复杂的信息，对全部信息进行检测需要花费大量时间，同时车祸分为多种不同情况，包括侧翻、相撞、追尾等，需要多种算法分步协同对多种情况进行检测。因此，本文根据需求为道路随处可见的路灯集成了许多实用功能。首先利用智慧路灯的监控与通信功能，通过摄像头收集到大量视频图像数据，然后使用当前比较流行的目标检测算法YOLOV3 对所有车辆行人信息进行识别，筛除不相关的背景信息，从而大大减少了需要识别的信息量，大幅缩短了检测所需时间，可为后续识别筛选出合适的样本。

2.3 优化后的车祸预警算法

本文在背景差分法［10］基础上结合卡尔曼滤波和模式匹配算法进行车祸检测，在经过YOLOv3 进行样本筛选后，核心算法流程如图3 所示。

Fig.3 Flow of core algorithm图3 核心算法流程

利用背景差分法对经过YOLOv3 算法筛选后的交通信息进行预处理，首先对获得的视频图像序列进行处理，利用初始化过程对背景进行数学建模，获得理想的背景图像，然后对视频图像序列的当前帧图像与背景图像进行差分运算，获得差分图像。根据图像处理的经验设置合适的阈值T，对差分图像每一个坐标点的灰度值与预先设定的阈值T 进行比较。如果像素值小于阈值T，则当前帧的像素值与背景图像像素值相近，为静止图像像素点；如果像素值大于阈值T，则当前帧像素值与背景图像像素值差别较大，该坐标点的差分灰度值可表示视频场景中的运动物体状态［11］。

对当前帧图像与所提取的背景图像作差分运算，如式（1）所示。

获得差分图像后，对其每一帧图像都进行二值化处理。如果差分图像任意坐标点的灰度值大于等于二值化阈值T，则该点为前景像素点，用1 表示；如果差分图像任意坐标点的灰度值小于二值化阈值T，则该点为背景像素点，用0 表示，具体如式（2）所示。

灰度值［9］是模式匹配技术中的一个重要参数，其计算方式如下：

假设车祸现场图像面积为S，车祸时间为t，车祸现场环境下的干扰因素有n 种，环境光强为θ，则车祸现场图像的灰度集合A（i集合中共有m 个灰度值）与灰度阈值β 的关系为：

为保证基于视频分析的车祸现场识别方法具有较高识别精度，需要对灰度阈值β 进行限制，如式（4）所示。

式中，u 代表图像失真率，A0是灰度集合Ai中的最小值。

利用背景差分法获得目标特征参数后，采用卡尔曼滤波跟踪算法实现对目标的有效跟踪，以获取运动目标的运动状态，如轨迹、速度、加速度等。卡尔曼滤波算法具体过程如下：首先进行背景初始化，背景初始化是运动目标检测的核心步骤之一，构建理想的背景模型可以有效提高目标提取精度与识别准确率。本文采用均值背景建模方法提取背景图像，从而提取到质量较高的背景图像，并且能在很大程度上提高算法运算速度和提取精度。然后对处理过的视频图像进行运动目标检测，运动目标检测是目标跟踪的基础。获得理想的背景模型后，采用背景差分法获取运动目标，并使用运动目标的最小外接矩形框近似描述运动目标。之后进行运动目标特征提取，通过对运动目标的检测与跟踪等一系列分析处理，可提取运动车辆的多个特征信息。根据运动目标检测模块中运动车辆的最小外接跟踪窗，获得跟踪窗中心坐标以描述运动车辆的质心坐标点位置。当视频图像序列任意连续两帧中运动目标的质心位置发生移动时，通过质心位移的大小可计算其速度，通过计算两个相邻时刻的速度可得到相应加速度信息，通过位移方向获得质心运动方向，即可求得运动目标的移动速度、加速度及运动方向［12］。通过智慧路灯上集成的监控功能拍摄单向行驶或多向行驶的车辆，监控所拍摄的图像可获取丰富的车辆特征信息。车速检测原理示意图如图4 所示。

Fig.4 Schematic diagram of speed detection principle图4 车速检测原理示意图

利用视频检测车辆速度的核心思想可用经典的速度—位移公式表示，将运动车辆位移除以运动车辆行驶所需时间得到车辆行驶速度，如式（5）所示。

通过上式可以看出，车辆行驶速度求解方法可大致分为两类：①通过车辆行驶单位距离所需时间的长短进行计算；②通过单位时间内车辆行驶位移的大小进行计算［13］。基于视频的车速检测方法一般采用第二种方法计算车速，交通视频每秒内包含固定帧数的连续图像，所以可直接计算得到相邻图像的时间差Δ T。对运动目标的跟踪匹配过程进行研究，运动目标的质心坐标点匹配成功后，记录质心坐标点位置。因为视频图像连续两帧之间的时间间隔很短，所以将视频中运动目标在连续两帧图像间的运动看作匀速直线运动［14］。提取同一前景运动目标第K-1 帧与第K 帧的质心点坐标位置，根据其质心坐标值大小计算运动目标行驶速度，如式（6）所示。

式中，VK为运动目标在第k 帧时刻的行驶速度。根据以上计算得到运动目标每帧速度，同一运动目标的速度值为离散值［15］。为描述每帧图像运动目标的速度变化，可进一步获取运动目标的加速度，计算公式如式（7）所示。

式中，ɑK为运动目标在第K 帧时刻的加速度，vK+1、vK为运动目标分别在第K 帧与第K-1 帧时刻的速度，Δt为连续两帧图像之间的时间差。

最后，进行运动目标匹配。根据卡尔曼滤波工作原理，将预测得到运动目标的质心距离、面积大小作为匹配参数，与该运动目标搜索区域下一帧图像检测到的质心与面积进行匹配［16］。如果匹配成功，选择最佳匹配目标，同时更新该目标模板，为下一帧作准备；如果匹配失败，说明当前帧中可能出现了新目标，则建立新的目标模板，也有可能出现目标丢失的情况，则用预测值作为目标特征信息［17］。对每一个目标匹配完成后，再进行下一帧的跟踪匹配。持续进行帧图像的跟踪匹配，直至视频图像序列结束。

获得上述特征参数数据后，采用模式匹配技术训练大量车祸现场图像，获得灰度值等目标参数，将提取到的目标车祸参数作为模板写入提出的车祸预警方法中。在具体应用过程中，利用模式匹配技术对智慧路灯采集到的有效图像信息进行处理，获得目标特征参数，并与之前训练、存储的模板信息进行匹配。当相似值达到一定范围时，再利用卡尔曼滤波跟踪算法获得的速度与加速度信息作进一步判断。根据车辆碰撞特点，如其在符合匹配模型的前提下，速度和加速度出现了异于正常平稳停车的变化趋势，则可较准确地说明发生了事故。

3 测试结果分析

从UA-DETRAC 数据集中随机选取1 000 张视频片段，其中两车相撞、车辆触障（单车相撞）、翻车3 种情况的图片各50 张，共150 张，在MATLAB 环境下采用文献［18］方法、文献［19］方法与本文方法进行仿真试验。3 种方法识别精度如表1 所示。

Table 1 Identification accuracy of three methods表1 3 种方法识别精度

由表1 可知，本文方法针对车祸的多种不同场景均有较好的检测效果，文献［18］方法、文献［19］方法的识别精度均不超过0.9，而本文方法的识别精度均在0.9 左右，通过添加辅助判断方式使得检测精度提升了约20%。两车相撞相对于翻车与车辆触障事故而言，受环境因素影响较大，所以识别精度有所降低，符合实验预期。通过上述结果可以验证，本文方法具有较高的识别精度。

在相同条件下对上述3 种方法的平均识别时间进行统计，如表2 所示。

Table 2 Average identification time of the three methods表2 3 种方法平均识别时间 单位：s

由表2 可知，识别时间随着车祸类型复杂性的提升而增加，文献［18］与文献［19］的方法由于需要使用神经网络进行复杂的迭代运算，需要消耗大量计算时间。本文方法针对消耗时间的步骤进行优化，采用算法并行方式可在一定程度上节省识别时间。因此，本文方法相比其他两种方法识别时间显著缩短，性能有了极大改善。

4 结语

本文利用道路旁随处可见的路灯并结合人工智能技术，设计一个智慧路灯场景下的车祸预警系统。首先使用YOLOv3 目标检测算法对智慧路灯获得的大量视频数据进行筛选与处理，筛选出只包含车辆信息的视频图像，然后利用背景差分法与卡尔曼滤波跟踪算法获得车辆的灰度值和速度、加速度等车辆特征信息，之后根据已有的车祸特征信息建立识别模板，对获得的车辆灰度值信息与模板在一定范围内进行匹配，匹配成功后再结合获得的车辆加速度与速度信息进行辅助判断。由于车辆事故发生的突然性，其车辆速度及加速度信息必然与平稳停车有所差别，利用该特点可进行事故的辅助判断，从而提高检测精度。但本文方法目前仍存在一定缺陷，如车祸现场的复杂程度往往对检测精度有较大影响。随着人工智能技术应用于交通领域的相关研究越来越深入，相信未来会提出更加完善的识别算法。