多模态信息联动的交通态势感知平台解决方案

王祥雪 林焕凯

（高新兴科技集团股份有限公司，广东广州 510663）

随着智能交通建设和应用的不断深入，路网交通态势感知逐渐引起学者的关注。商林政[1]指出交通态势感知的数据主要包括卡口视频抓拍数据、电子警察系统数据，以及地感线圈、微波检测器等获取的交通流量数据，并针对交通态势的可视化方法进行了深入研究。李晨放等[2]公开了一种城市交通态势感知及可视化方法，利用视频识别、大数据分析、数据融合、互联网、可视化等技术，实现多源交通数据的融合，并通过可视化界面将不同层面的反映城市交通态势的参数于一张图展示。孙强等[3]公开了一种基于大数据的城市交通态势感知方法及预警系统，通过配合使用云服务平台和探测单元，对影响城市道路交通的车流量、车队长度、车速、车道占用和行车时间多种因素的数据进行采集，进行加权平均得出当前城市整体路段的交通态势。刘博等[4]公开了一种交通运行态势感知方法、模块及系统，通过监测管控路网的交通流数据，获取路网宏观基本图，基于加权密度和加权流量所处的位置区间确定管控路网的交通运行态势。Wang等[5]和陈苑文等[6]分别研究了网络数据和社交媒体数据对交通态势感知的增强作用，探讨了媒体数据如何支撑交通管控策略制定和管理规划的工作。

目前，对于如何基于交通数据获取全面的交通运行态势并面向具体的交通业务展开融合应用的研究较少。因此，构建一个覆盖城市较大范围且实现全方位多级联动的交通态势感知平台，仍缺乏成熟的技术和方案。

现有的交通态势感知方案存在如下缺点：（1）数据分析缺少全局视野：很多交管部门的指挥大厅里通过大屏幕打造了全局监控视野，但是车辆信息识别和分析并没有按照路网形成有效的串联，难以从数据层面掌握路网交通运行的整体水平。（2）系统间缺少可视化联动：同一个区域路网中的路段、交叉口监控视频之间互相独立、缺少关联，无法进行串并联分析，联动效果差，难以支撑交通管制和应急指挥调度。

针对上述问题，本文主要从三方面展开研究：（1）研究面向大范围路网的交通态势感知平台总体解决方案，融合应用深度学习、计算机视觉、图像处理等理论和技术，构建从基础数据感知到业务数据应用的整体流程；（2）研究系统级可视化联动技术，实现车辆识别系统、高点视频监控系统和雷视融合系统的坐标系融合，并根据车牌号码进行多模态信息绑定，实现路网道路交通全面可视化联动；（3）研究面向业务的大数据挖掘，以多模态交通运行大数据为依据，基于各子系统的分析结果，对车辆、交通事件、路段（交叉口）运行状态进行串联分析，从数据角度全面反映路网交通运行的整体情况。

在解决上述问题的基础上，结合区域城市路网交通态势感知试点应用，从各子系统的性能指标对本文所提出的交通态势感知平台进行综合评价。

1 交通态势感知平台总体方案

本文提出的基于多模态信息融合的交通态势感知平台主要包含5个模块，如图1所示。

图1 交通态势感知平台总体架构

（1）底层数据感知模块：主要是指道路场景中所有视频和雷达采集设备。（2）基础数据分析模块：主要包括雷视融合分析、车辆识别和交通事件检测三个子系统，基于深度学习、计算机视觉和图像处理等技术，对感知到的各类数据进行初步分析，并将结果向上传输。（3）多模态数据联动：在统一各子系统坐标系的基础上，对下层输出结果进行融合和绑定，再通过高点球机视频画面实现多模态数据的联动和交互。（4）业务数据挖掘：对路网全时段交通流量、速度进行统计，输出交通量时空分布图，进而识别关键路径、道路结构瓶颈；拥堵判定并支撑交通事件快速处置和交通疏导；统计路口通行量、各方向排队长度，进行红绿灯配时优化；进行车辆大数据应用。（5）可视化数据应用：支持交通态势信息的全方位可视化，高低、人机多维度多模态数据联动，进而对重大活动安保和应急指挥调度提供有力支撑。

2 高点视频画面多模态数据联动

2.1 接入子系统简介

（1）车辆识别系统：通过部署在后端服务器中的深度学习视觉算法对卡口抓拍图像进行分析，输出车牌号码、车牌属性（车牌颜色、车牌类型）、车辆属性（车辆品牌、年款、车身颜色、车辆类型等）、抓拍时间、车道号、抓拍地点等初步分析结果。（2）雷视融合分析系统：通过部署在边侧的智能计算设备对激光雷达、毫米波雷达和监控摄像头采集的数据进行分析。通过分析摄像头采集的视频数据，对交通参与者（机动车、非机动车、人）进行定位和分类，并识别出机动车的车牌号码；通过分析雷达点云数据，获取每个目标的经纬度信息，对雷达和视频的坐标系进行融合标定，输出交通参与者的坐标和属性信息。（3）交通事件检测系统：通过部署在中点位置（高于卡口但低于高点球机）的摄像头对道路监控视频持续轮巡分析，主要检测各类交通事件，生成事件信息及关联视频，并及时上报给交通管理部门。

2.2 多模态数据联动

多模态数据联动的核心和关键是基于车牌号码的多维数据绑定和多个子系统的坐标系融合。基于上述三个子系统的输出信息，数据联动的流程如图2所示。

图2 高点视频画面多模态数据联动实现方案

具体步骤为：（1）构建车辆识别系统、雷视融合分析系统、交通事件检测和高点球机监控视频的统一坐标平面；（2）基于车牌号码将雷视融合分析系统的输出信息和车辆识别系统的输出信息进行绑定，获得车辆基础信息（车牌号码、车辆属性、行驶速度、经纬度坐标）；（3）针对机动车违法事件，对违法事件发生视频截取保存，并将车牌号码与事件信息进行绑定；（4）输出车辆基础信息和交通事件信息，实现高点视频画面中的多模态数据联动。

多模态数据联动的具体情形主要包括：（1）点击高点视频画面中的运动目标，联动显示车辆基础信息，是否涉及交通事件等；（2）点击高点视频画面中的动态标签，以画中画形式联动中点球机、卡口的各个视频监控和点云画面，并实时显示通过车辆的基础信息、事件信息等；（3）点击交通事件，联动调阅机动车违法事件发生时的监控视频，并显示涉事车辆的基础信息。

3 面向业务的交通大数据挖掘

3.1 交通态势时空分布统计

基于交通态势感知平台的综合感知，对覆盖的路段和交叉口进行车辆计数，得到整个路网各个路段的交通流量，同时根据雷达测量的车辆行驶速度计算出路段行驶车辆的平均速度，从而得到路网内交通流量、通行速度等态势的时空分布统计，从而抽象出路网交通运行的周期性的规律。

（1）关键路径识别。一般情况下，路网中的关键路径和主干道是一致的，但交通参与者的出行选择往往是动态变化的，因此，只有通过基于全量数据统计的系统展现，才可发现路网覆盖的所有的关键路径。针对交通流量大、行驶速度缓慢的路段，进行交通管制和分流诱导，从而缓解区域通行压力，提升整体通行效率。（2）道路结构瓶颈识别。通过时空分布图可以直观地了解路网内的拥堵情况，再结合相关交通事件的统计数据，可以快速确认拥堵产生的原因，如路口渠化不合理、匝道与地面缓冲长度不合理、快速路出入口不合理、交通信号灯位置不合理等。（3）交通信号灯配时优化。基于上文的路网交通态势时空分布，可直观了解路口、路段的通行状况和排队长度，同时结合关键路径、道路结构瓶颈等参数，即可对单点、干道甚至区域的交通信号灯进行联合配时优化，从而提升区域路网的通行能力。

3.2 面向应用的车辆大数据挖掘

本文提出的交通态势感知平台不仅可以支撑宏观交通管理决策的制定，同时也可以面向不同场景进行车辆大数据挖掘，例如面向刑侦研判的套牌车识别、昼伏夜出等车辆技战法。

4 综合评价指标

4.1 车辆识别子系统

车辆识别系统主要完成对车辆身份信息和属性信息的识别，主要包括精确率（Precision）和召回率（Recall）两个评价指标，车牌号码和车辆属性准确率均达到实战级别，评价结果如表1所示。

表1 车辆识别系统精度 单位：%

4.2 雷视融合子系统

雷视融合子系统中的关键任务分别是对交通参与者进行定位追踪和分类，结果如表2所示。其中，交通参与者包括大中型货车、大巴、公交车、小车、出租车、二轮车、三轮车和行人共8个类别。

表2 雷视融合子系统性能指标

4.3 交通大数据挖掘

团队在多个项目中试点完成了单点交叉口的红绿灯配时优化，可辅助交通管理部门实现精细化的智能交通管理。在面向业务应用的交通大数据挖掘方面，实现了轨迹分析、关联分析、套牌分析、初次进城、昼伏夜出等十多种车辆技战法，帮助公安刑侦发现多起套牌车、假牌车事件。

5 结语

本文提出一种融合多模态信息的交通态势感知平台，通过构建车辆识别系统、雷视融合分析系统、交通事件检测系统的统一坐标平面，实现基于车牌号码的多模态车辆信息绑定，搭建全方位可视化联动系统，实现了路网交通态势时空分布统计，支持多类型交通管理业务数据的挖掘，进而有效提升城市道路通行效率，辅助加强重点车辆管理；同时对重大活动安保、应急指挥调度提供有力支撑，助力打造高水平智能交通管理系统。