基于大数据架构的智能交通可视化平台设计

于志青

(河南警察学院 交通管理工程系,河南 郑州 450046)

1 引言

随着社会经济的发展，机动车保有量不断上升，城市交通路网、高速公路及其他公路不断扩展，公安交通管理部门的任务日益繁重，需要处理的信息量越来越大。为了更好地实施道路交通管理，公安交通管理部门必须利用云计算、互联网、大数据、地理信息、人工智能等新一代信息技术，融合接处警、路面执勤、电子警察、智能卡口、停车场，以及其他执法终端等各类基础信息资源，辅助交警指挥决策，实现道路交通管理的网格化、智能化、可视化，提高交通管理的水平，构建智能交通，为智慧城市的建设提供支撑。大数据在智能交通方面的应用，有许多学者进行了研究，如文献[1]，通过大数据技术，分析了交通流量分布特征与空气等级之间的关系，交通事件与违法车辆数据的时空分布特征等。文献[2]探讨了大数据技术在智能交通中的实践，文献[3]讨论了应用大数据技术构建智能服务平台等。将大数据技术应用于公安交通管理的实践方面，各级公安机关开展了不同层次的大数据应用，如深圳市公安局交通管理局，在汇聚各种数据资源的基础上，建立了一个全方位、多渠道、全覆盖的交管大数据平台，该平台通过大数据应用，可及时发布交通诱导信息、出行信息等，并拓展到数据驱动警务预测社会管理层面。关于将地理信息技术、可视化技术应用于交通管理，文献[4]研究了告警与速度的关系作为可视化对象，设计了可视化方案，文献[5]讨论地理信息技术在路网分析中的应用。将大数据技术、地理信息技术、可视化技术应用于智能交通方面，研究较少。本文重点利用大数据技术、地理信息技术、构建智能交通可视化平台，给出平台的体系结构、技术架构，并进行功能设计。

2 基本技术

2.1 大数据技术

大数据技术发展非常迅猛，无论是以分布式存储、分布式计算、数据交换、业务协同等为代表的大数据基础技术，还是以结合行业用于分析规律和预测未来的算法、模型等为代表的大数据应用技术，正在逐步丰富其内容。目前，一般意义上的大数据架构包括多个组件，根据业务场景的不同，组件可适当增减，各组件之间互为补充，大数据架构如图1所示。

图1 大数据架构

Storm是实时流处理引擎，Spark是机器学习引擎、各种文本、图片、语言、视频等非结构数据处理引擎等，Neo4j是一个高性能的NoSQL图形数据库，它将结构化数据存储在网络上而不是表中。

2.2 数据可视化技术

数据可视化是利用计算机技术及图像处理技术，将数据转换成图形或图像并显示出来，进行交互处理的技术。数据可视化一般可分为数据分析、处理和视图生成三个环节。数据分析环节的目的是要明确可视化目的，以什么样的方式展示数据(如图表等)，以便确定数据预处理的算法、视觉编码等，对于不同的数据结构要利用不同的视觉编码进行展示。数据处理环节是对数据进行清洗、转换、分析等，其目的是为下一环节提供高质量的数据，确保系统处理的高效性和展示结果的真实性。视图生成环节是指通过一定的算法、模型等，通过不断的迭代和修正，生成预期的数据图表展示效果。

2.3 基于大数据架构的地理信息技术

空间数据库：基于关系-对象型的空间数据库系统，实现对于基础地理信息中的矢量地图、业务图层的统一管理，与其他业务系统的数据库对接和数据集成。

分布式文件系统：采用Hadoop等分布式文件系统，对地图瓦片数据等非结构化、半结构化数据进行存储管理。

NoSQL数据库：对于实时位置信息和轨迹信息等海量离散时序信息，采用NoSQL数据库进行存储、处理和统一建模和分析。

并行数据库：采用MPP数据库进行存储和管理，满足传统关系查询的业务需求以及大规模数据存储的要求。

3 平台的体系结构

基于大数据架构的智能交通可视化平台体系结构主要有接入层、数据层、服务层、应用层等，按照相关标准，并进行信息网络安全保护，其体系结构如图2所示。

图2 平台体系结构

平台的接入层主要有交通警情、信号灯控制系统、交通信息诱导发布系统、视频监控系统、重点区域停车场管理系统等交通信息，同时也接入来自互联网及社会资源相关交通信息，以及路网状况信息与地理信息系统(GIS)融合，完成实时位置海量信息并发，大数据融合上图等，实现交通管理信息一张图，可提供各种交通管理的可视化服务。

2014年，喀什市色满乡落实扶贫资金30万元，发放了100台刺绣机；2015年，喀什市色满乡落实项目资金118万元，建设了164户的庭院经济项目和60户棚圈建设项目；2017年，喀什市色满乡落实了252.88万元项目资金，完成334户的畜牧养殖项目和资产收益分红项目。

数据层：主要内容有数据整合治理、大数据架构的数据库搭建、地图融合等。数据整合治理包括数据汇聚、清洗转换等。数据库搭建主要是指基于大数据架构，包括定位数据库、业务库等。业务库是根据交通管理业务产生的各类数据构建的，支持大数据的分析运算。

地图融合：是指各类时空数据经过地图引擎，实现上图的过程。时空数据包括基础地理数据、交通管理专用地理数据等。

服务层：主要包括地图服务和智能应用服务、可视化服务等。地图服务是指地图的基本功能，如测距、浏览、切换、定位、地图工具等。智能应用服务包括智能搜索、拥堵预警、路网路况等。如智能搜索可提供基于地图服务或空间数据服务的相关空间位置等的属性查询。

应用层：主要包括可视化指挥、重点区域疏导等。可视化指挥是指基于地图可视化的态势分析、指挥调度等。在态势分析方面，可实现交通警情态势可视化、交通路口态势可视化、交通业务态势可视化、资源动态发布可视化等。重点区域疏导，如市区大型活动区域、商业区等周边交通态势及疏导可视化。

这里的可视化包括地理信息系统展示的可视化和大数据的可视化以及基于地图的大数据可视化。

大数据可视化：通过数据可视化技术，将多源异构数据融合分析得到的难以读懂结果的图表等形式直观表示出来，帮助人们根据图表所表达的特征得出相应结论。如以柱状图、饼图、折线图等形式对智能卡口、道路视频监控、电子警察等前端设备在线情况、运行情况、实时过车数据等进行监控和统计，以直观立体的数据展示。

基于地图的大数据可视化：主要是指将多个兴趣点聚合为一个点，在地图上进行分级展示；通过颜色的变化，表示各对象在地图上的聚集和分布，展示不同对象在地图上各点之间的流动情况，如将人、车、物等基本信息在地图上进行可视化展示，可立体直观的了解多目标的轨迹信息及运行状态。将道路视频监控在地图上进行展示，当有情况发生时，可通过地图显示并查看历史及实时视频信息，及时掌握现场情况。

4 平台的技术架构

时空大数据具有量大、多元、异构、多变动的特征，具有典型的时序关系，传统的关系型数据库很难管理和处理，可采用类似Hbase的分布式数据库加以管理和处理这些时空大数据，使用列式表存储。为了方便各种轨迹和各时段的查询，应建立对象身份号、空间多交叉树、时间戳等多种检索方式，实现数据的多效多应用查询。

基于大数据架构的智能交通可视化平台技术架构如图3所示。

图3 平台技术架构

数据层：底层的数据架构采用大数据产品做数据支撑，配以关系型数据库。对大数据产品可选用国产的华为、阿里、星环等大数据管理系统，各组件根据业务需要进行安装，如基于Storm实时流处理引擎、基于HiveSQL的结构化分析引擎、基于Spark的机器学习引擎、视频图像等非结构数据引擎等。关系型数据库可选用Oracle、MySQL等，主要用于存储业务系统产生的数据和各种基础数据。大数据产品支持关系型数据库、文本、图形、音视频、物联网等多元异构数据的接入。

应用程序采用J2EE架构，软件开发可采用SpringMVC模式，Spring可作为整体的基础框架，利用SQL调用大数据架构的底层数据，用JSP进行页面处理，可用Action负责页面与后台数据交换，用WebSphere等中间件实现服务器信息的发布。

对于智能交通可视化平台，除了传统的数据存储和查询需求之外，还要对关于交通管理的各种数据，包括时空数据进行深度的挖掘和分析，以获取有更大价值的信息。因平台采用的是大数据架构，可以考虑用MPP等技术框架来实现对数据的挖掘分析。因MPP是一种实时数据分析技术，适应于实时或离线的分析处理，MPP架构目前被广泛应用于并行数据库，如用MPP存储管理智能智能卡口数据、交通视频检测数据等，既可满足日常查询，又适用海量数据的存储。在使用时，可将MPP与Hadoop进行融合，用MPP处理量大、高质量的结构化数据，可以应用提供SQL调用和事务支持能力。用Hadoop实现半结构、非结构的数据处理，二者有机融合。

因平台基于地理信息系统的大数据可视化展示，因此地理信息系统应能实现对各种线、箭头、文字等信息绘制；实现各种轨迹的动态绘制及控制操作；实现散点图、热区图、等高线热力图的加载与展示；实现各种定位信息的图层实时绘制和展示。

因Spart架构不能直接实现对数据的可视化，因此可在平台上部署数据可视化Zeppelin框架，Zeppelin是一个交互式变得可行的基于网页的notebook数据分析工具，提供了数据分析、数据可视化等功能。

5 平台功能设计

基于大数据架构的智能交通可视化平台，由于采用大数据技术、地理信息技术、可视化技术等，实现多源数据的融合，数据交换与共享，智能交通的各种业务可以以图形、图表等可视展现，或以地理信息系统可视化方法展现。在融合了各种交通管理大数据的同时，也融合了时空大数据，因此具有时空信息的分析和挖掘、区域快速定位、资源状态感知展示(包括道路、设施、车辆、人流等)、交通诱导、交通信号控制展示、车辆动态轨迹、路网运行监测与交通态势研判等功能。其功能设计如图4所示。

图4 平台功能模块

系统管理：包括用户管理、权限管理、参数设置、系统日志管理等。

数据管理：对不同来源、不同结构的数据进行清洗、转换等管理，以及定时和实时同步等方面的管理，确保数据的真实性、完整性、鲜活性、可能性等。

模型管理：分析研判是基于各种模型算法的，包括基础模型算法和自定义模型算法，也即是平台提供一类常用模型算法，如车辆违法分析模型、交通事故分析模型等，同时平台还可以根据业务需求，向用户提供快速构建分析研判模型的功能。

全时空数据分析研判：可在地图上选定多个区域，在设定的时间段内经过这些区域内智能卡口、视频监控点或路口上的车辆数。还可以在地图上选定几个加油站，通过对加油站周边智能卡口、视频监控，分析出某些车辆常去的加油站。道路交通事故数据分析、非工作日及非工作时段异常数据分析，交通违法数据分析等及可视化展示。

可视化指挥调度：通过地理信息系统，将各种资源在地图上显示，可实现视频、语音、网络等方式的指挥调度和图上作业。

全息档案：通过构建数据种类丰富、动态及海量数据的数据库群，形成智能交通大数据，为数据的可视分析研判及应用提供数据支撑。

移动应用：实现各种移动智能终端的应用，如各种指挥调度信息的接收，地理信息在线及离线应用，与指挥中心的信息交换等。

6 结束语

基于大数据架构的智能交通可视平台是以地理信息系统为基础，融合各种智能交通数据，以大数据分析技术手段，以智能交通管理为目标，利用融合通信技术，实现交通态势感知、时空数据分析研判、可视化指挥调度等功能。平台充分整合利用交通信号控制信息、电子警察及智能卡口信息、智能停车场信息等交通管理数据，利用多源数据分析引擎技术、实现数据分析研判结果的可视展示。平台设计采用面向服务、面向组件的先进技术、可保证系统有较长的生命周期，在功能设计方面，基于交通管理业务，注重实际需求,有一定的理论和应用价值，可为智能交通的建设提供参考。