大数据成智能交通发展新引擎

张红+王晓明+曹洁+朱昶胜

信息通信技术的发展，使交通运输从数据贫乏转向数据丰富的大数据时代，北京市6万余辆出租车一天就会产生数亿条GPS数据，车牌识别、交通监控视频等数据量更大，交通相关的数据量级已从TB级别跃升到PB级别，对智能交通系统的运营和管理产生了巨大影响。面对众多的交通大数据，如何对其进行准确、高效的处理和分析及预测，挖掘其中蕴含的深层应用，做出即时和正确的交通诱导和疏通，以有效改善实际交通拥堵状况成为智能化交通信息处理分析的核心内容。

交通大数据应用带来变化

交通大数据的活化应用对交通的发展将带来巨大的变化，这主要体现在大数据技术的实时性、分布性、高效性及预测性方面。在实时性方面，传统的海量数据模糊查询和统计分析无法达到交通实时性的需求，大数据能够实时地对交通大数据分析、处理，提供秒级响应，帮助人们在海量的交通数据中快速发现交通异常，并定位症结，方便交通管理，使交通运行得更加合理。

从分布性角度入手，传统的数据应用多为单表挖掘分析，一旦涉及到跨表关联就会因效率问题而无能为力，大数据的分布式并行处理擅长复杂的块表关联分析，推动数据串并关联，提高数据处理能力，支撑高并发多用户访问，协同人们在交通紧急事件中多方协作、快速处置。高效的交通大数据挖掘能力，能够快速发现海量交通数据中的内在关联规律，进而提高交通运营效率以及路网的通行能力。伦敦市利用大数据减少了交通拥堵时间，提高了交通运转方面的效率。

大数据技术较高的预测能力可降低交通状态误报和漏报的概率，通过建立区域交通状态的监测及预测模型，共享交通运行与路况环境数据，随时对交通的动态性进行实时监控，帮助驾驶者及用户预先了解交通拥堵状况，避开拥堵路段。

数据对交通的巨大影响除了以上几个方面外，对交通环境的安全性也有巨大影响。大数据的实时性和可预测性以及综合的决策模型有助于提高交通安全系统的数据处理能力;大数据快速整合各个传感器数据，结合车辆运行轨迹数据，综合分析车辆行驶安全性，为应急决策提供辅助，提高应急救援能力，有效降低交通事故的发生。由此可见，大数据技术的出现及应用能够有效地解决智能交通面临的好多难题。为了利用大数据技术，深入挖掘交通数据的潜在价值，就迫切需要一个数据管理平台来处理各种类型和规模的数据。

交通大数据处理平台

交通大数据处理基本流程与传统数据处理流程基本相似，整个处理流程可以概括为数据采集、数据录入和预处理、数据存储、数据处理和结果展现。由于交通大数据要处理大量的、非结构化的数据，如视频数据及监控数据，而且要求处理的强实时性，所以在各个处理环节中采用MapReduce分布式计算框架以及实时流数据处理计算框架;数据存储采用支持文本和图像存储，面向列、可伸缩，支持事务以及B树范围查询和排序的分布式数据库HBase和分布式文件存储系统HDFS依据大数据处理流程及交通数据处理的特性。

整个平台的构建分为两部分，依次是对交通大数据离线批处理、深度挖掘的Hadoop生态系统以及对交通大数据进行强实时流式计算的Storm处理系统，使用构建在Hadoop生态系统上的分布式日志处理系统Chukwa收集交通数据源，用数据同步工具Sqoop实现各种交通数据源和Hadoop分布式文件系统HDFS间的数据转移和传输。

鉴于交通流数据处理的强实时性，系统构建对Hadoop平台进行了扩展，引入实时大数据流处理系统Storm。因此在交通大数据处理层包含基于Hadoop的分布式离线处理计算框架和基于Storm的实时流数据处理计算框架。其中，MapReduce通过Map和Reduce两个步骤实现交通数据的并行处理;Impala提供SQL语义，对存储在Hadoop的HDFS和HBase中的PB级交通大数据实现交互式的快速查询;利用Mahout提供的可扩展的机器学习和数据挖掘的分布式框架，实现交通大数据的并行分析与实时挖掘。

Storm平台克服了Hadoop平台不能有效适应实时数据处理的缺陷，提供全内存计算，实现对流式交通数据的实时处理，它提供的输入流组件Spout负责将数据传递给另一个组件Bolt并执行任务，例如交通流数据的过滤、计算、访问文件、数据库等方面，并创建新的流作为下一个Bolt的输入流。

数据展现层利用大数据分析工具实现结果数据的可视化，迅速有效地简化提炼数据流，提供具有交互功能的动态图表，帮助人们探索和解释复杂的数据，理解和分析数据的内涵与特征，更好地从复杂数据中得到新的发现。

交通大数据处理体系框架

交通数据不仅量大而且异构源多，实时性要求强，处理速度快，是典型的大数据，如何利用好这些多源的大量数据为交通决策与诱导提供便利，有效缓解交通拥堵是交通领域的难题，也是智能交通首要解决的问题。在综合考虑了交通数据的特性以及应用需求的基础上，交通异构数据源有结构化的数据大部分都是非结构化的数据，这些数据源主要包括无线射频识别数据、视频监控、卡扣数据（包括ETC、交叉口信号灯等）、GPS轨迹数据、IC卡刷卡数据、交通应用服务数据等。

数据处理层是大数据处理体系框架的核心层，Sqoop整合数据源数据，存储于分布式数据库HBase中。这里采用基于HDFS的HBase和Impala的存储系统，Impala提供实时的交互式SQL大数据查询功能，直接从HBase中用SELECT、JOIN和统计函数查询数据，实现快速的大数据存储和分析。

根据不同的交通需求，系统设计了两套计算框架，MapReduce离线计算框架用作交通模型的预测和交通运行规律的挖掘，Storm实时交通流计算框架用于处理实时交通流数据，并对交通流进行短期的预测，数据处理结果进行可视化分析，以动态图表的形式展现给用户。

交通大数据的处理就是要对数据进行深层分析、挖掘数据所蕴含的深层知识，寻找数据内部隐藏的规律，这里主要包含居民日常出行行为、居民的出行模式、依据城市特点的交通运营决策及规划、居民个体活动知识、城市的动态性特征、城市的空间分布规律等。对交通视频及图像采用CUDA架构，快速提取其特征和摘要以备挖掘分析，对卡扣和应用服务数据及GPS等数据基于MapReduce计算模型用Mahout进行并行分析与挖掘，形成知识，为智能交通系统提供更高层的应用与管理。

众所周知，所有的研究都将归结于应用，大数据为智能交通的进一步发展起到了极大的促进作用，主要产生了以下几个方面的应用：交通拥堵自动检测、路网地图更新、交通供求分析、道路规划、交通费用预测、实时路况展现、交通异常检测、智能电子停车、出行信息服务、交通诱导等。数据是驱动智能交通发展的基础，大数据技术的开发利用将为智能交通的进一步发展带来质的飞跃，同时为人们的生活带来便捷。