大数据在交通领域中的应用

中国交通通信信息中心 吕浩涵 赵 正

大数据在交通领域中的应用

中国交通通信信息中心 吕浩涵 赵 正

交通拥堵是世界性的社会问题,尤其在我国,更是亟待解决的问题。为环节交通拥堵现象,对交通状况进行实时地了解,发展以Hadoop为技术手段的大数据时代下的智能交通系统,可以及时地提供较为准确的数据信息,为交通领域的管理提供更加可靠的参考。

大数据;智能交通系统;Hadoop技术

汽车产业伴随着全世界的社会和经济的高速发展,正在成为人们日常生活中不可或缺的部分,汽车数量的急速增长所带来的交通堵塞和环境污染等问题越来越明显。目前,交通堵塞已经成为我国最为突出的社会问题,不仅影响了人们的生活水平和生活质量,同时还造成了重大的经济损失。如何处理日趋严重的交通堵塞问题,成为了我国乃至全世界都非常重视的焦点问题。伴随着智能时代的来临,对于交通堵塞的随机性强、复杂多变、数量巨大和周期性等特点,目前多采用智能交通系统来处理交通问题[1-2]。智能交通系统是建立在大数据基础上的。大数据技术不仅可以对庞大的数据进行存储,还可以对数据进行处理和分类,有效地提高和改善了城市交通问题。Hadoop是一个云计算的平台,可以对数据进行分布式的存储和处理,在智能交通系统中较为常用[3]。

1 大数据与智能交通系统

1.1 大数据

大数据(Big Data,BG)初始时被用于IT行业,是一个海量的数据集,有着数据容量大、处理速度快、数据复杂多样和数据可操作性强等特点。大数据的优势十分明显,但是如何对如此大量的数据进行处理就成为了大数据研究中的重要问题。依托于不同的传感器,大数据可以被采集、被存储,同时还可以被读取和计算,进行更加专业的处理和分析,而且应用十分广泛,包括商业、地球化学、医疗、交通、犯罪学和法律等多个社会领域。

1.2 智能交通系统

智能交通系统(Intelligent Transportation System,ITS),是建立在电子信息技术、通信技术、计算机技术以及传感技术基础上,被广泛应用于交通运输行业的一个服务性操作系统,可以对数据进行智能化的采集、处理与分析,并可以随时读取、利用与预测。ITS系统包括基础服务、数据分析和终端发布三个部分,包含交通监控、车辆管理、货运管理和紧急救援等多个子系统,所采集的数据根据来源与应用分为传感器数据、系统数据、服务数据和应用数据等多种类型。

在ITS系统中,数据分析多采用的是Hadoop技术对采集的数据进行实时处理与分析。

2 Hadoop技术

2.1 Hadoop概述

Hadoop是Apache软件基金会(Apache Software Foundation,ASF)借鉴于Google云计算系统,在2005年引用并研发的分布式系统,用于大数据的计算与处理,存储与应用;其结构主要分为:分布式文件系统(Hadoop Distribution File system, HDFS)、映射归约(MapReduce)编程模型和基于Hbase和Hive的非关系型分布式数据库Big Table;具有较强的扩展性、高效性、可伸缩性和可靠性。

2.2 Hadoop框架

Hadoop是将HDFS中存储的原数据,利用MapReduce框架中的计算模型进行处理,再将结果存储到HDFS中,再利用Hive和Hbase进行搜索与调用。

2.2.1 HDFS结构

HDFS采用的是分布式的主从结构,是Hadoop结构数据存储的基础,不仅可以对数据进行数据处理,同时还可以对硬件的故障进行检测,并及时进行反映与处理,完全可以在廉价的机器上实现数据的存储与预处理。HDFS是建立在数据节点(Datanote)基础上的,多个Datanote对客户端输入、删除等处理进行响应,并将其反馈到名目节点(Namenote)后进行持久化的原数据存储。

2.2.2 MapReduce结构

MapReduce是Hadoop结构中的数据计算与处理的框架,原数据需先后经过Map函数和Reduce函数两个阶段:在Map函数阶段在数据的存储节点上对数据进行格式解析等处理,将得到的键值Key/Value,再通过Reduce函数进行数据匹配,这两个阶段都是通过框架中计算模型的输入(input)和输出(output)来实现数据的处理的。

2.2.3 Hbase和Hive结构

Hbase是以HDFS为基础,且在列的模式下构建的开源数据库,同时还适用于非结构化的数据,利用HMaster功能对数据进行增、删、改、查,对分区(Region)进行重新分配,最后再进行数据的整合与恢复。Hive是以Hadoop为基础构建的数据仓库工具,可以对不同类型的数据进行存储,并将其映射为数据库表,再利用类SQL的HiveQL语言对Hbase数据库进行查询,整个过程不涉及对数据的填、改。

3 Hadoop技术在交通领域中的应用

Hadoop技术在交通领域中的运行过程为:

(1)利用GPS定位系统实现交通数据的接收与发送载体,获取包含地理位置、时间轴、行驶速度与方向等信息的不同类型的数据,经过预处理去除异常值,自动生成存储文件保存在HDFS中;

(2)通过Map函数和Reduce函数对交通系统中车辆的地理位置、时间、行驶速度与方向等信息进行读取与匹配,进行数据的分析与整理;

(3)以Hbase和Hive为基础的数据通过Java程序进行可视化处理,可将不同类型和格式的数据转换成图标结构,同时还可以对数据库进行数据的查询与调配。

[1]苏刚,王坚,凌卫青。基于大数据的智能交通分析系统的设计与实现[J]。电脑知识与技术,2015,11(36):44-46.

[2]王亚洲。基于Hadoop平台的交通数据处理系统设计与实现[J]。软件导刊,2016,15(4):124-126.

[3]乐柏成,赖粤。Hadoop应用基站数据改善智能交通方法研究[J]。无线互联科技,2016,4:121-122,127.

吕浩涵(1983-),女,吉林吉林人,硕士,中国交通通信信息中心工程师,研究方向:交通运输信息化。

赵正(1988-),男,江苏人,硕士,中国交通通信信息中心助理工程师,研究方向:写流式处理、系统集成和大数据。