基于大数据技术的智能交通管理与应用研究*

杨永斌, 李笑扬

(1.重庆工商大学 计算机科学与信息工程学院 重庆 400067；2.重庆市检测控制集成系统工程点实验室 重庆 400067；3.重庆市第二十九中学校，重庆 400043)

0 引 言

随着国民经济的快速发展，城市车辆在飞速地增加，2016年底全国汽车保有量为1.94亿辆，机动车数量达2.9亿辆，2016年新注册登记的汽车达 2 752万辆，保有量净增2 212万辆；机动车驾驶人数量为3.6亿人，其中汽车驾驶人超过3.1亿人。传统的交通规划与管制已经不能满足复杂的交通需求，交通拥堵已经严重影响到了居民的生活质量，加剧了环境污染，降低了城市的运行效率。

随着“互联网+”时代的到来，各行各业每天都产生了海量数据，如何科学合理地对这些数据进行运用，已经成为所有行业必须要研究的课题。“互联网+交通”有了智能交通，数据的利用率越高，交通的智能化管理水平就越高。同时，由于交通数据的爆炸式增长，交通管理的难度不断增加。毫无疑问，大数据与智能交通之间形成了非常紧密的联系。大数据能够连续观测城市交通每天发生的变化，能够准确快速地挖掘、获取大量的交通大数据，构建有效的交通大数据处理模型，分析交通的问题所在，让交通有秩序地运行。大数据技术的发展为解决交通中存在的问题带来了新的思路和策略。大数据时代的智能交通必将会产生重大变革，为智能交通产业带来历史性发展良机。

1 大数据与智能交通

1.1 大数据及特征

(1) 大数据的由来。比尔·恩(数据仓库之父)在20世纪90年代初的多次演讲中提到了大数据(Big Data)但因当时的信息技术水平不高，大数据理念未能建立并兴起。IBM公司2005年出版了《无所不包的数据》一书，该书阐述了大规模收集数据将如何改变人们的生活方式及企业的业务，书中所讲的“无所不包的数据”实质就是“大数据”。美国政府在2010年1月提出了主题为“我的大数据”的一系列措施与倡议，其目的是方便美国公民更安全地获取他们所需的个人数据；美国政府于2010年3月要求国内各部门实施大数据战略，以实现从数据到知识、决策、行动的快速转变；美国总统科技顾问委员会2011年1月建议在美国国家科学技术委员会成立“大数据高级指导小组”，要求联邦政府加大对大数据技术的投资研发力度，并指出大数据技术存在大量重要的战略意义和价值。《大数据：下一个创新、竞争和生产力的前沿》的研究报告由全球知名咨询公司麦肯锡于2011年6月发布，最早指出了大数据时代的到来。奥巴马政府于2012年3月公布了“Big Data Research and Development Initiative” 即“大数据研发计划”。联合国在2012年5月发表《大数据促发展：挑战与机遇》的政务白皮书中，探讨了如何利用大数据资源造福人类，并指出大数据对世界各国政府和联合国都是一个历史性的机遇。随着这一系列事件的发生，大数据就逐渐热了起来。

(2) 大数据概念。目前，大数据还没有一个公认的定义，大数据的概念很抽象，是一个不断发展的概念。一般指以多元形式存在、从众多来源收集到的巨量数据集，由于能够从大数据中挖掘出有价值的信息而受到广泛重视。狭义上讲，大数据是指海量的数据超出了常规数据处理软件的处理能力，无法利用传统的软件和方法对其内容进行有效地获取、分析管理等，大数据是指处理巨量数据的各种关键技术及其在各领域的各种应用的全新体系。广义上讲，大数据包括大数据工程、大数据科学、大数据技术和大数据应用等与大数据有关的各个领域。

(3) 大数据特征。大数据已经渗透到每个行业和业务职能领域，并成为重要的生产要素。目前普遍认为大数据具有大量(Volume)、多样(Variety)、可变(Variability)、高速(Velocity)、准确(Veracity)、价值(Value)和复杂(Complexity)等特征。

第一，大量(Volume)。数据存储量非常巨大。数据存储单位从TB级别跃升到了ZB级，同时对大数据的分析计算量也非常庞大。根据国际数据公司(IDC)的报告显示，2013年全球数据总量为4.4ZB，并且每年数据增长率在40%左右，预计到2020年的时候全球的数据总量将达到40 ZB，增长近20倍，相当于地球上所有海滩沙粒总数的57倍。

第二，多样(Variety)。数据格式和来源多样，数据除了25%左右的传统格式化数据外(如“1、2、3、4”等传统数字以及符号等)，还包括75%左右的非结构化数据(如音频、视频、网络日志等等)。随着人类活动的进一步扩大、加宽，数据的来源也将更加多样化。

第三，可变(Variability)。妨碍了处理和有效地管理数据的过程。

第四，高速(Velocity)。获得和处理数据的速度快，数据处理遵循“1秒定律”，即能够在1秒内从各类型数据中快速获得各种高价值的信息，这是大数据区分于传统数据挖掘最显著的特征。随着PC、平板、手机、移动互联网、云计算、物联网、各种传感器的普及与发展，数据产生的途径更加广泛、传播更加容易，大量的新数据不断涌现，数据呈爆炸式飞速增长，这要求数据处理的速度也要相应地加快，否则大数据不但不能为解决问题带来优势，反而成了解决问题的沉重负担。

第五，准确性(Veracity)。数据的质量，要求数据的处理结果要保证一定的准确性。

第六，价值(Value)。大数据中隐藏着巨大价值，需要对庞大的数据进行挖掘分析处理，从而使人们认识客观事物时更加关注事物的个性特征。

第七，复杂性(Complexity)。数据量巨大，来源多渠道，对数据的分析和处理的难度大。

1.2 智能交通

智能交通是一种综合交通运输管理系统，其核心是电子信息技术，并有效集成计算机科学、通讯与传输、人工智能、传感、自动控制等多种技术，在大范围内，全方位发挥作用，并运用于整个地面交通运输与管理的服务系统，其突出特点是以信息的采集、分析处理、交换、发布、应用为主线，为交通参与者提供多样性的综合服务。智能交通系统(ITS)是缓解交通、提升交通效率的有效手段，因而日益受到各国政府的高度重视，是未来交通系统的发展方向。

1.3 交通大数据及构成

交通大数据就是所有跟交通有关的数据信息整合到一起的数据链，交通行业是天然的大数据行业，随着交通领域技术发展及应用的推广，每天产生的交通数据信息量能够达到PB级别，并且呈几何级别的增长。交通大数据包括静态和动态数据，其主要构成有：公路、铁路及城市交通管理系统中的信息服务平台、道路流量检测、道路监控、道路收费、车牌识别、电子监控、路上称重、公交运营、长途客运售票、地铁售票、铁路售票、出租车调度、停车管理、公共自行车运营、公交一卡通统计等数据信息；公安交警系统里的交警电子眼、交通事故统计、天网工程治安卡口等数据信息；规划部门历年城市交通年报及城市居民出行调查数据等；各类交通相关企业的运营数据信息，如专车运营、滴滴打车、车辆导航信息、邮政包裹数据、快递包裹、港口码头集疏运数据等。通过对交通大数据进行有效地分析处理，可以使交通真正地智能起来。

1.4 交通大数据的特点及挑战

交通大数据与传统行业大数据相比，其主要特点如表1所示。

表1 交通大数据与传统行业大数据特点对比Table 1 Contrast of the characteristics of transportation big data and traditional industries big data

随着智能交通技术的发展及应用的推广和深入，智能交通大数据发展面临一系列巨大挑战，主要体现在以下几个方面：

第一，数据采集质量。由于资金缺乏、信息化建设速度慢、缺乏统一数据采集标准、缺乏各部门之间的协作机制等问题，导致数据采集的质量受到很大的影响。

第二，数据储存压力。交通大数据最突出的特点是“庞大”，历史沉淀数据极具价值，需要较长时间保存，新采集到的数据规模庞大、类型多，有结构化、半结构化和语音、视频等非结构化的数据，还有数据的传输也需要数据存储技术的强力支撑，但数据存储技术的发展速度落后于交通大数据的更新速度和应用需求，这给交通大数据的存储带来巨大压力和挑战。

第三，数据共享利用。由于交通大数据分散在不同单位和政府部门等，彼此孤立，很难实现数据共享，就连交通部门内部的数据共享也是困难重重。

第四，数据的分析处理。由于交通大数据数量规模庞大、价值密度很低、时效性处理要求很高等，还要根据不同应用需求，建立不同的数据分析模型，实现对数据的有效深入分析，从而挖掘出有价值的数据，使交通真正智能起来，所以交通大数据的分析处理面临前所未有的挑战。

第五，数据应用。智能交通大数据应用群体多，如普通出行者、交通规划与管理部门、咨询机构等，如何开发个性化的智能交通大数据应用系统，以满足不同用户群体，也是未来交通大数据发展与应用中面临的挑战。

2 大数据分析对智能交通的影响

大数据将掀起一轮新的技术和产业革命，正深刻改变着人们的生活、思维和生产方式。在大数据时代，大数据与智能交通必然会发生各种联系，随着智能交通的广泛应用及快速发展，采集到的各类交通数据越来越多并存在巨大价值，需要进行处理和挖掘。大数据分析将使智能交通真的可以“智能”起来，例如从家里去单位上班前，打开手机导航APP，就可以选择路线短、车流量最少，交通情况良好的路线出发，这样就能够快速到达单位，而不再像往常一样堵在上班途中。

大数据技术的突破将推动城市交通迈向全面信息化时代，通过城市智能交通的快速发展推动大数据技术更加落地，交通大数据的集成及未来的挖掘应用对智能交通的发展具有重要影响作用。大数据技术可以更好地实现智能交通管理系统的资源合理配置和分配，提升城市交通服务能力与水平，为城市道路交通的管理者提供更多的决策和分析的支持，如需进行道路的升级改造时，通过对智能交通设备采集的大数据进行分析，就可做出正确的判断。

3 大数据分析在智能交通中的应用

智能交通发展到今天，大数据已经渗透到人们的日常生活，人们已经不自觉地参与了交通大数据的收集、使用和应用，大数据正深刻地影响着人们的生活和出行。在大数据时代，数据资产已经成为优化交通发展最重要的媒介，交通大数据已成为管理部门的重要资产，只有对海量交通数据进行有效的大数据分析与应用，才能真正实现智能交通。在智能交通的发展与应用过程中，大数据分析在其中的应用很多，主要体现在以下几个方面。

3.1 智能交通运行与环境大数据分析，助力交通违法与环境监测

超速、逆行、闯红灯、不按导向行驶等交通违规、违法行为已经为人们所熟知，如今通过交通运行大数据，将助力这些交通违法行为的监测与处理。车辆品牌及标识、车身与车牌颜色等属性、驾车时打接电话、不系安全带等违法行为都能够通过智能大数据图形图像分析算法准确识别和检测，从而使驾驶员的行为习惯得到有效规范，更好地阻止了违法与事故源头，这些强有力的技术保障使交警能够实现非现场执法。此外，通过对交通运行中抓拍到的人脸图片数据，结合公安系统中的犯罪嫌疑人及黑名单数据库进行相应的大数据分析检索处理，帮助公安同志抓捕违法犯罪人员，实现公共安全有序发展与城市道路畅通。

智能交通大数据分析技术将有效降低车辆运行对环境产生的影响。通过共享交通运行与环境大数据，建立交通排放的监测及预测模型，建立交通运行与环境大数据分析系统，可有效分析交通对环境的影响，从而降低交通对环境的污染程度，减少交通事故的发生等。

3.2 智能交通大数据研判分析系统为相关业务部门提供决策依据

大数据分析与应用的最终目标是为使用者提供高效的决策支持，而传统方式对海量的交通大数据的处理只能停留在事后被动“查”、“看”，缺少事前预知预警，事中快速响应，事后深度分析应用。通过建立智能交通大数据研判分析系统，运用车辆特征二次识别、云计算、大数据分析挖掘等技术，再通过无缝对接城市卡口系统，能够实现部分交通事件或行为特征的深度多次分析和多维度碰撞预警，比如遮挡面部、高危地区等层层过滤式的嫌疑车辆挖掘技术，预测枪击等犯罪行为可能在何时、何地、何人之间发生等。满足“事前预警、事中打击、事后侦查”的不同应用需求，为公安的情报、图侦、治安、刑侦、指挥中心、交警等不同业务部门提供强有力的决策支持。同时，通过建立车辆排放环境影响仿真系统和低排放交通信号控制原型系统，对历史交通大数据进行挖掘与分析处理，从而为减少排放和降低交通延误的交通信号智能化控制系统提供决策依据。所以利用大数据分析对交通大数据进行处理、挖掘和分析，可以获取交通运行状态、交通变化趋势以及交通与经济社会的各种关系，从而为交通引导、控制、规划以及相关政策制定等提供决策支持。

3.3 智能路况大数据分析，提高交通运行效率与交通安全水平

交通运行效率与交通安全水平的提高和改善涉及工程量非常大，而大数据的大体积特征能帮助解决这种困境。随着物联网、互联网技术的普及和“互联网+”广泛应用，通讯与控制、传感、信息和计算机等各种先进技术有效地集成并应用于公路路况监控系统，各功能系统将快速产生多样、大量的数据，通过大数据分析处理技术，能够准确地捕获公路路况的实时交通运行信息，为交通管理等各种信息服务提供数据支持与分析保障。如利用传感技术来获取道路施工、事故、大雾、雨雪、道路结冰等信息，以此为基础建立交通信息发布及服务系统，从而为出行者提供准确的出行服务信息，以便出行者确定最佳的交通方式、交通路径及出行时间，并可把服务信息发布到出行者移动终端上，为司机推荐行驶路线等，从而提高交通运行效率。

酒精检测器、驾驶员疲劳视频检测等车载装置能实时检测驾驶员的身体、行为与精神状态是否正常，是否处于警觉状态。同时，大数据技术能快速整合路边传感器及探测器数据，构建大数据安全分析模型系统，综合分析车辆运行的安全性，将能够大大降低交通事故的发生。在应急救援应用上，大数据分析技术以其快速的反应时间和综合应用能力，减少人员伤亡和财产损失，提高应急救援能力和交通安全水平。

3.4 智能交通拥堵大数据分析，提升城市交通规划

随着城市车辆数量的飞速增长，城市拥堵问题日益严峻。通过城市交通现状，调查分析各种交通流从开始发生到结束的全过程，可以获得交通流量、流向的全面资料，从而获得大量交通大数据，掌握城市各种交通流在时间、空间上的分布特点。通过交通大数据分析建设道路交通指数，获知拥堵时间、空间和路段，通过大数据分析掌握了现状，也找到了规律，并进行预测，为城市道路、轨道交通、公交系统的建设提供依据，为编制城市交通规划提供保障，提升规划质量。

4 智能交通大数据处理框架与技术

智能交通大数据处理流程主要有数据采集、数据同步与传输、数据存储、数据分析与处理和结果展现等，处理框架如图1所示。

图1 智能交通大数据处理框架Fig.1 Intelligent transportation big data processing framework

4.1 数据采集

在智能交通系统中，交通大数据信息是其他处理的基础，对各类交通数据信息进行全方位采集是关键。可以利用高清监控、车联网、云计算、移动通信等技术等及各种海量数据采集工具，如Hadoop的Chukwa、Cloudera的Flume，Facebook的Scribe等，这些工具能满足每秒数百兆字节的数据采集与传输需求。

4.2 数据同步与传输

采集到的交通大数据需要同步与传输到数据存储平台。Sqoop、DataX、Aspera是三大数据同步与传输工具。Sqoop主要用于在Hadoop与传统的数据库(如MySQL)等间进行数据的传递，也可将一个关系型数据库(如Oracle、MySQL等)中的数据导进到Hadoop的HDFS中，还可将HDFS的数据导进到关系型数据库中。DataX能够实现各类异构数据源间高效稳定的数据同步与传输功能，如关系型数据库(如Oracle)、HBase、ODPS、Hive、HDFS、FTP等异构数据源间的同步与传输。Aspera是IBM公司的一款采用新一代传输技术(faspTM)的高速传输软件，不受传输距离、网络条件、文件形态、大小等限制，并能以最高效的速度协助用户迁移各地的数据。

4.3 数据存储

新采集的交通大数据及其传输，以及有价值的历史沉淀数据，都需要数据存储技术的支撑。交通大数据存储技术HDFS、HBAs、NoSQL数据库及传统关系数据库等。HDFS是一种适合存储海量非结构化数据的分布式文件系统。HBase是一个面向列的分布式开源数据库，也适合于非结构化的数据存储。NoSQL数据库适合存储海量无模式的半结构化数据，NoSQL数据库能够极大地适应云计算的需求。

4.4 数据分析与处理

数据分析与处理是智能交通系统的核心。利用数据挖掘、可视化分析及通用数据库等大数据分析方法，通过完整的计算框架、一定规模的计算中心及大数据分析处理工具软件(如目前最好的6个大数据分析处理工具Hadoop、HPCC、Storm、Apache Drill、RapidMiner、Pentaho BI等)实现高性能的强大数据分析和处理，把结构化、半结构化及非结构化庞大交通大数据进行实时分析处理，产生有价值的信息，为各类交通主体判断和决策服务。

4.5 结果展现

将数据分析与处理结果展现给各类交通主体。Karmasphere为用户设计了基于自我的直观社交界面，能够通过现有的应用程序、报道工具和数据库和，为用户提供自助式服务。

5 大数据时代智能交通发展趋势

大数据时代，结合新型城镇化发展、信息惠民工程实施和智慧城市建设，充分应用智能大数据分析处理及各种相关新技术，智能交通的发展趋势主要体现在以下几个方面。

5.1 全面、完善的交通状态感知体系

一切数据来源的前提是感知，完善的信息传感网络是智能交通的基础，交通状态的感知体系对智能交通的发展具有深远意义，但交通行业距离全面感知还有不少差距。因此，应该采取积极有效的措施来不断提高交通监测的综合能力，建设一个覆盖范围广的数据传感网络，形成一个全路网的智能交通状态感知监控体系，建设站场、公路、航道等基础设施，车辆、船舶等运载，天气等外部环境的动态信息采集系统，提升信息采集利用和综合服务水平，提升地面、航空等各类实时数据信息共享能力，为智能交通的应用与发展提供数据保障。

5.2 加强数据资源的整合与共享，促进交通数据资源标准化

大数据资源是实现智能交通的基础和前提，因此，应当加大各种交通大数据的整合力度，建立完善的智能交通信息体系，形成一个智能交通大数据资源的共享平台，保证数据在智能交通系统中可以顺利地流通，最大限度地发挥数据资源的巨大作用，将智能交通应用推进到一个新的发展阶段。同时，加强智能交通系统的数据标准化建设，建立一个完善的智能交通系统接口规范以及数据标准化体系，是智能交通系统顺利实现跨区域、跨部门互联互通的充分保障。另外，还要做好数据的保护措施，保证数据安全性，提升数据保护和监管能力，确保所有数据都能够安全正常地应用。

5.3 创新智能交通技术体系，促进智能交通信息服务产业化进程

重视企业与高等学校或科研院所间的合作，创新智能交通技术体系，注重校、企及科研院所的协同创新，强化企业主体地位，提升企业的技术研发、集成与应用能力，加强智能交通创新产业联盟平台建设。

智慧交通的重要任务是服务民众，其应用和发展理念是以人为本，应建立市场与公益化服务相结合的智能交通信息资源应用开发机制，创造新型商业模式，通过价值链将交通运输各利益相关方连接起来，加快交通信息服务的产业化进程，推进新一代智能交通信息服务系统的建立。

5.4 创新智能交通大数据分析与应用，强化交通高效运营和管理

随着交通运输行业的不断发展，大数据分析技术在智能交通应用也不断深入和发展，构建一个完备或准完备网络化交通信息环境就显得尤为重要。应采取积极有效的措施，促进智能交通网络顺利地实现跨区域、跨模式的广范围出行调控，以互通互联的智能交通大数据信息管理平台为支撑，形成民航、铁路、公路等相互协调的交通运行智能体系，通过各交通部门的相互配合，实现协同管理，从而强化交通的高效运营和管理，实现智能交通网络的高效稳定运行，为居民提供一个更加便捷、安全的出行环境。

6 结束语

交通的智能化是大数据时代的根本趋势，智能交通作为通讯与传输、自动控制、传感、计算机科学、互联网和物联网等多种技术在交通领域集成应用的产物，为大数据分析、云计算等新兴技术提供广阔的市场空间和应用环境。大数据的智能分析技术将产生新一轮的数据革命，真正推动智能交通的建设与发展，大数据下的智能交通将成为解决诸多交通城市病的有力手段，未来关于交通城市病的研究，必将大数据和实践应用研究相结合，并导致各种新技术的不断诞生，使人们出行方式和生活模式产生巨大变革，人们的生活将更加美好。