交通大数据之用

曾几何时，“大数据”概念在国内喧嚣直上，但交通行业的大数据应用却刚刚被引入。去年当人们还在谈论着交通“大数据”的种种概念、模型、用途等，短短一年时间，再回头看时，交通大数据技术和应用在国内已是如火如荼。交通行业的大数据应用，很是让人着迷，众多数据处理企业纷纷落地生根。虽然国外在大数据分析与处理方面，无论从技术到应用都早于我国，但我国会迎头赶上，实现弯道超车。

大数据为改善交通问题提供了新的技术思路，大数据技术的应用提高了交通规划的能力，改进了交通出行的方式，提高了交通管理和出行服务水平，同时也推动了我国交通建设科学化、交通管理智能化、交通出行智慧化地健康有序协调发展。

大数据之用

大数据应用的模型

大数据的应用，在企业已经有多年的实践，对企业的帮助显而易见，大数据在企业中的应用目标是金字塔模型式的，即从数据的采集开始到大数据终极应用逐渐升级，并将该模型逐渐应用到交通行业上。

数据基础管理，是大数据应用模型中的塔基，是大数据应用的最基本要求。完成数据的原始积累，即数据的采集、清洗、整合等，是最初数据整合、打破“信息孤岛”的目标。

业务运营监控，是基于数据基础管理对数据路径的分析，是对业务异常的智能分析，是企业自主进行数据管控、数据集合、数据的业务对照，即企业管理与经营能力的提升内容，是实现业务层面互联互通，整合“信息碎片”的目标。

用户的体验优化，是大数据使用的服务对象对大数据分析后提升服务的反馈，用户的体验由于大数据技术而得到优化和改善，同时又反作用于大数据本身，以充实大数据中的有效成份，是进一步实现互联网技术业务应用的目标。

精细化运营与服务，在通过用户体验优化的基础上，企业可在大数据应用反馈后，分析用户的潜在需求，提供更加精准的服务、个性化的服务，全面掌握用户的使用生命周期。通过数据建设，对数据进行一定程度的挖掘，进行运营方向的质量评估，改善运营策略和运营环境，提高管理水平。

在金字塔的再上一层，是通过大数据的历史结果和趋势分析，创造市场需求的预期，增强企业的发展潜力。这一阶段是人们真正理解的“大数据”，能够集成所有边缘化的、关联性的数据源，通过大数据技术分析计算，从而优化投资，是企业大数据应用的更高环节，也是人们期待的真正大数据时代。

大数据应用的金字塔模型

在大数据应用金字塔的顶端，是大数据企业应用中的最高境界也是理想状态，即实现企业的趋势战略，需要足够大、足够多的历史数据的积累，足够广泛的大数据时空分布，才能够真正的到达金字塔的顶端。

大数据架构在云平台之上的总体逻辑

大数据需与行业结合

近几年，交通行业兴起一种“政企合作模式”的信息化建设思路，由企业提供服务、政府采购的方法，充分利用企业的技术优势，提高交通行业信息化的建设水平和应用水平。于是，国内一大批大数据平台应运而生，许多企业都在打造自己的大数据平台并提高大数据处理服务能力。

大数据在使用初期，主要还是通过半人工半计算机辅助化完成大量数据分析，从而得出某一方面的分析结论。数据分析和数据计算能力不断提高，国内企业对大数据技术的研究，已经取得了突飞猛进的成果。

大数据平台的功能目标，可以分为3个层面，即现状分析（对现有数据的聚合、分类、再聚类等）、原因分析（通过大数据之广泛的计算，寻找数据之关联因素）、预测分析（大数据的时间、空间的特征，运用聚合分类能力，挖掘数据之内涵与外延）。大数据平台的采集、管理、计算、输出等一系列功能，形成了“大数据应用系统”。

大数据应用系统的建设，工程上也有3方面，即平台搭建、数据管理和应用创新。平台搭建的过程，是大数据系统建设的基础投入阶段，包括硬件环境和软件功能的实现。数据管理是大数据平台对数据采集、清洗、聚合、分类、管控、稽核、计算等的功能集合。大数据应用系统的建设，需要大量的资金成本来支持，主要包括硬件及运行环境成本（服务器、存储和网络、支撑环境等）、系统及技术实现成本（大数据平台、传统数据库、大数据库、商务智能工具、行业需求定制等）、超时空范围实施成本（安装和配置、数据采集、处理与主题挖掘计算方法等），特别是大数据计算模型、分析模型的研究，是无法估量的成本投入。

但是，支撑企业推出优秀大数据平台的动力，一定是高投入产出比。大数据技术平台的开发和建设，需要投入大量的人力物力，而企业需要通过大数据平台的应用，给客户带来效益而产生利润，弥补前期的投入与开发。而最大的成本，是数据源成本。大数据的数据源，必需有足够的数据量，以满足大数据分析与计算的时空特性。但现在数据已经成为了每个企业或者政府的无形资产，大数据系统的建设，必需先解决数据的互联互通，没有数据源源不断的补充与积累，大数据平台只是个空壳，没有实际意义。

所以，由企业开发和建设的大数据平台，与交通具体管控部门相结合，通过交通部门的大投入，以及对交通问题解决的大需求，才使得交通“大数据”应用得以迅猛发展。

交通大数据技术的应用

大数据平台的搭建，是整个大数据系统建设中的核心，包括两部分，首先是大数据管控平台，是对数据采集、梳理、数据建模、共享交换、大数据计算模型与算法进行整体管理与配置的平台，是整个大数据系统建设的技术核心。其次是大数据分析平台，是大数据分析展现、对外发布共享交换的平台，是提供服务和输出大数据分析和计算结果的平台。

交通数据的特点是数据量大、数据结构多样化、数据增长率高符合大数据典型特征。同时，交通数据还表现为并发量大、实时传输、非关系型

和对数据连续性完整性要求不高等特性，如车辆GPS数据和视频监控数据，其数据少量丢包仍然能通过上下文数据补全其丢失的过程数据信息，这类数据流规模小、结构简单、数据持续到达，是归属于大数据之上的流式数据处理的典型样本。

交通大数据系统总体架构

交通大数据系统的建设一般架构在交通云平台上，以架构交通数据中心，大数据与云计算之间是手心与手背的关系，缺一不可。基于一个省的交通运输行业的所有基础数据、业务数据、管理数据等，进行梳理、管控和服务，从技术架构上说，一般包括基础设备层、信息资源层、应用支撑层、服务层和应用层等六大层面，以及信息系统的数据标准规范、运维服务规范和数据安全保障规范三大标准规范体系。

交通行业的业务系统、管理系统、服务系统等数据，首先按照归口管理的原则进行整理与接入。数据中心通过数据接口对源数据进行采集与整理，而非数字化的数据资源将通过数据录入的方式进行采集。

大数据的管控与服务基本流程

交通大数据管控平台的结构

一种交通大数据平台的管控平台

数据中心根据元数据标准和资源目录，将采集的各种中间数据按照统一的数据标准处理与整合，形成交通行业统一的信息资源目录体系，保存在综合数据库中，数据目录体系，是大数据平台中的数据建模、数据梳理、数据服务的基础。

综合数据库中的数据，通过统一的数据共享交换平台，再提供给交通业务系统、服务系统使用，及提供公众和其它行业需求服务。通过基于综合数据库的数据查询、统计、分析等，为交通管理与服务提供辅助支持。

交通大数据资源目录体系

交通数据以每秒百万条采集、每小时几个G的数据量，信息庞大杂乱，必需经过大数据平台梳理，将无序数据变为有序，将无关数据找到关联，而交通行业数据资源目录建设则是重中之重。

数据资源是通过信息资源描述项，记录信息资源结构和信息资源属性的数据体系。通过信息资源目录的建立，为交通信息资源的采集、分类、描述、处理、展现、应用和管理提供统一的标准规范，为分散异构（各委、局、处室、各企业）的交通信息资源的共享和交换提供基础性支撑，实现对交通信息资源的识别、导航和定位服务，从而更加有效管理和利用交通信息资源。

目录编制的过程，是交通业务梳理、整理和挖掘数据资源、规范数据表示、摸清信息资源家底的过程，主要完成以下两个任务，即数据资源目录的生成，用于整体大数据平台数据处理的基础；数据共享交换目录的建设，用于大数据平台对外的共享交换服务，因为并不是所有数据都可以共享都可以交换，也不是所有数据都适合共享和交换。数据目录管理功能主要包括元数据管理、目录管理、共享交换管理、数据服务管理等，为实现交通信息资源目录的梳理、管理和服务提供技术支持。

交通大数据平台管控中心

交通大数据管控中心是对数据进行综合管理、组织与提供服务的后台管理系统，是交通大数据发挥作用的调度中心，其功能包括数据接入、清洗、建模、计算、组织与管理等功能组成，数据管理平台（DMP），让数据孤岛的整合变为现实。具体包括数据目录管理、用户/角色管理、数据日志管理、数据订阅管理、数据分发管理、数据缓存管理、数据路由管理、数据传输管理、数据连接点管理、传输接口自动生成器等功能。

交通大数据共享交换平台

从业务功能上讲，共享交换是大数据平台的核心服务，在数据的采集整合、清洗过程中发挥重要的作用，采用统一的数据交换平台、统一的标准规范和技术体系，有利于数据的共享和交互。

技术性能方面，除了共享交换的通用需求外，还需要具备对主流数据库产品的支持能力，支持这些数据库间数据的直接交换；提供对数据表进行行列变换、增量抽取、主从抽取、函数变化、统计合并、多维加载等多种数据抽取、转换和加载；具有交换任务的监控管理能力；支持数据交换的工作流机制；抽取和装载时能够提供数据转换二次开发的接口。支持异构数据库间的数据集成与协同，并保证多数据库（异构或同构）之间的全局事务一致性。具有数据同步/异步调用和交易冲正机制等功能。针对不同数据库分别提供相匹配的高效数据处理引擎；支持多结果集的数据处理；支持对文件，接口等多种数据格式的读取、更新等处理能力。

交通大数据之大，在性能上还必需考虑其执行效率。具备大并发量处理机制，支持实时与批量数据的均衡调度；对实时或批量的数据交换业务请求予以响应，支持实时与批量数据的均衡调度。对大数据包的处理，能在分钟内完成百万级数据的交易（从接受请求到处理完成）。

交通大数据综合分析服务

交通大数据分析系统之总体页面

交通大数据分析系统之不同展现

在技术上，大数据综合分析服务建立在数据服务平台之上，数据服务平台以企业服务总线为核心，依托ESB企业服务总线和JavaEE等应用服务器，提供数据和接口的对外服务能力。帮助用户快速实现多个异构应用系统的互联互通、应用集成，促进跨地域、跨部门的业务流程协作，实现业务的敏捷性。为企业级用户创建一个可持续拓展的、松耦合的、可靠可管的SOA基础设施环境，支撑整个组织IT可持续建设与管理，实现技术的优化。

交通大数据平台研发成果

交通大数据平台分析效果

综合分析服务在业务上，主要是对交通各类数据进行集中统计、分析、预测、评估和挖掘，为日常运营管理、交通规划、交通资产管理、安全管理及突发状况下的指挥调度等方面提供信息支持。主要实现对多源数据集中统计、分析、挖掘，生成和管理交通营运业务的统计分析报表，为各业务系统（营运管理、安全管理、指挥调度、信息发布等）提供必要的数据支撑。

交通大数据平台建设中，还涉及数据标准管理、数据质量管理、统一认证管理、安全与运维管理等，是一个系统化的技术整合体。

“大数据”之效

大数据通用效果

说到大数据应用之效果，不得不先说企业大数据的使用。大数据使用发源于企业对服务提升的需求，来自企业服务精准化提高的需求，来自企业提高自身管理能力的需求。

美国一些网站，5年前已经分析了大数据的作用，如整合分析大量来源的数据能力提升了82%。在大数据应用上，应对商业挑战反应更加迅速的能力提高了87%，企业整体决策分析能力提升了80%，减少决策分析和数据研究成本达70%等。

从企业经营角度来看，大数据的应用为企业获得了四大核心利益：投资回报率提升、产品创新、营销模式创新、服务模式创新。因此，大数据的应用提升了企业的综合竞争能力。当然，也为服务于交通行业的大数据公司，带来了新一轮的机遇和挑战。

随着大数据平台技术研发的不断成熟和完善，涌现了一大批交通大数据的分析专用系统，或是交通大数据专用平台系统，这些系统平台，在交通行业中已经有了良好的应用，并起到了很好的作用。

交通大数据的成效方向

从交通行业角度来看，大数据的应用，提高了政府决策和管理服务能力。交通大数据挖掘中，寻找精细管理、精准服务。有效配置交通资源，提高交通运行效率，为公共安全和社会服务提供新的理念和手段，通过历史大数据分析，提升典型应用水平，如投资建设、交通迁徙、物流分配、出行服务等。

交通大数据分析为交通决策和管理带来更有效的支持，目前应用最广泛的是交通出行和交通运输大数据分析下的交通规划，从大量历史规划数据、当前已经实施和建设的交通通行情况的综合分析，预测交通需求，从而寻找到更加合理的、能够精准和规划方案。

“互联网+”背景下我国大数据交通发展水平不断提高，应用大数据将多种先进技术融合到一个综合平台中，包括控制技术、计算机技术、通信工程、交通工程、移动互联网技术等，发挥交通设施的作用，解决环境问题与交通拥堵，避免多种交通风险的发生。

大数据在交通管理系统中的应用将为交通问题的解决发挥重大的作用，将大数据管理应用到交通系统中，是对传统管理模式的颠覆性创新，也使得公共交通管理体系呈现出全新的面貌。不仅如此，很多传统方式无法解决的交通问题也可以迎刃而解。

大数据可以实现跨区域管理。大数据能够处理无处不在的数据互联特性，能够突破行政区域的边界限定，使各个地区在遵循相关原则的基础上各行其是，提高管理的科学性。

大数据能够解决信息分散问题。将所有具备分析价值的信息进行统一收集，提高信息的利用率，能够提高交通信息体系的综合化管理程度，完善交通管理体系。

大数据可以实现交通信息资源的合理配置。为管理人员在制定计划、进行规划时提供科学的指导和依据，实现信息资源的合理配置。

大数据在整合不同发展方面的基础上，完善交通管理体系。发挥企业和政府的整体技术优势、服务优势，将交通管理与信息技术结合，使相关资源不再对交通问题的解决形成过多的限制。

交通大数据的场景效果

交通大数据采集的数据来源，已经从单一行业数据，发展到全行业数据，如交通信息网、物联网、车联网、公众出行网等。通过大数据集成技术，包括数据整合、数据管控、数据挖掘、情报分析等，提供交通行业应用场景。

大数据处理结果，通过交通数据归依的最大化，发现交通问题的可能原因并评估概率；交通分析研判的科学化，通过数据相互的验证提高数据的可靠性；交通组织管理的智能化，寻找到交通管控中的关键节点；交通指挥调度的精细化，从交通指挥调度中提取精准方案；交通综合治理的一体化，找到交通综合治理的所有渠道。

运用大数据分析货运物流数据，找到可以减少的交通运输环节，提高交通综合运输的效能。大数据分析客运迁徙数据，以辅助政府交通基础建设，优化公众出行方式并提高交通利用率。大数据分析交通通行能力数据，通过不同交通需求与交通运行结果，提供区域化交通组织结构的优化方案。大数据分析交通流量，可以深度地排查隐患风险等。大数据可以分析关联的全域交通信息，发掘交通运行的规律并加以应用，合理地分配交通资源等。

交通大数据的效果分析

但是，以上所谓的交通大数据分析方法，仍然是传统的，仅仅是局限于人对分析技术、分析概念的一般理解上。

大数据在交通中的应用真正得到理解了吗？比如，交通拥堵无处不在，真的是因为“车多路窄”引起的吗？任何一个拥堵点，导致其结果的因素有千百个（天气、路况、地理、人文、习惯、车辆、上下游、大路网……），哪种是主要的？哪些是容易解决的？现有条件下最好的缓解是什么？

再如，公路养护投资估算，养护投入与通行比没有一个地方是一样的吗？任何一个位置的公路健康状态，其决定因素也有千百个（天气、路况、地理、人文、习惯、车辆、上下游、大路网……），哪些关键纵向因素影响健康结果？哪些横向因素可以决策投入？

大数据分析与传统数据分析有着明显的不同。从数据的特征来看，大数据的数据选取往往无限接近于研究对象的全样本，改变了传统依托少量数据并利用统计学办法获得最多信息的做法，研究准确度上避免了样本选取带来的必然误差。值得注意的是，全样本的数据特征不是一个数据的数量概念，而是指数据与研究对象全体的相对关系。因而，一旦研究的数据对象不能视为研究对象的整体，纵使研究的数据量非常庞大，仍不能算作利用大数据的研究办法。从研究的价值取向来看，大数据的研究往往更多注重于研究内容的时效性与对未来的预见性。没有历史的记录、没有全局的采集、没有数据的汇集、没有数据的钻取、没有大数据（具有时空特性）计算，很难得到答案。