交通大数据的发展现状与思路

2014-04-15马英杰

交通工程 2014年4期

马英杰

(交通运输部科学研究院交通信息中心，北京 100029)

1 大数据的概念与特点

顾名思义，大数据即一个体量特别大的数据集，大到无法使用传统的数据处理工具、技术对其进行分析、加工、操作.而大数据技术，就是对大数据的处理技术的集合.可以说，大数据兴起并非科技的突变，而是随着人类社会结构化、半结构化、非结构化数据的急速增长应对而生的技术进步.

大数据的特色之一是体量成级数增长.由于互联网技术逐渐渗透人类生活的方方面面、以“物联网”为方向的信息采集技术的逐渐普及以及包括“4G”在内的网络传输技术的迅猛发展，在全社会，包括交通运输行业，人类所拥有的数据量及其增速已经远远超过传统信息技术预设的处理极限.限于科技发展的规律与速度，或者是人类智能体量的局限，信息技术专家们提出以“云计算”概念为核心的的一系列数据分布式处理技术作为阶段性替代方案，以适应现阶段的信息爆炸.

大数据技术与传统信息处理技术有如下不同:

使用分布式技术实现海量数据的处理.现代社会，“人类存储信息量的增长速度比世界经济的增长速度快4倍”，“大约每三年就能增长一倍”.为了解决这一问题，分布式技术成为信息处理的必然选择.早期的信息处理技术通过固定的数据存储设备、运算服务器实现信息化;随着数据量以及运算需求的增加，发展出部署集中的集群的信息存储与处理方式，一定程度上扩展了使用范围;当数据量进一步增长，受益于网络通信技术的升级换代和互联网的飞速发展，“云计算”技术相应而生，通过将分散于各地的存储、处理设备，实现可与巨型计算机媲美的海量数据处理能力.

大数据技术善于由结果推断模型.不同于传统的智能化技术，需要完善地建立数据模型，通过条件，推导结果.大数据技术着眼结果于海量数据，通过大量的事实总结规律，形成知识.传统的建模实现智能化技术，一旦结果出现异常，就需要反溯，修订模型，重新进行实践.而大数据技术，则只通过对相关性的结果进行比较，便能总结归纳相关原理.

大数据技术着眼于动态，而不是静态.传统信息处理技术着眼于当前数据的使用，业务办理、行业监控，数据一旦使用，则降低或失去其实用价值，历史数据需要人工的比对、判断.大数据技术着眼于一段时间或全部时间上的动态发展数据，着眼于动态数据之间的联系与发展规律，

大数据技术长于整体的运算效率，而非个体的精确追踪.由于数据处理能力的有限性，传统的信息化技术对于有限的样本进行分析与统计，更关注于奇异数值并加以分析，着力于对个体样本的精确追踪.而当大数据处理成为可能，数据的总体成为一个独立样本，一些奇异值由于发生概率太小，完全可以忽略，数据整体的运算效率成为重要指标.

如同哲学上的量变引起质变，大数据技术正是随着信息化数据的不断增长而产生并从根本上改变人对于数据存储、应用的理解与认识.同时随着数年的演进，大数据技术也正在逐步走向成熟.

2012年7月，美国知名 IT咨询顾问公司Gartner发布《2012年大数据技术成熟度曲线》，对大数据涉及的46种技术进行逐一分析.根据当时报告内容，对比当前发展现状，我们可以看到大数据技术的成熟度已经达到一定的高度.2012年报告中提到的，将在2年内实现主流应用的列式存储数据库、预测分析、社交媒体监测等技术，已经成为近些年IT行业普遍实用的技术;报告中预测的2～5年内成为主流的云计算、内存数据库、社交分析、文本分析等技术，当前在 google、百度、facebook、阿里巴巴、新浪微博等处于IT技术前沿的互联网公司，已经分别得到广泛应用;而报高中认为5～10年才会得到普及的内容分析、混合云计算、社交网络分析、地理信息系统等技术，以及认为10年以上才会普遍应用的物联网技术也已经在不同程度上得到应用和推广.

2 交通行业大数据发展现状

交通行业是天然的大数据应用行业.传统的静态数据并非大数据，如路网的基础信息，户、车、人基本信息，这些数据随着产业增长而逐步增长，一直在传统信息处理技术预设的限度之内.但随着互联网与产业结合的不断升级、物联网——车联网的快速兴起，3G、4G无线网络的普及，行业数据量已经开始成级数增长.目前交通运输行业大数据来源主要在3个方面:

1)基于互联网的公众出行服务数据，如大运输联网、网上售票、城市公交刷卡、公众在线交通路线查询、网购物流数据等.

如广东省岭南通公交一卡通截至2013年已经发卡超过3 200万张，日刷卡量超过1 000万人次;百度地图手机应用日访问量1亿次，PC上的搜索量50亿次中20%访问和出行相关，每天约有1 000万人使用百度，其中70%和公交相关.

2)基于行业运营企业生产监管数据，如货运源头称重数据，货运、危险品运输电子运单数据，客运进出站报班及例检数据，营运车辆维修检测数据，邮政包裹数据等.

如国家邮政局发布的数据显示，2013年中国快递业务量完成92亿件，居世界第二，仅次于美国.业务量同比增长60%，最高日处理量已突破6 500万件.

3)基于物联网、车联网的终端设备传感器采集数据，包括车辆相关动态数据:GPS位置信息、车辆能耗、车辆技术状况信息，路网监控信息:卡口视频监测、基于传感器的路况监测、路上动态称重设备、桥梁监测GPS等.

车辆位置信息采集仅举一市为例，2013年10月，杭州市符合交通运输部“两客一危”定义且经营范围、营运状态、营运证有效期等状态正常的车辆上线数为6 329辆.车辆位置信息假设每5s传输一次，则每日位置信息接近1.1亿条.北京市6.67万辆的出租车GPS数据实时接入，日均数据量可以达到6 G.

车流量监控数据，笔者曾参与河南省新乡市动态称重系统建设项目，仅一个信息采集点，2013年11月平均每天采集14 000辆车左右，包括结构化数据与照片信息，每天产生的数据量是1 791 MB.

3 大数据对交通运输行业的挑战

3.1 现行行业管理体制造成数据采集与整合困难

交通运输行业的政府管理体制为“条块结合”，数据沉淀在业务基层，但信息化建设在地方鲜有专项支持，一般由交通运输部或省级交通运输主管部门规划发展方向并确立重点项目，下级单位进行申报获取资金补助承担建设.欠发达地区地方管理机构信息化建设资金基本依赖上级拨付，缺少信息化建设思路及相应资金，一味按上级规划路线发展，这就造成各省信息化建设项目同质化严重，不能很好地结合本地特色.同时不同地区信息化发展不均衡，数据采集范围不同、深度不同，整合缺少统一标准.另外，交通运输行业信息化建设与评审模式还采用公路建设项目的传统方式，长于前期立项审批，少于中期监管跟踪，缺乏后评估机制，尤其是对信息系统应用情况、产生价值以及信息数据采集缺少量化指标，地方机构信息化应用于行业信息化监管积极性不高，信息化主管部门在单位内处于弱势地位，与业务部门缺乏有效的协作机制，建设的业务系统“不好用”、“没人用”，信息化系统应用与业务实际办理两张皮，不是简化一线工作人员的业务办理，而是被认为是额外负担.部分信息化发展较早的行业，数据大多散落在行业企业，主管部门只是按固定时间段收集统计报表和台账，并没有实现系统对接，数据同步，政府无法及时掌握行业生产数据.

3.2 采用传统数据处理技术的业务系统逐渐变得低效与失效

交通运输行业信息化经过十余年发展，已经具有了一定的信息化基础，但系统建设较早，应用时间长，对数据的增长没有足够扩展性设计，传统的数据处理技术不足以实现大数据操作，造成系统应用的低效率，甚至造成部分业务系统在处理大数据时系统崩溃、失效.即使在近些年，有些地方交通主管机构在进行新项目设计或旧系统改造时，仍没有将数据的快速增长作为考虑要点之一，缺少“云计算”等大数据处理技术路线，一味追求高性能的服务器与存储设备，在系统建设后又是重建设轻运维，不关注数据价值的挖掘，一方面将业务系统沦为“打证系统”、“发文系统”，一方面缩短了应用系统预想的生命周期.

3.3 存储、处理成本的无限度提升

数据量级的迅速增长，必然造成存储、处理服务器被迫更新换代，硬件与网络建设成本不断提升，运维成本居高不下，同时需要技术专业运维人员进行持续的技术换代.技术专业化的不断提升，让自建并运行维护行业数据中心难度越来越高，当前大多数交通运输行业主管部门，尚无足够的技术力量与专项资金支持信息系统的支撑自建数据中心的持续发展.同时，基层交通运输行业管理的政府机构不需要也不应该将原有的单位机房向专业化数据中心发展，这也是对信息化设备资源和人力资源的一种浪费.

4 大数据给交通行业带来的机遇

大数据是人工智能发展新阶段，也是智能交通的技术.人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统.传统的人工智能实现，需要科研人员对研究对象进行完善的建模，明确要求它们遵循的规则来进行运算，进而得出结果，只有具有关联性的数据有意义，且只在现时有益，一旦得到结果，数据便失去了它的作用.比如，一个预测城市交通拥堵的智能化系统，需要预先将天气路况、大型集会、施工、市民出行需求等一系列条件尽量完善地组织成计算模型，进行一次预测时，将当前孤立的各项数据分别进行输入，一旦运算完成，所有数据均无法再次使用.另外，人们不可能预先穷举出所有例子和参数，因此人工智能已有的模型和算法很难跨系统复制.而大数据对人工智能的实现则与人的智能进化过程近似，通过学习—总结规律—积累经验—扩展研究的一个过程，这个学习的过程就是通过积累现实世界数据，尤其是人类行为数据而进行的.所以大数据实现天生具有人工智能的属性.交通智能化的核心目的是适应经济社会健康快速发展的新要求、满足人民群众安全便捷出行的新期待;服务人民群众安全、便捷出行的重要载体，是提高运输效率、节约能源资源、减少污染排放的关键举措，大数据技术是实现这一系列目标的必由之路.

交通运输管理行政体制改革需要基于大数据的智能化交通体系支撑.2013年，中国共产党十八届三中全会提出“经济体制改革是全面深化改革的重点，核心问题是处理好政府和市场的关系，使市场在资源配置中起决定性作用和更好发挥政府作用.”未来，以转变政府职能为核心的行政体制改革是下一步全面深化改革的重头戏，而核心内容就是减少政府对市场的不必要干预.在交通运输行业，政府机构简政放权，行政审批权进一步下放，转变政府职能从行政许可审批向行业监管转变.国家级和省级管理机构，交通运输部、省级交通厅相应的审批职能进一步简化，行业监管与政策指导需求进一步提升.尤其是在制定政策法规、行业发展规划方面，需要对行业有全面深入的认识，这就需要对行业生产、监管数据进行全面的采集、整理并进行智能化分析，以支撑部、省两级领导决策.

大数据分析是引导、优化产业结构的关键.交通运输行业产业结构的优化应基于对产业发展的准确预测.当前进行行业政策制定、产业结构优化等工作也是通过数据分析进行，但由于数据统计工作过程大量人工参与、采集数据样本数量较低等原因，存在数据统计分析成本过高、结果数据不够全面、准确等问题.而在对基层业务与行业生产全面数字化的基础上，大数据技术则长于趋势分析与预测.如通过对城市交通流量数据的分析，制定“潮汐道路”，设计路网优化规划;根据对公众出行客运量分析，实现公交客运车辆的动态部署等.

5 大数据在交通行业拓展的困境

5.1 行业信息化整体水平较低、数据的采集与整合困难

目前交通运输行业信息化、智能化发展非常不均衡，广大西部地区缺少信息化基础，信息系统应用效果差，数据采集困难.信息化建设较早的省份，由于信息化建设缺乏统一规划与顶层设计，系统建设、使用单位均不相同，交通运输主管机构与各二级单位、信息化主管部门与业务部门分头建设业务系统，系统技术架构差距大，基层单位上级机构多头管理，造成数据来源不统一，信息孤岛现象严重.各省信息化建设与应用水平的差距同样造成部级数据整合困难，无法发挥实际的应用价值.

5.2 缺乏工作规范与要求，数据应用机制困难

交通运输管理机构人员信息化水平差距较大，系统用户缺乏应有的信息化思想，传统的办公方式与习惯难以改变.政府管理机构没有针对信息化应用与数据的采集应用形成上下联动，奖惩结合的管理机制.信息化应用游离于业务办理之外，信息管理部门与业务部门各管一摊，无法真正将实际业务实现在线办理，真正提高办公效率创造信息价值.行业主管部门缺乏对行业企业生产监管数据进行采集的法律法规，也没有面向企业提供数据服务，既没有通过信息化手段对行业生产状况进行全面掌握，也无法通过信息服务促进产业升级和变革.

5.3 行业从业人员信息化意识不强，大数据应用思路缺乏

交通运输行业主管部门领导对数据指标价值与数据应用方式缺乏认识，一些信息化规划、项目规划不接地气，系统重建设轻实用，实际应用价值不高，数据采集需求无法得到贯彻.如交通运输部部省联网项目，采集了全国绝大多数省份的户车人基础数据，但是既没有制定政策法规，保证数据的更新与同步，也没有进行数据指标的价值分析，实现真正有价值的应用，造成后期维护困难，数据逐渐陈旧，实用价值迅速流失.此外，全国各省、各地交通运输行业信息化发展不均衡，部分地区信息化基础设施较为落后，整体信息化水平有待加强.

6 大数据在交通行业发展的浅见

6.1 积极立法，确立数据采集与应用的重要性

通过研究并制定政策法规，面向部、省、市、县各级交通主管部门及相关企业，将数据采集、整合的责任与义务进行明确规定，明确哪些信息化工作该哪级机构做，该哪些部门做，同时明确科技信息化主管部门在信息化建设中的地位并给予相应的监察、评定的权利，对行业企业明确信息化建设与数据采集方面的社会责任.另外，对交通运输行业数据进行全面的梳理，数据保密性与应用价值进行分级，对数据的采集与应用进行立法，明确不同级别的管理机构可以对哪些数据自行进行分析和利用，那些数据可以开放给社会或企业使用，真正实现大数据的应用价值.

6.2 加快体制改革，设立数据采集与信息化和单位考评相结合的制度

结合国家行政体制改革，进一步改变交通运输行业信息化项目建设传统的上级规划、立项、投资、监管、评审一体化管理模式，实现规划与立项、资金使用与审计、项目监管与后评审的权责分离，让信息化项目建设实际落地，上级单位更注重资金使用的控制与系统应用效果的后评审.尽快制定政策，将指定数据指标的采集和上报纳入行业管理规定;通过体制改革，设立数据上报与信息化应用水平考核制度并实现常态化，同时实现数据上报制度与行业统计工作的全面结合，改变传统的统计人工上报模式，用信息化数据支撑行业统计.考核制度包括3个层面:管理机构对企业考核;单位领导、信息化主管部门对业务部门的考核;上级主管部门对下级单位的考核.