大数据:改变未来的信息革命
2014-05-23新华社江苏分社江苏省经信委
新华社江苏分社 江苏省经信委
大数据或称巨量资料,指一般的软件工具难以捕捉、管理和分析的大容量数据,以“太字节”为单位。其特点是容量巨大,数据类型繁多,价值密度低,处理速度快。“大数据”并不仅仅在于数量巨大,而是以通过对数据的交换、整合和分析,发现新的知识,创造新的价值,带来“大知识”、“大科技”、“大利润”和“大发展”。
大数据带来全新的变革
大数据转变政府的行为模式。在大数据时代,政府将由数据“收集者”向数据“分析者”转变,由数据“被索取者”向服务“推送者”转变,政府决策将由“预报”走向“实报”、“精报”,从而推动政府提升行政效率和公共服务水平。
大数据保障经济智慧增长。宏观层面,大数据使经济决策部门可以更敏锐地把握经济走向,制定并实施科学的经济政策。微观方面,大数据可以提高企业的经营决策水平和效率,推动创新。大数据推动传统产业升级与新产业诞生。采用大数据处理方法,生物制药、新材料研制生产的流程会发生革命性变化,可以利用数据处理能力极强的计算机进行大批量的仿真比较和筛选,大大提高科研和生产效率,使整个行业迈入数字化与信息化的新阶段。在大数据的影响下,未来可能形成数据服务、数据探矿、数据化学、数据材料、数据制药等一系列战略性新兴产业。大数据开启商务智能新阶段。为适应大数据时代的发展要求,传统企业需要通过开展商务智能来提高企业的运营活动效率。大数据引发科学研究思维与方法的革命。大数据引起了科技界对科学研究方法论的重新审视,已成为科学研究的“第四范式”,即用强大的新工具分析、呈现、挖掘和处理科学数据,得出科研发展的方向与结论。
制约大数据产业发展和应用的瓶颈
随着大数据时代的降临,在商业、经济及其他领域中,决策将日益基于数据和分析,而非依靠经验和直觉,数据将会像土地、石油和资本一样,成为经济运行中的根本性资源。但在实际运行中,制约其发展和应用的瓶颈仍不可忽视。
数据收集和提取的合法性,数据隐私的保护和应用之间的权衡。任何企业或机构从人群中提取私人数据,用户都应有知情权,将用户的隐私数据用于商业行为时,都需要得到用户的认可。然而,目前,中国乃至全世界对于用户隐私应当如何保护、商业规则应当如何制定、触犯用户的隐私权应当如何惩治、法律规范应当如何制定等一系列管理问题都大大滞后于大数据的发展速度。
大数据发挥协同效应需要产业链端的企业达成竞争与合作的平衡。大数据最具有想象力的发展方向是将不同行业的数据整合起来,提供全方位立体的数据绘图,力图从系统的角度了解并重塑用户需求。因此,大数据对其生态圈中的企业提出了更多的合作要求。如果没有对整体产业链的宏观把握,单个企业仅基于自己掌握的独立数据无法了解产业链各个环节数据之间的关系,对消费者做出的判断和影响十分有限。在一些信息不对称比较明显的行业,如银行业以及保险业,企业之间数据共享的需求更为迫切。然而,在很多情况下,这些需要共享信息的企业之间竞争和合作的关系同时存在,企业在共享数据之前,需要权衡利弊,避免在共享数据的同时丧失竞争优势。此外,当很多商家合作起来时,很容易形成卖家同盟,从而导致消费者的利益受到损失,影响竞争的公平性。如果没有中立的第三方机构出面协调所有参与企业之间的关系、制定数据共性及应用规则,将大大限制大数据的用武之地。权威第三方中立机构的缺乏将制约大数据发挥出最大的潜力。
人才稀缺制约大数据结论的解读和应用。大数据可以从数据分析的层面上揭示各个变量之间可能产生的关联,但是数据层面的关联如何具象到行业实践中?如何制定可执行的方案应用大数据的结论?这些问题要求执行者不但能够解读大数据,同时,还需深谙行业发展各个要素之间的关联。在这个过程中,人的因素成为制胜的关键。从技术角度看,执行人需要熟悉大数据技术,能够解读大数据分析出的结论;从行业角度讲,执行人要非常了解行业各个生产环节的流程关系、各要素之间的可能关联,并且将大数据得出的结论和行业的具体执行环节一一对应起来;从管理角度而言,执行人需要制定出可执行的能解决问题的方案,并且确保这一方案和管理流程没有冲突,在解决问题的同时不会制造出新的问题。这些条件不但要求执行人深谙技术,同时,还应当是一个卓越的管理者,有系统论的思维,能够从复杂系统的角度关联地看待大数据与行业的关系。此类人才的稀缺性将制约大数据的发展。
国际大数据产业发展经验
近年来,发达国家率先布局,纷纷将大数据纳入战略性新兴产业范围,在政策、标准、政府应用等方面制定了长期发展战略,美、日、欧等国家和地区已经开始部署实施大数据技术研究及应用。
规划先行,确立大数据的战略地位。大数据领域的竞争将关系到国家的安全和未来,为了更好地规划大数据产业发展,美国、欧盟、日本等诸多国家及地区纷纷出台规划,把大数据产业上升到战略高度。美国发布《大数据研究和发展计划》,由美国国家科学基金、国家卫生研究院、能源部、国防部等6个联邦政府部门组建“大数据高级指导小组”,宣布启动2亿美元的投资计划,把发展大数据提升至国家战略。欧盟正式出台大数据发展规划,将以大数据为动力支持社会创新。日本发布了“活跃ⅠCT日本”新综合战略,提出关注大数据政策,将对大数据推广的现状、发展动向、面临的问题等进行探讨,以期对解决社会公共问题做出贡献。
整合资源,多维合作提升大数据产业竞争力。以美国为例,政府积极整合社会资源促进大数据技术的研发和应用。提出联邦政府要与行业、科研院校和非营利机构一起,共同迎接大数据所创造的机遇和挑战。从某种程度上讲,在美国,大数据已形成了全体动员的格局。此外,美国注重发挥产业界作用,掌握大数据核心技术的信息技术龙头企业成为推动大数据应用落地的关键力量。ⅠBM、谷歌、亚马逊、甲骨文以及微软等企业凭借雄厚的数据储量、经济实力和风险抵御能力,通过收购或自主研发等方式,加大投入力度,促进大数据技术开发,推动大数据应用,而且还吸引中小企业形成产业链,有效推动了大数据产业的快速发展。日本也充分整合各界资源投入大数据的研发与应用。调查显示,目前,日本大约六成以上的企业正积极考虑应用大数据,预计到2016年,致力于大数据项目的日本大企业数量将增加一倍,其中,七成将有ⅠT部门之外的经营及事业部门参加。针对巨大需求可能引发的人才短缺,日本的大学和科研机构将加速培养专业人才,为大数据产业发展提供智力支撑。
开放政府数据,为大数据应用提供数据源。大数据归根到底要有海量的数据,因此,解决数据源的开放问题非常关键。实际上,政府是最主要的数据源。2009年1月,奥巴马要求联邦政府各部门通过“一站式”政府数据下载网站(www.data.gov)向社会公开各类非保密的数据库。此后,美国国会通过更新法案,进一步提高了数据采集精度和上报频度,方便各界对大数据的利用。欧盟的“欧盟开放数据战略”提出,将公共部门搜集和产生的原始数据通过再利用成为数以万计的ⅠCT用户依赖的数据材料,并提出有关开放数据战略的多项法律提案,将重点加强在数据处理技术、数据门户网站和科研数据基础设施三方面的投入。日本的新ⅠT战略提出,2013~2020年将以发展开放公共数据和大数据为核心,并承诺向民间开放公共数据。
政府先行,推动大数据的创新应用。在大数据的应用方面,发达国家的政府部门,基于掌握的丰富数据,率先在医疗健康、食品卫生、道路交通、地质灾害、社会舆情、国防安全等领域开展应用示范,继而不断拓展至各部门、各行业。在波士顿马拉松爆炸案中,美国中情局通过采集移动基站的通信记录,附近商店、加油站、报摊的监控录像以及志愿者提供的图片和影像资料等各种数据,锁定嫌疑犯并找到炸弹来源。日本政府决定,将在发生大规模灾害时导入大数据,通过分析电子数据,迅速收集情报,快速支援受灾地区。
国内各地纷纷抢抓大数据发展机遇
近年来,北京、上海、重庆、广东等地纷纷发布地方大数据战略规划,组织当地重点企业或科研机构进行大数据技术研发、商业模式等探索,抢占大数据发展先机。
北京:以集群优势构筑中关村大数据产业链。一是政府公布数据,探索“大数据”惠民。由北京市经信委牵头建设,各政务部门共同参与的北京市政府数据资源网(www.bjdata.gov.cn)已于2012年10月推出测试版。目前,正在试运行的基础上加快制定管理办法。二是凭借集群优势打造中关村大数据示范应用。大数据产业已经纳入《中关村战略性新兴产业集群创新引领工程(2013~2015年)》,开展云运营和大数据示范应用,建设云计算应用支撑平台、虚拟化平台,支持开展海量数据存储、数据挖掘和分析等技术的行业应用,以及大规模云运营服务和大数据挖掘服务。三是成立大数据联盟,基金助推大数据创新创业。由宽带资本、云基地、北京大学等企业、高校共同发起成立“中关村大数据产业联盟”。联盟发布了云天使基金、中云融汇基金、大数据实验室孵化基金三只产业投资基金,很大程度上培育和扶持了创造性思想、创新性技术和创业团队的发展,激发中关村云计算和大数据领域的创新创业活力。
上海:《大数据研发三年行动计划》明细产业布局。上海市科学技术委员会发布《上海推大数据研发三年行动计划》(以下简称《计划》),成为指引上海大数据发展的规划。《计划》指出,将凝聚上海大数据领域优势力量,研究大数据基础理论,攻克关键技术,研制大数据核心装备,形成大数据领域的核心竞争力,加速大数据资源的开发利用,推进行业应用,培育数据技术链、产业链、价值链,支撑智慧城市建设。
重庆:打造大数据全产业链。重庆市人民政府发布《重庆市大数据行动计划》(以下简称《计划》),在全国首次提出全产业链的主要目标:到2017年,在虚拟技术、云计算平台技术、海量数据存储、数据预处理、新型数据挖掘分析、信息安全技术、大数据关键设备7大领域突破一批关键技术,推动大数据技术在电子政务、民生服务、城市管理及相关重点行业的广泛应用,将大数据产业培育成全市经济发展的重要增长极,打造2~3个大数据产业示范园区,培育10家核心龙头企业、500家大数据应用和服务企业,引进和培养1000名大数据产业高端人才,形成500亿元大数据产业规模,建成国内重要的大数据产业基地。
广东:启动大数据战略,将在政府部门开展数据开放试点。广东省经信委起草了《广东省实施大数据战略工作方案》。根据该方案,广东将成立大数据战略工作领导小组等,以保证大数据战略的有效实施;将建设政务数据中心,并为高等院校和企业等成立大数据研究机构提供支持;还将在政府各部门推行数据开放试点,并通过部门网站向社会开放可供下载和分析使用的数据,进一步推进政务公开。
陕西:集聚优势资源建设大数据产业园。陕西省发布《陕西省大数据产业的发展战略》,提出在西咸新区沣西新城建立沣西大数据产业园,以三大运营商数据中心和全国人口处理与备份(西安)中心为切入点,力争用五年时间建设国家级大数据处理中心,用十年时间建成全国最大的信息资源聚集服务区。
江苏大数据产业发展的现实展望
信息化建设为产业发展提供了丰富的数据资源。随着江苏“宽带中国”、“三网融合”、“智慧城市”等信息化建设的全面推进,公众的信息需求和信息消费能力不断提升,信息公共服务设施不断完善,各行业信息化建设深入推进。江苏已经积累并将继续产生庞大的数据资源,大数据在众多领域的重要作用越来越凸显。
上下游产业基础良好,产业轮廓初现。江苏良好的云计算产业及物联网基础是大数据产业发展的有效助推剂,雄厚的制造业和现代服务业是大数据产业的庞大市场。目前,无锡、南京、徐州、苏州等地市都已经形成了相关的信息产业聚集区。
创新集群逐步形成,科研实力雄厚。江苏已有一批高校和研究院所在从事大数据的理论研究和工程技术开发,如南京大学、东南大学、南京航空航天大学、南京理工大学、南京邮电大学、江南计算技术研究所等。南京大学等高校参与的大数据协同创新中心的成立标志着以高校、科研院所为代表的创新集群逐步形成。该中心将以“大数据关键技术研发——行业应用开发——支撑平台建设——信息资源建设”四位一体的发展战略,协同研究开发大数据关键技术的方法和系统,培育和发展大数据技术创新企业,将大数据研究的创新成果快速产业化。此外,由市民卡公司与南京师范大学共同筹备建立“江苏省大数据与智能商务工程技术研究中心”,双方拟将该中心建设成科技成果转化的重要平台、企业与高校共建的典范,并打造成市民卡产业创新中心,推进科技成果转化。
领袖企业尚未形成,产业带动力不足。大数据产业链分工非常明确,数据应用开发者将是整个产业的主力军和创新的原动力,而资源的运营者和应用服务的整合提供者会集中于少数几家企业。江苏大数据产业虽然已经拥有城市云、苏宁云商、联创、焦点等一批企业,但总体上还缺少具有较大规模、掌握核心技术、能够带动数据产业发展的行业龙头企业;对产业带动效果有限,产业生态群不完整,高端产业链资源不足,产业链各环节尚未形成明显的上下游协作发展模式。迫切需要加强规划引领,营造良好环境,创新商业模式,加快发展步伐。
成立工作小组,制定全方位战略行动规划。目前,上海、重庆、广东均已制定了大数据发展规划,明确了产业发展的定位、目标及保障措施,抢占大数据发展先机。江苏也已经开展了大数据产业发展的相关规划研究。应进一步考虑由江苏省经信委牵头成立大数据工作推进小组,深入调研江苏发展大数据的资源和技术基础、研发能力、人才现状,梳理市场和商业模式的创新需求以及与云计算产业发展的紧密关系,尽快出台《江苏省云计算和大数据产业发展三年行动计划》,并以省政府名义下发。
组建产业联盟,加速推进大数据示范应用。江苏应借鉴北京经验,整合上下游企业、研发机构等产业链资源,组建大数据产业联盟。通过成员单位间的强强联合,加速实现技术创新和产业发展。积极组织联盟成员间的信息沟通、技术交流、产学研对接等活动,建立大数据技术联合研发中心,加强共性技术攻关,实现核心技术突破。大数据推进应用方面,可在政府各部门开展数据开放试点,通过网站向社会开放可供下载和分析使用的数据,进一步推进政务公开;选择能源、金融、电信、交通、商业零售、工业制造、医药卫生、电子商务等重点领域,鼓励其对基于企业的需要积累的数据进行挖掘,为企业制定战略提供帮助,提高经营决策水平和业务效率,提升创新能力和服务质量,降低运营成本。
创造良好的创新发展环境,解决产业资本瓶颈。首先,充分重视大数据应用背景下的信息安全问题。根据江苏大数据发展的需求,可在部分领域率先拟定并试点江苏适用的安全与隐私保护条例。其次,可借鉴北京中关村设立大数据创新基金的相关经验,探索设立大数据创业基金,为大数据创业企业提供资金支持,逐步培育出大数据领域的世界级企业。在省级专项资金中加大对大数据关键技术和应用示范工程的支持。同时,通过政策和资金引导,将民间资本更多地引进大数据风险投资基金。最后,在创造良好的资金环境、解决产业发展资本瓶颈的同时,鼓励相关企业加强资本市场运作,形成有效的资金链,以资本的力量提升产业竞争力。
搭建产学研合作平台,探索有效的商业模式。江苏应围绕大数据技术链、产业创新链,运用市场机制集聚创新资源,推动企业、高校和研究院所等机构在战略层面的有效结合,以实现资源共享、协同开发和集成创新。可以考虑搭建江苏省内重点高校和大数据龙头企业、产业联盟的发展平台,将高端研发资源引入企业生产,促进科研项目的产业化,提高企业的核心竞争力;同时,构建高校大数据科研项目与企业的合作机制,探索成熟大数据产品和企业的商业模式,推动大数据项目和产品尽快实现市场效益。
以大数据为发展契机,推进江苏智慧城市试点建设。江苏应结合智慧城市建设,以医疗卫生、文化教育、交通运输、公共安全等社会服务为切入点,加速各部门、各领域信息资源的融合共享,为智慧城市提供强大决策支持,强化社会管理与服务的科学性和前瞻性。
首先,加强统筹规划,优化大数据形成机制。强化对大数据建设工作的组织协调,建议由省经信委牵头制定智慧城市的标准和评价体系,统一全省的基础大数据集,避免智慧城市一哄而上,重复建设,尽可能实现数据资源联合共建、广泛共享。建立政府和社会联动的大数据形成机制,政府数据公开共享,推动公共数据资源的开发利用。其次,加强数据收集和信息感知,提高城市感知水平。加强政府部门在管理和服务过程中对数据的主动采集,建立政府大数据库。鼓励制造业企业和商业机构加强对生产经营活动中的数据采集,形成覆盖生产过程和商业各环节、各流程的数据库。推进无线识别技术、传感器、无线网络、传感网络等新技术的广泛应用,提高数据采集的智能化水平。最后,推进大数据应用,提高经济社会智慧化水平。推进政务信息公开,收集分析挖掘社会政务服务需求,推进公共服务个性化和政府决策智能化。支持公共服务机构和商业机构开放与社会民生密切相关的公共数据。鼓励开展服务大众的大数据应用,提升智慧生活品质。