用大数据技术建设智慧中国
2014-03-09张永民
张永民
随着现代信息技术的飞速发展,大数据(Big data)浪潮正以浩浩荡荡、锐不可当之势向我们袭来。美国麦肯锡公司的报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富,价值堪比石油。联合国曾发布报告称:大数据将成为“改变世界的第一科学技术”,必将推动世界经济的发展。对此,国外IT行业巨头争先恐后的抢夺大数据创新研发的领头羊,美国、英国、日本等发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。我国国家有关部委及时出台了发展大数据产业的政策文件,北京、南京、广州、深圳、杭州、宁波、无锡等许多城市都将物联网、云计算、大数据作为智慧城市的三大核心技术,投入大量资金予以开发应用,上海、秦皇岛、重庆、西咸新区等一批大数据产业园已投入大规模建设。
“智慧中国(Smarter China)”是以信息化为龙头,以科技为支撑,以创新为驱动,以环境为载体,以智慧为本位,涵盖城乡管理生产、生活、环境、文化等方面的智能化。“智慧中国(Smarter China)”是“数字中国(Digital China)”发展的高级阶段。形象地讲:数字中国+物联网+云计算+大数据+……=智慧中国。因之,智慧中国离不开大数据技术,我们必须用大数据技术来建设智慧中国。
大数据的定义及特征
联合国资料显示,全球互联网流量累计达到1EB(即10亿GB或1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天。未来10年里预计数字信息总量将从2009年到2020年增长44倍,全球数据使用量将达到大约35.2ZB(1ZB=10亿TB)。
大数据(Big data)泛指P(1000个T)级以上的数据(包括E(100万个T)、Z(10亿个T)级大数据)。维基百科把大数据定义为一个大而复杂的、难以用现有数据库管理工具处理的数据集。广义上,大数据有三层内涵:一是数据量巨大、来源多样和类型多样的数据集;二是新型的数据处理和分析技术;三是运用数据分析形成价值。因之,业界将大数据的特征概括为4V:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)和“1秒定律”。
大数据技术包括信息的采集技术、整理加工技术、存储技术、管理技术、传输技术、搜索技术等各个方面,涉及到数据库、网络、人工智能、通信、地理信息系统、多媒体、仿真等信息技术的各个专业领域,其核心技术是数据挖掘(DM)和数据分析技术,其本质是知识发现(KDD)。
物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。在智慧中国建设中,大数据将会如基础设施一样,有数据提供方、管理者、监管者,数据的交叉复用将大数据变成智慧中国的一大产业。据统计,目前大数据所形成的市场规模在51亿美元左右,而到2017年,此数据预计会上涨到530亿美元
大数据对智慧中国建设的推动作用
大数据将对智慧中国的科学研究、经济建设、社会发展和文化生活等各个领域产生革命性的影响;对培育数据产业,服务智慧中国,促进经济结构调整和产业转型,将产生巨大的推动作用。
大数据将改变智慧中国的治理模式、企业业务流程和个人生活方式。大数据时代网民和消费者的界限正在消弭,企业的疆界变得模糊,数据成为核心的资产,并将深刻影响企业的业务模式,甚至重构其文化和组织。因此,利用大数据更加贴近消费者、深刻理解需求、高效分析信息并作出预判,将对智慧中国治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。
大数据将引发智慧中国新一轮信息化投资和建设热潮。据麦肯锡预测未来智慧中国大数据产品的潜在市场规模有望达到1.57万亿元,给IT行业开拓了一个新的黄金时代。数据处理技术和设备提供商、IT系统咨询和ERP/CRM/BI改造服务商、智能化和人机交互应用以及信息安全提供商将获巨大需求,相应公司将获得机会。
大数据为智慧中国拥有数据资产的企业提供发展机遇。预计今明两年将是大数据市场的培育期,2015年以后大数据产品将会形成业绩。由于国际巨头在硬件层和基础软件层垄断优势明显,本土企业将主要依靠对客户需求的了解和客户资源优势,以及本地化服务的优势,在应用软件层分得蛋糕,拥有大数据处理、挖掘技术、数据分析人才以及数据资产的公司值得看好,将在智慧中国建设中迎来难得的发展机遇。
大数据反映智慧中国的舆情和民意。网民在网上产生的海量数据,记录着他们的思想、行为乃至情感,这是信息时代现实社会与网络空间深度融合的产物,蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计,2013年底我国网民数已超过8亿,手机网民已超过6亿,通过分析相关数据,可以了解智慧中国的大众需求、诉求和意见。
大数据将对智慧中国社会发展带来巨大推动作用。企业和政府的信息系统每天源源不断产生大量数据,根据赛门铁克公司的调研报告,全球企业的信息存储总量年增67%。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。智慧中国倘若能够更有效地组织和使用大数据,国家将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
选择八大重点领域推进智慧中国大数据建设。
用大数据技术建设智慧中国要重点选择以下八个具有大数据基础的领域和具有迫切需求的行业,探索“数据、平台、应用、终端”四位一体的新型商业模式,推进大数据产业发展,促进大数据技术成果惠及广大民众。
城市规划。根据全国城镇化建设工作会议的战略部署,重新搞好各地的城镇建设规划;通过对城乡地理、气象等自然数据和经济、社会、文化、人口等人文社会信息的挖掘,为城镇规划提供强大的决策支持,强化城镇规划的科学性和前瞻性;尽快实施数字化城市管理新模式,使城市管理实现快捷有序科学化。
智慧交通。针对交通规划、综合交通决策、跨部门协同管理、个性化的公众信息服务等需求,建设全方位交通大数据服务平台。整合城乡道路交通、公共交通的大数据资源,汇聚气象、环境、人口、土地等行业数据,逐步建设交通大数据库,提供道路交通状况判别及预测,辅助交通决策管理,支撑智慧出行服务,加快交通大数据服务模式创新。针对现代物流业务的需求,建设物流大数据平台。汇聚整合城乡货物、运输车辆等数据,融合多源物联网、北斗导航等数据,实现货运数据共享服务,建立基于大数据的现代货运物流服务体系。
医疗卫生。针对临床质量分析、医疗资源分配、医疗辅助决策、科研数据服务、个性化健康引导的需求,建设全民医疗健康公共服务平台。在健康信息网已有数据的基础上,汇聚整合医疗、药品、气象和社交网络等大数据资源,形成智能临床诊治模式、自助就医模式等服务模式创新,为民众、医生、政府提供医疗资源配置、流行病跟踪与分析、临床诊疗精细决策、疫情监测及处置、疾病就医导航、健康自我检查等服务。建设完善涵盖城乡所有患者的电子诊疗档案库,形成PB级的医疗健康大数据资源,实现支撑城乡主治医生同时在线诊疗的辅助能力。
食品安全。针对食品安全和管理的需求,建设食品安全大数据服务平台。汇聚政府各部门的食品安全监管数据、食品检验监测数据、食品生产经营企业索证索票数据、食品安全投诉举报数据,建成食品安全大数据资源库,进行食品安全预警,发现潜在的食品安全问题,促进政府部门间联合监管,为企业、第三方机构、公众提供食品安全大数据服务。
数字生活。针对日益增长的现代化生活需求,建设数字生活大数据服务系统。收集整合流行时尚、行业发展指数、用户消费习惯、收视记录、社交媒体、地理位置等大数据,充分挖掘用户的消费习惯和兴趣偏好,提升企业辅助决策能力,形成有市场竞争力的创新商业模式,面向所有消费者提供个性化衣食住行生活互动信息。
制造业。针对科学评价生产系统规划、降低产品缺陷率等需求,建立制造业大数据系统。整合已有的车间制造、质量体系、工序数据、成本核算等建模数据,为工厂生产、实际建设提供决策依据。收集产品生产过程各环节的实时质量数据,实现敏捷的一体化质量监测和管控,并支持产品质量追溯,形成基于大数据的一贯过程质量控制及分析系统,并向第三方提供服务。
公共安全。针对治安防控、反恐维稳、情报研判、案情侦破等实战需求,建设基于大数据的公共安全管理和应用平台。汇聚融合涉及公共安全的人口、警情、网吧、宾馆、视频、人脸、指纹等海量业务数据,建设公共安全领域的大数据资源库,全面提升公共安全突发事件监测预警、快速响应和高效打击犯罪等能力。
科技服务。针对科技服务数据整合、交互式服务、发展趋势预测、战略决策支持等需求,探索科技服务链整合、众包分包、供需对接的交互式平台型服务模式,建立科技服务业资源共享体系,建设跨领域科技服务与工程创新平台。汇聚科技成果、项目、人才、服务、互联网创新创意等大数据资源,支撑研发设计、技术转化、创新创业、科技咨询等方面的科技服务。打造“科联工程”,形成跨领域的大数据服务模式。
依托统计部门为全国大数据采集应用探索新路。
统计部门是城乡大数据采集应用的主导部门,在业务工作中要不断明确工作重点,有条不紊地落实和推进大数据应用工作,为全国大数据采集应用探索新路。一在专业突破方面,以价格统计和贸易统计为例,逐步研究采集互联网信息特别是电商交易数据和价格数据以补充完善调查样本,研究建立商场、超市和电商企业向统计部门提供完整电子化交易记录的制度。二在企业电子化记录应用方面,要与有关高校和科研部门协作,积极研究开发企业电子化生产经营记录自动导入统计联网直报系统的技术,争取2014年在联网直报平台正式加载自动导入软件。三在应用政府部门电子化行政记录方面,进一步加强与民政、工商等部门的协作配合,推进电子化行政记录和统计信息的共享。在居民收入、劳动工资等统计中,要不断研究通过对税务、银行等部门行政记录的分析,评估公民收入、工资、家庭资产等统计数据,特别是评估与校验高收入阶层的相关数据。四在利用大数据开展经济走势预测方面,各级统计部门要与网络公司、科研单位和咨询机构等开展合作,探索利用网络搜索数据建立相关统计分析和计量模型,进行经济形势分析预测,为各级政府决策提供服务。
用大数据建设智慧中国应采取的对策
大数据的应用与分析对做出科学决策具有重要意义,我们从现在开始就应该为数据收集和数据分析做好充分准备,以确保智慧中国快速建设。
建设“大数据”宽带高速通道。大数据如同节假日高速公路上的汽车,如果路面狭窄就会发生严重拥堵。该文原载于中国社会科学院文献信息中心主办的《环球市场信息导报》杂志http://www.ems86.com总第535期2014年第03期-----转载须注名来源对此,我国电信、移动、联通、广电等电信企业要积极落实“国家宽带工程战略”,争取在“十二五”末建成融合3G(第三代移动通信)、4G(第四代移动通信)、WLAN(无线局域网)、宽带固网及NGB(下一代广播电视网)等城域高速网络,实现高速安全、多层次、立体化网络覆盖;实施“宽带中国”战略,全面实现“百兆到户,千兆到企”的宽带接入能力,城域网全面支持IPv6(国际互联网协议第6版)访问与解析;WLAN热点覆盖广泛,城乡无线宽带网络覆盖率达到90%;力争实现TD-LTE(分时长期演进)网络全面商用,极大满足智慧中国建设的需求,为大数据的广泛应用拓宽通道。
实施“三网融合”和数字家庭试点。推动基于互联网、通信网、广播电视网的产业转型和资源融合,重点发展基于广电网的电信增值业务、互联网接入业务和电信运营商的IPTV(交互式网络电视)业务;开展“三网融合”数字家庭试点示范,普及家庭高清互动娱乐、视频通信、节能管理、安全监控、远程教育、家庭医疗保健等智能化信息应用。到“十二五”末,形成全国统一有线广播电视网,建成IPTV、手机电视集成播控平台和综合业务管理平台,全面实现广电和电信业务双向进入,使数字、图像、视频等大数据公开使用,畅通无阻。
构建各级政府大数据中心。建设和完善人口、法人、空间地理和宏观经济等基础信息数据库,以及市场监管、社会信用等专题信息数据库,制定管理办法,完善信息动态更新机制,依托各级云计算中心建设政府大数据中心,提高从大量数据中采集、访问、组织、分析和可视化处理信息的水平。到“十二五”末,各级要建成多层次的空间信息云服务体系,建成宏观经济数据库,为贮存、计算、处理、分析大数据,满足城乡管理、企业生产经营、公民生活需求和政府智慧决策提供服务。
建立政府和社会联动的大数据形成和应用机制。各级政府部门和各行业要全面实施信息公开制度,推动公共数据资源的开发利用,提高信息资源社会价值和经济价值。积极推行政府网上办事,收集分析挖掘社会政务服务需求,推进公共服务个性化和政府决策智能化。支持公共服务机构和商业机构开放与社会民生密切相关的公共数据。推进国民经济各行业和企业数据开发,发展商业智能。鼓励开展服务大众的大数据应用,提升智慧生活品质。
制定实施大数据的有关政策措施。大数据就是资源,建设智慧中国离不开大数据的开发应用,必须制定有关政策措施,确保大数据这一科技生产力发挥作用,以推动智慧中国建设。
创新体系建设。各省市要成立“大数据产业技术创新战略联盟”,设立“大数据科学实验室”、建设“数据工程技术研究中心”等,以大数据技术创新及产业应用为目标、以联盟为纽带促进形成若干引领大数据产业技术创新的企业联合实体;以合同契约为保障有效整合产、学、研、用等各方资源,以技术创新为驱动力、市场刚性需求为推动力,发展拥有自主知识产权且符合国内外产业发展需求的共性应用技术、产业标准和产品规范。
培养专业人才。开展数据专业领域人才的培养,培训一批资深数据工程师,培育跨界复合型人才,与国内外数据专家形成持续稳定的协作关系。鼓励高等院校和企业合作,开展数据科学和大数据专业学历教育,依托社会化教育资源,提高大数据产业人员的业务水平,发挥大数据高层次引进人才的重要作用,开展大数据专业培训,形成人才梯队。
完善制度法规。研究大数据产业相关的政策法规,提出数据资源权益、隐私保护等方面的法规细则建议,制定大数据相关标准,并提出技术解决手段,在保护数据资源的同时,促进数据资源合理有序地开发利用。在人才、财税、科技金融等方面设计有利于数据人才和数据产业发展的政策,逐步建立有利于各地大数据研究与发展、并保障大数据安全的制度法规体系。
推动协同合作。推动数据资源、数据技术、数据应用等方面企业开展深入合作,形成数据共享、数据流通、数据分析的机制和模式,提升数据开发、使用的效率和效能。围绕大数据技术链、产业创新链,运用市场机制集聚创新资源,实现企业、大学和研究院所等机构在战略层面的有效结合,通过资源共享、协同开发和集成创新,形成智慧中国大数据的核心竞争力。
搞好服务支持。各级政府要搞好大数据服务。鼓励开展基于信息资源的数据挖掘和知识加工等大数据服务,构建新型信息服务运营平台,为科学研究、规划设计、生产管理、商务民生等提供支持;加强基于云计算的大数据开发与利用,创新大数据商业模式,推进社会各领域与信息技术深度融合。要组织大数据沙龙、讲座、竞赛等活动,在全社会营造数据研究和开发的氛围,形成整合行业数据、探索数据背后价值和制定精确行动纲领、进行快速反应实时行动的三种能力,以促进智慧中国建设快速发展。