被大数据拥抱的未来
2013-04-29叶雷
叶雷
“大数据时代的预言家”、牛津大学网络学院互联网研究所治理与监管专业教授维克托·迈尔·舍恩伯格在《大数据时代》一书中,首先给出了“大数据”的含义:你的一个习惯动作,你的一次消费行为,你的一份就诊记录……文字、方位、沟通等一切事物皆可以量化为数据,不仅人类生产和生活中“有意义”的信息海量产生,相比以往呈几何数级的爆炸式增长,“无意义”的数据的膨胀速度也同样惊人。
数据采集存储技术让所有的一切信息都可能被数据化,互联网特别是移动互联网技术让所有的数据可以串联起来,无遗漏数据分析技术几乎可以让所有的数据都派上用场。“大数据时代”,没有了“有意义”信息和“无意义”信息的边界,谁能得到信息并善于利用信息,谁就会抢占先机。“大数据时代”不仅影响着我们每一个人,甚至连世界经济格局也在酝酿着巨大变革。因此,《大数据时代》的作者认为,大数据从根本上改变我们认识世界和改变世界的方式,开启了一次重大的时代转型。
历史是一面镜子,照向未来。毫无疑问,已有的大数据也属于历史的范畴,但大数据时代却是指向未来的。大数据时代,我们分析的数据因为“大”,摆脱了传统对随机采样的依赖,而是面对全体数据;因为所有信息都是“数”,可以不再纠结具体数据的精确度,而是坦然面对信息的混杂;信息之“大”之“杂”,让我们分析的“据”也由传统的因果关系变为相关关系。
人们在大规模数据的基础上可以做到的事情,在小规模数据的基础上是无法完成的。全球新产生数据年增40%,即信息总量每两年就可以翻番,而且这一趋势还在加速。倘若能够更有效地组织和使用大数据,人类将得到更多的机会发挥数据对社会发展的巨大推动作用。研究证明,通过大数据和幂律分布分析,人类行为93%是可以预测的,成为“已经发生的未来”。
大数据时代,决策将日益基于数据和分析而作出,而并非基于经验和直觉。虽然目前大数据预测的还只是参考答案,不是最终答案,但其威力已经显现。在《大数据时代》中,作者举的3个例子令人印象特别深刻。
一是谷歌仅凭网民留下的相关痕迹,就能得出与事实相符度高达97%的结论,2009年比疾控中心提前两周、具体到了特定的地区和州、准确预测了甲型H1N1流感的爆发。2013年,又成功预测了美国流感的暴发。
二是奥巴马2008年的选举,竞选团队里设置了首席数据科学家,他利用Facebook和Twitter进行数据分析,不但利用社交媒体来发布信息,帮助奥巴马团队定位目标选民,甚至筛选出一些潜在的竞选志愿者。
三是微软公司通过大数据分析处理,对新一届奥斯卡金像奖作出“预言”,结果除“最佳导演”外,其余13项大奖全部命中。
正如维克托教授所说,我们目前看到的大数据和大数据应用,还只是“冰山的一角”。一定程度上,大数据就是新财富,价值堪比石油,正因为如此,赛门铁克公司的调研报告显示,全球企业的信息存储总量年增67%。目前包括谷歌、IBM、微软、EMC、惠普,以及我国的百度、腾讯、阿里巴巴等众多巨头,已早早开始布局大数据,为在即将来临的大数据时代做好竞争铺垫。
大数据已经渗入到了生活的方方面面,将逐渐成为现代社会基础设施的一部分,就像公路、铁路、港口、水电和通信网络一样不可或缺。更有人说,大数据是继边防、海防、空防之后的第四个大国博弈的空间。美国奥巴马政府已经把“大数据”上升到了国家战略的层面,投资2亿美元启动“大数据研究和发展计划”。我国的国家973计划中已经部署相关的科研项目,有中国硅谷之称的中关村,大数据产业已经纳入《中关村战略性新兴产业集群创新引领工程(2013-2015年)》。
大数据时代,可以让人成为上帝,通过各数据汇总,俯瞰世界中你想知道的任何一面。大数据时代,也可以让你困扰不堪,因为你面临个人隐私被不断泄露和基于数据预测偏见的麻烦和危机。维克托教授在《大数据时代》中表达了“数据主宰一切”的隐忧,并提出了“责任与自由并举”的信息管理设想,这也是我们在拥抱大数据时代时必须思考和解决的问题。