大数据“ABC”

□ 文/陶 丹

关于“大数据”概念产生的来龙去脉

1．“大数据”的名称来自于未来学家托夫勒所著的《第三次浪潮》

尽管“大数据”这个词直到最近才受到人们的高度关注，但早在1980年，著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将“大数据”称颂为“第三次浪潮的华彩乐章”。《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。从2009年开始“大数据”才成为互联网技术行业中的热门词汇。

2．最早应用“大数据”的是麦肯锡公司（McKinsey）

对“大数据”进行收集和分析的设想，来自于世界著名的管理咨询公司麦肯锡公司。麦肯锡公司看到了各种网络平台记录的个人海量信息具备潜在的商业价值，于是投入大量人力物力进行调研，在2011年6月发布了关于“大数据”的报告，该报告对“大数据”的影响、关键技术和应用领域等都进行了详尽的分析。麦肯锡的报告得到了金融界的高度重视，而后逐渐受到了各行各业关注。

3．“大数据”的特点由维克托·迈尔-舍恩伯格和肯尼斯·库克耶在《“大数据”时代》中提出

维克托·迈尔-舍恩伯格和肯尼斯·库克耶编写的《大数据时代》①中提出：“大数据”的4V特点：Volume（数据量大）、Velocity（输入和处理速度快）、Variety（数据多样性）、Value（价值密度低）。这些特点基本上得到了大家的认可，凡提到“大数据”特点的文章，基本上采用了这4个特点。

4．在云计算出现之后“大数据”才凸显其真正价值

自从有了云计算服务器，“大数据”才有了可以运行的轨道，才可以实现其真正的价值。有人就形象地将各种“大数据”的应用比作一辆辆“汽车”，支撑起这些“汽车”运行的“高速公路”就是云计算。最著名的实例就是Google搜索引擎。面对海量Web数据，Google于2006年首先提出云计算的概念。支撑Google内部各种“大数据”应用的，正是Google公司自行研发的云计算服务器。

众说纷纭的表达

《大数据时代》的作者维克托·迈尔·舍恩伯格解释②：了解什么是“大数据”的定义非常关键。首先要明确的是，“大数据”并不是很大或者很多数据。根据维克托在书中的描述，“大数据”并不是一部分数据样本，而是关于某个现象的所有数据。第二点，由于掌握了关于某个现象的所有数据，那么在统计时就能接受更多不准确的信息。第三，“大数据”的分析着重在了解“什么”而不是“为什么”。比如人们可以通过各种相关数据来了解未来将会发生什么，而不是这些事情发生的原因。要探寻原因会更难，很多时候，知道会发生什么已经足够了。以上这些就是“大数据”的核心，有足够多的数据，允许数据中存在不准确的信息和不去探寻事件发生的原因而是探寻会发生什么事件。

维基百科对“大数据”的解读是：“大数据”（Big data），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

百度百科对“大数据”的定义为：“大数据”(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

传媒专家刘建明教授认为③：“大数据”同信息是不可分离的，是指信息浩大数量的统计与技术运作。作为人类认知社会方法的一次飞跃，“大数据”技术将给企业运营、政府管理和媒体传播的科学化创造有效机制。

“大数据”的基本判断标准

什么样的数据才是“大数据”？透过层层的迷雾和众说纷纭，可以讲：有了云计算服务器才有了“大数据”应用的价值。

维克托曾说过：“假设你要测量一个葡萄园的温度，但是整个葡萄园只有一个温度测量仪，那你就必须确保这个测试仪是精确的而且能够一直工作。反过来，如果每100棵葡萄树就有一个测量仪，有些测试的数据可能会是错误的，也可能会更加混乱，但众多的读数合起来就可以提供一个更加准确的结果。因为这里面包含了更多的数据，而它提供的价值不仅能抵消掉错误数据造成的影响，还能提供更多的额外价值。现在想想增加读数频率的这个事情。如果每隔一分钟就测量一下温度，十次甚至百次的话，不仅读数可能出错，连时间先后都可能搞混。试想，如果信息在网络中流动，那么一条记录很可能在传输过程中被延迟，在其到达的时候已经没有意义了，甚至干脆在奔涌的信息洪流中彻底迷失。虽然得到的信息不再准确，但收集到的数量庞大的信息让我们放弃严格精确的选择变得更为划算……为了高频率而放弃了精确性，结果观察到了一些本可能被错过的变化。虽然如果能够下足够多的工夫，这些错误是可以避免的，但在很多情况下，与致力于避免错误相比，对错误的包容会带来更多好处。为了规模的扩大，我们接受适量错误的存在。”④其中描述葡萄园测量仪采集的数据就是大数据。大数据实质上是全面、混杂的并且具有数据量大、输入和处理速度快、数据多样性、价值密度低特点的数据。

【注释】

①④[英] 维克托·迈尔-舍恩伯格，[英] 肯尼思·库克耶 著，盛杨燕，周涛 译，《大数据时代》，浙江人民出版社，2013-01-01出版。

②朱旭冬，《对话维克托：”大数据”重在预测 应由CEO亲自负责》，腾讯科技， 2012年12月26日。

③刘建明，《新闻媒体对““大数据””的驾驭》《新闻战线》，2013年6月。