大数据时代的思维变革
2017-10-16常舒君
常舒君
摘要:结合维克多·迈尔·舍恩伯格所著的《大数据时代》一书,主要梳理了大数据时代带来的三个方面的思维变革:追求全样本而不是小样本、混杂性而不是精确性、相关关系而不是因果关系。通过转变我们在小数据时代的思维模式,拥抱大数据时代,投身这场变革,挖掘更多市场价值。
关键词:大数据时代;思维方式;变革
中图分类号:F2文献标识码:Adoi:10.19311/j.cnki.16723198.2017.26.007
1大数据时代的来临
近年来,“大数据”频繁地出现在我们的视野,成了一个炙手可热的词汇,被各行各业的人们讨论着。随着信息时代的到来,计算机行业的高速发展给我们带来了很多的机遇与挑战,而大数据作为一种新的生产资料,不断地体现出其在社会生活中的巨大作用。各种迹象表明,大数据正全面“渗入”我们的现实生活中,掀起了一场数据技术的革命,世界正被急速推向大数据时代,并且以前所未有的速度颠覆着人们探索世界的方法。
那么,大数据是否单单指数据量十分庞大呢,其实不然,大数据并非是容量特别大的数据集合,因为容量仅仅是大数据的一个特征,如果仅仅是从数据量的层面来看当今的大数据时代,未免有些浅薄。从现代角度来谈大数据,我们至少可以描述出大数据的四个特征:数据量大、数据种类繁多、流动速度极快、价值密度低。若要对这四个特征作出进一步的扩展,那大概只需对价值密度低这个特征稍作解释。由于在大数据时代来临的今天,数据量呈井喷式爆发,而隐藏在大量数据中的有用信息的比例却没有增长,这就意味着我们在庞杂的数据中找到有价值数据的难度增大,即大数据显然可以带给我们巨大的商业价值,但其价值密度还是较低。
而维克多·迈尔·舍恩伯格曾在《大数据时代》一书中表达过这样一个观念,他认为,大数据并不是一个确切的概念,它是指可以在大规模数据基础上做到的事情,而在小规模数据基础上无法做到。大数据不仅仅是指数据量呈指数型增长时的量变,更重要的是量变引发的质变,它给我们带来了新的思维方式,也给我们带来一种量化一切的新的世界观。
2大数据引发思维变革
所谓思维方式,就是我们大脑活动的内在程序,是一种习惯性的思考问题和处理问题的模式,它涉及我们看待事物的角度、方式和方法,并由此对我们的行为方式产生直接的影响。人类的思维方式总是受到周围环境和时代背景的影响,在大数据时代,信息储存量之巨大、计算机数据处理能力之急速使得人类在这样的背景下,必然要应运新的思维方式,带来区别于以往的新的思维变革。
维克多·迈尔·舍恩伯格在《大数据时代》一书中就曾指出,大数据时代处理数据理念上应有三大转变:要全体不要抽样;要效率不要绝对精确;要相关不要因果。这些理念上的变化会引起人们认识世界和改造世界的思维方式的变革。探析大数据时代的数据理念,深刻理解大数据时代引发的思维变革,将有助于我们树立大数据思维,踏入新的大数据时代的大门,激发更大的创新创造力。
接下来,将分别从三个方面讲述大数据时代的三种思维方式的转变。
2.1“小”与“大”
舍恩伯格指出,在小数据时代,人们采用随机抽样的方式对样本进行采样收集,分析结果的精确性与采样的随机性有关,其随机性越强,结果则越精确。可以说,在小数据时代,随机抽样利用了整体与部分的关系,部分具有整体的特征,是一种从部分认识整体的方法。因此,随机抽样在小数据时代显得尤为重要,这是在不可能收集和分析全部数据的情况下,所能达到的最完美的结果了。但我们也要认识到,随机采样并不能进行深入的分析,只能在宏观领域上进行一些分析,而忽视细节考察,它是对无法收集全部数据的一种妥协、一种捷径,在我们无法把握全体的时候,对其做一个方向性的把握,有一定的局限性。
而在大数据时代,则是采用全数据模式。在此环境下,我们可以对数据进行深度探讨,我们可以更准确地抓住事物的细节,并且是所有的、全部的细节,这样的样本分析具有更开阔的视野。故而,如果把小样本时代的思维方式称作“以小见大”,那么在大数据时代,我们的思维方式将转变为“以大见小”。在小数据时代,我们运用简单的因果关系和部分到整体的逻辑在处理问题,永远无法达到样本等于总体的高度,忽略对细节的观察。以往是科技的局限,造成一种只能通过“小”来间接看到“大”的无奈妥协,而如今的大数据时代的到来,使我们有能力“以大见小”,收集全部数据与信息。在大数据时代中,我们将变革以往基于整体与部分关系的“以小见大”的思维方式,转而关注细节,研究各种零碎的、看似无关系的事物之间的联系,在此途中我们也将发现更多被隐藏的商业价值。
2.2混杂性与精确性
在小数据时代,我们极力保证收集到数据的质量,不允许错误率,极力追求精确性、准确性,这样才能利用样本容量低的数据来分析问题。在这种背景下,很多科学家们都致力于改善测量数据的工具。就像初中物理课本上写的,测量允许一定范围内的误差,误差是由于测量工具自身的缺陷,减少误差是科学研究的方向,而错误是被严禁出现的,错误是测量者的失误,会导致整个实验结果的失败,可见在小数据时代,我们对精确性的要求之高。
在大数据时代,情况就远不是如此了,在如此庞大规模的数据量的情景下,想要追求所有数据的精确性便有点天方夜谭。在海量数据的冲刷下,错误对我们的影响微乎其微,甚至不值一提,我们不仅要求我们的数据库和算法容忍错误,对精确性做出让步,我们还拥抱混乱,用概率说话。
混乱是数据规模巨大情况下的代价和逻辑前提。大数据时代是接受混杂的,这种混杂不僅意味着繁多的种类,也意味着高容错率。维克多·迈尔·舍恩伯格指出,“只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下的95%的非结构化数据都无法使用,比如网页和视频资源。通过接受不精确性,我们打开了一个从未涉足的世界的窗户。”endprint
在小数据时代,错误和混乱可能带来不确定性,其造成的后果我们不得不考虑在内。而当我们进入大数据时代,我们无法做到绝对精确,某些错误和混乱对我们的数据分析也无法造成影响,在这里,宽容错误会给我们带来更多的价值。因此,在大数据时代,我们应当重新审视精确性的优劣,避免小数据时代无限追求精确性的思维方式,学会用概率说话,接受纷繁的数据并从中受益。从过去的追求精确性到如今站在更高的高度来操控全局,接受混杂是标准途径,也是我们通向未来的重要一步。
2.3相关关系与因果关系
而大数据最大的转变就是不再竭力渴求因果关系,转而挖掘相关关系的价值,即关注“是什么”而不追究“为什么”。这可能颠覆了千百万年以来人类的思维惯例,从古希腊时期的哲学家们开始探究世界本原起,人类社会仿佛就被套上了一层一定要追求事物本质属性的头纱,这是一种探寻事物间因果关系的冲动。虽然我们不能否认因果关系的重要意义,没有因果关系就没有现代先进的科学技术,但在大数据时代,我们需要将目光转换到相关关系上。“相关关系的核心是量化两个数据值之间的数理关系。相关关系强是指当一个数据值增加时,另一个数据值很可能随之增加。”当然在大数据时代并非完全否认因果关系的存在,只是在这个时代下,相关关系比因果关系重要得多。
一方面,在大数据时代,我们不需要探究因果关系,只探究相关关系就可以让我们对事物的发展做出科学的预测,并获得商业利益。由于大数据中的“大”不应局限于某一个整体或是某一个系统,更包含与某一整体或系统有相关关系的全部数据。因此,在大数据时代,我们看待事物的视野也应要超越一个局限的环境,看到更多与此环境具有相关关系的事物,虽然可能这些事物之间没有因果关系,但透过相关关系,我们可能发现以往发现不到的更有价值的东西。
另一方面,探寻相关关系仿佛是一种认识世界的新途径,我们不必再通过因果关系来发现事物内在规律,转而可以直接通过相关关系得到我们想要的结果。比如,我们不需要了解航空公司是怎样给机票定价,只需关注飞机票的价格是否会飞涨即可解决我们的需求。因而,在大数据时代,我们要竭力挖掘相关关系的潜力,转变以往的思维方式,利用相关关系给我们带来的新视角去发现更多的价值。
3结束语
如今,互联网已经渗透到千家万户,数据也就在这普及率极高的互联网畅通无阻的传输,无处不在的社交网络、移动物联产生了难以想象的海量数据,大数据时代就在这样的环境下孕育和成长。当下火爆的云计算、大数据金融给我们带来了新的商业变革,而这一切都只是刚刚开始,在大数据时代,我们首先需要改变的就是在小数据时代根深蒂固的思维方式,转变了思维方式,新的、更大的商业变革就会随之即来。
文中详细介绍了大数据时代的三种思维方式变革:追求全样本而不是抽样小样本、混乱性而不是精确性、相关關系而不是因果关系。但其实这三者之间也有着辩证统一的关系。在大数据时代,我们采用的是全数据模式,即样本等于总体,在这样的全数据模式下,必然会有混乱性,必然做不到完全的精确性,因而接受混乱、容忍错误率是大数据时代的代价也是逻辑前提,在大数据时代下,混乱不仅不会给最终的结果带来多大的偏失,反而会给我们带来更多的价值。重新审视精确性的优劣,接受纷繁的数据并从中受益是大数据的一种标准途径。
同样,在大数据时代,我们摒弃了小数据时代由于科技局限造成的只能以“小”间接看到“大”的无奈,变革了小数据时代基于简单因果关系和部分到整体的“以小见大”的思维方式。在全样本分析时代,我们站在小数据时代永远无法达到的高度,在这样可以俯瞰一切的高度上,我们开始关注细节,开始更多的对相关关系进行探寻而不仅仅是对经典因果关系的渴求。在大数据时代,探寻相关关系足以可以让我们对事物进行预测,同时,关注“是什么”而不追问“为什么”也是一种新的认识世界的途径。
最后,一场轰轰烈烈的大数据革命正在兴起,它必然会带来思维方式的变革,进而引发商业变革,改变人们的学习和生活方式。我们的思维活动可以影响生产生活活动,并且思维自身的发展也将受到自然界和时代环境的不断影响。大数据时代的思维变革,给我们带来新的机遇,同时也带来更大的挑战。大数据时代正乘着烈风呼啸而来,以往的一些东西正在慢慢消散,一场变革悄然而起,我们,拭目以待。
参考文献
[1]黄欣荣.大数据时代的思维变革[J].重庆理工大学学报(社会科学),2014,(5).
[2]舍恩伯格·W·M,库克耶·K.大数据时代[M].盛杨燕,周涛,译. 杭州:浙江人民出版社,2013.
[3]王浩.大数据时代下的思维方式变革[D].上海:东华大学,2015.
[4]黄欣荣.大数据哲学研究的背景、现状与路径[J].哲学动态,2015,(7).endprint