关于大数据理论和实践发展的系统综述

罗凤飞



关于大数据理论和实践发展的系统综述

罗凤飞

摘要：大数据时代的到来，使得社会各界对大数据的关注度越来越高，并且成为近十几年研究的热点话题。然而，由于现代信息技术的不断发展，大数据时代的到来给我们的生产生活带来无限机遇的同时，也带来了前所未有的挑战。在科研工作者们的不断探索下，人们对于大数据的认知越来越明确，关于大数据的相关理论研究也得到不断地更新，使得大数据在日新月异的今天，依然保持着它独特的研究价值，以至于大数据时代被称为“第三次科技革命”。本文就大数据近年来的发展进行简单地梳理，以使读者们更加明确大数据的大概脉络，最后简要的概括一下大数据发展的理论上和实践上的意义。

关键词：大数据；综述；科技革命；发展

早在20世纪80年代，在美国著名的未来学家阿尔文·托夫勒的《第三次浪潮》这本书中就提出了大数据，并且把其比喻为“第三次浪潮的华彩乐章”，从此“大数据”这个词就走进了人们的视野。1996年大数据被美联社再次提及，但这时的“大数据”还仅代表它的字面含义—数据量大，并不涉及它的处理技术和类型等方面。此后，大数据的发展开始备受关注，关于如何使用大数据进行经济预测，以及大数据的相关特征和定义也更加明确。直到今日，大数据仍然具有它的科研价值，并在各行各业发挥着它的作用。

一、大数据的基本概念和特征

(一)大数据的概念

大数据时代的到来，促使一些专家学者展开了对大数据的研究。虽然研究领域涉及方方面面，但对大数据的定义至今没有一个公认的标准。

麦肯锡对大数据概念的解释是：大数据是指大小超出传统数据库软件工具抓取、存储、管理和分析能力的数据群。

维基百科的表述是：大数据是难以用现有数据库管理工具处理的兼具海量和复杂性特征的数据集成。

国内专家涂子沛将大数据定义为那些大小已经超出传统意义上的尺度，一般的软件工具难以捕捉、存储、管理和分析的数据。

(二)大数据的特征

随着人们对大数据的认知更加清晰，大数据的特征也表述的更加具体、明确。目前，对于大数据的特征各界普遍的共识是4V特征，即数量大(Volume)、种类多(Variety)、实时性(Velocity)、价值密度低(Value)。

二、大数据发展的静态分析

对于大数据的研究主要可以分为两大方面，一方面是理论上的扩展，另一方面是实践上的应用。首先理论研究上的扩展可以从两方面来了解，即大数据引发人类生产生活的思维变革，以及可供挖掘的巨大价值。

(一)思维变革

大数据时代的到来，引发了人们生产生活各方面的思维变革。在思维变革这一方面，舍恩伯格和巴拉巴西两位学者在各自的著作中都有所提到。维克托·舍恩伯格、肯尼斯·库克耶在2011年末出版的《大数据时代》一书中认为，大数据思维是一种意识，在这种意识的驱动下，我们的思想发生了转变，不再探求难于捉摸的因果关系，转而关注事物的相关关系。而艾伯特-拉斯洛·巴拉巴西则在《爆发：大数据时代预见未来的新思维》一书中对大数据思维的本质进行了分析，他认为大数据所带来的思维变革是科学由简单走向复杂的反映，其本质上就是复杂性思维。两位专家学者都对大数据带给我们的思维上的影响给出了肯定的回应。除此之外，国内学者邬贺铨在《大数据思维》一文中，通过列举大数据思维在各行业领域内的应用以及对大数据误区的解读，来说明大数据不仅可以应用到各行业领域，还能够深刻影响经济生活的方方面面。

(二)价值挖掘

涂子沛在《大数据时代的来临》一文中这样强调，大数据的“大”，其侧重点并不在于其字面理解上的大容量，而是在于大数据背后所潜藏的巨大价值。李国杰院士在《对大数据研究的科学价值》一文中提出，大数据的价值主要体现在它的驱动效应，即巨大的经济利益驱使下企业不断扩大数据处理规模。在大数据的价值方面，研究者多看中于大数据的协同效应以及大数据背后所潜藏的巨大价值。另外，他还指出：对大数据进行研究主要是将其视为一种研究方法或一种发现新知识、新技术的研究工具而存在，而不是把数据本身当成研究目标。大数据作为一种研究工具，与统计分析，人工智能等有着密切的联系，可以通过大数据来探索事物发展的规律，帮助我们实现科学决策。

三、大数据发展的动态分析

在大数据的理论研究领域不断取得成果的同时，各行各业对大数据在实践上的应用也如火如荼的进行着。

(一)创造商业价值

大数据发挥其价值是建立在云计算的基础之上，而云计算的概念是谷歌公司在2006年首次提出的。支撑谷歌公司内部各种“大数据”应用的，正是其自行研发的云计算服务器。从理论到实践应用，大数据经历了几十年的时间，到现在成为各行各业重视的焦点。

根据麦肯锡数据报告显示，在零售和金融行业，运用大数据进行分析的企业领先于其他行业领域的企业，且收入和利润均有不同程度的增加。另外，“数据的全部价值远远大于其最初的使用价值，在初次使用之后的每次使用中都会发现其新的价值。”企业可以通过对原始数据的重组来获得对企业有利的、全新的价值利用。

(二)制定政策决策

各国政府通过大数据的分析运用和发展使政府和公共机构的政务更加公开、透明。而数据的公开透明是大数据得到分析、价值得到挖掘的重要前提。英、德、法、美、新加坡等多国的政府机构都推出了公共数据库开放网站，以实现政府公务的公开透明。与此同时，大数据在民生领域例如医疗、交通、天气预测和地理位置勘探等方面的创新应用也使得社会的信息化水平得到提高和加强。

最典型的例子就是，美国的大卫·罗斯柴尔德利用大数据对未来进行了准确的预测。大卫·罗斯柴尔德是微软纽约研究院的成员，2012年他通过对大量的数据进行分析，建立一个分析模型，而成功预测出当年美国总统大选51个选区当中的50个选区的结果，准确率高达98%。

四、结语

大数据从诞生至今，与其说是信息技术发展到一定程度上的发明，不如说是一个发现。在面对飞速发展的信息技术时代，大数据的研究者们从大数据的理论层面延伸至实践上的应用，不断地推进、完善该领域的研究。从理论研究到实践应用，每个理论都有其适用的方面和无法解释的现象，大数据领域也是如此，虽然仍旧有很多我们无法解决的难题，但这并不影响大数据在各个领域发挥着它举足轻重的作用。另外在进行实践时，各行业、各领域在运用大数据进行经济决策、指导社会实践的过程中，也要意识到大数据带来的挑战，例如产生信息垃圾、隐私泄露、数据滥用等。应该结合自己行业的特殊性，与大数据技术进行适当的融合，顺应时代发展的潮流，做到改革创新，避免卷入大数据的洪流之中。与此同时，不仅是企业和个人，政府也要在经济迅速发展、信息技术不断更新的今天，重视自身素质的提高，利用大数据发挥更大、更广泛的作用。(作者单位：河北经贸大学)

参考文献：

[1]潘璠.走近大数据[J].调研世界.2014(10)

[2]艾伯特·巴拉巴西.爆发:大数据时代预见未来的新思维[M].北京:中国人民大学出版社,2012.

[3]维克托·舍恩伯格，肯尼斯·库克耶.大数据时代[M]杭州:浙江人民出版社,2013.

[4]李国杰.大数据研究的科学价值[J].中国计算机学会通讯.2012(9)

[5]涂子沛.大数据及其成因[J].科学与社会.2014(1)

作者简介：罗凤飞(1991-)，河北邢台人，河北经贸大学公共管理学院行政管理研究生，研究方向：公共政策分析。