大数据时代

钟栋栋

(西华大学，四川 成都 610000)



大数据时代

钟栋栋

(西华大学，四川 成都 610000)

随着网络信息化时代的日益普遍，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域，我们正处在一个数据爆炸性增长的“大数据”时代，大数据在社会经济、政治、文化，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。

大数据;云计算;海量;发展;影响

1　大数据时代产生的背景

进入2012年以来，大数据(Big Data)一词越来越多地被提及与使用，人们用它来描述和定义信息爆炸时代产生的海量数，它已经出现过在《纽约时报》、《华尔街时报》的专栏封面，进入美国白宫网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国君证劵、国泰君安、银河证劵等写进了投资推荐报告，大数据时代来临据。

2　什么是大数据？

对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[2]

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

3　大数据的特点

要理解大数据这一概念，首先要从“大”入手，“大”是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。

第一，数据体量巨大。从TB级别，跃升到PB级别。第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的“大数据”不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。

4　大数据时代对生活、工作的影响

大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。

“大数据”的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。

大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该做出更积极的努力。

5　我国应该如何应对大数据时代

当下我国大数据研发建设应在以下四个方面着力。第一，建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。第二，规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。第三，搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。第四，培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。

做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进国家快速发展。

[1]李建义.数据库原理及开发.北京：中国水利水电出版社，2005.

[2]维克托·迈尔·舍恩伯格.大数据时代.浙江：浙江人民出版社,2012.

[3]大数据时代降临 ．半月谈网,2012-09-22.

钟栋栋(1995.12-)，男，汉族，浙江人，西华大学。

TP391

A

1671-1602(2016)18-0113-01