浅析大数据技术的发展

黄楚鹏

摘要：在互联网技术高速发展的今天，生产生活以及科学研究都会产生大量的数据，在这样一个“大数据”时代，通过整合、分析、挖掘数据，将数据的内在联系和关键部位进行提取，展现数据体现的现象，为管理者的决策提供依据是一个重要的趋势。本文将对大数据时代的背景、技术，以及面对的机遇和挑战进行了阐述。

关键词：大数据；技术；机遇与挑战

中图分类号：TP311.13 文献识别码：A 文章编号：1001-828X（2017）001-000-01

一、背景

随着信息科学和网络技术的发展，现代生活中出现了“数据化”的思维，数据的产生方式由原来的“人机”、“机物”的二元世界向融合了社会资源、信息系统和物理资源的三元世界转变[1]。数据的规模也呈爆炸式的发展。大数据的挖掘和应用可创造出超万亿美元的价值，将会是未来IT领域最大的市场机遇之一，但由于其数据的爆炸式增长，也给前沿科学项目带来了巨大的挑战。

二、大数据的内涵和关键技术

大数据提出至今受到广泛的关注，但其并没有一个统一的概念，对其定义大都是对大数据的定性描述，并未给出定量的指标。我们姑且引用麦肯锡对大数据的定义，以方便讨论和研究。麦肯锡定义大数据为：在一定的时间范围内，无法用传统的数据库软件或工具对其进行抓取、管理和处理的数据集合[2]。

大数据不是一个新概念或新技术，早在2000年Diebold撰写的论文第一次使大数据出现在学术期刊。大数据作为近年来的一个研究的热点，具有4V[3]特性：（1）Volumes（数据量大），数据量达到PB级别；（2）Variety（数据类别繁多），包括半结构化和非结构化数据；（3）Value（价值密度低），大量的数据只有一小部分有效；（4）Velocity（处理速度快），包含大量在线和实时处理。

随着互联网、云计算等技术的快速发展，大量的移动设备、无线传感器每分每秒都在产生新的数据，数以亿计的互联网用户产生巨大量的数据交互。面对如此量级的数据，传统的数据处理技术已经无法应对，为了解决这些难题，需要突破传统技术，进行新技术的变革。大数据技术是一系列的收集、存储、管理、分析的技术集合，目前适用于大数据的关键技术有：遗传算法，模拟生物进化的规律的一种随机化搜索方法，已被广泛应用在信号处理、自适应控制、机器学习和人工生命等领域；神经网络，根据动物的中枢神经系统的结构和运作模式，对数据进行分布式并行信息处理的算法；数据挖掘，使用数据库技术从大量的数据中提取关键信息的技术，并根据关键信息预测目标的值；此外，还有网络分析、空间分析、时间序列分析、分布式数据库、非关系型数据库、可视化技术等多项相关技术。

三、大數据的机遇和挑战

1.大数据面临的机遇

大数据在数据挖掘和应用方面成为核心，从多个方面创造价值。根据麦肯锡的测算，大数据的应用每年可潜在为美国医疗健康行业和欧洲政府分别节省3000亿美元和1000亿欧元，利用个人位置信息潜在可创造6000亿美元的市场价值，因此大数据具有超万亿的大市场。

大数据安全问题日益重要，为信息安全领域带来发展契机。伴随移动互联网的兴起，大数据使数据价值极大的提高，大量的数据也对信息安全提出了更高的要求。信息安全和云计算贯穿于大数据的各个环节，云安全等关键技术将为大数据提供更好的保护作用。大数据对信息安全的要求也将更好的促进和推动信息安全技术的发展。

大数据将全面推动商业智能的发展。商业智能概念在1996年由加特纳集团提出，描述了通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术包括收集、管理和分析数据，将数据转化为有用信息，提供了使企业迅速分析数据的技术和方法。我国的商业智能市场目前已进入成长期，预计未来3年的复合增长率高达35%，潜在的产值超过300亿元。

2.大数据面临的挑战

数据来源错综复杂。丰富的数据源是大数据产业发展的前提，而我国数据资源总量远远低于欧美，特别是政府和制造业的数据资源的积累大幅落后于发达国家。我们的数据资源还存在标准化、准确性、利用价值不高等特点，大大降低了数据的价值。大数据有着不可估量的商业价值，但随着信息采集手段越来越高超，对公众个人信息的保护也是一个需要解决的问题。

数据挖掘分析模型的建立。在人人都讨论大数据的时代，大数据似乎已成为时代的潮流，数据比以往任何时候都更深入我们生活的每个角落。然而关于大数据的分析，目前还较少实际运用中有效的模型和方法。主要是由于对大数据价值逻辑缺乏有效的归纳，以及大数据分析中的关键部分和技术还未成熟，这也是当前大数据时代面临的挑战之一。

大数据的管理与决策。大数据带来的决策挑战非常艰巨，其中一个重要的方面就是为管理者提供决策依据。与以前的决策是靠个人经验或者直觉的时代相比，依靠大数据的分析结果做出决策是非常有价值的，其可以消除由于个人的情感或知识结构差异带来的决策失误，但如何根据大量数据抓取到关键的决策信息是一个重大的挑战。

大数据人才缺口。大数据的采集分析、设计和实施都需要专业化的工具和技术。大数据时代企业需要大量既能精通业务又能懂得大数据技术的人才，我国目前IT技术人员配备不足的现状与大数据IT人才不断增加的矛盾日益突出，大数据对我国人才培养模式以及现有的人才储备提出了严峻的挑战。

四、结语

大数据作为当下热门且重要的资源，已经出现在很多领域，并将成为未来市场竞争以及科技创新争夺的资源。大数据时代下，各国在这一领域将展开新一轮的竞争，我们应当与时俱进，克服困难与挑战，抓住大数据时代发展的机遇，创造出巨大价值。

参考文献：

[1]李国杰，程学旗.大数据研究：未来科技及经济社会发展的重大战略领域[J].中国科学院院刊，2012，27（6）：647-657.

[2]计算机行业-大数据（BigData）专题报告[R].上海：光大证券股份有限公司研究所，2011.

[3]大数据分析技术的发展[EB/OL].2012-05-16.http：//tech.ccident.com/art/32963/20120516/3859799_1.html.