大数据管理：概念、技术与挑战

2016-12-31刘韵张遥中国电子科技集团第28研究所

数码世界 2016年6期

刘韵　张遥中国电子科技集团第28研究所

大数据管理：概念、技术与挑战

刘韵张遥
中国电子科技集团第28研究所

摘要：大数据是一种未来社会高度智能化、统一化的信息利用方式。大数据需要以通过各种渠道收集的大量资料、信息和数据，具有信息量大、处理速度快、数据多样化、价值性高等特征。大数据的到来，让社会发生了巨大的变革。为了面临大数据时代的到来，如何对数据进行管理和利用，成了全社会广为关注的问题。本文将针对大数据的概念进行简单阐述，并且对一些关键技术进行分析，列举一些大数据管理上面临的挑战。

关键字：大数据数据管理云计算

云计算、物联网、等技术的兴起，标志着我们已经逐步进入大数据时代。大数据时代的到来，已经引起了全世界各国和信息行业的广泛重视；联合国在2015年5月发布了关于大数据的专题报告，详细阐述了大数据时代给世界各国带来的基于和挑战；全球各大媒体也对大数据展开宣传和报道。这些都说明了大数据已经深入影响到人们的日常生活。但是在这种火热景象的背后，普通人民对大数据并没有足够的认识，大数据的发展还面临着一些挑战，技术需要进一步的完善。

1　大数据的概念

大数据的概念，最初代表着数据规模的庞大，但是随着大数据管理技术的发展，这一简单的阐述已经不能完全概括大数据的内涵。仅仅是数据规模上的庞大，似乎与以往的数据管理方式没有什么本质上的改变。大数据的具体概念，要包括其数据处理的所有特点。现在广为公认的大数据定义是：在数量巨大、类型复杂、价值含量高的数据信息基础上，实现对数据高速处理的数据管理模式。

2　大数据的关键技术

大数据要体现其包含的信息价值，离不开多种数据应用技术的支持。云计算技术，就是其中最为重要、最为广泛使用的一种。云计算是一种用户购买网络资源和网络服务，省掉其中的硬件设备和服务器设施的服务形式。这一技术的出现给各种大数据的应用提供了实现途径，具有强大的数据存储、管理与分析功能。Google公司就是云计算技术应用的成功典范之一［1］。

物联网是另一种大数据时代的关键技术，是遥感技术、远程控制技术和智能化技术集合在一起的产物。所谓物联网，就是通过各种物品连接到互联网，或者在物品和物品之间实现信息交换。物联网技术能够通过多种设备进行远程的数据处理和信息传递，实现了人们对设备的远程控制，大大方便了人们的日常生活。

3　大数据面临的挑战

3.1数据集成管理

数据信息量的增加和数据类型结构的复杂，给大数据的数据集成管理带来了很大困难。一方面，大量的数据各有各的来源，具有结构化、半结构化、非结构化的不同特征［2］，存储方式也各有不同，需要进行复杂的转换才能集成管理；另一方面，数据的质量参差不齐，在集成管理的过程中需要进行信息的筛选，淘汰掉无用的信息，集成管理的数据筛选标准难以确定。

3.2数据的分析

以往的数据分析体系，能够实现对结构化数据的有效分析。但是大数据中包括大量半结构化和非结构化数据，这就让以往的数据分析体系不再适合新时代的数据管理。首先，现有的数据分析体系不能够及时处理半结构化和非结构化的数据，需要花费大量额外的时间，数据分析缺乏时效性；其次，大数据环境当中的数据处于一种动态的变化环境，索引方案不能够根据具体的场景来进行调整；最后，传统的数据分析结构对于数据的类型、属性、取值范围已经有了一定了解，而对半结构化和非结构化数据，就难以理清数据内部的关系，缺少高效处理的先决条件。

3.3隐私问题

由于大数据时代的信息传播越来越容易，数据的隐私问题也随之越来越严重。

由于人们在互联网的不同节点留下自己的信息，单个节点的信息不容易暴露用户的隐私。但是如果能够把多个节点的用户信息综合起来，就会暴露用户的大量隐私。另外，大数据时代需要进行大量数据的公开，来促进社会和经济的发展。信息公开的标准如果不合理，也容易造成个人隐私的暴露，造成信息公开与个人隐私的矛盾［3］。这些都是大数据时代的个人信息保护所需要注意的。