关于云计算和云数据管理技术的研究

刘静

摘要：在新的时代背景下，信息技术在不断的发展和进步。随着数据量的不断增多，人们对计算机计算能力的要求也逐渐提高，而云计算是一个十分热门的研究方向，面对海量数据，云计算可以充分发挥自身的优势，实现对数据的有效管理。云数据管理属于云计算的一个分支，是一个全新的研究领域。本文以云数据管理技术为研究对象，主要探讨了云数据管理中的一些关键技术。

关键词：云计算 云数据管理 GFS技术

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2016）12-0103-01

在本次研究中，笔者关注的是云计算和云数据管理技术，首先介绍了和云计算相关的概念，接下来系统的阐述了一些云数据管理技术，最后对云数据管理进行了透彻的分析，并提出了云数据管理的未来发展趋势。

1 云计算

云计算的理论基础主要有三个，分别是分布式处理、并行处理以及网格计算。云计算的最大特点就是将计算资源配置到分布式的计算机中，使用者可以按照自己的实际需求对相关资源进行访问处理。通俗的讲，传统的计算方式就相当于单台发电机供电方式，而云计算则相当于现代的集中供电方式。云计算从出现开始就受到了人们的重视，好多企业将云计算作为重点研究的项目。经过一段时间的发展，现在市面上已经有很多以云计算为基础的应用，如Google Apps等。但是，总的说来，云计算还处于发展期，很多与此相关的技术还需要进一步完善。

2 云数据管理技术

对云数据的管理是十分重要的，云数据一般都是海量的，如何更加有效的管理云数据是非常值得研究的一个问题。现阶段，比较常见的云数据管理技术主要有GFS、Dynamo技术、BigTable技术以及MapReduce技术。

2.1 云数据管理数据特点

云数据管理主要具有下述特点：

第一，数据量十分巨大。在信息时代，随着各种信息技术的不断发展，人们可以采集到的数据越来越多，数据量也越来越大。如何更好的处理海量数据是人们十分关心的问题。

第二，异构性。不同行业产生的数据所有区别，主要体现在两个方面：一方面，数据的形态是不一样的；另一方面，数据的结构也有所不同。一般来讲，人们会利用传感器采集数据，然而传感器的种类有很多，如温度传感器、振动传感器等，不同类型传感器采集到的数据格式是不一样的，这就带来了数据的异构性问题。

第三，非确定性。云数据具有一定的不确定性，因此，研究人员需要对云数据进行一定的处理，以得到数据中的有效信息。

2.2 GFS技术

GFS技术的本质是一个分布式文件系统，GFS的主要作用是支持云数据的存储。GFS系统中一共包括三个部分，分别是客户端、主服务器以及数据块服务器。其中，客户端的本质是访问接口。而GFS系统中最为关键的一部分则是主服务器，它相当于整个GFS系统的大脑。数据块服务器的主要作用就是对系统中的信息进行储存操作。

2.3 MapReduce技术

MapReduce技术的本质是一个编程模型，该模型中主要有两个函数，第一个是map函数；第二个是reduce函数。map函数的主要作用是对接收的任务开展分解操作，将完整的大任务划分成几个小任务，从而利用节点对其进行操作。而reduce函数的主要作用是对map函数的处理结果—“值/对”开展进一步的处理，主要指的就是归并处理。

2.4 BigTable技术

BigTable技術的提出者是Google，该技术的理论基础是MapReduce技术和GFS技术。BigTable技术实际上就是一个分布式的数据库，结束展数据处理之后，会得到一个大大的表格。目前，BigTable技术的应用相对比较广泛，好多模型都使用了BigTable技术，如Google Earth等。

2.5 Dynamo技术

Dynamo技术实质上是一个结构化存储系统，该系统的最大特点体现在将数据库和分布式Hash表的特点结合起来。现阶段，Dynamo技术已经在一些应用中得到了实现，比较典型的代表是Project Voldemort等。

3 云数据管理技术分析

目前，云数据管理技术正处于关键的发展时期。现有的云数据管理技术主要将管理过程划分成了四个层次，包括数据组织和管理、数据集成和管理、分布式并行处理以及数据分析。下面分别介绍一下：

第一，数据组织和管理。在此过程中主要借助的是一些分布存储技术，从而可以实现对海量数据的并行管理。

第二，数据集成和管理。在此过程主要借助的是分布式数据管理方法，主要是为了解决数据的不确定性问题。

第三，分布式并行处理。在此过程主要借助的是云计算的并行编程方式，将完整的任务划分成多个小的任务，从而更好的实现对节点的配置。

第四，数据分析。开展云数据管理的主要目的就是方便后续数据分析工作的开展，在数据分析时主要使用的是一些数据挖掘方法，从海量的数据中挖掘有用的信息。

4 云数据管理展望

随着时代的不断发展，云计算要面对的挑战逐渐增多。同样的，云数据管理也会迎来新的挑战，同时这也是云数据管理的发展机遇。具体的挑战有：第一，如何处理预载海量数据集的问题；第二，如何从结构化的数据中获取信息，或者是如何从半机构化的数据中获得信息等。云数据管理具有巨大的发展潜力，相关人员应该紧抓发展机遇，不断迎接挑战。

5 结语

在本次研究中，笔者主要关注的是云计算和云数据管理问题。主要探讨了云数据管理中的一些关键技术，并对云数据管理技术进行了分析，希望可以为相关人员带来一定的参考。

参考文献

[1]周治宇.云计算和云数据管理技术分析与探讨[J].信息通信，2015，03：134-135.

[2]高伟.浅淡云计算和云数据管理技术[J].无线互联科技，2013，02：29.

[3]李海秋.关于云数据管理系统中查询技术研究[J].电脑知识与技术，2013，12：2761-2763.

[4]张旭辉.关于云计算数据中心大数据安全技术分析[J].中国新通信，2016，17：48.