基于云计算的分布式存储技术研究

2017-12-29王茱东北石油大学

数码世界 2017年5期

王茱东北石油大学

基于云计算的分布式存储技术研究

王茱东北石油大学

随着信息技术的快速发展，出现一种新的计算模式“云计算”，并且已逐渐趋于成熟稳定，被广泛运用到各个行业领域中。基于云计算的存储系统，大都采用其关键设施“分布式存储”。本文主要从对当前基本云计算的分布式存储技术的内容进行分析，并提出其未来发展方向。

云计算分布式存储技术

云计算是一种以网络为中心，通过构建一个甚至是多个网络设备相互连接的数据中心，把海量的数据都存储到数据中心上并向上提供安全、有效的的信息存储和计算的服务。云环境下，为了解决海量数据的可扩展存储问题，分布式存储技术应运而生。与集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过使用互联网上的每台设备上的磁盘空间，并且将这些分散的资源数据构成一个虚拟的存储设备，数据分散的存储在各个设备上。

1 云环境下分布式存储技术概述

1.1 基本机构

首先，以服务器为核心的网络结构。这种结构主要是利用网线将所有的服务器上面安装的相应网卡进行相互连接，在操作使用的过程中，服务器对数据进行及时存储、处理，数据包的转发功能也完全由服务器负责而不是通过交换机使得整个结构和线路的链接上面变得更简单清晰化。这种结构有利于服务器和底层网络的直接互交，但也有一定的不足，由于在运行过程中极大地占用了服务器资源，使服务器的负荷量过大，导致计算机运行速度变慢、效率降低，甚至会损坏计算的相关性能。其次，以交换机为核心的结构。这种结构主要是以交换机为中心纽带，将多个服务器互连起并承担数据包的转发功能。其操作方法简单方便，数据可扩展性较大，但存储容量教小，存储技术相对落后，对下层服务器的利用率较低。最后，以服务器和交换机为核心的混合结构。这种混合结构其实就是将两种结构巧妙地结合起来，扬长避短，通过交换机连接各个服务器并在所有的服务器上面安装网卡从而构成一个更加灵活、方便的网络结构，更有利于数据的存储和转发，根据服务器与节点之间的关系在服务器上实行节点互联的方法来更快捷地完成数据之间的传递。这种混合模式结构具有操作简便灵活、可扩展性大、降低成本等特点。

1.2 主要技术内容

第一种，节能技术。主要分为硬件节能技术和软件节能技术，其中，硬件节能技术又可以分为两种，一种是通过改进硬件设备、优化节能体系与结构从而降低计算机存储能耗达到节能的目的，例如：ARM体系结构。另一种是从数据中心出发，通常在构建数据中心的过程中，使用低性能耗的硬件设备避免高性能耗的设备，降低数据中心能耗从而实现节能减耗的目的。例如在芯片的研究上，研究如何把低能耗同时性能也较低的芯片应用到数据中心上，产生能满足任务需要的更高性能需求。软件节能技术主要是通过一定的软件方法，在不不影响性能的前提下，使用节点动态的运作方式，使数据中心内部的节点进入低能耗的状态，从而实现对能耗的有效节约。

第二种，数据容错技术。主要分为基于复制的容错技术和基于纠删码的容错技术。纠删码容错技术主要指通过对多个数据对象进行编码而产生编码对象，实现有序排列数据对象的技术，使数据在传递过程中简单化，还达到了降低通过完全复制带来的巨大存储开销支出的目的。该技术能够容忍多个数据信息的丢失，避免了对个别丢失信息的过于依赖，弱化个体强化整体，以系统观的思想传递数据。复制容错技术，主要是指对一个数据对象同时创建多个相同的数据副本，并把这些相同的数据副本分散到各个存储节点上。这种技术可以实现数据的快速补充，从而快速修复数据中心出现的错误。该技术相对于纠删码容错技术，虽然能能保证整体数据的高质量但存储成本更大。

2 分布式存储技术未来发展方向

2.1 加大研究基于纠删码的技术

如今，云计算环境下，例如机架无关、相关、随机放置等数据放置方法都比较简单，且都主要针对于复制容错技术。现有的工作中却很少有针对基于纠删码的放置技术的研究策略。实际操作中，不同的放置方法同样对基于纠删码的容错技术的容错性和数据访问效率具有很深远的影响。这就要求我们要根据数据中心网络结构的特点和具体操作应用特点，设计研究出针对于基于纠删码的容错技术的放置策略，且可以从节能减耗的目标下，深入研究该技术的数据放置策略。

2.2 改善数据网络结构

根据存储应用的访问模式的多样性，设计出一个能够高效组织和管理数据的数据网络中心结构从而达到均衡链路负载、提高系统吞吐率的目的。

2.3 降低能耗成本

为了减少数据中心网络的能耗成本，且达到节能的目的，可以分析研究存储应用的数据访问模式以及流量特征，在不影响数据容错性能和效率的前提下，关闭数据中心网络中一些不必要的链路和交换机。