浅析基于云计算的分布存储关键技术

潘启明

浅析基于云计算的分布存储关键技术

潘启明

（辽河石油勘探局通信公司网管维护中心，辽宁盘锦，124010）

随着网络技术的发展，云概念成为网络进步的主题。目前，我国将云计算作为新型的研究资源，利用云计算的约束，提高数据处理、存储的安全性。云计算在实际应用中，具有较高的服务价值，将其作为高技术的途径，应用于分布存储技术中，提高分布存储的性能，同时提升分布存储的高效性。因此，本文通过对云计算营造的环境进行分析，研究分布存储的关键技术。

云计算；分布存储；关键技术

1 云计算与分布储存关键技术的背景关系

目前，我国处于互联网急速发展的环境内，计算机成为网络时代的应用途径，其在发展规模上呈现与日俱增的状态。基于网络空间的发展，大量数据信息被存储于计算机系统内，系统存储必须处于安全、独立的空间内，既要保障数据存储在网络环境内的安全性，又要提高数据存储的效率。在社会对数据存储提出要求的过程中，云计算存储空间随之产生，一方面推进存储技术的发展，另一方面满足网络社会的要求。在云计算的背景下，构建分布存储，主要是为用户提供个性化的存储服务，促使用户可以根据自己个人的意愿，实质分析存储系统，通过合理的途径，使用云计算下的存储空间，一般用户可以通过购买、租赁的方式，满足对分布存储的需要。分布存储在云计算的运行下，通过不同节点，将大规模的信息存入相对应的节点处，经由数据中心对节点处的数据进行组织，重新规划和编排，最终将处理过的数据输送到独立端口，存储到不同的分布地区。分布存储在云计算的协助下，形成新型的存储方式，利用高效的计算模型，实现数据互联，此环境内的分布存储，可以实现基本数据资源的分享。

2 云计算环境中分布存储技术的结构分析

以云计算为研究环境，分析分布存储关键技术的结构组成，明确分布存储的目的，提高存储能力。

2.1 交换机结构

交换机结构属于传统的存储环境，基本计算机用户都是以交换机为数据处理的核心，将交换机作为数据内外传输的途径，交换机可以通过层次服务，实现数据在互联网内的交互，在数据交互的过程中，通过交换机实现数据的分布存储。交换机结构主要由三部分组成，第一层为边缘层，主要由机架交换机构成，提供独立服务，数据中心的第2层为聚合层，负责各项存储数据的聚合，由聚合交换机实现，第3层为核心层，分布核心的交换机和路由器，实时联系互联网环境。虽然交换机结构在连接和拓展方面，表现极大的优势，但是始终无法突破存储空间的限制，一旦需要存储大量的分布数据，交换机则无法满足，需要实行有效改进。

2.2 服务器结构

与交换机结构相比较，服务器结构更容易实现数据连接，例如：用户将所有的数据处理系统，接入网络装置，实现数据处理与存储处于Web环境内，以网卡为结构运行的支持，促使服务器在网络线路的连接下，实现存储，服务器结构中缺少交换机结构，所以同一结构需要完成数据从存储到转发的全部内容，此结构的系统图如下图1。其中服务器最主要的任务即是将互联网上的数据进行转发，服务器结构在数据存储上，仍然表现出严重的不足，例如：其在数据存储链接服务的过程中，容易出现冗余，导致结构简单，但是无法满足链接环境，造成大量存储数据的遗漏或丢失，影响分布存储空间的建设。服务器结构在实际发展中，遇到瓶颈，严重制约数据存储的效率。

图1 服务器结构的网络构成图

2.3 交换机与服务器的结合

为提高数据存储的能力，将交换机与服务器结合使用，利用互补的原理，提高互联网与数据的交互速率。目前，两者结合的数据存储类型被称为混合结构，促使以交换机为核心的数据存储，可以高效率的在服务器上，实行节点互联，然后参与到数据信息的各项操作，不论是数据存储，还是数据读写与转发的过程，都可以体现混合结构的优势，既可以拓宽数据存储的需要，又可以提高数据存储与读取的准确度。

3 基于云计算分布存储的关键技术

在云计算模型的支持下，促使计算机网络系统内的分布存储，表现高度活跃性，被越来越多的用户接受和认可，同时分布存储的根据自身优势，确实满足数据运行过程对稳定、安全的需要。因此，对分布存储的关键技术做以下分析：

3.1 避免数据错误

虽然云计算模式，着实提高分布存储的能力，但是不可避免的还会出现数据错误等问题，主要是因为部分纠错技术处于付费状态，运营商为确保个人利益，没有实行纠错服务，促使分布存储的数据中心，缺乏有效的数据把控，导致大量数据失效，由此导致云计算因缺乏纠错服务，引发数据错误。例如：云存储空间中，在分布存储运行过程中，随时都在发生节点错误，即使数据中心内的节点无限大，也无法组织节点错误、失效的发生，最终还是会引发分布存储错误，导致整个云存储的存盘报废。数据错误问题的产生，不仅干扰使用者的效益，同时也较低运营商的利益效应。目前，数据错误成为分布存储有待解决的主要问题，利用云计算环境，理清分布存储的节点关系，避免节点与节点连接、传输的过程中，出现数据错误，影响正常的拓扑运行，必须对数据节点进行准确规划，提高分布存储的稳定度。

3.2 增强存储空间

云计算的分布存储，涉及到数以万计的数据分析，再加上数据存储的计量方式，更是推进存储分布的拓展性，所以分布存储是无法准确计算预留空间的，不论预留空间的大小和规模，都不可确定。例如：某企业所使用分布存储的数据中心，分布于世界各地，精确计算为35个，每一项单独数据中心的节点均在百万以上，由此随着分布存储空间的增加，世界各国数据中心的规模也会不断增加，尤其是服务器，数量上会呈现惊人的增长速度，由此可见：必须增强分布存储的空间，才可以体现空间可扩的特性。所以即使用户对存储磁盘的空间量要求非常高，也能够通过云计算分布存储实现，还可提高磁盘的可适应性。

3.3 控制投入成本

云计算环境的形成，促使数据存储快速满足私人网络需要，例如：面对大量的私人电脑，分布存储可以实现有效的存储，避免数据混淆。在分布存储开发的过程中，因为其在节点数量上，没有达到大规模状态，所以导致成本、资源方面出现漏洞，再加上用户对分布存储技术的认可，并不会抑制成本的投入，导致成本投入过大，但是分布存储效果方面，仍旧没有提高。云计算干预下的分布存储，确实存在较大的空间，在空间不断被开发的过程中，资金成本的投入，也会越来越明显。因此，成本控制成为分布存储技术的研究重点，平衡分布存储与成本的空间关系，例如：分析运营商的获利方式，发现其主要在云计算的服务方面，获得相关效益，其他领域涉足效益的知识较少，所以购买者可以保持服务方面的成本投入不变，尽量降低其他方面的资金运行，如软硬件设施、系统引进等，在维护分布存储功能的基础上，有效控制资金投入。

4 分布存储技术中的数据容错技术

数据容错技术是云计算空间内，分布存储最为关键的技术。数据容错可以在分布存储出现系统错误的状态下，保持正常的数据处理，不会出现干扰停顿。目前，在数据容错技术的支持下，分布存储表现出明显的优化性，还可有目的的实现访问频率的提高。容错技术实现分布存储高效性基本借助冗余完成，由此很大程度上增加资源消耗，所以资源节约属于容错技术中的重点内容。云计算分布存储中，基本分为两类数据容错，即：纠删码和复制容错，对其做如下分析：

4.1 纠删码容错技术

纠删码的工作原理为：将存储数据在云计算模式下，实行数据等分，编排后组成编码块，在数据存储时，识别足够被编码的数据，即可完成解码读取。纠删码容错在数据处理上优势明显，一旦数据发生错误，也可以借助数据块完成数据恢复，为提高纠删码容错的技术能力，需要实现资源的合理分配。可以利用网络编码的方式，保障纠删码容错的效率，网络编码在存储领域内不常用，属于新型的数据技术，其利用信息交互的方式，作用于互通的数据，实现数据块的多项融合，在保障网络编码整体效益的基础上，增加流通的信息量。其中再生码为纠删码网络编码的核心，再生码可以排除冗余的影响，容错时主要对特殊数据实行编码，形成等量矩阵模式，如需进行存储数据恢复时，可以迅速实现数据融合，有效降低交互数据的信息量，再生码容错原理如下图2所示，节点处存在两个编码的数据块，前方数据为后方冗余的计算依据，数据节点错误时，可以立即实行节点计算，得出融合结果后，存储于需要恢复的数据块，例如：图2中A1、A2的组合，需要6个数据块即可修复完成。

图2 再生码容错原理结构

4.2 复制容错技术

复制容错主要是为存储数据构建副本数据库，副本分布存储在异同节点上，如对应数据错误，可以利用副本代替，发挥数据存储的组织与复制特性。数据组织中典型的容错代表为HDFS，如下图3，

HDFS首先复制已经被分割完成的数据块，形成等同的副本对象，分布存储需要及时向数据中心发送数据内容，包括列表数据，促使数据组织明确存储数据的变化状态，数据组织执行读取环节时，最先获得数据列表，数据块以及对应副本，因为其具备相同的存储数据，所以通过判断节点与读取的位置，以最近读取为原则，读取相关数据。其中写入操作主要以数据块为基础，待写入完成后，自动进行数据复制，然后将原始写入数据、副本和列表，共同输入到管理节点处，管理节点检测副本数是否与存储数据对应，如发现副本数量少，则需继续执行复制操作，直到完成对应副本量。HDFS在复制容错中，着实体现结构简单、操作快速、数据准确的优势。

5 结束语

云计算属于特殊的运算模式，体现数据计算、运行与存储的优质性。实质研究并改善云计算的运行环境，提高分布存储的技术能力，充分结合数据存储的理论与实际，确保分布存储的到位性。利用分布存储关键技术，为云计算提供科学、严谨的运行支持，保障云计算适应于各项存储系统，满足网络化社会对高效存储的需要，进而发挥分布存储关键技术的特性。由此可见：基于云计算环境下，实行分布存储关键技术的研究，在很大程度上明确技术研究的方向。

[1] 李向军.基于云计算的数据存储系统研究[J].硅谷,2012(19):20-22.

[2] 胡慧.云计算技术现状与发展趋势分析[J].软件导刊,2012(09):44-46.

[3] 王意洁.云计算环境下的分布存储关键技术[J].软件学报,2012(04):19-21.

[4] 王德政.云计算环境下的数据存储[J].计算机技术与发展,2011(04):89-91.

[5] 赵雷霆.运营商级云计算数据中心发展研究[J].信息安全与技术,2011(08):35-37.

[6] 崇阳.基于云计算下的分布存储关键技术研究[J].计算机光盘软件与应用,2012(23):67-69.

[7] 朱超.基于虚拟化技术构建高校分布式云计算数据中心[J].武汉工程大学学报,2011(04):26-28.

Analysis of distribution storage key technology based on Cloud Computing

Pan Qiming
（Liaohe Petroleum Exploration Bureau Telecommunication Company Department of Networks，Liaoning Panjin，124010）

Cloud Computing in practical application,high service value,as a way of high technology,applied to the distributed storage technology,improve the performance of distributed storage,while improving the efficiency of distributed storage.

cloud computing;distributed storage;key technology

图3 HDFS结构示意图