提高云存储效率的并行处理策略

陈欣++孙东平

摘 要在使用云存储的过程中，服务器端将本地需要传送的大量文件利用打包的方式传输，只有文件包接收完整后接收端才能进行解包工作。打包和解包都会耗用很长的时间，这一过程非常影响文件传输的效率。针对这一情况，有关人员研究了一种提高传输效率的并行处理策略，其工作原理是将需要传输的文件在没有破损的前提下压缩好后，按一定的大小比例分多次进行打包，这样在传输时，接收端一边接收一边对之前接收的文件包进行解包，这样打包和解包同时操作并行处理，实践证明这种操作方式并没有延长传输时间，还提高了存储效率。

【关键词】云存储 效率 并行处理

对云存储技术的研究主要一部分是对传输效率方面的研究，目的在于节省传输时间的基础上降低对物理机和服务器各方面的损耗。需要传输的文件通过互联网从客户端上传到存储服务器的方式一般包括直接上传和打包解包这两种方式。研究表明，直接上传在锁定文件位置的过程中会使用较长的时间。而将所有待传输文件打包成一个大的文件包上传的方式虽然避免了很多对文件进行磁道索引查找的工作，但在完成传输之前接收端是無法进行解包的，而且解包工作也会损耗比较长的传输时间。合适的云平台和打包大小的文件系统，会节省一定的存储时间，就是能够缩短打包、解包和传输时所用的时长，最终做到提高存储效率。

1 云存储概述

1.1 云存储的定义

云存储是在云计算的概念基础上延展出来的一个名词，指的是通过集群应用、网络技术和分布式文件系统，将网络中大量的不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供文件存储和业务访问功能的系统。云存储是云计算的存储部分，当云计算系统运算和处理的核心是大量数据文件的存储和管理时，云计算系统就需要配备大量的存储设备，那么云计算系统就成为一个云存储系统，因此云存储是一个以文件存储和管理为核心的云计算系统。也就是说，云存储就是将需要存储的数据上传到网络上供用户随时存取的一种新兴存储方式。用户可以在任何时间地点，通过任何可以连接的装置到网上存取数据。

1.2 云存储的种类

云存储不是一种简单的数据存储方式，而是以互联网为基础的一种存储服务，具有以下特点：存储大量数据、扩容容易、统一管理、成本较低、方便存取等等。对于广大用户来说，云存储设备是方便透明的，通过网络与云端服务器相连接，用户可以随时随地存取数据。云存储可以分为以下三类：公共云存储，供应商可以保持每个客户的存储，应用保持私有独立。公共云存储可以划出一部分作为私有云存储。私有云存储可以由公司的IT部门自己管理，也可以通过云存储服务商管理；内部云存储，和私有云存储比较相似，不同之处在于内部云存储位于企业防火墙的内部。还有一种是混合云存储，将公共云存储和内部云存储结合在一起，按照用户的要求进行访问。尤其是用于要临时配置容量的时候。在公共云存储上划出一部分来配置内部云存储，这种方式有助于公司处理增长迅速的负载波动或高峰。但是，混合云存储这种方式在分配应用上相对比较复杂。

2 提高云存储效率的策略研究

2.1 并行处理策略

针对接收端只有在待传输文件全部打包传输完成之后才能进行解包操作的问题，有关人员研究了一种并行处理策略，这种策略是将需要传输存储的大量文件按照一定的大小比例分次打包和上传，而服务器接收端同时进行之前批次文件包的解包操作，这样并行处理，能大量节省传输时间，提高传输效率。并行处理策略的本质是并行处理和文件完整性的验证，即文件完整性验证并行处理技术。并行处理策略的是在服务器发送端按一定的大小比例将待传输文件打包，将打包好的文件名和文件包的MD5值保存到相应的文件中；发送日志文件和打包好的文件，然后再进行下一个批次的文件打包工作；服务器提取文件名，将其与日志文件比对，在确定打包文件的完整性后开始进行解包工作；服务器接收端接收完最后一个批次打包文件日志文件时确定其为最后一个批次的文件包，服务器接收端的解包程序操作完成后退出操作。

2.2 并行处理技术

并行处理策略的并行指的是在同一时间内进行两种或两种以上的工作，只要是同时进行的操作，都存在着并行性。云存储文件的数量一般都比较大，而且需要进行多个打包，服务器接收端进行的打包和解包操作在一定程度上是同时进行的，采用并行处理技术能够节省存储时间提高存储效率。使用并行处理技术进行传输的时候，一个批次的文件在服务器接收端进行解包的同时在发送端进行着打包和传输操作，在一定程度上节省时间，提高传输效率。

2.3 文件完整性验证

在文件传输操作时，只有文件完整的传输到服务器接收端后才能进行解包操作，恢复到打包前的文件。为了保障文件能够完整到达服务器接收端进行解包工作，在服务器的发送端和接收端应该采用文件完整性验证技术，确保文件在发送端和接收端的校验值相同，才能进行解包操作，如果校验值不同，那么会生成错误日志要求重发。

3 结语

综上所述，在云存储时使用并行处理策略，利用了文件包不同大小会产生不同的传输速度，文件打包和解包操作同时进行能有效缩短文件传输的时间，大大提高了传输和存储效率。在这个过程中应确保传输文件的完整性。

参考文献

[1]魏晓辉，周芹芹，李洪亮.支持多集群数据并行的On-de-mand文件传输算法[J].计算机科学，2013，40（03）：77-78.

[2]余思，桂小林，黄汝维等.一种提高云存储中小文件存储效率的方案[J].西安交通大学学报，2011，45（06）：59-63.

[3]周兰凤，孟驰，彭俊杰.一种基于云环境的文件存储策略研究[J].计算机工程与科学，2016，38（02）：262-268.

[4]彭红.基于CloudStack云管理平台的关键技术研究与应用[D].上海：华东理工大学，2013.

作者简介

陈欣（1984-），女。工程师，硕士研究生。主要研究方向为系统分析与集成、地震信息技术。

孙东平（1963-），男。高级工程师，大学。主要研究方向为网络管理、信息技术。

作者单位

中国地震局第一监测中心 天津市 300180endprint