面向海量数据的云存储技术研究

朱长江 郭 念

（河南大学计算中心 河南 开封 475004）

0 引言

当今社会发展的主题是经济的快速发展，伴随着Internet技术的快速推进，数据量更是呈现出爆炸式的增长。 随着数据量的急剧增长，对所需的存储系统有更高的要求——更大存储容量、更强的性能、更高的安全性级别、进一步智能化等，传统的SAN 或NAS 存储技术面对PB 级甚至EB 级海量数据，存在容量、性能、扩展性和费用上的瓶颈，已经无法满足新形势下数据存储要求。 因此，为了应对不断变大的存储容量、不断加入的新型存储设备、不断扩展的存储系统规模，云存储作为一种全新的解决方案被提出，备受业界的认可和关爱。

1 云存储概念

云存储是在云计算概念上延伸和发展出来的一个新概念，专注于解决云计算中海量数据的存储挑战，它不但能够给云计算服务提供专业的存储解决方案，而且还可以独立的发布存储服务。 云存储是指综合分布式文件系统、集群应用和网格技术等技术， 通过应用软件让网络中存在的大量的、不同类型的存储设备协同工作，共同对外提供数据存储和业务访问功能的一个系统。

云存储的本质是一种可扩展、高速、低成本的基于Web的特殊形式的实用型服务，是一种服务理念，而不是存储，不是一些具体的设备，它提供了多个用户通过互联网连接访问共享存储池的能力。 用户不需要了解系统是怎么构成的，也不需要了解怎么提供存储，所有设备对用户来说都是完全透明的，任何一个经授权的合法用户无论在何方都可以通过网络与云存储连接，享用云服务。

2 云存储的结构模型

云存储是一个以存储设备为核心，由多部分组成的复杂系统，通过一些应用软件来对外提供服务。 其结构模型由以下四层组成。

2.1 存储层

云存储中最基础的部分是存储层， 位于云存储的最底层。该层可有多种存储设备供选择使用，可以是IP 存储设备，也可以是DAS 存储设备，或者是光纤通道存储设备。 云存储中的存储设备种类、数量众多，并且分布在不同地理位置，它们之间通过互联网、光纤通道网络等各种网络连接在一起。

2.2 基础管理层

云存储中比较难实现的部分是基础管理层，也是云存储中最核心的一层。 应用集群、分布式文件系统、网格计算等技术，通过基础管理层来实现云存储中多个存储设备之间的协同工作，使得这些设备对外向用户提供一致服务。 为了保护用户数据的安全性和私密性， 云存储使用了数据加密技术、内容分发技术、数据备份和容灾技术等，使得用户的数据不被窃取、泄密或丢失。

2.3 应用接口层

云存储最灵活多变的部分是应用接口层。 云存储服务商根据实际业务需求，可以开发远程数据备份、视频点播平台等不同类型的服务接口，提供相应的应用服务。

2.4 访问层

云存储的要求是只有经过授权的用户才可以通过标准的应用接口登陆系统，才能享用里面的各项服务，但是服务商所提供的访问手段和访问类型因采用的手段不同而不同。

3 云存储关键技术

3.1 存储虚拟化技术

存储虚拟化技术是云存储的核心技术。 通过存储虚拟化方法，把不同厂商、不同型号、不同通信技术、不同类型的存储设备的互联起来，将系统中各种异构的存储设备映射为一个统一的存储资源池。 存储虚拟化技术能够对存储资源进行统一分配管理，又可以屏蔽存储实体间的物理位置以及异构特性，实现了资源对用户的透明性，降低了构建、管理和维护资源的成本，从而提升云存储系统的资源利用率。

3.2 分布式存储技术

分布式存储是通过网络使用服务商提供的各个存储设备上的存储空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在各个存储设备上。 它所涉及的主要技术有网络存储技术、分布式文件系统和网格存储技术等，利用这些技术实现云存储中不同存储设备、不同应用、不同服务的协同工作。

3.3 重复数据删除技术

随着数据中重复数据的数据量不断增加，会导致重复的数据占用更多的空间。 重复数据删除技术一种非常高级的数据缩减技术，可以极大的减少备份数据的数量，通常用于基于磁盘的备份系统，通过删除运算，消除冗余的文件、数据块或字节，以保证只有单一的数据存储在系统中。 其目的是减少存储系统中使用的存储容量，增大可用的存储空间，增加网络传输中的有效数据量。 然而重复删除运算相当消耗运算资源，对存取能效会造成相当程度冲击，要应用在对存取能效较敏感的网络存储设备上，将会面临许多困难。

3.4 数据备份技术

在以数据为中心的时代，数据的重要性无可置否，如何保护数据是一个永恒的话题， 即便是现在的云存储发展时代，数据备份技术也非常重要。 数据备份技术是将数据本身或者其中的部分在某一时间的状态以特定的格式保存下来，以备原数据出现错误、被误删除、恶意加密等各种原因不可用时，可快速准确的将数据进行恢复的技术。 数据备份是容灾的基础， 是为防止突发事故而采取的一种数据保护措施，根本目的是数据资源重新利用和保护，核心的工作是数据恢复。

3.5 存储加密技术

存储加密是指当数据从前端服务器输出，或在写进存储设备之前通过系统为数据加密，以保证存放在存储设备上的数据只有授权用户才能读取。 目前云存储中常用的存储加密技术有以下几种：全盘加密，全部存储数据都是以密文形式书写的；虚拟磁盘加密，存放数据之前建立加密的磁盘空间，并通过加密磁盘空间对数据进行加密；卷加密，所有用户和系统文件都被加密；文件/目录加密，对单个的文件或者目录进行加密。

3.6 内容分发网络技术

内容分发网络是一种新型网络构建模式，主要是针对现有的Internet 进行改造。 基本思想是尽量避开互联网上由于网络带宽小、网点分布不均、用户访问量大等影响数据传输速度和稳定性的弊端，使数据传输的更快、更稳定。 通过在网络各处放置节点服务器，在现有互联网的基础之上构成一层智能虚拟网络，实时地根据网络流量、各节点的连接和负载情况、响应时间、到用户的距离等信息将用户的请求重新导向离用户最近的服务节点上。 目的是使用户可就近取得所需内容，解决Internet 网络拥挤的状况，提高用户访问网站的速度。

4 结束语

随着科技的快速发展，云存储已经成为人们越来越关注的一个焦点，它可以在最大程度上为用户节约成本，并且能够提供安全、可靠的数据访问服务，具有非常好的应用价值和研究前景。 本文主要研究了云存储的关键技术，但对各项技术的具体研究不够透彻，是今后努力的一个方向。S

［1］ 张旭东. 关于对云计算技术的研究与应用[J]. 信息系统工程,2012,4：148-149.

［2］杨丽婷.基于云计算数据存储技术的研究[D].太原：中北大学,2011.

［3］钱益舟.基于云技术的分布式实时数据库高性能数据存储检索机制的研究[D].浙江：浙江大学,2012.

［4］王彩亮.云存储环境下数据副本管理策略研究[D].昆明：云南大学,2011.

［5］薛一波,易成岐.云存储_2[J].中兴通讯技术,2012,18（4）：57-60.