云计算环境下网格文件存储应用研究

刘友安，罗明超

（1.信阳供电公司，信阳 464000；2.空军第一航空学院 电子工程系，信阳 464000）

0 引言

互联网应用正经历一场数据管理方式的变革，以云计算、云存储为代表的先进计算方式正以星火燎原之式跃入视野，带来的是海量激增和管理日益复杂的难题。社会网络中的大规模数据，非结构化数据正每时每刻地产生，据IDC（国际数据公司，International Data Corporation）在2012年的研究报告中指出，从2006年到2012年全球信息总量增长8倍以上，全球存储市场的总出货量中有80%的容量被文件型数据所覆盖，且文件型数据的增幅已经明显超过了数据存储容量的增长[1]。这些现象表明，文件型数据管理技术应紧跟数据的加速膨胀趋势而不断向前发展。

1 网格存储及待解决问题

网格文件存储系统的技术基础是分布式计算和分布式存储，借助于分布式服务器机群，允许网格用户在网格节点之间共享文件型数字资源，并为网格用户提供统一的文件视图[2]。该系统架构应该是一套具有统一命名空间，合理安全策略，可扩展、稳定性高的结构。网格文件存储通过抽象各种存储资源，将众多同构存储资源和计算资源集成于网格环境中，但展示在用户眼中的却是一个无差异的虚拟文件系统。该系统包括存储资源虚拟化、文件虚拟化和数据库虚拟化，其实质是逻辑存储，网格用户使用的存储空间不是直接使用物理存储资源，存储空间的管理也不再针对具体的物理存储设备。该技术应解决两个方面的问题，其一，文件数据信息可靠安全地数字化，其二，以低成本管理海量数据。

2 网格存储与云存储的异同

网格存储是以数据共享为主的计算密集型网格，是一种软、硬结合的分布式计算基础设施，能在动态跨域的虚拟结构内实现数据资源共享和存取。网格存储借助若干相互连接且具有自治能力的存储结点实现数据存储，每个节点都具备计算能力、高速存储设备和管理软件，允许节点间自由交换数据，不需要中央交换节点的参与。应用网格存储具有三个优点：首先，网格存储将提升数据容错及冗余的级别。若单节点故障或两节点间出现通信故障，网格存储将自动选择另一通路或者冗余副本数据结点；其次，存储节点对间建立的多条路径，可保证网络负载出现急剧变化时系统性能较佳；最后，网格存储允许节点的加入和退出，新增的存储结点能够被系统识别和接纳，并在随后的工作中分担存储任务。

云存储和网格存储这两种存储技术分别以云计算和网格计算为基础，二者有别于两个方面，一个区别是资源调度和管理模式的不同，另一区别是是资源虚拟化方式的不同。

云计算采用服务器集群来存储和管理数据，计算任务和存储任务分布于高性能服务器上，是一种以数据为中心的处理模式。网格计算将软件资源虚拟化，而云计算则进一步将硬件资源虚拟化[3]。网格计算大多要求结点安装虚拟机软件，网格内各节点借助于虚拟机使用统一的操作系统（多为Linux系统），而云计算放宽了条件，适应多种人机界面和操作系统，表现为硬件资源的无限扩展。

3 网格文件存储系统

3.1 存储系统体系结构

图1 网格文件存储系统结构

网络存储系统结构具体描述如下：

1）应用层，提供用户界面，包括文件数据查询、增加、删除、管理。

2）汇聚层，负责将各网格节点的元数据统一到名字空间。

3）存储资源层，由存储子网和用户组成，每个子网由多存储节点组成，如图2所示。

4）链路层和物理层，可借助于现存的存储资源子网和现有网络设备及通路，无需升级。

图2 存储资源子网结构

3.2 存储系统的数据流模式

系统工作流程如下：客户端向中心服务器提出请求，中心服务器对客户的请求进行安全认证，若认证不通过则拒绝访问，若认证成功则根据文件存储结点的负载情况将请求转发到负载较轻的网格结点，其数据流程如图3所示。

图3描述了网络存储的工作流程。当用户需要访问一个网格文件时，通过以下步骤：

1）用户向认证服务器发送认证请求；

2）认证服务器向请求者返回公钥；

3）认证服务器向名字服务群集返回RSA私钥；

4）名字服务器向网格存储结点传输私钥；

5）名字服务器根据逻辑文件名字返回物理文件名映射；

6）网格存储系统通过协商好的网格文件访问协议向用户访问接口传送数据。

图3 安全认证模式下网格存储信息流程

4 网格存储关键技术

4.1 名字服务

名字服务由若干同构的网格服务器组成，为网络文件存储提供统一的命名空间，该命名空间是所有分布在各网格节点上文件数据的逻辑视图，便于技术人员和用户对系统进行统一管理。不论技术人员，还是用户，可在任何时间、任何地域及任何类型的客户端上访问系统，所看到的文件列表都是一致的。若一个用户新增或删除数据资源，其他用户整个系统的数据变化可很快被其他用户感知[4]。

名字服务的核心是元数据管理，主要记录网格中某个文件的物理位置信息，并维持逻辑文件信息与物理的文件实体一致性。名字服务提供的对物理文件元数据信息管理，包括某个文件的具体属性，如文件大小、二进制文件类型、CRC或MD5较验。

4.2 冗余存储策略设计

同任何一个存储系统一样，不合理的存储策略设计将影响系统可靠度，从而影响其网格文件系统可用性。而对网络文件数据进行合理的冗余，可弥补单一文件副本存储方式带来的低可靠度问题。系统采用将大文件分解成若干份额并将若干份额存储到各个网格节点的方式，提高系统可靠性。为方便将大文件分成小份额和将各个小份额合理分配，需要两种关键技术，分别是数据指纹和信息散列。

数字指纹也叫数字签名，是一种信息编码技术，较常用的有MD5加密算法，应用MD5算法可以为任何文件生成一个同样独一无二的数字指纹，如果数据在传输过程出现任何错误，其MD5值也会发生相应变化。在本系统中，一个大文件分成若干个份额，计算每份额的MD5编码，同时为每个份额准备若干副本，最后利用MD5加密和检测技术避免在同一台主机上存储多个相同份额。

为实现将若干个文件副本均匀分发到各网格结点，并保证每个网格结点中没有相同的份额，还需要应用信息散列算法（Information Dispersal A lgorithm，IDA）[5]。IDA算法可表述为 IDA（n,m）的形式，其中，参数 n 表示一个数据文件能分解出的份额及其副本的总数目，参数m表示系统从n个份额中恢复出原始文件至少需要多少个份额，其工作原理如图4所示。

图4 网格数据冗余存储策略设计

5 网格存储系统可靠性

网络存储系统的可靠性可结合概率模型和可靠性理论[6]进行刻画，假设网格存储系统的可靠性用P表示，网络节点的可靠性用p表示，由以上提出的IDA散列算法可知，成功恢复出一个原始文件，需要从n个份额中至少挑出m个份额才可完成，则整个系统的可靠性由式（1）表示。

若网格节点的可靠性平均为0.8，一个完整的文件分解为64个份额，即n为64，恢复出原始的数据文件需要32个份额，即m为32，所使用的散列函数为IDA（64，32），由式（1）可知P=0.99974。若不进行文件分割令其可靠性为P’，而采用双机备份，即两个网格节点，一个存储原始数据，一个存储副本数据，则而对于完全备份系统来说，可靠性P’=1-（1-0.8）（1-0.8）=0.96。由以上可知，采用文件分割的多副本冗余方式存储数据，可靠性改善明显，由此系统可用性提高了。

6 结束语

海量文件数据增长难题最终转化为对传统存储技术改造和升级，如分布式存储、网格存储。系统比较了云存储和网格存储异同，设计了网格存储的系统结构和冗余存储策略，有效提高了网格文件存储系统的可用性，采用基于认证的存储流程，改善系统安全性。在能源、电力和互联网企业中，借助网格文件存储将同构的计算资源整合起来，可为企业的生产和档案管理及各种ERP应用系统提供数据支撑。

[1] 中国互联网络信息中心.中国互联网络发展状况统计报告[EB/OL].(2012-1).http://www.cnnic.net.cn/dtygg/dt gg/201201/W 020120116337628870651.pdf.

[2] 刘浩,唐培和,等.企业存储网格中资源请求任务的模拟与分析[J].计算机工程与应用,2011,19:82-84,131.

[3] 谢华成,范黎林.云环境下海量非结构化信息存储技术探究[J].制造业自动化,2012,16:28-30,67.

[4] 朱强.基于对等网络架构的新型控制系统研究与实现[D].上海大学,2011.

[5] 吕卫忠,康红勋,等.数据网格中高效的分布式存储策略[J].计算机工程,2011,05:38-40.

[6] A.Calderón,F.García-Carballeira,L.M.Sánchez,et al.Fault tolerant file models for parallel file systems:introducing distribution patterns for every fi le [J].The Journal of Super computing,2009,47(03):312-334.