基于云存储的精品资源共享模式研究

2014-04-04陈旭文吴永娜

江西科学 2014年2期

陈旭文，吴永娜

(揭阳职业技术学院信息工程系，广东揭阳522000)

随着网络技术和通讯技术的迅猛发展，精品课程、网络课程等精品资源共享模式受到广大师生的青睐，用户通过移动终端(如手机、ipad等)或电脑便可快速访问，进行自主学习，精品资源共享成为各高校教学改革不可或缺的一大要素。然而，在精品资源共享推广过程中，传统多服务器模式存在很多弊端，如:(1)资源多、种类杂。共享资源的课程门数繁多、种类丰富，包括视频、图片、音频、动画、文档等，没有统一科学的管理方法很容易造成数据混乱，在缺乏统筹的管理模式下，校园网中大量重复资源造成了极大浪费;(2)设备投入多、异构性强传统单服务器共享模式下，设备投入是解决需求增长和设备老化最简捷的方法。递增式设备建设环境下，前期购置和后续增加设备的资源异构性给管理员增添了不少麻烦，而对设备需求增长趋势预测的判断错误也常造成不少资源的浪费;(3)设备复杂、管理开销大在传统模式下，管理员需要管理多种不同设备，而不同设备具有不同管理方案和维护方式，由于设备数量多、异构性强及地理位置分散等特点，大大增加了管理员的维护难度和人员开销。

因此，高校精品资源共享急需一种集中统筹的管理模式进行资源整合，从而提升效率。云存储作为一种新型的数据服务模式，专注于解决海量数据的存储挑战［1］。本文通过分析高校传统资源共享模式，结合云存储技术，提出一种新型高效的资源共享模式。

1 云存储技术

云存储(Cloud Storage)伴随着云计算产生，专注于解决云计算中海量数据的存储挑战，它能够给云计算提供专业的存储解决方案，也可以作为存储服务独立发布。云存储利用集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供统一的数据存储和业务访问功能。云存储的本质是服务，用户通过简易终端访问后，便可享受高速、廉价、便捷、可扩展的Web服务［2］。

1.1 云存储系统结构模型

云存储系统结构由访问层、应用接口层、基础管理层和存储层4个层次构成［3］，如图1所示。用户在访问层通过标准的公用应用接口登录云存储系统，享受云存储服务;利用应用接口层，云存储运营单位可以根据实际业务类型来开发不同的应用服务接口，提供不同的应用服务;作为云存储最核心部分，基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，对外提供相同服务及更强大数据访问性能;存储层是云存储最基础的部分，由数量庞大且地域分布不同的设备构成，各设备彼此之间通过广域网、互联网或FC光纤通道网络连接在一起。从用户角度来看，本结构可简化为用户客户端和云后台程序。

图1 云存储系统结构图

1.2 应用云存储的优势

运用云存储虚拟化技术，构建统一的后台数据管理系统，可解决现有共享模式中存在的关键技术问题。

(1)资源整合管理，降低系统成本。云存储虚拟化技术能将独立的新老服务器进行整合，统筹管理包括计算、存储、网络等资源，再根据服务需求合理分配［4］。在将旧资源变废为宝的同时，避免因分配不均引起资源浪费及重复投资问题，减少硬件投入，大大降低系统成本。

(2)减少单点故障，增强服务质量。云存储使用冗余备份技术将文件保存在不同设备、不同位置上，某个硬件设备意外故障时，它能将读写请求转向其它完好设备，保持服务的继续。另外，传统系统的定期维护升级造成业务终止问题也可避免:云存储能将待升级服务器的文件动态迁移至其它服务器，等该服务器更新上线后，再将文件迁移回去。

(3)节约能源，减少运行成本。云存储可根据业务请求动态分配系统资源，大大降低了传统单服务器模式下各服务器7×24 h不间断运行带来的资源浪费问题。另外，云存储统一系统管理接口，完全忽略了底层存储设备的异构性，减少了管理员的工作难度及人员开销。

2 云存储在高校资源共享平台中的应用

资源共享系统从用户角度可简化为用户客户端和云后台程序，本文重点讨论云后台系统的存储架构和系统设计的关键技术。

2.1 系统架构

系统采用比较成熟的云存储架构HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)［5］，基于虚拟化平台VMware vSphere整合物理机资源构建存储平台［6］。系统结构图如图2所示。

2.1.1 Web Server服务器系统采用B/S工作模式，通过Web Server服务器对外提供业务接口。Web Server服务器受理用户业务请求后，将信息提交给云后台控制中心Vmware vCenter进行控制处理，并将结果反馈回用户端。

2.1.2 Vmware vCenter服务器作为VMware vSphere虚拟化平台的控制中心，VMware vCenter［7］使用虚拟集群管理应用统一管理VMware ESXS-erver虚拟服务器，建立系统资源池，并进行资源的合理分配。另外，基于VMware vCenter管理平台建立各种应用服务器系统，可实现高效、安全、节能的功能。

图2 系统架构图

2.1.3 Vmware ESX服务器 Vmware ESX服务器直接构建在物理机之上，将物理机的处理器、存储器、内存、网络等资源进行整合，抽象到多个虚拟机中，实现云存储平台的Iaas构建。虚拟机与物理机实现多对多的映射关系，可以自动开启及关闭，合理统筹系统资源，减少运营成本。同时，虚拟机有效地屏蔽了底层基础硬件的异构特征，大大提高服务质量，并为管理维护带来了极大方便。

2.1.4 物理机物理计算机是最底层的存储设备，包括高校现有的各种计算机、服务器，在虚拟机的管理下共同构成一个大规模的数据资源中心。

2.2 系统设计的关键技术

2.2.1 多副本备份机制 (1)服务器备份。HDFS客户端通过Namenode单服务器节点执行文件系统原数据操作，跟踪文件-文件块分割、文件块存储位置，监督分布式文件系统的整体运行状态，是整个系统的核心部分，若NameNode出现故障将导致系统崩溃。因此，为提高系统的可靠性，必须为Namenode及各Vmware ESX服务器增加备份服务器，实时保存数据副本，并在相关服务器故障时代替运行，保障系统连贯运作;(2)数据块冗余备份。HDFS用数据块存储文件，数据块默认大小为64 MB。为增强容错性能，系统采用冗余备份［8］策略，默认副本数为3，各数据块存放在多个机架上。分布灵活的副本为服务响应提供了地域优势，服务器可选择最近最佳的副本区域快速完成通讯，提升数据传输效果。

2.2.2 数据动态迁移数据动态迁移包括2种情况:主动迁移和备份迁移。当某个存储服务器要升级软硬件设备时，HDFS系统自动将其文件动态迁移到其它存储服务器上，待其更新完成重新上线后，再将文件迁移回去，保证业务连续，为用户提供无缝不间断的服务。HDFS系统使用监听请求和心跳(Heartbeat)检测等功能监测各数据完整性，当检测到某数据异常时，则自动为该数据增加备份，确保冗余备份的实现［9］。

2.2.3 负载均衡 HDFS系统的Namenode服务器通过各节点控制器动态收集存储数据块的情况，实时掌握各节点的当前状态，更新资源信息表［10］。在收到业务请求时，通过资源信息表的状态情况，快速选择负载轻、网络响应时间短、读写速度快的节点，平衡资源分配，提高系统性能。

2.2.4 低耗节能云存储采用节能管理模式，动态为服务分配CPU、内存、存储等系统资源，杜绝了所有机器不间断运行问题，大大降低了系统能耗。两种模式的负载-功耗情况如图3所示。