对职业院校学习资源云存储模型构建的思考

杨斌++马小虎

摘要：针对大数据时代以及职业院校学习资源需求的特点和海量数字学习资源提供服务中的不足，结合云计算的特点提出了基于Hadoop框架构建学校内部云存储的设计方案，为学生在大数据背景下能够进行高效的学习提供帮助。文中重点论述了云存储的体系结构和各个层的功能，通过实验进行模拟测试进行分析。

关键词：学习资源 云存储 模型构建

中图分类号：TP333 文献标识码：A 文章编号：1007-9416（2014）08-0203-01

数字化学习资源的不断增长，使传统的单一课堂教学向网络化的数字学习模式发展，人们的学习方式和理念也在发生变化：“人们期望能够按照自己的意愿在任何时间、任何地点从事学习、工作和研究”， 泛在学习已经成为学习发展的重要方向。大数据时代来临，数字化学习资源的建设受到广泛的关注。各高职院校也在积极的投入资金和人力进行数字化学习资源的建设与采购。

1 目前职业院校学习资源存储模式不足

大数据时代学习资源呈爆炸式增长趋势。随着教育信息化不断提高，各种新形式的学习资源不断出现，职业院校学生仿真模拟实践、数字化的各种教育积件资源存储等需求，不断对存储结构提出新的挑战。学生获取学习资源受制于地理位置和学习对象，无法实现泛在式学习，学习效率不高。在资源存储结构上大多采用单机服务器的存储结构，给资源服务制造了不稳定因素。随着学习资源的增长，需要不断的进行硬件设备和管理系统的升级和更新，会造成设备和资金的浪费。学校资源存储中主要存在三个问题：一是资源来源复杂，资源类型多样、内容丰富，缺乏有效的组织和管理，安全性不高；二是数字学习资源需求高，资源共享程度不高，提供服务效率低；三是系统更新较慢，不能满足泛在学习的高速检索和下载，资金投入压力大。

2 学习资源云存储模型设计与实现

云计算是大数据的基础，大数据时代需要云存储才能实现高效的资源服务。构建一个安全、稳定、高效的云存储结构对于解决海量学习资源的存储和泛在式学习对数字资源高效需求存在的问题是一个新的方案。

云存储。云存储是为了满足海量数据的存储和管理，通过网格技术和分布式文件系统等技术，把大量各种类型的存储设备组成集群，运用虚拟化技术形成一个整体，提供数据存储和业务访问功能的系统。用户无需考虑存储设备的型号、磁盘的容量和类型，也无需考虑具体采用何种接口和传输协议及存储和服务器之间的连接电缆等，即可快速建立自己的数据中心并将本地数据部署至网络存储。它具有：存储容量大、高可靠性、通用性、高扩展性、按需服务、成本低等特点。

Hadoop框架。Hadoop是Apache软件基金会组织下的一个开源云平台项目，它可以使用普通的硬件组件大规模的集群系统，是云计算、大数据存储的方法之一，主要包括HDFS文件系统和MapReduce映射/简化引擎。采用Hadoop框架构建学校学习资源云存储系统具有一定的优势。

学习资源云存储模型。由于网络访问量较大，为了减少访问的压力，在使用Hadoop构建学习资源云存储模型时对其结构进行改进。在本模型中采用了三级模式，在第一层的分析节点中使用单节点来控制多个名字空间节点，构成一个主从结构；在名字节点下又设置有数据集群管理节点，名字空间节点控制数据集群管理节点构成第二层的主从结构；数据控制节点控制所有的低端数据集群，构成了底层主从结构。在Hadoop的主框架下，通过对中心任务的分解和下放的方式，来降低中心节点的任务量。把原来中心节点的任务分布到分析节点、名字空间节点和数据管理节点上执行，可以极大的降低中心节点的压力。实现学习资源在底端物理存储设备上的分布存储。

在设计存储模型时，充分考虑学习资源的特点和内在的联系，设计时把名字空间节点，按照学科进行划分。当有资源文件提交写入申请后，在分析节点进行解析、提取学习资源的信息，并根据学科分配到相应的名字空间节点。在名字空间节点上，对学习文件进行分块，同时向下层和上层传递信息。在数据控制节点接收到块文件以后对块文件分配数据节点进行存储。在存储时把一次提交的资源文件的块文件，采用就近原则进行存储（分布存储在多个数据节点上，方便以后的并行访问）。然后根据副本存储策略进行副本的存储。在访问的时候系统根据需要决定哪些数据节点提供服务，在数据管理节点可以对资源的访问情况进行记录，当某些资源被频繁的访问，可以通过改变块文件的分布情况和增加块文件的副本数量的方法，让更多的数据节点参与提供服务。关系数据库在处理海量数据的时候，服务效率（包括查询、插入等）都会有一定程度的降低，而且容易产生系统瓶颈。为了能够满足海量学习资源存储的要求，采用Hadoop中的HBase对资源的元数据进行存储。可以把不同的表分布存储到不同的节点上，而且具有良好的扩展性。

3 实验测试

采用清华同方个人计算机7台，在实验室内对模型进行测试。在模拟测试模型中设计将1台计算机设置为控制节点，2台计算机模拟名字空间节点，4台计算机模拟数据管理节点，在数据管理节点使用虚拟机下安装4个Linux操作系统，模拟数据集群。在名字空间节点上部署Hadoop的中心节点程序和数据库程序，在数据控制节点上安装集群节点程序，形成一个Hadoop平台。在模拟存储结构上进行5G学习资源的存储和学习资源的检索，实验表明：学习资源的云存储模型可以有效的提高学习资源的存储效率和资源的检索效率。可见，使用低性能的计算机作为节点服务器是可行的。使用Hadoop平台替代传统的学习资源存储方式，提高学习资源存储中的经济性，解决硬件瓶颈，提高了读取效率。

4 结语

数字学习资源的高效存储是大数据时代泛在学习过程中不容忽视的一个重要环节，职业院校学习资源云存储解决了学生获取数字教育资源后的管理与学习问题，实现了海量数字学习资源的集成共享，推进了学校教育信息化、云计算的普遍应用，使学生可以获得大数据时代下更多优质的、丰富的数字学习资源。

参考文献

[1]陈巧，施佺，等.大数据时代下个人运资源柜的构建研究[J].现代教育技术，2013（10）.

[2]刘琨，李爱菊，等.基于Hadoop的云存储的研究及实现[J].微计算机信息，2011（2）：220-223.

[3]陈公超，刘海涛.云存储中多类型文件存储及访问优化机制的研究[J].计算机应用与软件，2011（12）：165-168.endprint