远程教育云数据中心的研究与实践——以山东电大数据中心为例

□ 韩磊 陈岩 范华

远程教育云数据中心的研究与实践
——以山东电大数据中心为例

□ 韩磊 陈岩 范华

从远程教育云基础架构的整体性出发，以建设IaaS为主要服务形式的山东开放大学私有云为目的，在研究虚拟化技术的同时也对虚拟机的备份和性能监控进行了分析和应用，解决了虚拟化系统中的网络和存储瓶颈。实践表明，山东开放大学远程教育云平台的构建，实现了远程教育信息资源的集中部署、有效共享以及云基础设施在山东电大系统的按需分配。

远程教育云；IaaS；服务器虚拟化；交换机虚拟化；存储虚拟化；虚拟化备份与监控

一、山东电大远程教育云构建的背景

山东开放大学是以现代信息技术为支撑、办学网络立体覆盖城乡、学历与非学历教育并重、面向全体社会成员、没有围墙的新型大学。随着网络技术的发展，信息化成为开放大学发展的有力支撑和重要组成部分。山东广播电视大学在向开放大学转变的过程中遇到了一系列问题：一是技术上难以实现海量资源的共享与访问。在WEB1.0时代，山东广播电视大学的门户网站、学习平台、管理系统及网考系统等由中央电大、省电大和地市分校三级平台组成，这样的分布式部署在当时最大限度地缓解了网络和服务器的压力，取得了一定的效果，但是分级部署也带来了不可弥补的缺陷，各级电大网络教学资源重复上传、数据不能同步、信息不能共享而导致信息孤岛大量存在[1]。二是由于基层信息化基础薄弱，信息畅通难以保证。受当地经济条件和技术力量的制约，多数基层电大信息化条件仍然较差，没有建立支持教学活动的数据中心，也缺少专业的信息化管理人员，不少教学点连必备的学习平台和站点主页等也无法保证“时时通”，难以实现“学习平台校校通、学习空间人人通、教学信息及时通”的目标。三是初期的虚拟化构建缺乏系统性规划和实践。为解决远程教育信息化快速发展带来的问题，山东广播电视大学从2009年开始对数据中心进行虚拟化探究和实践，但是最初的虚拟化应用规模较小，缺乏系统的规划和设计，只有一套支持4CPU群集的虚拟化系统和管理软件，没有考虑到专业监控及备份恢复支持等方案，对虚拟化带来的数据安全等问题也缺乏周密的部署，存在着不少隐患和不足。这些问题，制约了山东电大信息化发展和教育资源的开发利用，而云计算的研究和应用为解决这些问题提供了技术支撑。

云计算（CloudComputing）是分布式计算（DistributedComputing）、并行计算 （Parallel Computing）、效用计算（UtilityComputing）、网络存储（NetworkStorageTechnologies）、虚拟化（Virtualization）和负载均衡（LoadBalance）等传统计算机和网络技术融合发展的新型技术架构，利用这些技术通过网络超级计算形成计算资源池，使用户能按需、便利地获得资源。远程教育云[2]是云计算在远程教育领域中的迁移，包括了虚拟化后的所有远程教学软硬件系统和数字化学习资源等。虚拟化后的远程教育云平台拥有强大的处理能力，可以有效地组织和利用数字化教学资源为远程网络教学服务，有利于组织和搭建系统性的学习和资源平台，为远程教育提供云服务。云计算按照服务形式可以分为三个层次：架构即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）。这里所谓的层次，是分层体系架构意义上的“层次”。IaaS、PaaS和SaaS分别在基础设施层、软件开发运行平台层和应用软件层实现。其中，IaaS（架构即服务）定义为：将硬件资源虚拟化，转换成量化、自动化、动态化、可调度的计算能力、存储空间和网络服务等，是目前公认的主要云服务形式之一。

2008年初，Google率先与清华大学合作开展了云计算教育研究。2011年11月16日，中央广播电视大学“国家开放大学远程教育云服务平台架构”研究课题专家研讨会在京召开。“国家教育资源公共服务平台”（简称“国家教育云”）在2013年1月25日正式上线开通，网站资源涵盖了从小学到高中各门学科的教学资源。2013年8月23日国家开放大学信息化推进会议确定国家开放大学信息化要以公有云为主要方式进行建设。

山东开放大学通过教育云解决开放大学省级分部的发展瓶颈，建设以IaaS为主的私有云，将开放大学总部的公有云与分部的私有云结合起来，公有云提供整个开放大学的资源共享和教学服务，分部的私有云发展和支持分部系统内有特色的教育信息化应用。山东电大数据中心作为山东开放大学教育云的核心实验室，在向开放大学远程教育云转变的过程中，对所有硬件通过虚拟化后形成逻辑上的资源池，为山东开放大学各地市学院和县市学习中心提供基础架构服务，包括处理、存储、网络和其他基本的计算资源，用户能够部署和运行包括操作系统和应用程序在内的任意软件。整个山东开放大学系统内的网络应用人员和教学教务管理人员不需要管理或控制任何云计算基础设施（由山东分部中心管理人员处理），就能实现控制操作系统的选择、储存空间和应用的部署，也有获得有限制的网络组件（如防火墙、负载均衡器等）控制，实现开放大学各级用户应用平台的集中部署、各级学习资源在虚拟化数据中心的统一存储和各级用户的IaaS服务。

二、教育云架构技术对比与选型

山东电大数据中心在开放大学远程教育云构建过程中，根据实际需求，借鉴其他开放大学的经验，着重在服务器虚拟化技术、VMware虚拟机备份及监控技术、交换设备可靠性技术和存储设备应用方面进行了充分比较，以选取最适合的技术方案。

1.服务器虚拟化技术选型

主流虚拟化操作系统功能对比表

当前主流的虚拟化技术都支持三个基本功能：实时迁移、高可用性和负载平衡。实时迁移是指能把群集内正在运行的虚拟机从一台主机移动到另一台主机而无需重新启动；高可用性体现在一台物理主机宕机时，会自动重新在群集内其他主机上启动该主机上运行的虚拟机；自动负载均衡是指服务器中的虚拟机会根据负载情况自动与群集内其他服务器进行资源重分配[3]。目前，主流的虚拟化产品包括VMware的vSphere、Citrix的XenServer以及微软Windows Server2008的Hyper-V，其中VMwarevSphere是目前x86平台上市场占有率最高的虚拟化产品。

基于开放大学教学业务的多样性，虚拟机模板部署要有灵活的资源分配功能，而网络考试等教学活动又对服务器的高可用性和安全性有极大要求。通过下表对虚拟化操作系统功能的对比可知，VMware vSphere适合作为教育云架构中的虚拟化平台。

2.VMware虚拟机备份及监控技术选型（1）虚拟备份技术选型

备份虚拟机有多种方法，第一是利用传统的备份方式，在每一个GuestOS里安装备份代理，虚拟层所处的位置在物理硬件和客户端操作系统之间，执行效率低下。第二种方式是采用VCB，单独安装一台服务器做Proxyserver，负责将所有存储设备上的VM挂载过来，避免了采用传统备份在每一个虚拟机上安装代理的情况，但是后端备份仍然依靠备份软件来完成，备份过程过于繁琐。第三种是目前最新的备份方式，采用vStorageAPIforDataProtection(VADP)，让第三方备份软件厂商开发VirtualAppliances在线备份所有的VM。VADP是VCB的继任者，克服了VCB过程繁琐的缺点，不再需要把数据复制到代理服务器，而是直接调用VMware生成的快照将其备份到磁盘或磁带。

VADP方式的备份工具常用的有VMware开发的VDR(DataRecovery)，适合规模较小的学习资源中心备份VM。此外，还有功能强大的第三方备份工具，包括PHDVirtualTechnologies公司的esX⁃press、VeeamSoftware公司的BackupandRepli⁃cation，以及Vizioncore公司的vRangerPro，都是为处理VMware备份而全新设计出来的。这三种工具中vRanger用户最多、速度最快、安全性好，使用用户熟悉的传统WINDOWS界面；esXpress稳定性突出，且在esXpress管理系统不存在的情况下，可以直接运行备份文件恢复，但是它没有采用像VSS等保障数据一致性的措施；Veeam恢复备份的速度最快，但是备份速度较慢。

经过上述比较，由于远程教育云要备份海量的数字化教学资源，而VAPD中Quest的vRanger备份速度快且安全，适合远程教育云的虚拟机备份。

（2）虚拟机监控技术选型

从虚拟机的操作系统属性出发，对其性能和其他数据进行监控是非常重要的。由于虚拟机不像物理机那样有可见的硬件设备，作为管理人员想通过传统的GuestOS中的性能工具了解虚拟化层发生的变化是比较困难的，每一个虚拟机都消耗主机资源，vSphere拥有的虚拟机越多，主机上的资源被耗费的就越多，如果不控制虚拟机的数量，就会导致主机资源不足并影响所有虚拟机的性能。但是，想获得关于虚拟机的性能数据，就需要一些不在虚拟机内部运行的软件做参考，可采用VMwarevCenter或第三方工具，vCenter是为通用的性能监控及告警而设计的，而第三方工具可以弥补vCenter的不足，为管理员提供非常具体的容量分析或故障诊断功能。如Quest旗下VizioncorevFoglight、VeeamMonitor、VKernel vOperations，以及VMtrubo公司的虚拟化管理套件（VMS），都是运行于虚拟机之外的可用于衡量虚拟机和ESX主机性能的工具，都可以提供ESX宿主机情况的整体视图。

考虑到山东开放大学在原有的小部分业务中使用了MicrosoftHyper-V虚拟化平台，目前大量的业务需要进行VMware虚拟化，而 Quest的vFoglight（之前称为VizioncorevFoglight）是一种跨平台性能监控工具，可以同时监控VMwarevSphere和Micro⁃softHyper-V，所以教育云平台选择它作为虚拟机管理监控平台。

3.交换设备可靠性技术选型

传统的交换设备采用VRRP协议的双机冗余热备来保证其可靠性。为了承载虚拟化后资源和分配的迁移、高可用性等数据开销，虚拟化群集需要建立在高性能的网络架构上，但传统的数据中心网络架构由于多层结构、安全区域、安全等级、二层环路、冗余设计等诸多因素，导致网络结构复杂，使得数据中心基础网络的运维管理难度较高，无负载均衡等缺陷。H3C的IRF（IntelligentResilientFramework，智能弹性架构）能将多台物理设备虚拟化成一台“虚拟设备”，简化了管理节点。更重要的是，可以将两条线路同时启用，实现跨设备的链路聚合交换，实现多台设备协同工作、负载均衡、统一管理和不间断维护，提升可靠性。

山东开放大学在架构教育云平台之前，利用H3C7506R全100M交换机（已经利用VRRP协议实现双机热备）对VMware虚拟化平台进行测试，结果表明，虚拟化平台在基于100M的双机热备交换设备中，当数据交换频繁时经常性中断通信，且出现在物理机重启后网卡不能正常工作的现象，而在采用全1000M的IRF技术后平台的各项应用流畅，未出现假死机现象。

4.存储设备应用选型

服务器虚拟化后计算机资源中的硬件、操作系统和应用程序变成灵活的逻辑资源。山东开放大学在未来的发展中承担着国家数字化资源中心山东中心的任务，其区域中心的职责意味着在将来的发展中可能用到越来越多的存储，但数据存放却都束缚在相互割裂的物理硬件空间中。而EMCVPLEX具有可跨异构阵列提供简化管理和无中断数据移动功能。为此，采用存储虚拟化能够使数据中心完全自动地执行数据的放置以适应任何业务配置或使用，在存储阵列之间实现无缝、不限存储类型、吻合而且透明的数据访问[4]。

三、远程教育云的构建

1.IP网络虚拟化的构建

IP网络虚拟化包括服务器虚拟化和网络交换设备虚拟化。

（1）服务器虚拟化设计

（2）网络交换设备虚拟化设计

对于普通的数据中心，网络可靠性一般用两台交换机双机热备的形式来保证，但进行双机热备的两台交换机之间却不能进行有效的负载均衡，传统的交换设备VRRP不能有效地为云架构服务。为此，在山东开放教育云的网络层建设中构建了网络虚拟化层。一是网络核心层由两台64口全千兆S7506E-V交换机组建，两台交换机通过万兆接口相连，利用IRF2技术实现将两台设备虚拟成一台设备，负责整个网络的数据转发，在为网络提供高可靠性服务的同时，保证核心层数据负载均衡；二是服务器接入层由2台48口全千兆S5500-HI高性能交换机组建，两台交换机通过万兆接口相连，利用IRF2技术实现两台设备的虚拟化，实现跨设备的链路聚合；三是虚拟化后的核心层与接入层交换机两两间通过六类双绞线交叉相连，确保服务器接入后网络的高可靠性；四是每台物理机的四个网口中两个一组进行绑定，第一组设定为VMware虚拟交换机的Console+Vkernal功能，分别与H3C5500_A和H3C5500_B的“管理VLan区”相连，另外两个设定为虚拟交换机的应用数据通道，分别与H3C5500_A和H3C5500_B的“应用VLan区”相连。这样的设计不仅最大化地保证了虚拟机在网络层的高可靠性和可用性，而且虚拟化后接入层网络设备负载均衡，保证了服务器群集管理通道和应用通道数据的高效率传输（如图1所示）。

图1 IP网络虚拟化

2.存储网络虚拟化构建

山东开放大学远程教育云的存储系统通过配置一台VPLEX控制主机，与容量为41T的VNX5500_1和容量为21T的VNX5500_2阵列之间形成存储虚拟化，具体部署如下：每个存储柜包括SPA0和SPA1两个控制器，共四个通道，每个控制器的上下两个通道都与相互冗余的两个HP光纤交换机交叉相连，保证近存储端存储链路的高可靠性；采用群集配置的ESX服务器，每台服务器包含两个HBA卡，分别接入两个相互冗余的HP光纤交换机上，保证虚拟化群集存储链路的可靠性；最后，在光交换上将共享通道的存储和服务器划分在同一个LUN中实现存储与虚拟群集的对应（如图2所示）。

通过VPLEXLocal存储虚拟化，实现了应用程序在不中断的情况下，使数据从VNX5500_1到VNX 5500_2进行迁移。同时，在启用“虚拟资源调配”后实现了存储空间的自动“按需分配”，大大提高了数据中心的存储空间利用率，满足了应用软件与资源在教育云中的灵活部署。

图2 存储网络虚拟化

3.备份和监控子系统的构建

（1）备份系统

参照彭纪生等（2008）［23］的政策测量手册以及芈凌云和杨洁（2017）［24］、蒋园园和杨秀云（2018）［25］等对这一手册的情景化操作与应用，构建“政策力度-政策目标-政策措施”效力评估模型，并对三者分别进行赋值。其中，对政策力度的各个标准赋值1-5分；考虑到政策样本主要是针对机动车这单一污染源，目标客体相对集中，为使评估结果具有显著差异性，对政策目标的赋值层次确定为5、3、1；结合赵新峰和袁宗威（2016）［26］的政策工具理论，对政策措施分别赋值5、3、1分。具体测量标准及赋值如表2。

开放大学需要存储海量的远程教育资源和教学管理数据，虽然通过EMC存储虚拟化进行集中存储管理，但还需要部署统一的自动化软件备份，才能保证整个信息系统的数据安全。本文对备份子系统做了如下设计：在每个虚拟化集群中增加一个虚拟机用作备份服务器，安装Vizioncore的vRanger虚拟化备份工具，将数据备份到本地曙光存储中。Vizioncore的vRangerPro是一种行业标准备份和复原解决方案，提供了一种全新的功能，即P2V灾难恢复，用于获取所有物理Windows服务器的映象级备份。

山东开放大学教育云虚拟化备份子环境实现了如下功能：构建了统一的数据备份系统，规划统一的备份策略，自动将整个平台中的所有关键业务数据进行集中备份，无需中断物理服务器，方便安全。

（2）虚拟化管理监控系统

对于将来逐步完善的教育云，管理员必须关注整个云架构资源的稳定性和健康状况，可通过在物理机上安装VizioncorevFoglight软件来监控服务器虚拟机，与VMware虚拟化环境无缝集成，无需在虚拟机中安装代理即可对整个环境进行全面的监控、规划、预警、事件分析和报表。采用监控工具Vfoglight后不仅可以全方位、准确地监控每个虚拟机中进程的运行状况，同时针对关键应用进程，通过后台庞大的专家库诊断，给出最合理的优化建议，使管理人员能够合理分配资源。远程教育云基础架构平台拓扑图如图3所示。

图3 远程教育云基础架构

四、各分部远程教育云IaaS的应用

1.实验云平台

开放教育计算机学科的学生实验或实践环境由于部署的复杂性和对软硬件的高要求导致一直没有好的解决办法，通过云平台可快速部署、删除基于操作系统实验的远程实验平台。山东广播电视大学开放教育《动态网页制作》和《网络操作系统》等课程的实验就通过在虚拟机中部署需要使用的网络GuestOS，供学生实验使用。学生可以方便地通过普通PC远程登录，也可以在云教室通过瘦客户机访问真实的实验环境，促使学生快速掌握所学的理论知识。不但提高了学生的动手能力，还增加了学习兴趣。在实验完成后系统管理员会把实验用虚拟机删除，在下一次实验开始前利用所需实验模版快速生成新的实验环境。

2.Moodle云分发信息系统

Moodle是基于建构主义教育理论开发的课程管理系统，是一个免费的开放源代码软件，可以用于学校教育的各个方面，如课堂教学、课外活动、班团组织、研究型学习等。由于该系统拥有免费获取、跨平台以及可自由组合的动态模块化设计等特点，已经被广泛应用。但是，在使用过程中也遇到不少问题，如配置复杂、难以个性化、难以大量快速部署等[5]。

山东开放大学教育云在VMwarevSphere中按照使用类别建立了多类个性化的Moodle虚拟模板，较好地解决了Moodle等大型教学系统的快速部署。当进行相关教学活动时，用户通过云应用管理系统提出申请，管理员通过申请描述在提前配置好的相近的虚拟机模板类中选择适当的模板对象，通过VM⁃warevCenter，只要几十秒就可按需克隆一个虚拟机并启动运行和完成部署。山东广播电视大学开放教育的网络教学活动很大程度上得益于云分发系统，《网络程序设计》、《Photoshop制作技术》等课程互动都是通过克隆安装Moodle平台的虚拟机完成快速的个性化配置。

3.快速存取海量教育资源

通过远程教育云的虚拟存储空间解决了海量教育资源的快速存取。山东开放大学是首批加入国家数字化学习资源中心的18家省市电大之一。目前，山东中心已有1,412门优质数字课程资源，包括电大在线、社区在线等学习平台和相应的教学资源，总资源容量已经达到2.5TB。此外，山东中心规划每年新增包括总中心共享的资源80门及自建资源30门，总容量达1T。在云平台的强力支持下，部署的存储虚拟化LUN空间或NAS空间完全满足了这些资源和数据的需求，如山东日照广播电视大学的社区教育和兖州学院的“一村一名大学生”等教学服务，就是在远程教育云的基础上开展的。

4.VMwareView云教室

山东开放大学的学生机房采用瘦客户端+VM⁃wareView的方式建立云教室。View是基于VM⁃warevSphere构建的，作为云计算服务的一部分。作为单一集成平台交付桌面，其特点是：具有可动态分配资源，为终端用户提供快速响应和高度可用的环境；可按需扩展和缩减桌面服务，以快速满足不断变化的业务需求并主动防范计划内和计划外停机。基于VMware的云教室节约了机房设备的投入，节省了安装空间，降低了硬件能耗，为教学活动提供了简单快捷的系统及应用部署。源中心服务器的CPU利用率显著增加；B/S架构的应用系统整合效果良好，其中整合度（指群集承担的应用与实际数量物理机承担的应用之比）达到9:1。二、部署应用简单快捷，只要有了新的需求，就可以很快在虚拟机上进行安装和实施，缩短了服务器重建的时间，提高了管理和工作效率。山东广播电视大学利用两个工作日便部署完成基于4个虚拟机包含17个地市子站组成的网站群。同时，还可以根据具体应用预先建立一些应用模板类，在需要时进行简单的克隆就可完成工作。三、保证了业务的高可用性。由于虚拟构架可使虚拟机具有动态可迁移性，当群集中的物理机偶然出现问题时也不必担心应用系统不能正常运行，虚拟机制会把应用瞬间切换到其他正常主机上，以此来保证业务的连续运行。

[1]方慕真，孙雨，薛海峰，吴淑苹，袁亚兴.国家开放大学远程教育云的探索研究[J].中国教育信息化，2011，（21）：6-9.

[2]袁亚兴，孙雨，吴淑苹.国家开放大学远程教育云网络架构研究[J].中国教育信息化，2011，（21）：10-13.

[3]任星，李青荣.基于VMwarevSphere虚拟化资源管理平台研究[J].计算机应用与软件，2012，（5）：220-221.

[4]孟凡立，徐明，张慰.基于云计算的高校数据中心设计与实现[J].现代教育技术，2012，（3）：100-102.

[5]邹建梅，原变青.利用云计算技术构筑大规模Moodle应用系统的研究[J].中国教育技术装备，2011，（29）：56-59.

陈岩，中级教师，本科，兖州市第一中学（272101）。

五、结束语

远程教育云的应用在实现了既定目标的同时也为山东开放大学的进一步建设和发展提供了可扩展的平台。利用VMware服务器虚拟化技术，山东开放大学共部署了47个虚拟机。通过服务器虚拟化技术的部署和实施，山东开放大学实现了以下目标：一、服务器利用率得到极大提高，硬件投入成本不断降低，通过服务器虚拟化实施，电大在线平台、国家数字化资

责任编辑 日 新

G40-057

A

1009—458x（2014）03—0082—06

2013－08－26

韩磊，工程师，硕士研究生；范华，工程师，硕士研究生。山东广播电视大学现代教育技术中心（250014）。