西北农林科技大学:构建云计算服务平台
2014-08-21王西军李力
文/王西军 李力
高校数据中心目前都面临新应用不断增多,异构化的设备众多,管理人员不足,数据安全难以保障等难题。云计算的成功落地为这些问题的解决提供了一种新思路。
高校数据中心新挑战
随着大数据时代的到来,高校数据中心将如何应对急剧增长的各类文本、图片、音频、视频等非结构化数据,以及访问这些数据带来的网络压力。同时,数据中心承载着数字校园业务系统和学校公共信息服务,学校的日常教学、工作活动已离不开数据中心安全、稳定、高效的运行。
大多数高校数据中心目前都面临新应用不断增多,异构化的设备众多,设备性能的相对不足和部分设备资源又无法得到充分利用;管理人员不足;数据安全难以保障等难题。
西北农林科技大学数据中心目前服务器已达到130多台,存储4套,数据库6套,这些设备和系统都不同程度存在负荷不均的问题;设备由多个品牌构成,操作系统类型与版本也不统一,手工数据备份困难,给工作人员的管理带来很大压力。而近几年云计算的成功落地为这些问题的解决提供了一种思路。
云计算定义及分类
按美国国家标准与技术研究院(NIST)的定义:云计算是一种模式,通过按需网络存取共享的可配置的计算资源池,以最小的管理或者被快速部署和发布。它可以依据交付模式分成3个不同的层次,即Iaas(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)。云计算服务平台可解决的问题
1.方便资源共享与提供
可以根据用户的需求,为不同应用动态划分或释放不同的物理或虚拟资源,当增加一个需求时,可通过增加可用的资源,实现资源的快速弹性提供;如果用户不再使用这部分资源时,可回收这些资源。该功能主要针对业务系统、网站空间和虚拟主机空间分配。
2.自助化资源申请服务
云计算资源平台可提供自助化的资源服务,用户可从网上申请得到想要的计算资源能力,比如自助申请虚拟主机或空间等。同时为用户提供一定的应用服务目录,用户可采用自助方式选择满足自身需求的服务项目和内容。
3.用户使用更加便捷
云计算资源平台的组件和整体构架由网络连接在一起并存在于网络中,同时通过网络向用户提供服务,比如“云桌面”、“云盘”、“虚拟主机”服务等,用户可借助不同的终端设备,通过标准的应用实现对网络的访问,不受地域限制,从而使得服务无处不在。
4. 资源的池化和透明化对系统管理员而言,各种底层资源(计算、储存、网络等)的异构性被忽略,所有的资源可以被统一管理和调度,成为所谓的“资源池”,从而为用户提供按需服务;对应用而言,这些资源是透明的,无须了解内部结构,只关心自己的需求是否得到满足即可。该功能能解决数据中心维护的困难。
5.提升数字校园运行的安全性和可靠性
资源池中的任何物理故障都可以通过云计算平台容错技术解决,保证业务的连续性。
图1 西北农林科技大学校园云计算平台框架
云计算服务平台构建
根据西北农林科技大学数据中心服务器、网络设备、存储、信息系统现状,在“最大程度的整合现有资源,平滑迁移现有业务,分步建设”的思路下,这次云计算服务平台的建设侧重于IaaS层次建设,着重从统一存储平台建设、数据中心虚拟化网络系统建设、计算资源及云管理平台建设入手,构建符合学校实际需求的云计算服务平台,框架如图1所示。
统一存储平台建设
实现 IaaS 的一个重要组成部分是云存储,一个云计算的基础设施要服务于很多个不同的业务系统或者应用,每个业务系统或应用都会有不同的存储需求,并且可以通过存储虚拟化管理,进行存储需求的整合,灵活地控制容量。
为确保云计算环境下的信息及数据的安全。统一存储平台中的存储组件应可跨存储节点集群分割和保护多份数据副本,可实现瘦供给,热点数据分层存储和管理,并消除SAN中的单点故障。可提供FC,ISCSI等多种客户访问方式。具备卷复制、卷迁移功能,方便实现零宕机条件下的故障恢复,简化管理。
学校目前拥有4套存储,最早的2006年购置,性能、容量和利用率各不相同,通过建设统一存储平台,共整合存储容量240T,通过增加缓存和SSD盘作为热点数据缓冲区,极大地提高了老存储性能。
数据中心虚拟化网络系统建设
网络资源作为云计算服务平台的重要组成部分,除基本网络设备功能外,还需具备以下能力:
1.虚拟化特性:支持将两台或多台物理设备虚拟化为一台逻辑设备,虚拟组内可以实现一致的转发表项,实现多台设备的协同工作、统一管理和不间断维护能力,便于网络迁移和故障恢复。
2.链路聚合能力:支持端口聚合,支持跨板链路聚合,支持跨物理设备链路聚合。
3.高性能的数据交换能力,提供充足的交换性能,节点端口应达到万兆速率,能够按需划分网络资源。
4.丰富的云计算特性:利用虚拟机网络接入新标准(EVB),完成虚拟机接入与控制、大二层网络部署,实现网络基础平台对云计算虚拟化环境的良好支撑,同时大大简化网络的运维管理。
学校数据中心虚拟化网络系统由两台数据中心级交换机进行构建,通过将两台网络交换机虚拟化成一台交换机,使得整体交换容量达到40Tbps,万兆接入端口达到64个,千兆接入端口达到192个,主要服务器都采用双万兆两路接入,消除了单点故障。计算资源及云管理平台建设
计算资源及云管理平台建设是整个云计算服务平台建设的核心和灵魂,按功能分为以下8部分建设。
1.云资源管理平台
云资源管理平台实现物理机、虚拟机的统一管理、调用和资源分配。是整个系统的神经中枢。
2.云操作系统模块
这是云计算平台的基础。采用裸金属架构,通过对数据中心的服务器进行虚拟化,并进而为云计算管理提供计算资源。
3.云运维平台
云平台的运维关系到云平台的作用是否能充分发挥。尤其云计算平台的运维管理中,统一界面下所有虚机的性能、实时的容量、方便的配置变更等对简化管理非常重要。
4.云安全模块
将数据中心进行云计算改造后,其基础架构的安全框架平台将会显得尤其重要。在云计算下,安全框架的基础架构与传统数据中心管理模式相比有很大的区别。要求能够在虚拟管理程序层提供基础的引擎和API,实现不受传统操作系统的限制,并不再需要在每个受管理的客户端安装代理软件,进而简化部署和升级,降低系统负荷。
5.云门户模块
云计算自服务门户模块,是云计算基础架构管理和自我服务平台,可以将所管理的计算资源封装为一个或多个虚拟数据中心,并通过向导完成每个数据中心内的CPU、内存、磁盘、网络等计算资源的配置和管理,并根据业务需求创建和调整云计算服务的服务目录。
6.云计费模块
在云平台上,对所管控的计算资源的分配与使用情况进行记录、监控和生成报告。业务部门能够知晓他们使用的资源总量以及尚未使用的部分,为他们提供优化资源、节省成本的依据,进而改善资源的利用情况,充分利用所有资源。
7.云桌面模块
云桌面模块是一种高效、简洁、成本低的桌面部署与管理方式,通过将计算能力后置,充分简化了桌面管理的复杂程度,极大地提高桌面管理的安全性和便捷性,将桌面管理提高到了一个新的运维层次。
8.计算资源
这是云计算的物理载体,主要由12台四路高性能X86架构服务器组成,总运算核数768核,每核2.3GHz,总内存3T,全为双万兆网卡,双FC卡组成。
建设成效
这次云计算服务平台的建设侧重于IaaS层次建设,系统于2013年11月建成投入运行,半年以来,用户和管理人员感受到良好的使用效果,主要体现在以下几个方面:
资源利用率大大提高
主要体现在存储和服务器资源上。存储通过统一存储平台,可以灵活调度存储空间,平衡存储压力,并通过瘦供给功能,极大地提升存储空间的利用率,对部分采用瘦供给功能的存储应用统计,其实际磁盘占用率46.5%,节省空间53.5%;服务器通过虚拟化,使得计算资源池化,资源按需分配、回收、扩展、迁移,减少了硬件投资,提高了服务器使用效率。
人工成本大大降低
多套存储和众多服务器有了统一的管理、运维界面,使得管理简单化,缓解了数据中心人员不足的问题;通过云计算自服务门户、应用模板克隆等功能,实现新应用快速部署,提高了工作效率。
图2 存储与Oracle数据库在系统实施前后性能对比(单位为MBps,测试工具为DD和ORION)
对管理员带来的便利:统一的存储、网络和服务器设备管理界面,方便了设备巡检和管理维护,减少了以往要反复登录多套系统带来的人力资源浪费;提升资源调配弹性和灵活性;采用万兆网络和trunk技术,多网段可共享一根万兆线,大大减少了网络布线的数目。
给用户带来的便利:用户可以通过网络快速(克隆)获得自己所需要的计算资源,运行自己的业务系统;用户不必自己建设基础设施,由数据中心统一建设提供服务,有利于高校的资源集中共享,减少重复建设造成的资源浪费;用户可以不受地域限制通过网络访问校内资源;通过虚拟应用,用户可以访问远程特定应用程序,而不用本地安装设置。
数据安全性得到提高
统一存储平台可实现跨地域的多套存储上的多份数据副本、卷复制、卷迁移等功能,加上部署的针对云计算环境下的数据备份体系,实现了全方位立体化的数据安全,并可真正达到零宕机条件下的业务不中断,故障恢复,使得数据安全性得到很大提高。
IT服务性能得到提升
通过存储系统热点数据分层、SSD高速共享缓冲区功能,对照老存储系统,其数据读写速度普遍提高1~3倍;建立基于IRF2虚拟化技术的万兆高速网络,实现云平台内部万兆互连,数据中心网络交换能力提升至40T,保障了云平台内部海量数据转发无拥塞;新四路服务器的加入也使得计算资源得到了较大提升,为支撑数字校园新业务——移动互联网及大数据的到来打好了基础。
数据和业务迁移更加简单方便
基于云计算平台,我们进行了近百个系统的数据和业务迁移,这些不同服务器、不同数据库、不同操作系统的众多业务,在不到两周内完成了平滑迁移,这在非虚拟化环境下的工作量是不可想象的。
不足之处
在移动互联网时代,移动办公、远程办公需求越来越多,加之多媒体教学系统、远程实验、科研协作等师生需求,目前的建设还无法满足这方面需求,云计算面向移动互联网为下一步服务的重点。具体将在现有平台基础上,着重对网络云应用、个人云桌面和云盘等服务开展一定的试验和建设。
云计算在国内高校目前处于起步阶段,西北农林科技大学通过这次云计算服务平台的建设,着重从统一存储平台建设、数据中心虚拟化网络系统建设、计算资源及云管理平台建设方面,构建了一套比较符合学校实际需求的云计算服务平台,并初步取得一定成效。