基于VMware Vsphere的云计算实验平台构建
2014-12-16胡寅吕浩勇
胡寅 吕浩勇
摘要:开展云计算实验,需要配备大量的主机用来搭建云计算平台。在有限的实验设备资源的基础上,介绍服务器虚拟化技术和VMware vSphere技术,并结合相关实验室实际情况,构建云计算实验平台,满足实验人员开展云计算相关实验的需求。使用表明该平台稳定可靠,具有良好的经济性和扩展性,易于管理维护。
关键词:云计算;VMware Vsphere;服务器虚拟化;实验平台
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2014)32-7647-03
Abstract: To carry out the experiment of cloud computing, a large number of hosts is needed. In order to carry out these experiments with limited experimental resource, this paper introduces the virtual technology of servers, and according to relative labs actual situation, builds the experimental platform of cloud computing. This platform is stable, reliable, with good economics and scalability. It is convenient for labs managers to maintain and meets the requirements of carrying out the relevant experiments of cloud computing.
Key words: cloud computing; VMware Vsphere; server virtualization; experiment platform
1 概述
云计算是计算模式一次革命,它以“云端”的形式提供计算资源,并完成计算的执行过程,而用户端可以通过浏览器或者应用程序界面提交计算任务或者服务请求,不需要考虑如何构建计算架构和如何组织、调度计算资源。[1]云计算必将带来人们的工作方式和商业模式的改变。
开展云计算的相关实验是一项具有重要意义的研究工作。目前,绝大多数云计算实验平台都是基于开源软件Hadoop的分布式平台,其部署模式主要有三种:单机模式、伪分布模式和全分布模式。[2-3]前两种模式可以在一台主机上进行部署,而全分布模式部署至少需要4台主机才能完成的需求,前两种模式实验效果较差,不利于掌握云计算的相关特性,而全分布模式要求大量主机构建实验平台,实验成本要求较高。面对高校实验资源相当有限,如何满足实验资源的需求成为一个迫切解决的问题。
针对现有实验单机配置相对较高,通过引入服务器虚拟化技术,安装VMware Vsphere软件,用户可按照个性需要,虚拟出多台服务器。该虚拟化平台稳定、高效,充分提高实验设备利用率,满足实验室应用的需求,同时,采用虚拟化技术可以避免云计算实验平台配置独立的物理主机,占地大、耗电量高、系统资源利用率低的问题。
2 相关技术
2.1开源云计算平台(Hadoop)
Hadoop 是开源的、分布式计算平台,由许多元素构成, Hadoop 的核心组成部分有两个:Map Reduce 和 HDFS。
HDFS是一个面向海量数据密集型应用的、可扩展的分布式文件系统。HDFS 可以在廉价的计算机设备上运行,但是它具有强大的容错能力,为用户提供了性能较高的服务。[4]
HDFS(Hadoop Distributed File System)是Hadoop的分布式文件系统,可以为应用程序提供高吞吐量的数据访问和海量数据存储。对外部客户系统而言,HDFS 就像是一个传统的分级文件系统。和一般文件系统一样,可以对它进行创建、删除或重命名文件,等等。HDFS由一个元数据节点(NameNode)和若干数据节点(DataNode)组成。 中,NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;存储在 HDFS 中的文件被分成若干个 Block,这些块被复制到系统中的不同数据节点(DataNode)中,DataNode管理和存储这些块Block,提供定位块Block的服务,定时向NameNode发送其存储的Block列表。块的大小和复制的块数量在新建文件时可由 Client决定,默认值为 64MB。[5-6]HDFS体系结构图如图1所示。
3 基于 VMware Vsphere的云计算实验平台
通常,实验室计算机人均数是有限的,面向云计算的实验平台已经不能局限与一台计算机就能顺利的完成云计算实验,并取得较好的实验效果。由上述介绍可知,一般的云计算实验通常至少需要4台计算机,而实验室很难达到计算机人均数4台的标准。采用VMware Vsphere ESX虚拟化云计算平台可有效利用现有实验设备,达到实验要求效果。下面就云计算实验平台的服务器的选择,VMware Vshpere 的获取、安装和使用。
3.1 云计算实验平台的服务器的选择
虚拟化的物理服务器云计算实验平台的基础,要求其对满足 VMware Vsphere ESX硬件兼容性,支持 64位计算,且价格合理 。因此,可选择联想启天M系列台式机。硬件兼容性可在VMware官方网站(www.vmware.com.cn)查询。基本配置如表1所示。
3.2 VMware Vsphere 的获取、安装和使用
VMware Vsphere[12]当前有4.0和5.0两个版本,云实验平台采用VMware Vsphere 4.0,VMware官方网站提供免费使用版,只需通过邮箱注册账号后,便可下载,刻录成光盘使用。VMware Vsphere 4.0安装非常方便,只需光盘引导后,按步骤依次选择。
整个系统平台的部署可参照图3基于VMware Vsphere的应用平台架构,对于有40台计算机(配置如表1要求)的实验室,可选择20台做虚拟化服务器,另外20台安装Windows 操作系统作为管理机,在管理机使用浏览器访问虚拟化服务器,可以下载并安装VMware Vsphere Client可以管理虚拟化服务器,使用该客户端,可以为创建和删除虚拟机,为虚拟机安装和维护操作系统。
在该云计算实验平台上,一台虚拟服务器可以构造出4-6台虚拟主机,目前,已开展Hadoop德安装和配置,MapReduce编程,Hbase的安装和使用等一系列云计算机出实验。
4 结论
通过基于VMware Vshpere 的构建云计算实 验平台,重新分配虚拟服务器的计算机资源,提高了实验室计算机的利用率,节约了经济成本。系统的扩展性好,用户可在设备允许的范围内,按需创建虚拟主机。对各虚拟主机的维护简便,只需在VMware Vsphere Client管理端进行即可。
参考文献:
[1] 张健. 云计算概念和概念解析[J]. 电信网技术,2009,6(1):15-18.
[2] 高新成,王莉利.基于Hadoop的校园云存储系统的研究[J].陕西理工学院学报:自然科学版,2012,28(4):30.
[3] 袁玉,崔超远,乌云,等.单机下 Hadoop小文件处理性能分析[J].计算机工程与应用,2013,49(3):57.
[4] 陈全,邓倩妮. 云计算及其关键技术[J]. 计算机应用,2009,29(9):2562-2564.
[5] 付东华. 基于 HDFS 的海量分布式文件系统的研究与优化[D].北京:北京邮电大学,2012:12-14.
[6] Attebury G, Baranovski A, Bloom K, et al. Hadoop distributed file system for the Grid[C].Nuclear Science Symposium Conference Record (NSS/MIC), 2009 IEEE. IEEE, 2009: 1056-1061.
[7] J Dean, S Ghemawat. MapReduce: Simplified data processing on large clusters[J]. Communications of the ACM , 2008,51(1):107-113.
[8] 李建江,崔健,王聃,等.MapReduce 并行编程模型研究综述[J].电子学报,2011,39(11):2635-2642.
[9] 黄山,王波涛,王国仁,等.MapReduce优化技术综述[J].计算机科学与探索, 2013,7(10):865-885.
[10] 许娜. 基于VMwareESXServer的实验教学平台建设[J].实验室研究与探索,2011,30(9):202-205.
[11] 储久良,李玲. 虚拟化技术在高校数据中心的应用[J].实验室研究与探索,2012,31(12):67-71.
[12] 任昱,李青荣. 基于VMware vSphere 虚拟化资源管理平台研究[J].计算机应用与软件,2012,29(5):219-223,237.
VMware Vsphere[12]当前有4.0和5.0两个版本,云实验平台采用VMware Vsphere 4.0,VMware官方网站提供免费使用版,只需通过邮箱注册账号后,便可下载,刻录成光盘使用。VMware Vsphere 4.0安装非常方便,只需光盘引导后,按步骤依次选择。
整个系统平台的部署可参照图3基于VMware Vsphere的应用平台架构,对于有40台计算机(配置如表1要求)的实验室,可选择20台做虚拟化服务器,另外20台安装Windows 操作系统作为管理机,在管理机使用浏览器访问虚拟化服务器,可以下载并安装VMware Vsphere Client可以管理虚拟化服务器,使用该客户端,可以为创建和删除虚拟机,为虚拟机安装和维护操作系统。
在该云计算实验平台上,一台虚拟服务器可以构造出4-6台虚拟主机,目前,已开展Hadoop德安装和配置,MapReduce编程,Hbase的安装和使用等一系列云计算机出实验。
4 结论
通过基于VMware Vshpere 的构建云计算实 验平台,重新分配虚拟服务器的计算机资源,提高了实验室计算机的利用率,节约了经济成本。系统的扩展性好,用户可在设备允许的范围内,按需创建虚拟主机。对各虚拟主机的维护简便,只需在VMware Vsphere Client管理端进行即可。
参考文献:
[1] 张健. 云计算概念和概念解析[J]. 电信网技术,2009,6(1):15-18.
[2] 高新成,王莉利.基于Hadoop的校园云存储系统的研究[J].陕西理工学院学报:自然科学版,2012,28(4):30.
[3] 袁玉,崔超远,乌云,等.单机下 Hadoop小文件处理性能分析[J].计算机工程与应用,2013,49(3):57.
[4] 陈全,邓倩妮. 云计算及其关键技术[J]. 计算机应用,2009,29(9):2562-2564.
[5] 付东华. 基于 HDFS 的海量分布式文件系统的研究与优化[D].北京:北京邮电大学,2012:12-14.
[6] Attebury G, Baranovski A, Bloom K, et al. Hadoop distributed file system for the Grid[C].Nuclear Science Symposium Conference Record (NSS/MIC), 2009 IEEE. IEEE, 2009: 1056-1061.
[7] J Dean, S Ghemawat. MapReduce: Simplified data processing on large clusters[J]. Communications of the ACM , 2008,51(1):107-113.
[8] 李建江,崔健,王聃,等.MapReduce 并行编程模型研究综述[J].电子学报,2011,39(11):2635-2642.
[9] 黄山,王波涛,王国仁,等.MapReduce优化技术综述[J].计算机科学与探索, 2013,7(10):865-885.
[10] 许娜. 基于VMwareESXServer的实验教学平台建设[J].实验室研究与探索,2011,30(9):202-205.
[11] 储久良,李玲. 虚拟化技术在高校数据中心的应用[J].实验室研究与探索,2012,31(12):67-71.
[12] 任昱,李青荣. 基于VMware vSphere 虚拟化资源管理平台研究[J].计算机应用与软件,2012,29(5):219-223,237.
VMware Vsphere[12]当前有4.0和5.0两个版本,云实验平台采用VMware Vsphere 4.0,VMware官方网站提供免费使用版,只需通过邮箱注册账号后,便可下载,刻录成光盘使用。VMware Vsphere 4.0安装非常方便,只需光盘引导后,按步骤依次选择。
整个系统平台的部署可参照图3基于VMware Vsphere的应用平台架构,对于有40台计算机(配置如表1要求)的实验室,可选择20台做虚拟化服务器,另外20台安装Windows 操作系统作为管理机,在管理机使用浏览器访问虚拟化服务器,可以下载并安装VMware Vsphere Client可以管理虚拟化服务器,使用该客户端,可以为创建和删除虚拟机,为虚拟机安装和维护操作系统。
在该云计算实验平台上,一台虚拟服务器可以构造出4-6台虚拟主机,目前,已开展Hadoop德安装和配置,MapReduce编程,Hbase的安装和使用等一系列云计算机出实验。
4 结论
通过基于VMware Vshpere 的构建云计算实 验平台,重新分配虚拟服务器的计算机资源,提高了实验室计算机的利用率,节约了经济成本。系统的扩展性好,用户可在设备允许的范围内,按需创建虚拟主机。对各虚拟主机的维护简便,只需在VMware Vsphere Client管理端进行即可。
参考文献:
[1] 张健. 云计算概念和概念解析[J]. 电信网技术,2009,6(1):15-18.
[2] 高新成,王莉利.基于Hadoop的校园云存储系统的研究[J].陕西理工学院学报:自然科学版,2012,28(4):30.
[3] 袁玉,崔超远,乌云,等.单机下 Hadoop小文件处理性能分析[J].计算机工程与应用,2013,49(3):57.
[4] 陈全,邓倩妮. 云计算及其关键技术[J]. 计算机应用,2009,29(9):2562-2564.
[5] 付东华. 基于 HDFS 的海量分布式文件系统的研究与优化[D].北京:北京邮电大学,2012:12-14.
[6] Attebury G, Baranovski A, Bloom K, et al. Hadoop distributed file system for the Grid[C].Nuclear Science Symposium Conference Record (NSS/MIC), 2009 IEEE. IEEE, 2009: 1056-1061.
[7] J Dean, S Ghemawat. MapReduce: Simplified data processing on large clusters[J]. Communications of the ACM , 2008,51(1):107-113.
[8] 李建江,崔健,王聃,等.MapReduce 并行编程模型研究综述[J].电子学报,2011,39(11):2635-2642.
[9] 黄山,王波涛,王国仁,等.MapReduce优化技术综述[J].计算机科学与探索, 2013,7(10):865-885.
[10] 许娜. 基于VMwareESXServer的实验教学平台建设[J].实验室研究与探索,2011,30(9):202-205.
[11] 储久良,李玲. 虚拟化技术在高校数据中心的应用[J].实验室研究与探索,2012,31(12):67-71.
[12] 任昱,李青荣. 基于VMware vSphere 虚拟化资源管理平台研究[J].计算机应用与软件,2012,29(5):219-223,237.