APP下载

一种基于Xen的自动迁移系统设计

2015-01-03郭文东

数字通信世界 2015年8期
关键词:冷点机上利用率

郭文东

(河北省财政厅,石家庄 050051)

一种基于Xen的自动迁移系统设计

郭文东

(河北省财政厅,石家庄 050051)

虚拟机实时迁移[1,2]可以实现将一台虚拟机在运行状态下迁移到另一台物理机上,可以用于服务器资源整合、负载均衡、节能省电和物理机例行维护等应用。然而,当前的虚拟机实时迁移只能达到人工迁移,而不能实现全自动迁移。当虚拟机较少时还可以人工操作,但当前数据中心规模常常有几千至上万台服务器,当有几十台甚至几百台发生高负载时,人工迁移效率是很低的,并有可能会耽误迁移时机造成一些服务器长时间过载甚至出现宕机。

Xen;虚拟化;资源整合;自动迁移

Xen;虚拟化;资源整合;自动迁移

1 引言

据调查,用户数据中心的网络流量往往具有周期性变化规律,往往是白天访问数量巨大,造成服务器负载较高,而晚上则相反,服务器的负载很低,这时如果能够自动地将那些资源利用率很低的虚拟机迁移整合到少数物理机上,并将虚拟机的原宿主物理机设置成休眠状态,从而使运行的物理机数量和负载率都达到最佳水平,这将可以大大提高数据中心资源利用率并有效降低运营成本。

因此,本文设计了一套基于Xen[4,5]虚拟化引擎的自动迁移系统,该系统能够实时收集服务器负载数据,除了服务器热点探测外,还能进行冷点探测并自动识别出当前服务器资源池的整体负载,并按照预先设置的迁移决策算法,分别对集群高负载和低负载场景实施自动迁移,该自动迁移系统将有效提高数据中心的管理效率并减少服务器运营成本。

2 系统框架

针对上述应用场景,本文基于Xen虚拟化引擎设计了针对上述两种主要场景的自动迁移解决方案,主要解决了两个自动化问题:一是自动模式识别,即系统能够自动感知此时该使用负载均衡模式还是节能省电模式,具有自适应的特点,确切的说是作出模式识别,是根据负载将虚拟机均分到各个物理机上还是整合到少数物理机上。二是自动决策迁移,即根据不同的模式决策迁移谁和往哪迁,该决策应该提供至少两种模式的算法。如果是负载均衡模式,迁移谁就是要找到负载过高的热点物理机和其上需要迁移的虚拟机,并迁移到负载低的冷点物理上;如果是节能省电模式,则是要将负载低的物理机上的虚拟机迁移整合到其他负载低的物理机上。

在具体实现上,该系统的自动性应该体现如下过程:能够自动的收集数据,包括虚拟机和物理机的CPU使用信息、内存使用信息和带宽使用信息;能自动的按照预先设置的热点/冷点探测算法对相应数据进行处理,得到冷热点机器列表信息;能自动的根据预先设置好的负载均衡模式算法或者节能省电模式算法计算出热点或冷点虚拟机需要迁移到哪台物理机上;能自动下发迁移命令,通知相应物理机迁移其上的某台虚拟机到指定物理机上。

整个系统由多台待监测主机(PM)和全局控制主机(GlobalController)组成。如图1所示,待监测主机上运行着一台或多台虚拟机,虚拟机上运行MemCollector模块,待监测主机Domain-0域上运行Communicator,Collector,NodeController模块。全局控制主机上运行Communicator,ScenarioDetector,MigDecider模块。各模块的具体功能如下:

⊙ MemCollector:虚拟机内存利用率收集器,存在于虚拟机用户态,负责实时收集虚拟机的内存利用率信息,并传递给Collector模块。

⊙ Collector:信息收集器,存在于Domain-0用户态的模块,负责实时收集虚拟机的内存利用率、CPU利用率、带宽利用率和丢包率数据,以及物理主机的可用资源大小、CPU利用率和带宽利用率数据,并这些数据传递给GlobalController进行处理。

⊙ ScenarioDetector:模式识别器,该模块存在于GlobalController中,负责对收到的虚拟机和物理主机信息进行处理,并决定是采用负载均衡模式算法还是节能省电模式算法,并根据相应算法探测出热点、冷点物理机,并将虚拟机和物理机列表传递给MigDecider。

图1 系统架构图

⊙ MigDecider:迁移决策者,该模块存在于GlobalController中,将热点、冷点虚拟机和物理机列表按照相应的迁移决策算法进行匹配,得到要迁移的虚拟机、源端物理主机和对应的目标主机,即<SrcPM, VM, DesPM>,并下达迁移命令,通知源端物理主机上的NodeController迁移指定的虚拟机到指定目标主机上。

⊙ NodeController:节点控制器,存在于Domain-0用户态,负责接收MigDecider的迁移命令,实施最终的迁移。

⊙ Communicator:Socket通信实体,负责主机之间的通信任务。

3 系统模块设计

针对上述系统框架,我们对每个功能模块进行了详细的分析与设计,文献[6]虽然也设计了自动迁移系统,不过在负载信息参考上与本文不同,另外,本文还针对一些特殊场景也进行了有针对性的设计和细致分析。

3.1 数据收集

整个虚拟机自动迁移将依赖所有收集到的虚拟机和主机的实时数据,这些实时数据反映了虚拟机和物理主机的负载情况。其中描述虚拟机负载的有3个指标:内存利用率(MEM_U)、CPU利用率(CPU_U)、带宽利用率(BW_U)。描述物理主机的指标除了上述3个外,还包括物理机的可用资源大小(MEM_AVAI,CPU_AVAI,BW_AVAI),这直接体现了该物理主机能接收迁移过来的虚拟机的能力,不同于本文的多指标综合参考,文献[7]则主要关注网络流量的统计。整个数据收集功能由位于虚拟机上的MemCollector和位于Domain-0中的Collector模块共同完成。

3.2 模式自动识别

该系统应该具备完全自动特性和自适应能力,能够自动识别出当前资源池环境特点,并能在资源池高负载或低负载情况下分别作出正确的判断,从而进入适当的模式运作:负载均衡模式、节能省电模式和正常模式。模式自动识别功能由ScenarioDetector模块实现,其输入值为各个物理机和虚拟机的相关数据指标。

3.3 迁移决策

迁移决策是根据模式自动识别输出的模式,分别为负载均衡模式和节能省电模式采用不同的迁移决策算法。对于这两种模式,迁移决策都要完成三件事:一是优先解决哪个物理机;二是迁移该物理机上的哪台虚拟机;三是把该虚拟机迁移到哪儿。该阶段输入数据有:运行模式,热点物理机列表HOT_LIST和冷点物理机列表COLD_ LIST,物理机的可用资源和负载程度Degree,虚拟机的资源需求。输出为要解决的物理机SrcPM,要迁移的虚拟机VM和接收物理机DestPM,即<SrcPM,VM,DestPM>。整个迁移决策功能是由MigDecider模块实现的。

3.4 实施迁移

迁移决策模块做出迁移决策后会生成三元组<SrcPM,VM, DestPM>,其中SrcPM为要发起迁移物理机,可能是热点物理机也可能是冷点物理机,VM为SrcPM上要迁移的虚拟机,DestPM为接收物理机。然后通知SrcPM将虚拟机VM迁移到DestPM上,SrcPM收到迁移命令后即可发起连接,执行迁移。

4 结束语

本文设计了一种虚拟机自动迁移系统,该系统可以自动的发现热点物理机,并根据资源池内所有物理机负载情况自动识别出正确的场景模式:负载均衡模式和节能省电模式,并根据相应的模式按照预定义的对应迁移决策算法作出决策,并通知相应的物理机将虚拟机迁移到指定物理机上。整个迁移过程无需人工干预,可实现数据中心的物理机负载均衡和节能省电功能。这种自动迁移系统将会对数据中心的服务器管理带来极大方便,提高管理效率,并最终节约数据中心的运营成本。

[1] C. Clark, K. Fraser, S. Hand, J. G. Hansen, E. Jul, C. Limpach,I. Pratt, and A. Warfield. Live migration of virtual machines. In Proc. NSDI 2005.

[2] M. Nelson, B. Lim, and G. Hutchins. Fast Transparent Migration for Virtual Machines. In Proc. USENIX 2005. 270

[3] T. Wood, P. Shenoy, A. Venkataramani, and M. Yousif, Black-box and graybox strategies for virtual machine migration. In Proc. NSDI 2007.

[4] P. Barham, B. Dragovic, K. Fraser, S. Hand, T. Harris, A. Ho,R. Neugebauer, I. Pratt, and A. Warfield. Xen and the art of vir-tualization. In Proc. SOSP 2003.

[5] Xen-3.4.3 Source Code. http://www.xen.org/ 275

[6] Chris Hyser, Bret McKee, Rob Gardner, Brian J. Watson, Autonomic Virtual Machine Placement in the Data Center. Technique Report, HP Laboratories 2007.

[7] Sun Kewei, Li Ying, Luo Jing, Xu Xiang, Qi Quan.Network trafficbased automatic optimized migration from physical to virtualized cloud environment with UCM tool. In Proc. IC-BNMT 2009

[8] Norman Bobroff, Andrzej Kochut, Kirk Beaty.Dynamic Placement of Virtual Machines for Managing SLA 280 Violations. In Proc. IM 2007

Automatic Migration of Xen based System Design

Guo Wendong
(department of finance of Hebei province,Shijiazhuang,050051)

Virtual machine live migration can be a virtual machine migration in the operating state to another physical machine can be used for server resource integration, load balancing, energy saving and physical routine maintenance applications. However, the current virtual machine live migration can only reach a human migration, and automated migration can not be achieved. When a virtual machine can have fewer manual operations, but the scale of today's data centers often have thousands of first million servers, when there are dozens or even hundreds of high load occurs, obviously artificial migration efficiency is very low, and there isIt may delay the timing of migration caused by some servers for a long time overload even downtime. Heavy load for the server presents a hotspot automatic migration program.

Xen; Virtualization; Resource integration; Automatic migration

10.3969/J.ISSN.1672-7274.2015.08.007

TN92文献标示码:B

10.3969/J.ISSN.1672-7274.2015.08.0026-03

猜你喜欢

冷点机上利用率
基于变形焦炭塔的冷点处套合应力分析
2019年全国煤炭开采和洗选业产能利用率为70.6%
化肥利用率稳步增长
热点需强化 冷点无漠视
机上上网,开启乘机新时代
浅议如何提高涉烟信息的利用率
世界家庭医生组织(WONCA)研究论文摘要汇编
——居住在“冷点社区”与健康欠佳、享有卫生服务质量欠佳间的关系
板材利用率提高之研究
眼睛为什么不怕冷