APP下载

基于负荷感知的虚拟机集群部署方法*

2022-08-01徐胜超熊茂华叶力洪

计算机与数字工程 2022年6期
关键词:排序集群内存

徐胜超 熊茂华 叶力洪

(广州华商学院数据科学学院 广州 511300)

1 引言

在云平台环境下,虚拟机的部署方法限制条件较多,包括通信限制以及硬件体系结构限制,这些限制使得部署的难度增加,部署效果越来越差[1~2]。为提高部署的成功率,国内外众多学者开展相关研究[3~4]。

文献[5~7]提出智能算法优化的虚拟机整合算法,并根据CPU利用率和可靠性状态对主机进行了优先级排序,但是该方法的任务执行时间较长,资源利用率也不理想。文献[8]提出基于全局优化理论完成虚拟机集群的部署,根据预设的虚拟机属性判别函数,对虚拟机资源执行升序排列,进而选取升序集合中心位置的虚拟机作为聚簇起点,根据动态规划策略从两个方向开始进行聚簇,但该方法受到硬件架构影响。目前大部分文献并没有解决虚拟机部署中资源利用不充分的问题。为此本文提出一种基于感知负载的虚拟机集群部署算法。通过实验证明,此次研究的基于负荷感知的部署算法较传统算法应用效果好,满足云平台下的虚拟机集群部署需求,可实际应用意义强。

2 基于奇异值分解的资源性能预测

在对虚拟机集群部署之前,对资源性能描述,转化虚拟机初始分配为装箱形式问题,保证物理主机与虚拟机之间属于一对多映射[9]。

首先对虚拟机内资源性能进行判断。一般虚拟机内的资源都是根据上层负载的变化情况进行分配的物理资源,由于系统中负载是动态的,其资源分配也是动态变化的,其主要的目的就是为提高平台中的所有物理资源的整体利用率。本文利用基于SVD(Singular Value Decomposition)奇异值分解的系统性能预测模型对一段时间内的虚拟机资源的性能进行判断。根据上述标准化处理的结果预测虚拟机资源性能,其计算过程如下。

图1 基于SVD的系统性能预测模型

根据上述对虚拟机资源的性能进行预测,其计算过程如下。

将数据导入线性模糊模型,同时通过奇异值分解模型分解得到更加完善的去模糊模型。

式(1)中,U为左奇异向量矩阵,V为右奇异向量矩阵,S为奇异值矩阵,其中U和V都属于正交矩阵。削减误差对资源性能预测的影响,得公式如下:

式(2)中,σi为奇异值矩阵对角线上的奇异值;b为误差;μiT为正交矩阵;vi为右奇异向量;i为样本数量。基于已有的研究结果,选取处理器(CPU)、磁盘存储(Storage)、内存(RAM)、和带宽(BW)这四个最独立且对性能影响最大的参数作为实例,全面确定虚拟机与物理主机之间的匹配方式。在资源性能预测的中,需要对虚拟机和物理主机的性能进行标准化比较,就需要统一物理主机和虚拟机的性能参数[10],即虚拟机资源性能和奇异值分解的结合,标准化处理。其计算过程是:

以CPU为例,HCPU_available代表该机器中CPU的可用量,HCPU_all代表该资源池中CPU 的总量,HCPU_reserved代表CPU的留置量。至此完成前期准备工作,开始进行虚拟机部署。

3 负荷感知的虚拟机部署设计

根据以上资源性能描述,选择一个虚拟机。虚拟机迁移触发后,多个虚拟机同时处于工作状态,迁移虚拟机需要进行合理选择,降低成本以及资源浪费[11~13]。

在虚拟机选择过程中,需要分析两者之间的关系,如果两者之间的相关性较低,表示虚拟机迁移对物理主机的影响较小。

3.1 虚拟机和物理主机相关系数计算

基于上述分析,对待迁移过程中的物理主机与虚拟机的相关系数r进行计算,对所得结果进行排序,具体计算方式如下所示:

式(3)中,xi代表虚拟机在启动至i时刻的资源利用率;yi是物理主机在启动至i时刻的资源利用率。

3.2 虚拟机当前内存和可用带宽比

除前面提到的虚拟机和物理主机之间的关系之外,内存和带宽资源的负载也需要被考虑[14~15],原因是随着虚拟机迁移时间地不断延长,服务质量也会逐渐下降,而系统质量却需要不断提高,因此需要充分结合虚拟机内存与宽带之间关联性t。本文采用负荷感知法进行计算。其公式如下:

式(4)中,Mm代表虚拟机的可用内存;Bb表示物理主机的内存;Mj代表虚拟机j的内存。

3.3 物理主机资源之间权重比计算

在触发虚拟机迁移时,除了加权虚拟机资源使用外,物理主机之间资源权值比不同,需要进行加权处理,并且对加权的虚拟机资源进行使用,计算资源利用权重,待迁移虚拟机最佳状态寻找方式如下所示:

其中,a=Wc(ac-rc) ,b=Wb(ab-rb) ,n=Wn(anrn)分别代表虚拟资源权值参数其能够根据物理主机资源利用率的情况,对相应资源设置相应的权重,ac,ab,an为虚拟资源总量;rc,rb,rn分别代表当前物理主机剩余资源的一般数量;Wc,Wb,Wn为资源相对值。

4 虚拟机排序与迁移

依据上述权重计算结果对物理主机排序,在排序过程中,对集群进行构建,在构建时需要考虑网络特性与其负载情况,合理分析虚拟机集群的集群流程和部署流程,从而减少虚拟机部署过程中对资源的争夺。对物理主机上的虚拟机进行排序,根据排序后的优先级对虚拟机进行动态迁移,其公式如下:

r,t,e分别表示虚拟机与物理主机的相关系数,虚拟机内存与宽带之间关联性,物理主机之间资源权值比。基于上面公式得到的值,排序虚拟机队列,队列头部迁移完成后,与头部阈值相比,当物理主机阈值较低时,停止虚拟机迁移。完成迁移之后,物理主机阈值如果仍然高于第一个,需要重新选择要迁移的虚拟机。

在上述工作处理完成的基础上,对云计算虚拟机集群部署,主要的部署过程如图2所示。

图2 虚拟机集群部署流程

5 实验与性能分析

为验证此次研究的基于负荷感知的虚拟机集群部署算法在实际场景中的应用效果,设置实验环境进行实验,并将传统算法与其对比,对比两个部署算法的有效性。

5.1 实验硬件环境

此次设置的实验硬件环境中,共包含22 台物理主机,其中20 台是虚拟机主机(酷睿i7,六核台式机,Win10的64位操作系统,硬盘500G),一台能对物理节点部署,一台能对虚拟机映像文件进行存储与共享,交换机为华为千兆交换机,路由器为华为AX3路由器,试验物理环境如图3所示。

图3 实验物理环境

在实际的部署过程中,需要保证实验中网络的性能稳定性,因为在实验中,需要及时地传输大量的监控信息。本文利用千兆交换机将20 台虚拟机主机与一个单独的局域网相连接,IP地址均为独立状态。

5.2 软件环境

将CentOS6.0 操作系统安装在1 个管理节点和20 个计算节点上,然后在20 个计算节点上以源代码模式安装Xen4.1.2,在这一过程中不需要安装监视器,最多同时运行3 个虚拟容器,虚拟集群最大规模为60 个节点,六核平均分给3 个虚拟节点,即每个节点平均分配到2 个核。从而完成虚拟化平台的构建。实验过程中主要的对比结果如下内容所示。

5.3 任务执行平均时间对比

通过CentOS6.0 操作系统统计部署时长,对比此次研究的系统与传统的系统的虚拟机集群部署时间,对比结果如图4所示。

图4 不同权重下任务执行平均时间对比

由上图可以看出,本文方法任务完成时间最短,并且受到部署数量的影响较小,而传统算法在部署数量较多时,并且需要较长的时间,应用效果没有本文所研究方法效果好。这些结果表明本文提出的部署方法优于传统方法,这是因为本文方法可让虚拟机对虚拟机需要的资源类型赋予更大的权重,从而获得更多类似资源。

5.4 虚拟机部署失败次数对比

每个部署在虚拟机上的批数不同都会影响虚拟机的失效率,这主要由于在将虚拟机部署到虚拟机上后,同时执行命令的全部是虚拟机,所以每批虚拟机占用的虚拟机资源越多,失效率就越高。

在这个实验中,假定每批中有10 个虚拟机可以执行。允许每批虚拟机执行15、20、25 和30 次。如果每批虚拟机数达到35 时,系统将发生异常,并且将放弃执行该批中尚未部署的所有虚拟机。在实际应用过程中,应该控制每个虚拟机能够执行命令的虚拟机数量。得出虚拟机部署失败次数,详细的比较结果如图5所示。

图5 虚拟机部署失败次数对比

分析图5 发现,在每批少量虚拟机执行时,本文的部署方法与传统方法的失败次数相应减少,但是随着虚拟机工作数量的增加,两个方法的失败发生率也相应增加,但资源利用率较高。对比可知,在虚拟机执行数量不断变化的背景下,本文的部署方法的部署失败次数都比传统算法少,说明本文的部署方法受虚拟机数量的影响较小,均能获得较好的应用效果。

综上所述,本文的部署方法获得了较好的应用效果,原因是本文的部署方法预先分析了虚拟机的资源性能,然后从多个角度对虚拟机进行了选择与排序,从而保证集群部署的合理性,提高了部署效果。

6 结语

本文完成虚拟机部署方法的设计,通过本文研究的虚拟机部署方法能提高部署成功率,并且充分满足方法设计的需求,通过本文的部署方法能为相关领域提供帮助。但由于研究条件有限,本文的部署方法仍存在一些需要提升的地方,如虚拟机的在线迁移、安全等方面,希望在以后的研究中在对其他方面多一些思考,进一步提高应用效果。

猜你喜欢

排序集群内存
齐口裂腹鱼集群行为对流态的响应
隐超DDR5 5600AOFRUS DDFR55200 16GBx2内存套装实战
作者简介
恐怖排序
笔记本内存已经在涨价了,但幅度不大,升级扩容无须等待
节日排序
勤快又呆萌的集群机器人
内存搭配DDR4、DDR3L还是DDR3?
上网本为什么只有1GB?