面向高性能应用集群的自适应云资源管理模型研究

刘咏平 刘杰 梁鹏 郝刚

摘要：为了解决高性能云计算环境中计算资源利用率不高、短期用户需求大的问题，本文提出一種基于多负载均衡的自适应云计算资源管理模型，通过采用多种负载均衡实现算法，并动态地根据现有任务分配来评估，最终由评估结果使用最优负载均衡，使得等待作业可以高效地均衡分布在不同的资源上运行，从而增加系统的吞吐量及性能。

关键词：云计算;资源管理;按需切换

中图分类号：TP391       文献标识码： A

文章编号：1009-3044（2020）36-0225-02

1引言

在高性能计算环境中，用户需求是连续较长时间的用户请求以及短时间快速响应，而自适应云资源管理模型需要提高集群的利用率以满足用户的快速响应。为了解决这一问题，本文提出一种基于多负载均衡的自适应云计算资源管理模型，通过采用多种负载均衡实现算法，并动态地根据现有任务分配来评估，最终由评估结果使用最优负载均衡，使得等待作业可以高效地均衡分布在不同的资源上运行，从而增加系统的吞吐量及性能。

2相关工作

随着云计算的不断深入发展，具有负载均衡调节能力的云计算集群应用也逐渐深入各个行业领域。最初常见的公共IaaS云计算收费方式是按需收费的方式，在此基础上，亚马逊公司提供了一种具有弹性资源缩放功能的自适应Cloud Watch服务，该服务无须用户固定租赁软硬件资源，而是根据当前应用所需的资源数量，动态地租赁付费资源，减少了客户租用云计算服务的成本。

文献[1]采用了pay-per-use的方式的提供IaaS服务，以极小的成本实现IT服务连续性管理。此外文献[2]提出了一种高效的应用集群方案，该方案减少了IT基础设施造成的能源消耗。文献[3]通过首先计算集群中所有作业的运行情况，获取当前运行作业的挂起时间和预估时间，采用动态负载均衡策略来配置作业的运行资源。

在商业应用领域的电商平台不同于高性能集群，其需求是连续较长时间的用户请求以及短时间快速响应。因此，面向高性能应用集群的自适应云资源管理模型不仅需要考虑实现可动态调节高性能集群的自适应能力，还需要尽可能提高集群的利用率以满足用户的快速响应。而为了满足响应需求而购买大量硬件会造成资源的浪费;反之，则会导致用户请求无法得到迅速响应。高性能云计算集群通过实时地获取当前负载的变化情况，采用平衡资源调度策略提高集群的性能和可靠性。文献[4]提出了一种自适应混合云应用集群，采用动态监测手段监测集群资源使用情况，可利用本地和云端的资源，动态地增减集群的计算节点，实现弹性的资源共享。文献[5]提出动态弹性Web集群方法，该集群基于计算节点的会话使用情况，动态地调整计算节点的资源，但是该方案依赖于活跃的对话链接数量。文献[6]将资源调度问题划分到存储层、计算层、网络层三个层面，根据每一层的具体资源调度请求进行细粒度资源调度。

3 基于多负载均衡的自适应云资源管理模型研究

负载均衡的主要作用是将用户的请求分摊到不同的服务器上，从而避免集群中某些服务器由于用户请求过于集中而处于高负荷状态，而其他服务器却处于低负荷状态。因此可以通过对服务器集群设置不同策略的负载均衡，实现用户资源分流，使得服务器集群整体使用效率最大化。当前主流的负载均衡方法有基于权重随机算法的、基于最少活跃调用数算法以及基于加权轮询算法。三种算法的调度策略有所侧重，要根据系统评估的结果，对三种算法的运行效率进行评估，选择最好的负载均衡策略。接下来对三种负载均衡算法进行详细解释：

（1）基于权重随机的负载均衡算法

该算法的关键在于随机数生成器，随机数生成器是一个可生成[0，10）之间随机数的算法。然后将所有服务器依次用[0，10）之间不同的权重划分区间，随机数落在某个区间时，属于该区间的服务器则被选中。多次加权后，被选择次数最多的服务器则是该次算法的输出结果。算法的流程图如图2所示。

该算法的关键在于随机数生成器的分布性，如果随机数生成器产生的数字分布处于正偏差或者负偏差情况，则会导致某一部分服务器长期处于高负荷状态，不利于提升整体服务器集群的使用效率。而平均分布随机数的方式虽然简单易于实现，但是没有考虑每部服务器当前负载情况以及服务器的硬件性能差异。因此该算法通常用于集群初始分配资源。

（2）基于最小活跃数的负载均衡算法

该算法的原理是，每个服务器在初始时设定活跃数为0，当分配一个用户请求到该服务器后，该服务器的活跃数+1，当完成该用户请求并退出后，将该服务器的活跃数-1。分配服务器时，则根据当前集群内所有服务器的活跃数，选择最小活跃数的服务器分配给用户，当有多个服务器的活跃数相等时，采用随机分配的形式。算法的流程图如图3所示。

该算法的关键在于活跃数与当前服务器负载有关，可以动态地根据服务器负载调整用户请求的分配。但是该算法仍然没有考虑到服务器的硬件性能差异。

（3）基于加权轮询的负载均衡算法

轮询算法是不考虑服务器实时负载的一种算法，即将用户请求轮流平均分配给每个服务器，而不考虑当前服务器的负载现状。由于服务器的实时负载和性能不一，直接使用轮询算法进行负载均衡无法满足用户的要求。因此，在轮询算法的基础上，根据服务器的负载和性能设计权重，形成加权轮询算法。

4 结论及未来工作

本文提出的基于多种负载均衡的自适应云计算资源管理机制，通过采用多种负载均衡实现算法，并动态地根据现有任务分配来评估，最终由评估结果使用最优负载均衡，使得等待作业可以高效地均衡分布在不同的资源上运行，实现按需增加或减少某类计算特性的计算节点，有效地提高集群的吞吐率及处理能力。

参考文献：

[1] 郭星光.基于SPB技术的云计算数据中心互联实现[D].南京：南京理工大学，2014.

[2]  Lin W C ， Liao C H ， Kuo K T ， et al. Flow-and-VM Migration for Optimizing Throughput and Energy in SDN-Based Cloud Datacenter[C]// IEEE International Conference on Cloud Computing Technology & Science. IEEE， 2013.

[3]  Al-Dhuraibi Y ， Paraiso F ， Djarallah N ， et al. Elasticity in Cloud Computing： State of the Art and Research Challenges[J]. IEEE Transactions on Services Computing， 2018， 11（99）：430-447.

[4]  Huang T C ， Shieh C K ， Chilamkurti N ， et al. Architecture for speeding up program execution with cloud technology[J]. Journal of Supercomputing， 2016， 72（9）：3601-3618.

[5]  Lavanya S ， Paul D W ， Kumar N M S . Secure agent based resource matching and virtual grouping of cloud resources - An integrated approach[J]. International Journal of Pure and Applied Mathematics， 2018， 119（12）：1083-1095.

[6]  Qian L ， Wang L ， Xu M ， et al. Research on Resource Scheduling Based on Optimized Particle Swarm Optimization Algorithm in Cloud Computing Environment[J]. Iop Conference， 2018， 452.

【通聯编辑：梁书】