容器云环境虚拟资源配置策略的优化

李启锐 彭志平 崔得龙 何杰光

摘 要：針对容器化云环境中数据中心能耗较高的问题，提出了一种基于最佳能耗优先（Power Full， PF）物理机选择算法的虚拟资源配置策略。首先，提出容器云虚拟资源的配置和迁移方案，发现物理机选择策略对数据中心能耗有重要影响;

其次，通过研究主机利用率与容器利用率，主机利用率与虚拟机利用率，主机利用率与数据中心能耗之间的数学关系，

然后，通过研究物理机利用率与容器、虚拟机利用率之间以及与数据中心能耗之间的数学计算关系，建立容器云数据中心能耗的数学模型，定义出优化目标函数;最后，通过对物理机的能耗函数使用线性插值进行模拟，依据邻近事物相类似的特性，提出改进的最佳能耗优先物理机选择算法。仿真实验将此算法与先来先得（First Fit， FF）、最低利用率优先（Least Fit， LF）、最高利用率优先（Most Full， MF）进行比较，实验结果表明，在有规律不同物理机群的计算服务中，其能耗比FF、LF、MF分别平均降低45%、53%和49%;在有规律相同物理机群的计算服务中，其能耗比FF、LF、MF分别平均降低56%、46%和58%;在无规律不同物理机群的计算服务中，其能耗比FF、LF、MF分别平均降低32%、24%和12%。所提算法实现了对容器云虚拟资源的合理配置，且在数据中心节能方面具有优越性。

关键词：云计算;容器;虚拟资源配置;数据中心能耗;资源利用率

中图分类号： TP391

文献标志码：A

文章编号：1001-9081（2019）03-0784-06

Abstract： Aiming at high energy consumption of data center in container cloud， a virtual resource deployment strategy based on host selection algorithm with Power Full （PF） was proposed. Firstly， the allocation and migration scheme of virtual resource in container cloud was proposed and the significant impact of host selection strategy on energy consumption of data center was found.

Secondly， by studying the mathematical relationship between the utilization of host and  the utilization of containers ， between the utilization of host and the  utilization of virtual machines and between the utilization of host and energy consumption of data center，

Secondly， by studying the mathematical relationship between the utilization of host and the utilization of container and virtual machines， the mathematical relationship between the utilization of host and energy consumption of data center，

a mathematical model of the energy consumption of data center in container cloud was constructed and an optimization objective function was defined. Finally， the function of host's energy consumption was simulated using linear interpolation method， and a host selection algorithm with PF was proposed according to the clustering property of the objects. Simulation results show that compared with First Fit （FF）， Least Full （LF） and Most Full （MF）， the energy consumption of the proposed algorithm is averagely reduced by 45%，53% and 49% respectively in the computing service of regular tasks and different host clusters; is averagely reduced by 56%，46% and 58% respectively in the computing service of regular tasks and same host cluster; is averagely reduced by 32%，24% and 12% respectively in the computing service of irregular tasks and different host clusters. The results indicate that the proposed algorithm realizes reasonable virtual resource deployment in container cloud， and has advantage in data center energy saving.

Key words： cloud computing; container; allocation of virtual resource; energy consumption of data center; utilization of resource

0 引言

近几年，随着Docker的出现，容器（Container）技术对云计算发展产生了巨大的影响[1]。容器虚拟化技术及其构建的云平台以其固有的部署快、启动快、迁移易、性能高等优势，正逐渐被各大云服务提供商所广泛采纳[2]。截至2017年8月，Docker项目在GitHub上拥有的Star超过4.5万颗;已有45%的公司运行容器机器规模在250台以上，比2016 年提高了25 个百分点。容器技术已经成为云计算领域的研究热点。LinkedIn 的数据表明，2017年Docker一词的出现次数较前一年增长了160%。

虽然云服务供需双方对数据中心资源管理和租用方式随着容器等新技术的发展逐渐改变，但提高资源利用率和降低数据中心能耗仍然是容器云服务提供商最关注的两个重要问题[3]。虚拟化容器技术是当前云计算资源供应最流行的方式，与传统虚拟机技术不同，容器不需要一个完整的操作系统 实例，可极大降低对服务器CPU、内存等资源的消耗[4]。为了进一步提高容器云数据中心的资源利用率，李青等[5]设计了一种以容器为基本虚拟化资源管理单位的数据中心QoS （Quality of Service， QoS）保证的作业资源匹配算法，有效提高了节点应用的性能。Xu 等[6]研究了以容器替代虚拟机的云计算资源调度算法，大幅度降低云用户的响应时间和提高云提供商资源的利用率。崔广章等[7]在Mesos资源调度策略的基础上将Mesos-Slave节点的CPU使用率、内存的占有率以及运行的容器个数三个因素加权作为资源调度的依据，使容器云集群资源利用率趋于均衡。与虚拟机相比，容器不仅是一种低开销的虚拟化技术，而且提高了性能。但是，与针对虚拟化云数据中心的计算和网络资源的能效被广泛研究不同，只有少数学者调查了容器的节能管理问题[8]。Demirkol等[9]研究了容器虚拟化技术与传统虚拟化技术在不同环境下的能耗情况，发现在大部分环境中容器虚拟化技术的节能效果更佳。Kaurt等[10]提出了一种基于CaaS （Container-as-a-Service）的数据中心任务调度策略，通过使用轻量级容器替代传统的虚拟机的方式不仅缩短了任务的反应时间而且降低了数据中心的能耗。施超等[8]将机器学习中的欧氏距离、皮尔逊相关系数、余弦相似度、Taninoto系数作为容器与虚拟机稳定匹配的偏好规则，同时通过偏好列表将一对一的稳定婚姻匹配改进为多对一的稳定匹配，解决了将容器整合到虚拟机上的初始化部署问题，取得较好的节能效果。

综上所述，尽管越来越多的云资源提供商和学者对容器技术产生了兴趣，但是目前关于容器部署方面的研究还处于初级阶段。文献[5-7]初步研究了容器的资源整合问题，提出的算法提高了容器云资源的利用率，但是忽略了在優化资源利用率的同时，容易出现数据中心能耗升高问题。文献[8-10]证明了使用容器虚拟化技术能够有效降低数据中心的能耗，并利用稳定匹配思想对资源进行有效的分配，但对云环境中虚拟机和容器资源动态变化的问题还处于初步探究阶段。因此，本文从降低数据中心能耗的角度出发，提出一种容器云资源配置方案，对容器云数据中心的能耗问题进行数学建模，根据模型对资源配置时物理机选择方法进行了研究和改进，提出的PF算法有效解决了容器云数据中心的能耗优化问题。

1 容器云资源配置

Google、Aamzon、Microsoft等互联网公司加大对Docker开源技术的研发力度， CaaS云模型越来越受各大云计算服务商青睐，将成为主要的云服务模型之一。研究表明，相比于单独使用容器部署，使用虚拟机、容器混合部署能获得相近甚至更好的性能。

基于虚拟机、容器混合的云资源配置包括两部分：一部分是物理机（Host）虚拟化，即将物理机资源分配给虚拟机;另一部分是虚拟机（Virtual Machine，VM）容器化，即将虚拟机资源分配给容器。为了描述方便，本文将虚拟机和容器统称为虚拟服务器或虚拟资源，将物理机称为物理服务器或物理资源。整个配置过程又分为两阶段：第一阶段是云任务提交到数据中心后的资源初始配置;第二阶段是云任务运行过程中虚拟服务器的迁移。

1.1 虚拟机资源配置

在数据中心，物理机的数量较多，一台虚拟机请求物理资源时，要按某种策略选择一台物理机部署该虚拟机，并为其分配CPU、内存、带宽和硬盘等资源。具体的部署算法描述如下：

步骤1 数据中心选择一台Host给VM，被选择的Host可用的CPU、内存、带宽和硬盘资源必须满足VM的需求。

步骤2 Host为VM分配内存资源。

步骤3 Host为VM分配带宽资源。

步骤4 Host为VM分配CPU资源。假设Host有m个处理核（记为HPE），VM需要n个处理核（记为VPE），按顺序将m个HPE分配给n个VPE。

步骤5 Host为 VM分配硬盘资源。

步骤6 重复步骤1～5，直到所有VM都分配到所需求的物理资源。

1.2 容器资源配置

容器的部署过程与虚拟机的部署过程类似，将虚拟机的CPU、内存、带宽和硬盘等资源分配给容器。但是，由于容器是云任务实际的运行载体，在请求虚拟机的CPU资源时，不以其额定的CPU资源与虚拟机可用的CPU资源进行对比判断该虚拟机是否满足当前容器的需求（初始配置除外），而是以容器实际的CPU工作负载与虚拟机可用的CPU资源进行对比。通常情况，容器的CPU使用率不会达到100%，因此会出现部署在某虚拟机上的所有容器额定CPU资源大小之和比该虚拟机额定的CPU资源大的情况。

1.3 虚拟机/容器迁移

当容器获得相关资源后，部署在容器中的云任务就可以开始运行。在云计算环境中，云任务呈现多样性，往往既有大量实时在线处理业务，又有大量异步处理业务。实时在线业务处理时间短、需求波动大;而异步业务处理时间长，数据量庞大。随着任务的执行，各个容器中任务的完成情况各不相同。因此，数据中心的物理机、虚拟机和容器的负载会随着任务的执行而产生动态的变化。有的物理机由于任务较早完成而新任务没有及时到来使其过于空闲，造成资源利用率较低。当该值低于某个临界值时称该服务器为欠载状态。类似地，有的物理机由于任务过长而又有新的任务到来使其过于繁忙，造成资源利用率过高。当该值高于某个临界值时称该服务器为过载状态。欠载容易造成资源浪费，过载容易造成SLA违约并影响系统稳定性。在数据中心，这两种情况都需要尽可能避免，尽量做到服务器间负载均衡。

在容器云环境中，虚拟服务器迁移是保证物理服务器负载均衡的主要手段。与传统的云计算环境不同，容器云中有物理机、虚拟机和容器三种不同粒度和层次的服务器，容器可以在虚拟机之间迁移，虚拟机可以在物理机之间迁移，这两种迁移可以使用相同或者不同的策略。为了使问题的描述简单化，本文对这两种迁移采用相同的策略，并以虚拟机迁移为例详细介绍迁移过程。

迁移过程应被视为多阶段3W问题：何时触发迁移（When），要迁移哪个虚拟服务器（Which），迁移到哪里（Where）。何时触发迁移取决于数据中心的资源调度策略，可以采用定时触发、定量触发或监控触发的方式。定时触发为固定某些时刻点来处理迁移工作。定量触发为当一定数量的任务被执行完成后开始处理迁移工作。监控触发为根据数据中心实时监测情况决定是否启动虚拟服务器迁移。要迁移哪个虚拟服务器通常根据数据中心预设的欠载和过载的临界值来决定，当虚拟服务器的利用率低于欠载临界值或者高于过载临界值时应该被迁移。迁移到哪里取决于物理机的选择策略，不同策略产生不同的迁移结果。具体迁移算法描述如下：

步骤1 统计Host的资源利用率，将过载的Host保存到列表OverList并按降序排列。

步骤2 将OverList中每台Host上的VM按照利用率降序排列。

步骤3 选择一台不在OverList中的Host作为迁移目标（DHdest）。

步骤4 按先后顺序从OverList中选出一台Host作为迁移源物理机（OHsrc），按顺序将OHsrc上的VM添移到DHdest，并且保证DHdest不过载，直到OHsrc不再过载。 若DHdest不能完全接纳待迁移的虚拟机，按步骤3重新选择一台Host作为迁移目标进行迁移。直到OverList列表中的Host被处理完成。

步骤5 统计资源利用率欠载的Host机并保存到列表UnderList。

步骤6 选择一台不在UnderList和OverList中的Host作为迁移目标（DHdest）。

步骤7 从UnderList中选择一台Host作为迁移源物理机（UHsrc），将部署在UHsrc上的全部虚拟机迁移到DHdest，并且保證DHdest不过载。若DHdest不能完全接纳待迁移的虚拟机，重新按步骤7选择一台Host作为迁移目标进行迁移。

步骤8 关闭UHsrc。

由以上分析可知，无论是虚拟资源部署还是虚拟资源迁移，容器云在进行资源配置都面临物理机的选择问题。物理机作为数据中心最大的能源消耗者，物理机选择方法对降低数据中心能耗就显得尤为关键[8]。因此，找到物理机与虚拟机、容器之间在能耗值上的计算关系，为容器云数据中心能耗建立数学模型，对数据中心整体能耗优化问题至关重要。

2.2 数据中心的能耗模型

数据中心拥有空调、交换机、路由器等耗能设备，但物理机是最大的能源消费者。对物理机来说，它的CPU、内存、网卡、内存等也是都是耗能设备。相比其他部件，CPU是主要的耗能部件，也是能耗变化最为频繁的部件，而CPU的利用率的变化是造成物理机整体能耗变化的主要因素。

由目标函数可知，对于相同的云任务集合C，数据中心能耗优化问题的本质上是要解决虚拟机和容器在部署、迁移时的物理机选择问题。

3 主机选择策略及改进

数据中心的物理机数量庞大，例如，腾讯天津数据中心服务器数量已经突破10万台，而且在同一数据中心有各种不同品牌、型号的物理机，它们在运行过程中利用率和能耗情况也有所不同。此外，数据中心计算资源充足，对于云任务集合C，其运行所需要的虚拟机和容器一般不会被部署在所有物理机上。因此，虚拟资源配置和迁移时使用的物理机选择策略对数据中心的能耗有较大影响。

3.1 常用物理机选择策略

当前，云计算环境常用的物理机选择策略主要有随机选择（Random）、先来先得（First Fit， FF）、最大利用率优先（Most Full， MF）、最小利用率优先（Least Full， LF）等。

1）Random：在所有可用的物理机中随机选择一台作为初始部署或迁移目标。

2）FirstFit：按照数据中心物理机的偏爱列表从头到尾进行遍历，找到的第一台合适的物理机作为初始部署或迁移目标。

3）MostFull：计算所有可用的物理机在初始化或迁移时刻的利用率，选取利用率最大的物理机作为初始部署或迁移目标。

4）LeastFull：计算所有可用的物理机在初始化或迁移时刻的利用率，选取利用率最小的物理机作为初始部署或迁移目标。

以上几种策略中，Random策略最为简单，每台物理机被选择的机会均等，起到公平调度的效果，但没有考虑利用率的问题。FF可以按照某种方式对物理机进行偏爱设置，排在列表前面的物理机被选择的机会大于列表后面的物理机。MF与LF较为复杂，要计算每台物理机的利用率。选择利用率大的物理机，单位时间能耗会相对较大，但处理时间相对较少。选择利用率小的物理机，单位时间能耗相对较小，但处理时间相对较长。

根据前面的分析，式（10）中pi（t）是一个单调递增的非负函数，意味着物理机利用率越高，单位时间能耗也就越高。因此，利用率是影响物理机能耗的一个重要因素。但是，根据式（12）可知，物理机一段时间内的能耗不仅与这段时间内该物理机的利用率有关，也与该物理机单位时间的能耗有关。如果只考虑利用率对能耗的影响，而不考虑物理机本身例如功率等固有的属性，得到的结果未必是最优结果。

3.2 物理机选择策略的改进

从式（11）可知，在一个数据中心的调度间隔t1～t2内某台物理机的能耗是该机的能耗函数在这段时间内的积分。计算积分是一个相对复杂的过程，加上数据中心物理机数量众多，如果每台物理机都要频繁计算积分，容易造成计算量过大。对式（11）使用线性插值进行拟合，可得：

由式（14）可知，只要知道t1时刻与t2时刻容器的利用率，便可用式（8）和式（9）计算出物理机的利用率，进而可用式（10）和式（14）计算出该机在t1～t2的能耗值。当把物理机在前一时间段的能耗值都计算出来后，可以用此值作为物理机选择的依据，选择能耗值较小的物理机作为部署和迁移的目标物理机。因为根据物体的聚类性质，邻近事物具有类似的特性。前一时段能耗较小的物理机，后一时段能耗同样较小的概率较大。本文将这种物理机选择算法称为Power Full （PF）算法，简称PF算法。PF算法描述如下：

步骤1 将空闲与关闭的物理机放入排它集X。

步骤2 将所有有任务运行的物理机放入运行集E中，并使用式（8）和式（9）计算E中每台物理机的CPU利用率。

步骤3 将E中过载的物理机和欠载的物理机移入X。

步骤4 使用式（10）和式（14）计算E中每台物理机的能耗的模拟值。

步骤5 返回E中选择模拟值最小的物理机。

3.3 算法的复杂度分析

在实际的云计算环境中，有专门的高性能资源调度服务器，根据各物理机、虚拟机及容器的实时运行状况对资源调度进行决策。

在步骤2中，资源调度服务器收集所有容器的利用率以计算物理主机的整体利用率，按照式（8）和式（9），该步骤的时间复杂度为O（M×N×S）。但在实际运行过程中，一般有MNS，因此A与B是0和1的稀疏矩阵，通过使用稀疏矩阵压缩存储方法和编程技术可使该步骤的时间复杂度降低到O（M+N+S）。

步骤4对根据式（14）计算每台物理机的能耗模拟值，复杂度为O（M）。

步骤5对物理机的能耗模拟值进行排序，假如使用快速排序方法，则复杂度为Ο（M log M）。

Random与FF算法不需要计算物理主机的利用率，仅需要选择一台合适的物理主机即可，复杂度为Ο（M）。LF、MF与PF算法均要计算物理主机利用率章并进行排序。相比LF与MF，PF多做了步骤4，即多了一个复杂度为Ο（M）的步骤。在式（14）中，由于（t2-t1）对于每台物理机都是一样的，在实际计算时可用pi（t2）+pi（t1）的值来代表物理机的能耗值进行排序。数据中心中物理机的数量相比容器要少得多，而且步骤4只需进行M次加法，这对于高性能的资源调度服务器来说，该步骤的时间开销其实可以忽略不计。步骤4增加的时间对于数据中心来说完全可以接受。

PF算法运行在资源调度服务器，算法所需要的容器利用率信息由监视服务器通过常规方法获得，PF算法不需要虚拟机和容器额外的工作，不会对虚拟机和容器的性能产生影响。

4 实验结果及分析

4.1 实验环境

CloudSim是常用的云计算资源调度算法模拟仿真平台，使用Java语言开发，开放源代码，可以自定义物理机选择算法、处理机共享算法等常用的云计算资源调度策略[11-12]。ContainerCloudSim是ClodSim的扩展，提供了容器云环境下计算资源调度算法的建模和仿真。此外，ContainerCloudSim还建立了数据中心的能耗模型，提供了对各种资源调度算法在数据中心节能方面的表现进行评价的途径[13]。CloudSim的最新版本4.0中集成了ContainerCloudSim。本文将使用ContainerCloudSim作为实验平台对改进后的算法进行验证。

在本次实验中，CPU实时资源利用率是重要的基础数据。为了使仿真实验更加接近真实场境，本文使用从真实世界的工作负载跟踪获得的数据进行实验。工作负载数据来自Planet-Lab基础设施10天内监控到数据中心物理机的CPU利用率[14]。此外，ContainerCloudSim中提供了包括IbmX3250XeonX3470等7种不同厂商和型号的物理机模型，并提供了它们在不同利用率时的能耗情况，如表1所示。

表1中表头栏中的数值代表的是不同的利用率区间，如“4”列表示各种物理机在利用率在[0.40，0.50）这个区间时单位时间的能耗值。

表1中的数据为不同物理机在不同的CPU利用率时的单位时间能耗值。可见不同物理机在相同利用率时的能耗是不同的，而且每种物理机的能耗随着利用率的提高而提高。

4.2 實验场景

根据云计算环境的多样性，设计实验场景如下： 实验场景1 中，任务长度固定，有20 ～200 个虚拟机需要在数据中心进行部署，每次增加20 台虚拟机，物理机的数量设为虚拟机的一半，容器数量为虚拟机的3倍; 实验场景2 中，任务长度固定，有100～200 个虚拟机需要在数据中心进行部署，每次增加20 台虚拟机，物理机数量固定100 台，容器数量为虚拟机的3倍;实验场景3，采用动态任务长度，任务长度在50000～100000之间，物理机5～120台，虚拟机15～500台，容器50～2000个。实验场景1与实验场景2的物理机数量、虚拟机数量与文献[15]一致。

4.3 实验结果及分析

为了验证各种算法在多种不同情况下的节能效果，每个实验场境又分为多个实验小组，每组实验使用同样的云任务、物理机、虚拟机和容器配置。为了描述方便，每组实验使用HXXX/VXXX/CXXX的形式式标记物理机、虚拟机和容器的数量，如H10/V100/C500表示物理机10台、虚拟机100台、容器500个。此外，在实验过程发现Random选择算法得到的能耗值普遍比FF、LF、MF和PF高出很多，将PF与该方法相比没有太大意义，因此本文不提供Random方法的实验结果。

4.3.1 实验结果

实验场景1 任务长度固定为30000。实验分为5组，各组的物理机、虚拟机和容器的配置情况分别为：G11：H10/V20/C60、G12：H30/V60/C180、G13：H50/V100/C300、G14：H70/V140/C420、G15：H90/V180/C540。每个组的物理机随机从表1中随机选择，小组内实验时使用同样的物理机集合。对5个组分别使用FF、LF、MF和PF进行实验，实验结果如图1（a）所示。

实验场景2 任务长度固定30000，从表1随机选取100台物理机作为本场景实验用物理机。实验分为6组，各组的物理机、虚拟机和容器的配置情况分别为：G21：H100/V100/C300、G22：H100/V120/C360、G23：H100/V140/C420、G24：H100/V160/C480、G25：H100/V180/C540、G26：H100/V200/C600。对6个小组分别使用FF、LF、MF和PF进行实验，实验结果如图1（b）所示。

实验场景3 其中任务长度50000～100000。实验分为5组，各组的物理机、虚拟机和容器的配置情况分别为：G31：H5/V15/C50、G32：H10/V30/C100、G33：H20/V100/C500、G34：H60/V250/C1000、G35：H120/V500/C2000。每个组的物理机随机从表1中随机选择，小组内实验时使用同样的物理机集合。对5个小组分别使用FF、LF、MF和PF进行实验，实验结果如图1（c）所示。

4.3.2 结果分析

场景1模拟的是实际应用中有规律的不同物理机群不同批量的数据计算服务，任务长度固定，物理机、虚拟机和容器的数量不断增加。FF、LF和MF算法在这几组的实验中互有优劣。但是不管是哪一组实验，PF的在节能方面要比FF、LF和MF算法表现要好，能耗分别平均降低了45%、53%和49%。

场景2模拟的是有规律的相同物理机群不同批量的数据计算服务，任务长度固定，物理机固定，虚拟机和容器的数量依次递增。在这种场境中，整体来看，FF与MF表现差不多，LF表现较好，但PF算法比MF算法表现还要好。与FF、LF和MF算法相比，采用PF算法数据中心能耗分别平均降低了56%、46%和58%。

场景3模拟的是无规律的不同物理机群不同批量的数据计算服务，任务长度不固定，物理机不固定，虚拟机和容器的数量随着任务量的增大而增大。在这种场境中， MF表现不俗，但表现最好的还是PF算法。在5个组的实验中，采用PF算法的数据中心能耗比采用FF、LF和MF算法分别平均降低了32%、24%和12%。

从图1可见，不管在哪一种场景，采用PF算法时数据中心的能耗明显比FF、LF和MF要低;而且，随着任务长度、物理机、虚拟机、容器数量的增大，PF算法所表现出来的节能效果越好。虽然FF的时间复杂度要比LF、MF和PF低，但是节能效果较差。PF与LF、MF的时间复杂度差不多，但节能效果比LF和MF好。

文献[15]采用的粒子群优化（Particle Swarm Optimization， PSO）算法对数据中心资源配置进行了优化，在资源利用与能耗之间作了较好的均衡，但优化后数据中心的整体能耗水平相比MF（文献[15]中称为Best Fit， BF）算法并没有降低。虽然本文中采用了容器技术，但是由于容器迁移可以使用虚拟机迁移相同的策略，本次实验中只考虑虚拟机、容器如何初始化部署以及虚拟机迁移的问题，不考虑容器的迁移问题，因此，本文与文献[15]在能耗方面的实验结果是具有可比性的。总体来说，本文提出的PF算法在节能方面优于文献[15]中的算法。

5 结语

本文提出的PF物理机选择算法综合考虑了物理机利用率和物理机单位时间能耗这两个影响数据中心整体能耗的主要因素，在保护物理机利用率的前提下选择能耗较低的物理机作为部署和迁移虚拟机、容器的目标物理机，有效降低了以容器作为基本运行单元的数据中心的整体能耗。但是，PF算法每次选择物理机前都要进行资源利用率的计算。当前，以深度强化学习为代表的人工智能技术正在成为研究和应用的热点，能否使用深度强化学习方法，通过预先进行的训练与学习，在资源调度时可以直接选择物理机从而进一步提高算法的性能和降低数据中心能耗是接下来要研究的问题。

参考文献 （References）

[1] 武志学.云计算虚拟化技术的发展与趋势[J].计算机应用，2017，37（4）：915-923.（WU Z X. Advances on virtualization technoloty of cloud computing [J]. Journal of Computer Applications， 2017， 37（4）： 915-923.）

[2] 劉伟佳，李博权.容器技术在DRaaS中的应用研究[J].微电子学与计算机，2018，35（6）：52-55.（LIU W J， LI B Q. Application research on container technology in DRaaS[J]. Microelectronics and Computer， 2018， 35（6）： 52-55.）

[3] KANG D-K， CHOI G-B， KIM S-H， et al. Workload-aware resource management for energy efficient heterogeneous Docker containers [C]// Proceedings of the 2016 IEEE Region 10 Conference. Piscataway， NJ： IEEE， 2016： 2428-2431.

[4] KUMAR K， KURHEKAR M. Economically efficient virtualization over cloud using Docker containers [C] // CCEM 2016： Proceedings of the 2016 IEEE International Conference on Cloud Computing in Emerging Markets. Washington， DC： IEEE Computer Society， 2016： 95-100.

[5] 李青，李勇，涂碧波，等.QoS 保证的数据中心动态资源供应方法[J].计算机学报，2014，37（12）：2396-2407.（LI Q， LI Y， TU B B， et al. QoS-guaranteed dynamic resource provision in Internet data centers [J]. Chinese Journal of Computers， 2014， 37（12）： 2396-2407.）

[6] XU X， YU H， PEI X. A novel resource scheduling approach in container based clouds [C]// Proceedings of the 2014 IEEE 17th International Conference on Computational Science and Engineering. Washington， DC： IEEE Computer Society， 2014： 257-264.

[7] 崔广章，朱志祥.容器云资源调度策略的改进[J].计算机与数字工程，2017，45（10）：1931-1936.（CUI G Z， ZHU Z X. Improved container cloud resource scheduling policy [J]. Computer and Digital Engineering， 2017， 45（10）： 1931-1936.）

[8] 施超，谢在鹏，柳晗，等.基于稳定匹配的容器部署策略的优化[J].计算机科学，2018，45（4）：131-136.（SHI C， XIE Z P， LIU H， et al. Optimization of container deployment strategy based on stable matching [J]. Computer Science， 2018， 45（4）：131-136.）

[9] DEMIRKOL OE， DEMIRKOL A. Energy efficiency with an application container [J]. Turkish Journal of Electrical Engineering and Computer Sciences， 2018， 26（2）： 1129-1139.

[10] KAUR K， DHAND T， KUMAR N， et al. Container-as-a-service at the edge： trade-off between energy efficiency and service availability at fog nano data centers [J]. IEEE Wireless Communications， 2018， 24（3）： 48-56.

[11] BANERJEE S， ROY A， CHOWDHURY A， et al. An approach toward amelioration of a new cloudlet allocation strategy using cloudsim [J]. Arabian Journal for Science and Engineering， 2018， 43（2）： 879-902.

[12] KUMAR A， KUMAR R， SHARMA A. Energy aware resource allocation for clouds using two level ant colony optimization [J]. Computing and Informatics， 2018， 37（1）： 76-108.

[13] PIRAGHAJ S F， DASTJERDI A V， CALHEIROS R N， et al. ContainerCloudSim： an environment for modeling and simulation of containers in cloud data centers [J]. Software： Practice and Experience， 2017， 47（4）： 505-521.

[14] RANJBARI M， TORKESTANI J A. A learning automata-based algorithm for energy and SLA efficient consolidation of virtual machines in cloud data centers [J]. Journal of Parallel and Distributed Computing， 2017，113： 55-62.

[15] 黃启成，陈羽中，江伟，等.一种面向云环境虚拟机部署的粒子群优化策略[J].小型微型计算机系统，2018，39（7）：1554-1559.（HUANG Q C， CHEN Y Z， JIANG W， et al. Particle swarm optimization strategy for VM placement in cloud[J]. Journal of Chinese Computer Systems， 2018， 39（7）： 1554-1559.）