基于组合双向拍卖的云资源调度方法

毛莺池 郝帅 平萍 戚荣志

摘 要：针对跨数据中心的资源调度问题，提出了一种基于组合双向拍卖（PCDA）的资源调度方案。首先，将云资源拍卖分为三个部分：云用户代理报价、云资源提供商要价、拍卖代理组织拍卖;其次，在定义用户的优先级及任务紧迫度的基础上，在拍卖过程中估算每一个工作发生的服务等级协议（SLA）违规并以此计算云提供商的收益，同时每轮竞拍允许成交多项交易;最终达到根据用户等级合理分配云资源调度的效果。仿真实验结果表明该算法保证了竞拍成功率，与传统一次拍卖成交一项的组合双向拍卖方案相比，PCDA在竞拍时间段产生的能耗降低了35.00%，拍卖云提供商的利润提高了约38.84%。

关键词：能耗;容器即服务;资源调度;稳定匹配;组合双向拍卖

中图分类号： TP393.027      文献标志码：A

Abstract： Aiming at the resource scheduling problem across data centers， a Priority Combinatorial Double Auction （PCDA） resource scheduling scheme was proposed. Firstly， cloud resource auction was divided into three parts： cloud user agent bidding， cloud resource provider bid， auction agent organization auction. Secondly， on the basis of defining user priority and task urgency， the violation of Service Level Agreement （SLA） of each job during auction was estimated and the revenue of cloud provider was calculated. At the same time， a number of transactions were allowed in each round of bidders. Finally， reasonable allocation of cloud resource scheduling according to user level could be achieved. The simulation results show that the algorithm guarantees the success rate of auction. Compared with traditional auction， PCDA reduces energy consumption by 35.00% and the profit of auction cloud provider is about 38.84%.

Key words： energy consumption; Container as a Service （CaaS）; resource scheduling; stable matching; combinatorial double auction

0 引言

经典云计算服务体系可以分为三层：基础设施即服务（Infrastructure-as-a-Service， IaaS）、平台即服务（Platform-as-a-Service， PaaS）和软件即服务（Software-as-a-Service， SaaS）[1]。通过使用PaaS模型，客户能够专注于代码而不用考虑维护成本和操作系统等因素。尽管PaaS服务模型具有上述优势，但仍然存在一些缺点。例如，在PaaS环境中開发的应用程序受平台规范的限制——为了能够在Google App Engine （GAE）上运行Java应用程序，开发人员必须首先确保他们使用的第三方库与GAE兼容，这是因为GAE不支持所有的Java运行时环境。近年来Shepherd[2]提出了容器即服务（Container-as-a-Service， CaaS）模型以解决PaaS模型导致的以上问题。容器作为CaaS模型的实现基础，提供了一种隔离的虚拟环境而不需要中间监控介质（Hypervisor）[3]。

基于容器的云数据中心不断扩建，不得不面对跨数据中心资源调度的能耗问题。针对跨数据中心的资源调度问题，本文提出了一种基于组合双向拍卖（Priority Combinatorial Double Auction， PCDA）的资源调度方案，主要包含三个算法：云用户及其代理的报价算法、云提供商及其代理的要价算法、拍卖代理算法。在拍卖过程中估算每一个工作发生的服务等级协议（Service Level Agreement， SLA）违规并以此计算云提供商的收益，同时每轮竞拍允许成交多项交易。仿真实验结果表明该算法保证了竞拍成功率，云提供商的利润提高了约38.84%。另外，PCDA方案在竞拍时间段产生的能耗比传统一次拍卖成交一项的组合双向拍卖方案节约35.00%。

1 相关工作

为解决跨数据中心的资源调度问题，一些现有方法通过双向拍卖机制来进行资源调度。在这方面，孙佳佳等[4]提出一种基于双向拍卖的智能资源分配机制，引入威望衰减系数和用户信誉度，并且将群搜索优化算法引入到资源分配机制中。He等[5]将跨数据中心资源调度的最小能耗成本问题转换约束随机优化问题，然后在双向拍卖机制的基础上，利用Lyapunov优化技术设计了一种在线控制算法以降低数据中心的能耗。基于双向拍卖的资源调度方案研究中，还有一种将资源进行组合拍卖的机制。在这方面，Zhao等[6]提出了一种组合双向拍卖机制，将不同类型的虚拟机捆绑在一起进行竞拍，采用多轮竞拍交易的方式使得上一轮竞标失败的用户和数据中心有机会调整报价并提高获得下一轮竞标成功的概率。Huu等[7]提出了一种新的资源调度模型，使用组合双向拍卖机制并考虑了能耗参数。基于此模型，作者提出了三种用于赢家确定的算法，实验结果表明三种算法中的绿色贪婪算法可以显著减少数据中心的能耗并且为云提供商产生更高的收益。本文在这些已有方法的基础上，研究了跨数据中心的资源调度问题，提出了一种基于组合双向拍卖的资源调度方案PCDA，保证了竞拍成功率，提高了云提供商的利润，降低了竞拍时间段产生的能耗。

2 问题陈述与系统模型

2.1 问题提出

现有云服务市场主要存在两种资源交易方式：一种是云提供商提供固定的资源组合出售给用户，但用户的需求是灵活多变的，这也违背了云计算按需获取的理念;另一种基于组合双向拍卖的资源交易方式可以让参与交易的双方将多种类型的商品按照组合进行报价，满足了用户对所需资源多样性的需求并实现了资源的按需分配。

在组合双向拍卖机制中最关键的问题是确定每轮拍卖的获胜者。已有方法[8-11]主要采用近似算法、启发式算法等方式寻求一种最优化策略来求解该问题，但这些方法在云计算环境的规模较大时竞拍效率不高。另一方面，这些方法在运用组合双向拍卖机制进行云资源分配时只考虑交易带来的收益而忽略了能耗问题。

基于上述问题，本文提出了一种基于组合双向拍卖的资源调度方案，定义了用户优先级并在获胜者确定问题中考虑了SLA违规造成的惩罚金这个因素，同时每轮拍卖成交多项交易提高了拍卖的效率，通过减少服务器节点空闲状态的时间从而降低了数据中心的能耗。

2.2 基于组合双向拍卖的资源竞拍模型

如图1所示，云资源市场框架主要由云用户及其代理、云提供商及其代理以及云市场管理者组成[12]。云用户代理（UserBroker）帮助用户完成交易，同时，云提供商将资源信息通过云提供商代理（ProviderBroker）提交到云市场管理者。云市场管理者是基于组合双向拍卖的资源调度中的关键角色，主要包括云信息服务模块和拍卖代理（BidBroker）模块。

图2展示了基于双向拍卖的资源竞拍模型。任务执行完成后，用户需要向云提供商支付服务费用，如果有新的任务需求则用户需要重新参与竞拍获得新的资源。对于云提供商的收益，主要是从用户获得的费用减去执行完成用户任务的所有成本。其中，所有成本包括参与竞拍的费用、竞拍时间服务器节点空闲状态的能耗成本、执行任务时产生的成本等。

如图3所示，展示了拍卖模型的案例，用户可以对A和B两种类型的资源通过用户代理给出报价，云提供商代理从拍卖市场获得用户请求信息并针对A和B这两种捆绑资源包进行要价，双方通过拍卖代理完成交易，但是若在截止期限结束时不考虑SLA违规则性能有限，文献[13]中提出一种新的获胜者确定算法，考虑任务的期限限制（即任务紧急程度），以减少SLA违规的惩罚成本并最大化提供者的利润。本文在文献[13]基础上，定义了用户优先级并同时考虑任务的紧急程度来计算云提供商的利润。

3 总体思路

基于组合双向拍卖的资源调度方案主要分为三个部分：

1）云用户及其代理报价——云用户代理根据用户执行任务所需的资源属性（CPU核数、内存大小和带宽等）对执行任务所对应的捆绑云资源进行报价，其中还要将时间因素考虑到出价的影响因素里，对于任务最后截止时间即将到来的时候，用户会提高报价使竞拍成功。将时间作为报价的一个影响因素，那么如果用户在竞拍中获胜则云提供商必须保证将分配给该用户所要求的整个期间的资源。用户租用云资源时，因为任务的时间期限，对于资源的需求紧迫程度是变化的。

2）云提供商及其代理要价——云提供商代理对于用户所需资源捆绑包的要价主要从CPU、内存和带宽等的价格指标衡量，对于在用户完成任务的截止时间内没有执行完任务的情况，云提供商需要交付SLA违约的惩罚金，SLA违规的惩罚金与超时时间成正比。惩罚金还与用户等级有关，用户等级越高，云资源提供商的SLA违規的惩罚金越多。

3）拍卖代理——针对每一类资源捆绑包，拍卖代理将用户代理提交的报价和云资源提供商代理提交的要价进行排序，对于满足用户报价高于云资源要价的情况按照用户最高报价与云资源提供商最低要价进行匹配，依次继续，直到不满足上述条件。拍卖代理还要考虑到不同等级的用户享有资源的优先级不同，保证不同等级的用户利益和云提供商的利益。在一次拍卖成交多项的同时考虑用户等级，更加契合了企业界中资源调度场景。

图4展示了拍卖分阶段流程。在拍卖代理算法执行结束后，竞标成功某捆绑资源的用户提交任务到竞拍成功该捆绑资源的云提供商，云提供商从数据中心划分出满足该用户需求的资源。

通过上述步骤后，云提供商需要分配资源给用户以执行完成任务。首先，用户代理根据竞拍结果返回方案给用户，用户提交任务到竞拍结果映射的云提供商服务器节点上执行;然后，任务执行完成后，云提供商代理根据执行结果和买方需要支付的费用返回给用户代理;最后，对于云提供商，如果发生了超过任务最后截止时间发生了SLA违规此句不通顺，则需要支付相应的惩罚金，对于用户，则需要向云提供商支付服务费用。

4 基于组合双向拍卖的云资源调度方案

4.1 云用户及代理报价

组合双向拍卖方案中用户的报价算法及参与竞标需要满足以下限制条件和函数。

1）对于第i个用户的第k个任务taskki竞标时用户期望可以满足的条件是在任务截止时间内可以完成任务，即为：

其中：dki表示完成任务的截止时间，timebid是竞标时间，timeexecute是指任务taskki的执行时间，timeexecute的值等于任务长度lengthki（单位是MI（Million of Instructions））与数据中心服务器节点的每秒百万条指令volj（MIPS，即Million Instructions Per Second）的比值。

2）假定第i个用户的第k个任务，代理的估价vki与时间紧迫度成线性关系[11]，则：

其中， fv（t）与时间紧迫度成线性关系，其取值在（0，1）区间：

其中：kv是个结合紧迫程度来取值的常量设置为0.5，rmin表示估价预期最低值，rmax表示估价预期最高值。

3）云资源市场中，报价存在以下关系：

其中：bki表示第i个用户的第k个任务对某捆绑云资源的报价，Prmin则为云市场允许的最低价，Prmax为云市场允许的最高价，则报价的解可表示成[11]：

云用户代理给出报价主要是根据对捆绑资源的估价以及市场允许最高、最低价来确定的，并提交到拍卖代理参与竞标。具体步骤如下：

1）用户提交服务请求到用户代理，由云用户代理帮助其完成交易;

2）云用户代理根据用户任务的所需资源信息及任务的时间紧迫度给出报价;

3）用户代理将用户所需资源请求以及价格信息提交到拍卖代理;

4）用户代理等待拍卖代理返回结果，如果竞拍成功进入步骤5），竞拍失败则进入步骤6）;

5）用户代理竞拍成功，则返回竞拍结果给用户，用户获得资源提供方的报价以及所需资源;

6）若用户竞标失败，则返回到步骤1），等待下一轮的报价。

云用户及其代理的报价算法伪代码如下。

4.2 云提供商及其代理要价

用户提交资源请求到云市场，云提供商从云市场获得用户所需资源捆绑包信息，提供商参加云市场的拍卖并为用户分配容器实例。提供商的收益计算的相关函数以及要价函数如下所示。

云提供商代理对用户所需资源的估价：

其中，percpu、permem、persto和perbw分别表示单位时间的CPU价格、内存价格、存储价格和带宽价格，本文考虑这些单位时间资源类型的价格是随着服务器节点资源利用情况动态变化的。考虑某种资源分配后数据中心剩余某种资源的单位价格与资源利用情况相关，下一次竞标的要价如式（12）所示。CPUj、MEMj、STOj和BWj分别表示第j个资源提供商其数据中心服务器节点的当前CPU处理能力、内存大小、磁盘容量和网络带宽。usedCPU和totalCPU分别表示节点已经使用的CPU资源量和该节点总的CPU资源量，usedMEM和totalMEM分别表示节点已经使用的内存资源量和该节点总的内存资源量，usedSTO和totalSTO分别表示节点已经使用的磁盘存储资源和该节点总的磁盘存储资源量，usedBW和totalBW分别表示节点已经使用的带宽资源和该节点总的带宽资源。

云提供商将自身数据中心的资源情况信息提交到云提供商代理，代理根据其所提交的信息和从云市场管理获得的用户所需资源信息给出资源的要价。与大多数已有方法[14-16]不同，本文中云提供商的要价与当前数据中心的资源利用情况关联起来，实现了价格的动态调整，这可以提高数据中心的资源利用效率并尽可能地避免了过载现象，从而保证了服务质量（Quality of Service，QoS）。

云提供商代理的要价算法描述如下：

1）云提供商代理从云市场拍卖代理获得用户及所需资源信息。

2）云提供商代理根据用户所需捆绑资源以及云提供商数据中心的资源利用情况给出要价。

3）云提供商代理将要价提交到拍卖代理。

4）等待竞拍结果，如果竞拍成功，则进入步骤5）;竞拍失败，进入步骤6）。

5）从拍卖代理返回的结果是竞标成功，分配资源给该用户，进入步骤7）。

6）从拍卖代理返回的结果是竞标失败，等待进入下一轮竞拍，进入步骤7）。

7）继续当前算法，直到所有竞拍任务完成。

云提供商及其代理的要价算法伪代码如下。

云提供商通過云代理帮助其完成交易，也仅仅通过云代理获得竞标的结果和用户任务的所需资源信息等，因此避免了云市场的恶意竞争现象。

4.3 拍卖代理

传统的双向拍卖一次拍卖成交一项交易，并且大多数研究在获胜者确定算法中没有考虑时间紧迫度，基本上考虑的是最大化云提供商的收益而忽略了用户收益。在云计算服务市场，用户的等级不同，其享有的资源优先级也不同，同时高用户优先级在资源调度过程中因为SLA违规造成的惩罚金额也会更高，因此，为了保证不同等级的用户利益和云提供商的利益，每个用户有不同的优先级，即超级VIP是3，VIP是2，普通用户是1。在一次拍卖成交多项的同时考虑用户等级，更加契合了企业界中资源调度场景。这里需要用到的条件及函数如下。

拍卖代理达成交易需满足以下限制条件：

竞拍过程中用户i的第k个任务与云提供商j如果竞拍匹配，云提供商j的预估利润profit为：

其中：l为一个常量设置为1，timebidnow表示当前竞标花费的时间，lengthki表示第i个用户的第k个任务的任务长度，volj表示云提供商数据中心服务器节点的单位时间处理能力，lengthki与volj的商等于该任务假设在当前云提供商服务器节点上时的执行时间，Pricet表示单位时间的违约价格。

竞拍结束后，最终资源提供者的利润Eprofitj表示为：

拍卖代理负责从云用户代理和云提供商代理获取资源的报价和要价信息，并对所有报价和要价进行一个排序后，为每种捆绑资源生成一个报价列表和一个要价列表。传统双向拍卖每次由用户出价最高者与提供商要价最低者进行交易，虽然这样保证每次交易双方都有收益，但每轮拍卖只能成交一项交易，其他用户必须等到下一轮拍卖。本文拍卖代理算法中多个用户和多个云提供商针对多种资源或资源组合递交各自的价格，允许一次拍卖成交多项交易。拍卖代理从用户所报最高价开始在满足式（13）和（14）的情况下寻找要价。

拍卖代理算法具体步骤如下：

1）用户代理提交用户所需资源信息和报价到拍卖代理，云提供商代理提交数据中心相关信息和要价到拍卖代理;

2）拍卖代理对各种捆绑资源分别生成所有用户代理的报价列表以及对各种捆绑资源分别生成所有云提供商代理的要价列表;

3）拍卖代理根据用户代理的报价和云提供商的要价，并依据当前轮次的时间估算发生SLA违规的惩罚金，得到云提供商的预期利润profit;

4）对于某类捆绑资源，对所有用户的报价以及所有云提供商的要价进行排序;

5）对于某类捆绑资源，拍卖代理从用户代理所报最高价开始在满足式（13）和（14）限制条件的情况下，寻找云提供商代理中要价最低的促成交易，再从用户报价次高者继续寻找此时剩余云提供商代理要价最低者促成交易，直至估算的profit≤0时结束这类资源的交易;

6）重复上述步骤4）和5），直至所有类型的捆绑资源都完成了交易，结束本轮拍卖;

7）一轮交易完成后，云用户的任务情况和云提供商的资源情况都发生了变化，需要重新报价和要价，返回到步骤1）;

8）循环该策略，直至完成所有的任务。

拍卖代理算法伪代码如下。

4.4 云资源调度方法能耗分析

在当今全球能源紧缺的情况下，研究云市场中的资源调度时，应当将能耗作为资源调度的一个重要因素。从IaaS角度来说，云计算数据中心一般由计算和存储服务器、网络设备、冷却系统等组成，云资源集中存储在数据中心再依据用户需求分配调度这些云资源。当云提供商参与竞拍的时候，数据中心处于开启状态的服务器节点虽然并没有执行任务，但这些空闲的服务器节点也会产生电能的消耗。

假设用户参与竞拍的时候，某云提供商的服务器节点处于空闲状态，竞拍成功后，任务被分配到某云提供商的服务器节点上执行时是处于满负荷状态。用Pidle表示空闲状态发服务器节点的单位时间能耗，Pmax表示满负载状态下的服务器节点单位时间能耗，timebid表示参与竞拍的时间，timeexecute表示任务的执行时间，则从竞拍开始到用户任务执行结束，总的能耗为：

功耗模型中，忽略了在任务传输时间内产生的能耗。另外，因为不考虑云提供商如何具体划分资源并分配给用户的问题，因此仅从时间角度建模能耗。一般情况下，数据中心各个服务器节点的CPU等资源即使在执行任务时也并不是一直处于满负荷状态，而是随着时间变化而变化的，但为方便建模计算，将服务器节点执行任务时的状态都看成是处于满负荷状态。

5 实验验证

5.1 实验环境

为了评估基于组合双向拍卖的资源调度方案的性能，利用Eclipse编辑器采用Java语言编写了仿真程序。

仿真程序编写环境具体如下：实验计算机CPU为Intel Core i7-5500u，内存为8GB，操作系统为Windows 10专业版，JDK版本为1.8。

实验参数设置：为了验证方案的性能，需要度量用户竞标成功率和能耗等指标，因此设置了3个云提供商：云提供商1的资源有320个CPU核、640GB内存、1000GB磁盘以及1000Mb/s带宽带宽的单位，是否应该写为“b/s”，即bps的规范表达，请明确。;云提供商2资源有240个CPU核、480GB内存、1000GB磁盘以及1000Mb/s带宽;云提供商3的资源有160个CPU核、320GB内存、500GB磁盘以及500Mb/s带宽。分别设置了5个用户和20个用户参与竞拍的场景，用户任务的最后截止时间从5s到20s不等，用户优先级设置为三种，数值分别标记为1、2、3。

服务器空闲节点的单位时间能耗设置为1.2kWh，满负载状态的单位时间能耗设置为2.0kWh。

三个云提供商设定服务器节点的每秒百万条指令volj分别设置为1MIPS、1MIPS、0.5MIPS;

三个云提供商因为SLA违规导致的单位时间的违约价格分别设置为1元、1元、0.5元。

5.2 实验结果

竞标成功率意味着用户的请求能得到及时响应的概率竞标成功率意味着用户的请求能否得到及时响应此句“竞标成功率意味着用户的请求能否得到及时响应”不通顺，改为现在这样，符合表达吗？，因此在实验中首先对方案能否满足用户请求进行仿真验证。如图5（a）所示，当设置参与竞拍的用户数为5时，第一轮用户竞标成功率为40%，第二轮又竞标成功了一个用户任务，则第二轮时总的竞标成功率为60%（第一轮的40%的竞标成功率加上这一轮用户竞标成功率20%得到），以此类推。可见，本方案在竞标第四轮时，全部竞拍任务已经完成，即竞标成功率100%。如图65（b），当用户数设置为20时，竞标成功率在第6轮之后开始快速上升，最终在第13轮达到100%。这是因为本方案一次成交多项提高了拍卖效率，因此能相对较快地完成竞拍并在竞标成功率方面能保证用户需求。

将本文方案（PCDA）与传统的一次拍卖成交一项的组合双向拍卖（Combinatorial Double Auction， CDA）方案[8]作比较。利润建模为：用户的报价减去云提供商的要价后，再减去云提供商因为SLA违规导致的惩罚金。如图76所示，本文的PCDA方案比一次成交一项组合双向拍卖的总体利润高38.84%。这是因为本文云提供商为了获得最大化的收益需要尽可能地减少SLA违规，本文方案提高了竞拍效率（减少了timebid）导致云提供商SLA违规减少，相应的惩罚金也减少了，最终，整个云市场所有参与竞拍的云提供商的整体利润就会提升。

竞拍的过程中，假定每个数据中心节点的单位时间能耗是额定的。依据文献[16]中服务器在空闲状态时的能耗能达到满载时能耗的60%以上这一结论，在本实验中设置空闲状态的服务器节点单位时间的能耗为1.2kWh，满负载状态的服务器节点单位时间能耗为2.0kWh。数据中心产生能耗的时间主要包括竞拍时间（服务器节点时空闲状态）和任务执行时间（服务器节点是满负载状态），忽略任务提交等传输时间因素。如图7所示，本文提出的PCDA方案比传统的组合双向拍卖方案造成了更多的能耗，高出的能耗达34.40%。在设置拍卖时间时是每一轮拍卖时间为1s，因此当任务长度比较长时，任务执行时间就会较长，此时从整体上任务的执行时间长短决定了能耗大小。任务的执行时间是通过任务长度除以数据中心的指令处理速度得到的，即lengthki/volj。本文设置实验中的3个数据中心的指令处理速度分别为1MIPS、1MIPS和0.5MIPS，而用户的任務长度是从6到120之间，大多数任务长度设置为50以上，所以竞标时间与任务执行时间并不在一个数量级上，为此，对每一次任务单独分析发现用户提交的如果是短任务，PCDA算法能耗是低于传统组合双向拍卖方案的，佐证了本文的分析结果。

因為篇幅有限，这里选取部分数据如表1所示。序号1、4、5和6中任务长度较短，即任务的执行时间和竞拍时间在一个数量级时，可以看出因为PCDA提高了拍卖效率减少了竞拍时间，实施PCDA方案进行资源交易时的能耗小于实施CDA时的能耗，所以PCDA方案对于短任务比传统一次交易成交一项的组合双向拍卖更加节能。

更进一步，为了去除任务时间对算法能耗的影响，本文仅仅对竞拍时间产生的能耗进行了实验，如式（18）：

如图98所示，当对竞拍时间整个云市场参与竞拍的云提供商其服务器节点在竞拍时间段等待状态时产生的能耗进行统计，也就是忽略了每个数据中心的单位时间处理能力和任务长度等影响因素，可以发现对于竞拍时间段产生的能耗，本文的PCDA比CDA算法平均节能约35.00%。

6 结语

针对跨数据中心的资源调度问题，本文提出了一种基于组合双向拍卖的资源调度方案——PCDA方案。PCDA中云用户代理根据用户资源需求进行报价，云提供商根据云资源的价值对用户进行要价，拍卖代理根据用户报价与云提供商的要价进行综合判断以达到将云资源分配到用户的最优化。PCDA方案在双向拍卖中确定获胜者时定义了三种用户优先级，高优先级用户的任务如果没有得到及时响应处理，云提供商因为SLA违规的惩罚金也就越高，在拍卖过程中计算每一个工作发生的SLA违规并以此计算云提供商的收益。每轮竞拍允许成交多项交易，提高了拍卖的效率。仿真实验结果表明，本文PCDA方案的云提供商利润比传统组合双向拍卖方案CDA的云提供商利润提高了38.84%。在竞拍时间段，PCDA方案中物理服务器产生的能耗比CDA方案减小了35.00%。

参考文献 （References）

[1] DOELITZSCHER F， SULISTIO A， REICH C， et al. Private cloud for collaboration and e-learning services： from IaaS to SaaS [J]. Computing， 2011， 91（1）： 23-42.

[2] SHEPHERD D. Containers as a Service （CaaS） is the cloud operating system-I build the cloud [EB/OL]. [2018-02-25]. http：//www.ibuildthecloud.com/blog/2014/08/19/containers-as-a-service-caas-is-the-cloud-operating-system/.

[3] PAHL C. Containerization and the PaaS cloud [J]. IEEE Cloud Computing， 2015， 2（3）： 24-31.

[4] 孙佳佳，王兴伟，高程希，等.云环境下基于神经网络和群搜索优化的资源分配机制[J].软件学报，2014，25（8）：1858-1873.（SUN J J， WANG X W， GAO C X， et al. Resource allocation mechanism based on neural network and group search optimization in cloud environment [J]. Journal of Software， 2014， 25（8）： 1858-1873.）

[5] HE H， SHEN H. Green-aware online resource allocation for GEO-distributed cloud data centers on multi-source energy [C]// Proceedings of the 2017 International Conference on Parallel and Distributed Computing， Applications and Technologies. Piscataway， NJ： IEEE， 2017： 113-118.

[6] ZHAO Y， HUANG Z， LIU W， et al. A combinatorial double auction based resource allocation mechanism with multiple rounds for geo-distributed data centers [C]// Proceedings of the 2016 IEEE International Conference on Communications. Piscataway， NJ： IEEE， 2016： 1-6.

[7] HUU T T， THAM C K. An auction-based resource allocation model for green cloud computing [C]// Proceedings of the 2013 IEEE International Conference on Cloud Engineering. Piscataway， NJ： IEEE， 2013： 269-278.

[8] PRASAD G V， PRASAD A S， RAO S A. Combinatorial auction mechanism for multiple resource procurement in cloud computing [C]// Proceedings of the 2013 International Conference on Intelligent Systems Design and Applications. Piscataway， NJ： IEEE， 2013： 337-344.

[9] SHIRLEY S R， KARTHIKEYAN P. A survey on auction-based resource allocation in cloud environment [J]. International Journal of Research in Computer Applications and Robotics， 2013， 1（9）： 96-102.

[10] ALROKAYAN M， VDASTJERDI A， BUYYA R. SLA-aware provisioning and scheduling of cloud resources for big data analytics [C]// Proceedings of the 2014/3rd IEEE International Conference on Cloud Computing for Emerging Markets， Piscataway， NJ： IEEE， 2014： 1-8.

[11] 胡志剛，刘艳.云环境下基于组合双向拍卖的动态资源定价[J].计算机工程，2012，38（8）：19-21.（HU Z G， LIU Y. Dynamic resource pricing based on combinatorial double auction under cloud environment [J]. Computer Engineering， 2012， 38（8）： 19-21.）

[12] 马同伟，解瑞云，廖晓飞.云计算环境下兼顾买卖双方利益的双向拍卖资源分配算法[J].计算机应用研究，2016，33（3）：734-740.（MA T W， XIE R Y， LIAO X F. Two-way auction resource allocation algorithm for both buyers and sellers under the cloud computing environment [J]. Application Research of Computers， 2016， 33（3）： 734-740.）

[13] CHOI Y， LIM Y. Optimization approach for resource allocation on cloud computing for IoT [J]. International Journal of Distributed Sensor Networks， 2016， 12（3）： 1-6.

[14] ZAMAN S， GROSU D. A combinatorial auction-based mechanism for dynamic VM provisioning and allocation in clouds [J]. IEEE Transactions on Cloud Computing， 2013， 1（2）： 129-141.

[15] ZHAO Y， HUANG Z， LIU W， et al. A combinatorial double auction based resource allocation mechanism with multiple rounds for geo-distributed data centers [C]// Proceedings of the 2016 IEEE International Conference on Communications. Piscataway， NJ： IEEE， 2016： 1-6.

[16] WANG X， CHEN M， LEFURGY C， et al. SHIP： scalable hierarchical power control for large-scale data centers [C]// Proceedings of the 2009 International Conference on Parallel Architectures and Compilation Techniques. Piscataway， NJ： IEEE， 2009： 91-100.