Internet数据中心工作负载分配机制研究

郭泽华，段哲民

(西北工业大学电子信息学院，西安 710 072)

郭泽华，段哲民

(西北工业大学电子信息学院，西安 710 072)

当前的工作负载机制只考虑数据中心的部分因素，不能从整体上降低分布式数据中心的总体电力成本。为此，以减少分布式Internet数据中心的电力成本为目标，提出一种数据中心间和数据中心内的智能工作负载分配机制JECF。通过联合考虑数据中心所在地区的时变电价、数据中心内冷却系统的效率和服务器的动态运行频率，JECF对分布式数据中心中运行服务器和冷却系统的电力成本进行折中，以降低整体电力成本。实验结果表明，与当前的数据中心工作负载分配机制相比，JECF的性能更好，能降低分布式Internet数据中心的电力成本。

Internet数据中心；工作负载分配；电力成本；电价；冷却系统效率；动态频率调节

1 概述

为了提供高质量、低延迟的Internet服务，Amazon、Google、Microsoft、Facebook等云服务提供商分别建立了各自的分布式Internet数据中心。通常来说，一个数据中心运行成本的30%～50%来自于电力消耗[1]。为了降低分布式数据中心的电力成本，如何合理地分配数据中心的工作负载成为了学术界和工业界一个热点问题[2-3]。数据中心工作负载分配[4-5]是负载均衡在数据中心中的应用，它根据每个数据中心当前的状态，动态地将云服务提供商收到的服务请求分配到特定数据中心的特定服务器来进行处理。工作负载分配的结果直接影响了数据中心电力成本。然而，当前的工作负载分配机制[6-7]只考虑了数据中心的部分因素，忽略了这些因素之间的相互影响，从而不能从整体上降低分布式数据中心的总体电力成本。本文提出了一种降低分布式数据中心总体电力成本的新型工作负载分配机制JECF (Joint Electricity Price-aware, Cooling Efficiency-aware, and Dynamic Frequency Scaling-aware Datacenter Load Balancing)。JECF联合考虑了数据中心间电价和服务器动态频率变化对运行服务器电力成本的影响，以及数据中心内部工作负载分配对冷却系统电力成本的影响。

2 分布式数据中心的电力成本模型和约束条件

2.1 分布式数据中心的电力成本模型

2.1.1 运行服务器的电力成本模型

假定一个云服务提供商拥有N个数据中心，数据中心i(1≤i≤N)在t时刻的电价为Pri( t)( t＞0)，数据中心i中每个服务器采用相同的服务器和配置，其中，运行服务器数量为mi，每个运行服务器具有相同的运行频率。因此，一台运行服务器的功率Poi可由服务器的CPU运行频率fi近似得到：

其中，Ai和Bi是正常数[8]。

因此，N个分布式数据中心运行服务器的电力成本(Electricity Cost of Active Servers, ECAS)为：

2.1.2 冷却系统的电力成本模型

图1描述了采用机房空调(Computer Ro om A ir Co nditioner, CRAC)的数据中心冷却系统[9]。CRAC吸入由运行服务器产生的热空气，并将其产生的冷空气通过屋内地面上的通风口送入屋中。数据中心中冷却系统的效率通过CRAC设备的性能系数(Coefficient of Performance, COP)来描述。冷却系统的功耗为运行服务器功耗/COP[10]。如图2所示，COP是以CRAC输出温度为参数的一个增函数[10-11]。假定在一段时间内数据中心i外部周围环境不变。为了保证数据中心i所在屋内的温度不超过最高安全温度TMAX，CRAC将温度为Tout的冷空气送入屋内。然而屋内温度受到运行服务器温度Tiserver的影响，Tiserver随着处理工作负载数量及分布的变化而变化。为了保证屋内温度不超过最高安全温度，调整后CRAC新的输出温度为：

图1 CRAC的数据中心冷却系统

图2 CRAC的COP曲线

利用文献[10]中COP函数的表达式，得到：

图3 冷区和温区的温度曲线

在数据中心i中，TMAX和Tout通常是确定不变的。对于一个给定的工作负载，可以通过合理地将服务请求分配到3个区域的服务器来减小3个区域的温度差值，进而减小Tiserver，增大COP。

N个分布式数据中心的冷却系统电力成本(Electricity Cost of Cooling Systems, ECCS)为：

2.1.3 分布式数据中心的整体电力成本模型

分布式数据中心的整体电力成本(Electricity Cost, EC)为：

2.2 分布式数据中心的QoS约束条件

假定一个云服务提供商在一个时间间隔内共收到数量为λ的服务请求，按照特定的工作负载分配机制，数据中心i分配到数量为λi的服务请求。数据中心i中服务器每秒运行的命令数为fi，处理每个用户请求所需的命令数为L，因此，服务器每秒处理的用户请求数量，即服务速率可以表示为fi/L。本文采用与文献[6]中相似的时延模型，且平均时延di不超过时延上限Di。因此，得到QoS约束条件如下：

3 问题形成和解决

3.1 非线性约束条件和目标函数的转化

为了解决一个复杂的优化问题，常用的方法是将其转换为一类标准问题(例如凸优化问题)，而后利用现有优化问题的解决方案来求解这类标准问题。本文中问题的复杂度主要来自于非线性约束条件Tiserver(式(5))和非线性目标函数EC(式(8))。为了解决本文中的问题，应该将Tiserver转化为线性约束条件，将EC转化为凸函数，而后利用已有的解决方案来求解凸优化问题。

? mi, j为参数的非线性函数)。可以通过简化EC的分母进而将EC转化为与mi, j直接相关的函数。将3个以区域负载为参数的线性分段区域温度曲线合并为如图4所示的以整体数据中心负载为参数的一个整体数据中心温度曲线。为了适应潜在的工作负载峰值，为每个数据中心预留了10%的处理余量[8]。将数据中心i的温度曲线代入COP函数，再取COP的倒数即得到图5中钻石线所描述的1COPi曲线。1COPi是一个以数据中心整体负载为参数的非线性函数。为了简化1COPi，采用一维线性回归的方法将原始的1COPi转换为图5中三角线所描述的K个线性分段函数因此，得到：

图4 数据中心的温度曲线

图5 数据中心的1/COP曲线和g(mp)曲线ki

因此，得到一个简化的EC：

3.2 分布式数据中心最小电力成本问题

分布式数据中心最小电力成本问题定义如下：在一个时间间隔内，对于给定数量为λ的服务请求，利用工作负载分配机制使得数据中心i(1≤i≤N)中j(j=1,2,3)区开启数量为mi, j的服务器来处理数据中心i被分配到数量为λi服务请求，从而最小化分布式数据中心的电力成本。首先，通过解决优化问题P1可以得到mi，而后将mi代入相应公式可以得到最终的mi, j。优化问题P1如下：

3.3 分布式数据中心最小电力成本问题的解决方案

分布式数据中心最小电力成本问题的解决方案称为JECF，其包含2步：(1)计算mi；(2)计算mi, j。在第(1)步中，通过2个子步骤来获得mi，iλ和fi。首先通过求解优化问题P1得到问题的小数解。在P1中，变量mi，iλ和fi是整数，目标函数newEC是非线性函数，所以，P1是一个非线性整数规划问题(Nonlinear Integer Programming, NIP)。由于new

图6 JE CF求解流程

4 机制评估

4.1 对比机制

本节描述了用于与JECF对比的数据中心负载分配机制。

(1)感知电价和感知服务器动态频率的联合数据中心负载均衡(Jointly Electricity price-aware and dynamic Frequency scaling-aware datacenter load balancing, JEF)[13]：JEF联合考虑数据中心所在地的电价和服务器的运行频率来确定每个数据中心所需要承担的服务请求数量，以及每个数据中心中运行服务器的数量和服务器的运行频率，从而降低运行服务器的电力成本。

(2)感知冷却的数据中心内负载均衡电价(Coolingaware IntrA datacenter load balancing, CIA)[5-7]：CIA考虑了数据中心内不同位置的服务器所对应的冷却效率，通过将服务请求分配到具有较高冷却效率的服务器处理，进而降低冷却系统的电力成本。

(3)JEF+CIA：JEF+CIA通过2个步骤来优化数据中心的电力成本。1)JEF确定每个数据中心所需要承担的服务请求数量，以及每个数据中心中运行服务器的数量和服务器的运行频率。2)CIA根据制冷效率确定每个数据中心中运行服务器的位置。由于此机制没有联合考虑影响数据中心电力成本的3个因素，因此不能实现电力成本的最小化。

(4)JECF：为了降低分布式数据中心的整体电力成本，JECF联合考虑了影响电力成本的3个因素，即数据中心所在地区的时变电价、数据中心内冷却系统的效率和服务器的运行频率。根据服务请求数量和数据中心的状态，JECF交替选择对当前电力成本影响最大的因素，直接确定每个数据中心中运行服务器的数量、位置和运行频率，对运行服务器和冷却系统的电力成本进行了折中，从而降低了分布式数据中心的整体电力成本。

与JECF相比，由于JEF和CIA都是部分工作负载分配机制，因此使用随机负载均衡机制来补充它们的其余部分。

4.2 评估设置

本文的机制评估主要针对请求-响应类型的Internet网络服务，例如Google搜索和Bing搜索。在评测中，模拟了1个云服务提供商运行3个分布数据中心，数据中心1、数据中心2、数据中心3分别位于纽约州的长岛、德克萨斯州的休斯敦和乔治亚州的亚特兰大。长岛和休斯敦位于电力批发市场(electricity wholesale market)地区，电价根据电网条件的变化进行波动。亚特兰大处于电力稳定市场(regulated utility market)，电价在一段时间(例如3个月)内是固定不变的。3个数据中心的具体参数见表1[13]。在评测中，使用了图1中所示的采用CRAC的数据中心冷却系统。每个数据中心有4个CRAC单元，每个CRAC单元将15°C冷空气通过屋内地面上的通风口送入屋中。为了防止房间温度超过安全阈值温度30°C，CRAC单元动态地调整其冷却效率。通过匹配文献[5-11]中均匀负载分布下数据中心的温度资料，验证了本文模型中的冷却系统模型。

表1 数据中心参数

在2种特殊情况下分别对比了JECF和3个现有机制。与相关研究[6]类似，服务请求每秒收集一次。在情况1中，3个数据中心收到的服务请求总量实时变化，但3个数据中心的电价分别固定在Pr1( t)=42.93$/MWh、Pr2( t)= 20.27 $/MWh和Pr3( t)=55.3 $/MWh。在情况2中，服务请求数量固定在3个数据中心服务请求总量的40%，但是3个数据中心的电价根据它们所在的电力市场变化，其中，乔治亚州亚特兰大地区的电价保持不变，而纽约州长岛和德克萨斯州休斯敦地区的电价可以分别从NYISO[14]和ERCOT[15]获得。为每个数据中心预留了10%的处理余量以适应潜在的工作负载峰值，因此，3个数据中心服务请求不超过服务请求总量的90%[8]。为了提高实验的精度，将所有机制均运行100次以收集其统计特性。

4.3 评估结果

4.3.1 情况1

图7描述了4种机制在各种整体负载下数据中心的整体电力成本。在所有的负载情况下，JECF比JEF、CIA和JEF+CIA的性能都要好。图8分析了3种典型数据中心负载下4种机制的电力成本组成。正如4.1节分析的那样，由于联合考虑影响电力成本的3种因素，JECF的运行服务器电力成本较高，但其减少了更多的冷却系统电力成本，从而实现了分布式数据中心的整体电力成本最小化。

图7 情况1下3个数据中心在各种整体负载下的整体电力成本

图8 情况1下3个数据中心在3种整体负载下的电力成本组成

4.3.2 情况2

由于不同区域电力机制的差异，亚特兰大地区采用固定电价，而长岛和休斯顿采用以小时为单位的变化电价。图9显示了2012年12月14日以上三地的电价。很明显，长岛和休斯敦两地电价大幅度变化。因此，根据数据中心所在地电价来分配服务请求，可以减少数据中心的电力成本。图10显示了4种机制在实时电价下的电力成本。与其他机制相比，JECF随着电价的变化产生了较小幅度的变化，性能最好。

图9 2012年12月14日3个数据中心的每小时电价

图10 情况2下3个数据中心在不同时刻的整体电力成本

5 结束语

本文提出了一种数据中心间和数据中心内的智能工作负载分配机制JECF。JECF联合考虑时变的电价、运行服务器的频率和冷却系统的效率这3个因素，动态地分配服务请求到数据中心的运行服务器，从而实现了分布式数据中心电力成本的最小化。实验结果表明，JECF比当前的数据中心工作负载分配机制性能更好，大幅度降低了分布式数据中心的电力成本。

[1] Barroso L, Holzle U. The Datacenter As a Computer: An Introduction to the Design of Warehouse-scale Machines[J]. Synthesis Lectur es on Comput er Arc hitecture, 2 009, 4(1): 10-18.

[2] 张 伟, 宋 莹, 阮 利, 等. 面向Internet数据中心的资源管理[J]. 软件学报, 2012, 23(2): 179-199.

[3] 钱琼芬, 李春林, 张小庆, 等, 云数据中心虚拟资源管理研究综述[J]. 计算机应用研究, 2012, 29(7): 2411-2415.

[4] Qureshi A, W eber R, Balakrishnan H, et al. Cutting the Electric B ill for Internet-scale Systems[J]. SIG COMM Computer Communication Review, 2009, 39(1): 123-134.

[5] Bash C, Forman G. Cool Job Allocation: Measuring the PowerSavings of Placi ng Jobs at Cooling-efficient Locations in the Data Center[C]//Proc. of USENIX Annual Technical Conference. Santa Clara, USA: [s. n.], 2007: 1-6.

[6] Lei Rao, Liu Xue, Xie Le, et al. Minimizing Electricity Cost: Optimization of D istributed Internet D ata Centers in a Multielectricity Marke t Environmen t[C]//Proc. of INFOC OM’10. San Diego, USA: [s. n.], 2010: 1-9.

[7] Sharma R, Bash C, Patel C, et al. Balance of Power: Dynamic Thermal Management for Internet Data Centers[J]. IEEE Internet Computing, 2005, 9(1): 42-49.

[8] Li Jie, Li Zuyi, Ren K ui, et al. Towards O ptimal Electric Demand Management for Internet Data Centers[J]. IEEE Transactions on Smart Grid, 2012, 3(1): 183-192.

[9] Ahmad F, Vij aykumar T. Joint Optimization of Idle and Cooling Power in Data Centers While Maintaining Response Time[J]. ACM Sigplan Notices, 2010, 45(3): 243-256.

[10] Moore J, Chase J, Ra nganathan P, et al. Making Scheduling “Cool”: Temperature-aware Workload Placement in Data Centers[C]//Proc. of US ENIX Annual Technical Conference. Anaheim, USA: [s. n.], 2005: 1-14.

[11] Stanford University. Minos 5.5 User’S Guide Technical Report SOL 83-20r[EB/OL]. (1998-03-13). http://www.stanford.edu/ group/SOL/guides/minos55.pdf.

[12] Google. Data Center Location[EB/OL]. [2012-12-14]. http:// www.google.com/about/datacenters/inside/locations/index.html.

[13] Lei Rao, Liu Xue, Ilic M, et al. M EC-IDC: Joint Load Balancing and Pow er Control for D istributed Inte rnet D ata Centers[C]//Proc. of I CCPS’10. [S. l.]: ACM Pre ss, 201 0: 188-197.

[14] NYISO. Hourly Electricity Price[E B/OL]. [2012-12-1 4]. http://www.nyiso.com.

[15] ERCOT. Hourly Electricity Price[E B/OL]. [201 2-12-14]. http://www.ercot.com.

编辑 任吉慧

数据中心工作负载分配机制研究

Research on Workload Dispatching Mechanism for Internet Datacenters

GUO Ze-hua, DUAN Zhe-min

(School of Electronics and Information, Northwestern Polytechnical University, Xi’an 710072, China)

Cutting the electricity cost of geographically distributed data centers is a hot topi c in th e area of cloud computer. Each of current workload dispatching mechanism only considers one factor that impacts the electricity cost of geographically distributed datacenters and thus cannot achieve the global minimizat ion. This pa per pro poses a smart workload dispatching mechanism, Joint Electricity Price-aware, Cooling Efficiency-aware, and Dynamic Frequency Scaling-aware Datacenter Load Balancing(JECF), to cut the electricity cost of distributed Internet datacenters. JECF jointly considers the time-variant electricity prices among datacenters, the efficiency of the cooling system, and the dynamic frequency of active servers in each datacenter, and thus, reduces the total electricity cost of distributed datacenters by trading off the electricity cost consumed by active servers and cooling systems. The evaluation results show JECF outperforms existing datacenter workload dispatching mechanism and achieves significant reduction on the electricity cost of distributed Internet datacenters.

Internet datacenter; workload dispatching; electricity cost; electricity price; efficiency of cooling system; dynamic frequency scaling

10.3969/j.issn.1000-3428.2014.05.058

郭泽华(1985－)，男，博士研究生，主研方向：云计算，数据中心网络，软件定义网络；段哲民，教授、博士生导师。

2014-02-10

2014-03-07E-mail：guolizihao@hotmail.com

1000-3428(2014)05-0279-06

A

TP311.12