云计算数据中心能耗优化研究综述

武晋 何利力

摘 要：针对云计算数据中心能源消耗过高问题，分析了当前数据中心节能的相关研究成果，将数据中心计算节点的能耗优化方式分为基于动态电压频率调整、基于关闭空闲服务器和基于虚拟化技术的能耗优化3类，分别以综述方式进行总结。讨论了数据中心其它设备的能耗优化策略，预测了未来研究方向，可为数据中心能耗优化相关研究提供参考。

关键词：数据中心;云计算;能耗优化;节能策略

DOI：10. 11907/rjdk. 182807 开放科学（资源服务）标识码（OSID）：

中图分类号：TP302文献标识码：A 文章编号：1672-7800（2019）008-0004-04

A Summary of Research on Energy Optimization of Cloud Computing Data Center

WU Jin， HE Li-li

（School of Informatics and Electronics， Zhejiang Sci-Tech University， Hangzhou 310018， China）

Absrtact： Aiming at the problem of high energy consumption in data center， this paper analyzes the related research of data center energy saving， and divides the energy consumption optimization mode of data center computing node into three categories， that is， based on dynamic voltage frequency adjustment， power consumption optimization based on shut-off idle server and virtualization technology， respectively， which are summed up in the way of review， The energy consumption optimization strategy of other devices in the data center is also discussed. Finally， the future research direction is predicted： the optimization of energy consumption to ensure service quality， the optimization of energy consumption oriented to heterogeneous cloud environment and the optimization of energy consumption based on task scheduling provide a theoretical reference for the research of energy consumption optimization of cloud computing data center.

Key Words： data center; cloud computing; energy consumption optimization; energy saving strategy

作者简介：武晋（1993-），女，浙江理工大学信息学院硕士研究生，研究方向为云计算与大数据;何利力（1966-），男，博士，浙江理工大学信息学院教授、博士生导师，研究方向为制造业信息化、企业智能。

0 引言

随着互联网规模的不断扩大和业务量的快速增长，云计算服务广泛应用于互联网相关领域。数据中心是云计算统一管理和资源调度平台，随着云计算的发展，数据中心的数量逐渐增多，规模也日趋庞大，但与此同时数据中心的能耗问题也日益显现。谷歌在俄勒冈州建立的云计算数据中心满载运行时所消耗的电能几乎等于一个中型城市所有家庭用电量的总和[1]。根据2007年美国国会数据中心能源效率报告，数据中心3年内服务器、网络设备和温控设施等用电成本约为购买服务器等设备成本的1.5倍，未来该费用还会继续增高[2]。根据美國劳伦斯伯克利国家实验室的能源报告，美国数据中心在2014年耗电量已经达到了700亿千瓦时，占美国总电量的1.8%[3]。2014年，全世界范围内的数据中心耗电量是发电量的3%[4]。按照目前的增长速度，预计到2020年，数据中心的能耗将达到世界总电量的8%[5]。云计算数据中心能耗问题导致数据中心运行成本增加，给环境造成了严重负担，成为制约云计算数据中心健康发展的关键问题。

1 计算节点能耗优化

数据中心主要耗能设备为数据中心的计算节点，在进行海量数据运算时会产生大量能耗。影响计算节点能耗的因素较多，相关节能策略研究也最为丰富。本文介绍3种常用的云计算数据中心计算节点能耗优化策略，分别为基于动态电压频率调整的能耗优化策略、基于关闭空闲服务器的能耗优化策略和基于虚拟化技术的能耗优化策略。

1.1 动态电压频率调整能耗优化

数据中心主要能耗来自计算节点，而计算节点的主要能耗来源于计算节点处理器。随着多核技术和超频技术的广泛应用，处理器能耗成为业界关注的重点。处理器应用最为广泛的节能策略是动态电压频率调整技术（Dynamic Voltage and Frequency Scaling，DVFS）。

DVFS是一种针对计算机中央处理器的电压频率动态调整电源管理技术，也是目前工业界和学术界普遍采用的低功耗优化技术[6]。DVFS技术可以根据实时使用情况调整电源的电压和芯片的工作频率。DVFS技术的主要思想是根据计算节点的实时负载预测下一时间段所需性能，根据所需性能调整芯片的时钟频率和电压。单个任务能耗和CPU的电压及频率关系如式（1）所示。

[E=AtCV2f]  （1）

其中，A为能耗系数，t表示执行时间，C为电容负载，V为CPU电压，f为CPU时钟频率。当CPU时钟频率降低时，电压会随之降低，因此调整芯片的频率和电压可有效降低系统能耗。DVFS技术尤其适用于计算节点处于闲置或低速运行状态情景，能大大降低系统的空闲能耗。

基于DVFS技术的节能策略研究有：KIM K H 等[7]提出3种基于DVFS的节能策略，分别为Lowest-DVFS、δ-advanced-DVFS和Adaptive-DVFS。其中，Lowest-DVFS将CPU的速率调整为任务所要求的最低速率，也就是说所有虚拟机以其所需的最低MIPS执行当前任务，这种方法会降低数据中心性能，但在虚拟机处理速度足以应对当前负载的情况下，这种策略耗能最低。为了克服Lowest-DVFS的性能过低问题采用δ-advanced-DVFS节能策略，该策略将当前虚拟机请求的MPIS增加了δ%，并且引入了伸缩模型。Adaptive-DVFS节能策略则根据已知的请求到达率和服务时间，分析得到最优的伸缩模型，根据负载情况自动调整CPU性能。这3种模型中，Lowest-DVFS能耗最低，但无法满足云计算数据中心最基本的性能需求与服务质量，无法应用于实际场景。Adaptive-DVFS节能策略具有较好的适应性，能够在优化的同时保障服务质量，这种能耗优化模型性能取决于对负载情况预测的准确性。

齐巍巍[8]将DVFS技术和虚拟化技术结合，提出了一种基于多核物理服务器以及CPU执行频率变化的能耗计算模型，并分析了多核虚拟机模型的必要性以及多核虚拟机的部署约束条件，在此基础上提出了一种多核虚拟机部署算法EMCVD。该算法能有效减少系统能耗并降低虚拟机迁移过程中的开销，并考虑服务等级协议（Service Level Agreement，SLA）和服务质量（Quality of Service，Qos）。不足之处是没有设置合适的SLA违反惩罚机制，而是采用硬约束方式执行虚拟机截止时间。

1.2 关闭空闲服务器能耗优化

基于关闭空闲服务器的能耗策略也称为主机状态切换（Host Switching），主要通过关闭空闲计算节点降低能源消耗从而实现整个数据中心的节能。当预知数据中心的负载情况时，该策略可极大节省数据中心的闲时能耗。但由于计算机由关闭到启动需要较长时间，在调度不够精准时，这种节能策略容易导致云计算数据中心性能降低。

关闭空闲服务器的节能策略研究较多，Berral等[9]利用机器学习方法预测负载迁移后应用和节点的关系模型，实现了更加智能的负载联合和资源调度，依据工作负载情况关闭不需要的服务器，从而降低数据中心的能源消耗。通过机器学习方法预测负载情况有效提高了预测准确度。但文中将数据中心的计算节点假设为同构是其不足，因为实际上并不是所有数据中心都是同构的，很多数据中心的计算节点都是异构的。

Bin等[10]提出了一种动态集群配置策略，根据服务请求的历史信息，利用最小二乘法预测未来的服务请求情况，通过动态调整服务集群开关机实现数据中心节能。通过最小二乘法能简单高效预测服务请求和负载情况，但准确度逊于机器学习方法，而且服务器在启动瞬间状态转换能耗非常高，如果不能精准预测会导致频繁开关机，不利于能耗优化，还可能大大降低数据中心性能与服务质量。

1.3 虚拟化技术能耗优化

近年来虚拟化技术在云计算数据中心得到了广泛应用。虚拟化技术可以提高计算节点的工作效率，是实现数据中心节能的重要策略，上述節能策略也往往要将虚拟化技术考虑在内，大部分相关研究也与虚拟化技术相结合。

目前广泛使用的虚拟化技术包括KVM、Vmware和Xen等，这些技术允许在一个物理计算节点上创建多个虚拟机，可以通过虚拟机的迁移实现动态负载合并，将虚拟机整合到较少的物理节点中，通过与关闭空闲服务器的节能策略相结合降低闲时能耗。虚拟机迁移和关闭空闲服务器过程如图1所示。

图1 虚拟机迁移及关闭空闲服务器

基于虚拟化技术的能耗优化分为虚拟机的初始化放置过程能耗优化和虚拟机动态管理过程能耗优化两种。其中虚拟机的初始化放置指在数据中心刚刚启动没有负载的情况下，将虚拟机分配给物理节点，而虚拟机动态管理指当数据中心的条件改变或者数据中心的负载动态变化时，虚拟机的二次分配过程[11]。

Wang等[12]在虚拟机初始化放置过程中，通过将多个虚拟机整合到较少的活动节点实现能耗的优化，该方法有效降低了数据中心的能耗，大大提高了资源利用率，但是容易造成负载不均问题，而且过高的负载会导致物理节点性能下降，从而降低整个数据中心性能。并且长期处于过高负载的计算节点更容易老化，加快了设备淘汰周期，提高了数据中心费用开销。

孙蒙[13] 对虚拟机的初始化放置过程进行建模分析，将虚拟机初始化放置问题视为装箱问题，提出了基于虚拟机放置的能耗优化策略。该策略将装箱问题中常用的降序最佳适应算法（Best  Fit Decreasing，BFD）和遗传算法（Genetic Algorithm，GA）相结合，形成了BGA虚拟机放置算法。该算法使用BFD算法生成遗传算法的初始种群，设计了基于能耗和资源利用率的适应度函数，并利用BFD算法将无效染色体修正为合理染色体，提高了遗传算法的局部搜索能力，最终形成一种高效的虚拟机放置算法，实现数据中心节能。但在验证算法有效性的实验中没有考虑SLA的违背率，在服务质量保障方面还存在改进的地方。

虚拟机动态管理主要针对数据中心负载变化时虚拟机的重分配问题，合理的虚拟机动态管理能够提高数据中心的资源利用率和电源效率。VMware中的分布式电源管理（Distributed Power Management，DPM），利用虚拟机重新分配将工作负载整合到较少的物理机上并关闭没有工作负载的主机，从而实现节能[14]。Gueyoung Jung等[15]针对虚拟机动态迁移问题，提出了一个整体控制器框架Mistral，Mistral的优化目标包括性能、能耗和虚拟机迁移过程的瞬时开销。该框架配置了多级分层控制器和可扩展优化算法，能有效控制虚拟机迁移过程中的能耗、性能和瞬时开销，该控制器框架适用于大型层级化数据中心，具有实际应用价值。

2 其它设备能耗优化策略

以往研究中常将数据中心的其它设备能耗视为恒定值，但近年来数据中心的网络设备、存储设备和温控设施的能耗优化研究逐渐增多。

网络设备消耗的电能已达到数据中心总消耗电能的20%～30%[16]。杨光等[17]从网络设备功耗管理架构和网络设备节能策略出发，提出了网络级功耗管理架构和基于休眠唤醒和自适应链路速率混合节能策略，实现了网络设备功耗的实时高效管理和网络设备的能耗优化。

云计算海量数据中只有少部分数据是经常访问的，大部分数据很少访问，这些数据被定义为“冷数据”，存储系统的“冷数据”高达80%[18]。为降低 “冷数据”存储能耗，许多设备厂商进行了相关研究，推出了与冷数据处理相适应的高容量、低功耗存储设备，例如浪潮SA5224L4。针对存储系统的能耗问题，董池[19]提出了预判性绿色数据分类策略（AGDC）和基于数据分类的绿色升降档机制（DGLG），有效降低了数据中心存储系统能耗。

由于数据中心需进行海量的数据运算，计算节点、网络设备和存储设备在运行过程中会产生大量的热量，因此需要温控设施进行散热和制冷，以维护设备的正常使用，延长设备使用寿命。目前数据中心的温控设施能耗已达到数据中心总能耗的25%～40%，尽管降低其它设备能耗在一定程度上可以降低温控设施能耗，但温控设施本身的能耗优化仍不容忽视[20]。目前越来越多的数据中心采用自然冷源对机房进行降温处理，例如在极地和沿河地带建立大规模数据中心，可以节省大量电能。另外，数据中心通过优化机房气流组织、变频空调技术和热回收技术实现温控设施的节能优化。

3 未来研究方向展望

计算节点的能耗优化仍是未来数据中心能耗优化的主要研究方向。虽然近几年在数据中心计算节点能耗优化问题上相关研究已经给出了很多优化方案并取得了显著成果，但数据中心能耗优化仍存在一些问题值得深入研究，未来可能的研究重点和机会主要有：以保障服务质量为前提的能耗优化、面向异构云环境的能耗优化和基于任务调度的能耗优化。

保障服务质量是数据中心的基本要求，也是实现其它优化目标的前提，如果能耗优化无法保障基本性能和用户需求，这种优化策略就无法投入使用，就不具备现实意义。因此，应将保障服务质量作为数据中心能耗优化的前提，在评价相关优化算法时应统计SLA的违背情况，设置SLA违背次数阈值，设计SLA违背惩罚机制。

由于数据中心服务器由不同厂商提供，因此可能具有不同的硬件配置，不同的硬件配置导致数据中心计算节点在功能、性能以及耗电功率等方面不尽相同，所以很多数据中心都是异构的。因此在数据中心能耗优化相关研究中，应充分考虑云环境的异构性。

任务调度是数据中心资源调度的重要研究方向，合理的任务调度算法能够缩短处理时间，从而缩短计算节点活动时间，降低数据中心能耗。因此，能耗优化可以作为任务调度的一个优化方向，通过合理调度降低数据中心能耗。

4 结语

本文综述了云计算数据中心计算节点的主要节能策略，包括动态电压频率调整节能策略、关闭空闲服务器节能策略和虚拟化节能策略，并分析了优化内容和可能存在的问题。本文还对数据中心的其它设备能耗优化相关研究进行了综述，包括网络设备、存储设备和温控设备等，从多个角度分析数据中心的节能策略。通過对目前研究成果的分析，对数据中心的能耗优化方法有了更深的认识，并在此基础上预测了数据中心能耗优化的未来研究方向，为数据中心的节能优化研究提供一定的理论指导。

参考文献：

[1] LUO L，WU W，TSAI W T，et al. Simulation of power consumption of cloud data centers[J]. Simulation Modelling Practice and Theory， 2013， 39（Complete）：152-171.

[2] BRILL K G. Data center energy efficiency and productivity[C]. White Paper posted on the Uptime Institute， 2007.

[3] SHEHABI A，SMITH S， SARTOR D， et al. United states data center energy usage report[R]. Lawrence Berkeley National Laboratory， 2016.

[4] RALLO A. Industry outlook： data center energy efficiency[EB/OL]. http：//www.datacenterjournal.com/

[5] N DENG C，STEWART，LI  J. Concentrating renewable energy in grid-tied datacenters[C]. 2011 IEEE International Symposium on  Sustainable Systems and Technology （ISSST），2011：1-6.

[6] 吴文彬. 基于DVFS的数据中心节能研究[D].哈尔滨：哈尔滨工业大学，2017.

[7] KIM K H，BELOGLAZOV A，BUYYA R. Power-aware provisioning of virtual machines for real-time cloud services[J]. Concurrency and Computation： Practice and Experience，2011，23 （13）：1491-1505.

[8] 齐巍巍. 考虑DVFS的云计算系统虚拟机部署策略研究[D]. 成都：电子科技大学，2017.

[9] BERRAL J L，GOIRI， í？IGO， et al. Towards energy-aware scheduling in data centers using machine learning[C].International Conference on Energy-efficient Computing & Networking，DBLP， 2010.

[10] BIN L，JIAN Y，YU Z. Dynamic cluster configuration strategy for energy conservation based on online load prediction[J]. Computer Engineering， 2010， 36（24）：96-98.

[11] 马飞. 云数据中心中虚拟机放置和实时迁移研究[D]. 北京：北京交通大学，2013.

[12] WANG Y，WANG X. Power optimization with performance assurance for multi-tier applications in virtualized data centers[C]. International Conference on Parallel Processing Workshops，IEEE Computer Society， 2010.

[13] 孙蒙. 面向绿色云计算的能耗优化策略研究[D]. 南京：南京邮电大学，2017.

[14] ALI Q，ZHENG H，MANN T， et al. Power aware NUMA scheduler in VMware's ESXI hypervisor[C]. IEEE International Symposium on Workload Characterization，IEEE Computer Society， 2015.

[15] JUNG G，HILTUNEN M A，JOSHI K R，et al. Mistral： dynamically managing power， performance， and adaptation cost in cloud infrastructures[C]. IEEE International Conference on Distributed Computing Systems，IEEE，2010.

[16] 刘永，王新华，王朕，等. 数据中心节能算法研究综述[J]. 微型机与应用，2012，31（7）：1-5.

[17] 杨光. 网络设备功耗管理架构与节能策略研究[D]. 北京：北京邮电大学，2016.

[18] 姜晓青，王钦若.大数据环境下冷数据存储技术概述[J]. 工业控制计算机，2016，29（6）：58-60.

[19] 董池. 面向云存储系统的綠色数据管理策略研究[D]. 杭州：杭州电子科技大学，2015.

[20] 张颖琪. 数据中心的合理化冷却方案[J]. 华东科技，2017（5）：64-66.

（责任编辑：杜能钢）