数据中心低功耗计算研究

安东升+张高英+刘敬+李冰

摘 要：国内的数据中心PUE值一般都在2.2以上，能效比较差，电力浪费比较严重，不仅给企业造成了负担，给环境也带来了危害，大力推行绿色计算势在必行。绿色计算包含环境友好计算和低功耗计算。作为可推动科技进步和社会可持续发展的一种计算模式，绿色计算正越来越多地受到国家的重视。本文简述了绿色计算的概念和相关工作现状，在此基础上介绍了基于绿色计算的数据中心低功耗计算建设途径。

关键词：PUE；绿色计算；数据中心；环境友好计算；低功耗计算

中图分类号：TP311 文献标识码：A

1 引言（Introduction）

计算机系统能效问题正越来越受到重视，工信部于2013年2月发布了《关于进一步加强通信业节能减排工作的指导意见》，提出到2015年末，新建大型云计算数据中心的功耗效率PUE（平均电能使用效率）值达到1.5以下，其重点就是构建绿色数据中心，实现绿色计算。据统计数据显示，到2015年，我国数据中心总量已超过40万个，年耗电量超过全社会用电量的1.5%，达到1000多亿度，其中大多数数据中心的PUE值普遍大于2.2，能效比较差，与国际先进水平相比有较大差距。电力已经成为数据中心份额最大的支出项，Google、亚马逊、华为等数据中心大户开始尝试将数据中心建在严寒地带，以减少电力消耗。为了应对计算机系统的能耗日益突出的问题，绿色计算作为一种以低功耗和环境友好为目标的新型计算模式也应运而生。

2 绿色计算简介（Introduction to green computing）

按照维基百科的定义，绿色计算是对环境负责的原则使用计算机及相关资源的行为。绿色计算涉及系统结构、系统软件及计算机网络[1]，它以保证计算系统的高效、可靠及提供普适化服务为前提，以计算系统的低耗为目标，通过构建功耗感知的计算系统、网络互联环境和计算服务体系，为日益普适的个性化、多样化信息服务方式提供低耗支撑环境。绿色计算中的计算机及相关资源包括采用高效节能的中央处理器（CPU）、服务器和外围设备，减少资源消耗，妥善处理电子垃圾等。

从上述定义和涉及的内容可以看出，绿色计算的核心目标是低功耗和环境友好。在此，为了研究的方便，我们定义绿色计算包括低功耗计算和环境友好计算。通过设计好用易用的程序界面和在线帮助，机房装修、架构设计时注意选择无毒无害物质和材料，通过屏蔽和隔音做到静音等，一般比较容易实现环境友好计算，困难的是降低功耗[2-4]。所以，低功耗计算才是实现绿色计算的核心问题。

3 低功耗计算现状（The status quo of low-power

consumption computing）

美国国防部于2002年制定高性能计算系统计划，首次提出以高效能作为新一代高性能计算机研制的目标，着眼于并行系统由高性能向高效能转变[5]。此后很多机构开展了绿色计算的研究，国内外著名的高性能计算解决方案提供机构如银河[3-6]、神威[7]、曙光[2，8]、IBM、Intel、HP、Google等在该领域进行了大量的研究，主要集中于四个方向，分别是芯片级节能技术、基础架构级节能技术、系统级节能技术和机房制冷节能技术。芯片级节能技术研究主要由传统芯片提供商进行，通过CPU加工工艺和功耗控制等来降低功耗，如Intel推出的至强系列处理器、动态功耗节点管理器等；基础架构级节能技术主要研究效率更高的散热方式和性能更好的冷却设备等，如HPPARSEC体系结构、Cool Blue机柜系统等；系统级节能技术方面，IBM PowerExecutive允许用户同时在系统、机箱或机架层次上对数据中心的電耗和能耗进行有效分配。曾宇等基于曙光5000A设计并实现了高效能计算节点[5]，董晶等提出一种基于资源限制的高性能计算系统功耗管理，通过控制节点的分配和功耗状态降低系统的能耗[6]，戴永涌等设计并实现了一种基于资源调度的集群节能系统，有效降低集群系统空闲时的功耗，降低神威高性能集群计算机系统的功耗[7]，林守林等提出了一种基于CPU利用率的服务器功率控制策略，可根据负载情况实时调整服务器功率，减少电力消耗[8]。

总的来说，上述功耗控制研究工作主要是针对不同的系统对象从不同的功耗控制角度开展的，理论上还缺乏统一系统功率计算模型、负载评价模型和一体化节点、机柜与机房散热模型的系统规范和管理，取得的实际效果也是局部和有限的。

4 数据中心实现低功耗计算的途径（The construction

approaches of low-power consumption computing

in the data center）

数据中心普遍采用了计算能力更强的大规模集群计算机系统，安装在专业机房，配套精密空调和UPS供电设备。低功耗计算是实现绿色计算的核心问题。数据中心的能效核心问题已转化为集群计算机系统的功耗控制问题。集群计算机系统的能效比提高了，整个数据中心的功耗也就降低了[9]。通常，数据中心所使用的集群计算机系统是由成百上千的节点或服务器组成，这些节点或服务器是功耗控制的重点对象。

4.1 思路

数据中心要实现绿色计算，就要针对集群计算机系统结构特点和应用负载特点，建立功率计算模型与负载评价模型，全面监控各部件的功率、负载的水平与波动情况，建立系统资源池与功耗池，分析任务的时间与空间分布，根据任务的重要性与紧迫性为其调度相匹配的计算资源、功率与功耗，通过对各部件功率的控制实现对系统功耗的控制，在保证满足应用需求的前提下实现最高的资源利用率，减少电力资源的浪费，节省功耗。建立基于业务负载的热量追踪模型，对热量的产生进行预测和监控，建立数据中心一体化节点、机柜与机房散热模型，对机房温度分布进行计算与监控，根据数据中心业务负载、温度、热量的分布情况调整供电与冷却设备的工作状态，通过主动式控制方式，以业务负载为核心，以系统功耗为纽带，实现系统与数据中心基础设施的联动，保证数据中心机房的电力资源得到充分利用，减少能量的消耗和浪费，大大降低数据中心的功耗。

4.2 系统框架

集群计算机系统各节点由于作业任的不同和作业调度的关系，节点的忙闲程度不一样，忙的节点耗电多发热量大，空闲的节点反之，从而造成整个集群计算机系统功耗分布不平衡，存在明显的冷热不均匀的现象，是典型的非稳态热力学系统，而现有机房的散热设计一般是基于热力学稳态系统进行的，造成了大量的能源浪费，所以集群计算机系统功耗控制必须和机房环境进行联动监控和分级管理，图1给出集群计算机系统机房功耗控制系统框架示意图，各级主要功能详见下面介绍。

（1）集群计算机节点是功耗控制的基本单位，本层负责对节点的负载与功耗情况进行监控和统计，将处理结果上传至集群层；同时，接受集群层的指令，根据具体的策略通过调整CPU的频率或状态，对节点的功耗水平进行调整。

（2）集群级负责从应用的角度衡量当前计算机设备的功耗与资源利用水平，根据应用的需求（运行时间、优先级等）与对负载水平的预测判断当前节能策略是否正确，及时进行调整。

（3）系统级根据当前集群的功耗水平计算所需的电力供应与产生的热量，对UPS的交直流转换效率和空调的制冷效率进行推算，根据对负载变换与温度变化的预测制定合理的供电与制冷策略，提升数据中心的总能源利用率。

4.3 主要研究内容

（1）研究建立数据中心的功率计算模型

功率计算模型实现对部件、节点、系统功率与功耗的精确统计，这是进行功耗管理的基础。模型包含节点主要的功率较高的部件，例如CPU、内存、硬盘等；模型首先能准确的统计节点的实时功率，在此基础上增加存储和交换设备功率，从而获得系统的功率。

（2）研究系统功率控制方式与算法

实现细粒度的功率控制方式，快速、准确地对系统功耗进行调整。各部件和不同节点的功耗特点是不同的，应该据此给出合适的功率控制算法与控制接口，需要兼顾准确性与响应速度。

（3）建立系统的资源池和功耗池，实现基于重要性与紧迫性的调度模型

通过构建资源池和功耗池，实现对计算资源、任务、供电的一体化监控，判断系统的资源使用情况与功耗水平是否匹配，快速定位需要调整电源状态的部分节点，基于任务的重要性与紧迫性选择相应的用电模式。

（4）对数据中心系统的能源使用效率进行分析

在系统的运行过程中记录并保存了负载和功耗的信息，分析系统提供的计算能力、实际使用的计算能力、供电水平，计算系统的电力资源使用效率。

（5）研究建立数据中心节点、机柜、机房的统一散热模型

目前，冷却设备功耗一般占机房总功耗的30%以上，当前数据中心普遍采用的被动式弥散冷却方式效率很低，浪费了大量的制冷量。采用经典公式与有限元方式相结合的算法[19]，建立机房的一体化准静态散热模型可以快速准确得到机房的功率和温度分布，同時对温度变化进行预测，采用主动式精确制冷方式，节省大量的冷却设备功耗，避免机房出现热点，提升系统的稳定性。

（6）研究低耗作业调度系统

通过对作业的运行情况进行统计分析，判断作业运行的特点与规律，进而形成作业调度策略，通过对作业队列的实时监控，动态调整调度策略中的各项参数，保证作业运行在能效比最好的节点上。

4.4 工作流程

集群低功耗控制系统软件由数据采集模块、能效分析模块、策略设置模块、功耗控制模块、作业调度模块和管理与日志记录模块组成。系统工作流程如图2所示。

通过数据采集模块采集的各项数据确定结点当前的工作状态（运行/关机），以及负载水平，结合结点的硬件配置即可确定结点的功耗，通过预先建立的结点热力学模型和环境温度可以确定结点所产生的热量和温度变化趋势。结点在数据中心的物理位置和数据中心的空间结构（长、宽、高），以及空调的进、出风口位置作为环境参数输入在资源池管理模块中，基于这些参数构建数据中心的热力学模型。通过结点温度变化与数据中心热力学模型计算出所需的制冷量，对空调进行相应调整。与此同时，根据用户在策略设置模块中设置的策略、能效分析结果，通过作业调度模块动态的调整各结点的作业分布，从源头控制各结点的负载水平和温度变化。

5 结论（Conclusion）

绿色计算是在建设绿色GDP和节约型社会的倡导下提出的，用绿色科技创造社会价值，正在成为当今社会的一种共识，节能、环保和节约已成为整个计算机产业的重要发展趋势，用户对健康化和节能化的理念要求也逐渐成为计算机产品更新换代的新标准。绿色计算作为一种新的计算模式与技术，涉及的领域范围较广。本文重点对绿色计算的核心低功耗计算在数据中心的实现做了一个浅显分析，希望能对建设或改造数据中心有所参考。

参考文献（References）

[1] 郭兵，沈艳，邵子立.绿色计算的重定义与若干探讨[J].计算机学报，2009，32（12）：2311-2319.

[2] Meng L S，et al.Low Power Consumption Solutions for Mobile Instant Messaging[J].IEEE Transactions on Mobile Computing，2012，11（6）：896-904.

[3] Hosseini E S，Esmaeelzadeh V，Eslami M.A Hierarchical Sub-Chromosome Genetic Algorithm（Hsc-ga）to Optimize Power Consumption and Data Communications Reliability in Wireless Sensor Networks[J].Wireless Personal Communications，

2015，80（4）：1579-1605.

[4] Wang C，et al.Low-Power Technologies for Wearable Telecare and Telehealth Systems：A review[J].Biomedical Engineering Letters，2015，5（1）：1-9.

[5] 曾宇.曙光5000A高效能计算节点的设计与实现[J].计算机工程，2009，25（3）：17-22.

[6] 董晶.高性能并行计算系统中低功耗资源管理的设计与研究[M].国防科学技术大学，2009.

[7] 戴永涌，杨树军.基于资源调度的集群节能系统的设计与实现[J].计算机工程与科学，2009，31（A1）：176-178.

[8] 林守林，等.一种基于CPU利用率的功率控制策略的研究与实现[J].计算机工程与科学，2009，31（A1）：282-285.

[9] 安东升，李麟，白杨.基于CFD模型的数据中心集中式模型研究[J].信息技术与标准化，2011（8）：66-70.

作者介绍：

安东升（1967-），男，硕士，高级工程师.研究领域：高性能计算与计算机体系结构.

张高英（1971-），男，硕士，高级工程师.研究领域：数据库与高性能计算.

刘 敬（1981-），男，博士，高级工程师.研究领域：计算机网络安全与通信技术.

李 冰（1983-），女，硕士，工程师.研究领域：卫星遥感应用.