数据中心绿色技术及其发展研究

岳玉 曹可建 郭亮

中图分类号：TN929.1 文献标志码：A 文章编号：1009-6868 （2015） 05-0045-005

摘要：提出了数据中心在制冷、供配电和ICT设备等方面的绿色技术，并指出通过对xUE系列指标的分析可以了解PUE参数的局限性。认为能源使用效率（PUE）并不是追求的最终目标，但不会影响对于绿色技术的创新和使用。指出未来需要不断加大技术、标准和政策等各方面的投入力度，才能逐步实现中国数据中心的绿色健康发展。

关键词：制冷；供配电；ICT设备；PUE 绿色技术B

Abstract： This paper proposes some green technologies for cooling， power supply and distribution， and ICT equipment in Internet data center （IDC）. By analyzing the configurations of xUE， the limitation of PUE can be clearly shown. PUE （power usage effectiveness） is not the ultimate goal that we pursue， but will not affect our innovation and use of green technology. In the future， we should increase the support for such technologies， standards， and policies to realize the high energy efficient development of IDCs.

Key words：cooling；power supply and distribution；ICT equipment；PUE green technology

一直以来，信息、通信和技术（ICT）产业特别是互联网数据中心（IDC）的能耗是一个令业界头痛的大问题。欧美地区较早就开始关注数据中心的能耗和绿色化问题。早在2008年，欧盟就发布了《能效行为准则》，该准则是企业界对于电子类产品能效的一种自愿性承诺，目前已经推出针对数据中心的能效行为准则。在美国，越来越多的科技企业如微软、Facebook和Twitter等都积极去人口密度较低、电力能源价格较低的小镇展开数据中心建设。亚洲各国和地区也逐渐开始关注能耗问题：韩国于2008制订了《低碳绿色增长的国家战略》，提出大力发展低碳技术产业、强化应对气候变化能力、提高能源自给率和能源福利，以全面提升绿色竞争力；日本政府于2009年公布了《绿色经济与社会变革》的政策草案，提出通过实行削减温室气体排放等措施，推动低碳经济发展；新加坡于2011年发布《SS564》，该标准是一个认证管理体系，它为数据中心实现节能提供了方法[1]。

作为一个数据中心大国，中国很有必要对绿色技术进行研究，并通过国际通行的能源使用效率（PUE）参数比较，从根本上促进中国数据中心产业的健康绿色发展，实现数据中心产业由大到强的转变。

1 IDC绿色技术研究

1.1制冷技术

据研究统计，制冷耗电占到整个数据中心耗电的将近一半，所以制冷采取绿色技术进行节能的意义非常重大。

目前，绿色制冷技术主要是利用自然冷源进行冷却以节省能源，常见的有新风节能技术、乙二醇自然冷却技术等。

（1）新风技术

新风技术是利用机房室外的自然环境为制冷源，当室外空气温度比室内低一定程度时，通过新风节能装置引进符合机房空气质量要求的室外自然新风，与机房内热空气直接进行热量交换，降低机房内环境温度以满足机房环境要求，从而达到节省空调制冷量、节约能源的目的。机房新风节能通常采用的主要有通过风扇直接进入、采用湿膜通风设备进入以及利用智能换热设备进入等一系列新技术。

（2）乙二醇自然冷却技术

空调制冷主要靠压缩机的运转将系统内的氟利昂从气体压缩成高温高压的液体，再通过室外冷凝及室内蒸发，吸收室内的热量，这需要消耗大量的电能。乙二醇节能机组利用冬季室外冷源，通过水泵的运转，将室内的热量传送到室外冷凝器，再由室外冷凝器将乙二醇液体的热量散发出去，大大减少系统的耗电量，在保证机房的恒温、恒湿和洁净条件下，节能降耗。

1.2供配电技术

在数据中心中，供配电系统的耗电占到整个数据中心耗电的四分之一左右。随着IDC中各种ICT设备板卡密度越来越大，数据中心机柜的功率密度也越来越高，这对供配电系统提出了更高的技术要求。

（1） 开关电源休眠技术

开关电源整流模块的能量消耗包括输出功耗、带载损耗、空载损耗3个部分，其中输出功耗是根据负载电流大小决定的，无法降低能耗；带载损耗取决于整流模块的工作效率；而空载损耗则是负荷未达额定容量造成的。

开关电源整流模块休眠技术就是根据负载电流大小，与系统的实配模块数量和容量相比较，通过智能“软开关”技术，来自动调整工作整流模块的数量，使部分模块处于休眠状态，把整流模块调整到最佳负载率下工作，从而降低系统的带载损耗和空载损耗，实现节能目的。

（2） 高压直流供电技术

24 V、48 V、60 V等直流供电技术在通信领域的应用已经有相当长的时间。为了区分，业内将200 V以上的直流称为高压直流。目前，欧洲的研究机构一般进行350～400 V标准的研究和实验，而中国制订的标准是240 V。

相比传统不间断电源（UPS）供电，高压直流供电系统在开关电源系统侧减少了一次直流（DC）/交流（AC）变换，在IT设备侧减少了一次AC/DC变换，从而提高了电源的使用效率，并且能够有效地提高供电系统的可靠性。

1.3 ICT设备技术

（1）核心网设备动态节能技术

核心网设备大部分时间处于轻载状态，此时大部分业务处理设备或者单板却仍然在消耗能源，如果能将处于空闲状态的设备或单板进行休眠或关闭，就能够减少设备的整体功耗。

单板休眠技术是在话务量低谷时，使部分单板平滑进入省电的休眠待机状态，并在话务量提升到一定程度时自动唤醒单板，以提供更多的处理能力。

CPU动态降频降压技术是根据系统负载动态调整系统的处理能力。系统运行时，实时监控CPU占用率情况，当发现当前CPU占用率低于设定阀值时，就对CPU进行降频操作；当发现当前CPU占用率高于设定阀值时，就对CPU进行升频操作，以降低CPU功耗。

（2）接入网设备动态节能技术

·按端口关断技术

随着技术能力的提高，现在单个业务板的接口密度越来越大，但在实际的应用中并不是所有的端口都在使用，这样以来就会带来一些硬件上资源的浪费。

按端口关断技术就是通过对端口在位状态的定时查寻，根据其在位状态进行对应的数据通道使能或关断。目前还不是所有的硬件都能支持在位状态检测。

·按流量/按业务低功耗设计

有统计结果显示，通常情况下端口的峰值流量不足50%，一天内平均流量不足20%。因此，提高设备的硬件资源利用率，基于业务量的动态功耗设计成为重要的节能技术。按流量的动态节能主要包括流量检测和预判、硬件资源适配调整、流量突发的快速响应等关键技术。

（3）服务器动态节能技术

·处理器降频和休眠技术

基于硬件支持，目前服务器已经实现了处理器内核工作频率随业务压力变化而动态调整。内置的分组控制单元（PCU）可对CPU内核进行精确的电源状态调节，提供多达15级功耗（频率）状态以满足不同应用负荷的能耗控制需求，使CPU的能耗曲线更接近应用负载曲线。当业务负载下降到某一门限值时，处理器内核工作频率也会随之下降到某一新的频点，根据新的频点，处理器核电压做出相应的优化调整，从而使实际功耗最低，服务器以更低功耗获得同样的性能。

当处理器处于空闲状态时，可以使其中的一个或几个内核进入休眠状态；根据业务需要再逐步唤醒处理器内核。如果整个系统都处于空闲状态，那么可以使系统进入深度休眠状态；当业务忙时，唤醒系统。对于刀片系统，当业务负荷低时，将业务集中到某几块线卡中，使空闲线卡进入深度休眠状态；当业务量上升到一定程度时空闲线卡唤醒[2]。

（4）存储设备动态节能技术

·智能动态能耗控制技术

存储设备主要是由基于CPU的控制器和磁盘阵列组成的，在存储设备的使用过程中，在不同时段设备的“忙”“闲”可能不一样，智能动态能耗管理就让设备“忙”的时候能耗高，“闲”的时候能耗低。CPU有“忙”有“闲”，现在的CPU架构基本都支持动态能耗控制，即“忙”的时候CPU用较高的电压全速运行，“闲”时用较低电压低速运行，在无业务处理时，CPU便可以进入“休眠”状态，从而实现节能目的。

·磁盘休眠和下电技术

磁盘休眠和磁盘降速技术可按磁盘负荷情况控制磁盘工作于4种状态：全速工作、磁盘空闲、磁盘休眠、磁盘下电。有一套自适应控制算法控制磁盘的下电时间。以SAS盘为例，磁盘正常运行功耗约为20 W，在休眠时其功耗大约为1 W，单盘可节能19 W。一个存储设备的盘数越多，节能效果越显著。

2 xUE的研究

2.1 PUE的概念

2007年，绿色网格（TGG）首次在数据中心领域提出了PUE的概念。此后，PUE逐渐成为国际上比较通行的数据中心电力使用效率衡量指标，也是考察数据中心绿色、节能、环保水平的重要指标。PUE是一个比率，越接近1表明能效水平越好，其计算公式为：

数据中心的总能耗是维持数据中心正常运行的所有能耗，包括IT设备、制冷设备、供配电系统和其他设施的能耗的总和。如果数据中心所在建筑同时用于办公等其他用途，则办公等所耗电能不包括在数据中心总能耗中。在数据中心中，只有IT设备能耗被认为是“有意义”的电能。

2.2其他参数概念

2.2.1可再生能源利用率

可再生能源是指在自然界中可以循环再生的能源，主要包括太阳能、风能、水能、生物能、地热能和海洋能等。可再生能源对环境无害或危害极小，而且资源分布广泛，适宜就地开发利用。与可再生能源相对的是煤、石油等化石燃料及核能[3]。

可再生能源利用率（RER）用于衡量数据中心利用可再生能源的情况，以促进太阳能、风能等可再生、无碳排放或极少碳排放的能源利用。

RER的定义为：

2.2.2 CUE和WUE

TGG分别在其32号和35号白皮书对碳使用效率（CUE）和水使用效率（WUE）进行了定义和解释。一般来讲，数据中心的能源都来自于电网，不会产生本地CO2，那么CUE被定义为：

在（3）中，整个数据中心能耗与PUE计算公式中的分子是一样的参数，所以CUE的单位是kg/kWh。

数据中心的WUE被定义为：

可见，WUE的单位是 L/kWh。

CUE能够帮助数据中心的管理人员更好地了解和衡量基础设施产生的温室气体排放量以及影响，而WUE则是能够让工作人员更好地了解和衡量对水资源的使用。它们跟PUE一起，形成xUE系列参数，用以衡量和比较数据中心的绿色化水平。

2.3 PUE的局限性

2.3.1绿色技术对PUE的影响

毫无疑问，绿色技术的使用将降低数据中心的总耗电P总，和ICT设备的总耗电PIT，假设制冷、供配电以及ICT等绿色技术减少的总的耗电量为⊿P总，而单纯ICT绿色技术减少的总耗电量为⊿PIT ，则会产生（5）：

PUE绿色 = （P总 -⊿P总）/（PIT-⊿PIT ） （5）

可以得到使用了绿色技术后的PUE绿色与原来PUE的差值为：

整理可以得：

能够确定的是，PIT -⊿PIT >0，由此可以得到结论：

（1）如果当⊿P总/⊿PIT > PUE 时，PUE绿色 -PUE < 0 ，绿色技术的使用将带来PUE绝对值的降低。

（2）如果当⊿P总/⊿PIT0， 绿色技术的广泛使用将带来PUE绝对值的升高。

可见，各种绿色技术的使用给PUE带来的影响是不确定的。很可能会出现使用了较多的绿色技术，但PUE反而升高的情况。此时作为一个指标，PUE显现出一定局限性，如何避免这种局限性需要进一步研究。

2.3.2 波谷用电对PUE的影响

电力是一种难以储存或储存成本很高的特殊商品，应该尽量做到即时生产、即时消费。早在2010年，发改委、电监会等六部委就联合印发《电力需求侧管理办法》，针对电力需求提出了16项定性或定量的管理措施，其中提到“将推动并完善峰谷电价制度，鼓励低谷蓄能”等，该《办法》于2011年1月1日起开始实施。

该《办法》促使IDC企业积极采用蓄冰池等技术来充分使用波谷电进行制冷蓄能，这样既贯彻了政府的政策，也会在一定程度上降低数据中心的制冷费用，是一个降低运营成本的很好的做法。这种方式将高峰用电转移到低谷时段，既缓解了高峰电力供需缺口，又促进了电力资源的优化配置，是一项“削峰填谷”的双赢策略。但是对于数据中心来说，是否进行波谷蓄能对总的制冷量和总的电能消耗的影响不会太大，所以这种方式在PUE上不一定会体现出来。但是很明显，这种方式对整个社会的用电平衡具有积极的贡献[4]。

3 中国IDC绿色技术的应用

现状

3.1大型IDC运营商的新技术尝试

2012年底到2013年初，云计算发展与政策论坛对百度、腾讯、阿里以及三大运营商的6个典型机房进行了绿色技术的调研和分级评估。这6家目前中国最大的数据中心运营商已经开始在实践中采用更多的绿色技术来实现数据中心的节能。

其中，百度M1数据中心实践了“数据中心是一个整体，节能从源头开始”这一理念，通过基础设施、IT设备和软件协同，打造出高效绿色数据中心，取得了PUE第一的佳绩。位于天津的腾讯某数据中心单元大规模应用冷热通道隔离、水侧自然冷却、自然风冷却、变频技术、分时式制冷等多项节能技术，绿色节能能力居于中国领先水平。中国电信的永丰国际数据中心从设计、建设到运营维护，均采用先进的绿色节能理念，通过冰蓄冷、水冷自然冷源、高压直供、分散式供电、太阳能等新技术以及科学运维，获得了显著的节能效果。

位于杭州的阿里巴巴某数据中心是阿里巴巴集团与杭州电信联合建设的高效绿色数据中心，积极采用高压直流、市电直供、新风自然冷却等技术，并在直流服务器等方面获得了突破，节能效果十分显著。位于无锡的中国移动某数据中心通过密闭精确送风、配电系统监测等绿色节能技术和完善的节能管理方法，实现能源效率的显著提升，为传统中小型数据中心的绿色节能改造树立了典范。位于天津的中国联通华苑国际数据港采用了谐波治理、高压水喷雾等绿色节能技术，实施了提高机房送风温度、电能精细化管理等节能措施，为探索租赁型数据中心的绿色节能积累了宝贵的经验。

3.2 IDC产业存在的问题

据统计，近7年来，中国IDC市场规模增长了约6倍。相比欧美发达地区，中国数据中心数目庞大，但规模偏小。当前，为满足快速增长的市场需求，各地加快了数据中心特别是中大型数据中心建设步伐。但是，在发展的同时，我们还面临着一些挑战和持久战问题。

首先是新技术创新和引入缓慢。中国数据中心平均能效利用率普遍在2.2～3之间，而发达国家多为1.5左右，谷歌等大型互联网公司的数据中心甚至能够达到1.1或更低。由于缺乏足够的政策支持和引导，以及早期的资金投入比较大等因素，导致中国数据中心运营企业通常采取跟随战略，投资意愿不强，创新能力不足，技术引进缓慢。

其次是共享意识不强。就国际上来看，虽然各互联网巨头一向对其数据中心讳莫如深，但还是能够开放一些最佳实践，特别是Facebook的OCP项目，将其硬件设计开源，体现出行业领导者的责任感和使命感。在中国，企业对于新技术的共享意愿不强，只有极少数领先企业愿意向社会公开他们的技术细节。表面上看这是企业的共享意识问题，但是往深层次看，实际上这是知识产权保护的问题。

还有一点是数据中心布局不合理。据统计，目前中国可以提供IDC服务的数据中心有500个左右，主要分布在北京、广东、华东等经济发达、业务量大和带宽资源充足的地区。这些地区本来的自然条件、能源供应的情况就不太理想，数据中心的扎堆给这些地区的能源使用更是带来了严峻考验。

4 对中国数据中心发展的

建议

我们发现PUE存在一定的局限性，所以PUE不是我们追求的最终目标，但这不会影响我们对于绿色技术的创新和使用。中国数据中心能耗使用效率较低是不争的事实，我们需要采取一定的措施来推动和促进数据中心产业的发展。

（1）需要加大新技术的研发力度。推动产业发展的根本是技术，数据中心的各个相关方面，包括供配电、制冷和ICT设备等，中国都有领先的制造商，但是各种先进技术还主要为其他国家的厂商掌握。面对巨大的数据中心市场，需要这些企业将使命感和责任感转化为对新技术研发和推广的动力。只有掌握了核心技术才能真正掌握主动权。

（2）加大标准化力度。目前，已有多个通信行业标准组织已经积极开展数据中心相关标准的研究工作。2013年4月，工信部发布了《电信互联网数据中心（IDC）总体技术要求》、《电信互联网数据中心（IDC）的能效测评指标》、《互联网数据中心分级分类技术要求》等4个相关标准。这几个标准仅仅是一个起点，对于支撑中国IDC行业的发展还远远不够，需要进一步加强IDC运营维护等其他方面的标准化进度。

（3）加大政策支持力度 。政策对数据中心的发展具有推动作用，2012年11月30日由由工业和信息化部发布的《关于进一步规范因特网数据中心（IDC）业务和因特网接入服务（ISP）业务市场准入工作的实施方案》放开了IDC牌照的申请；2013年初由工业和信息化部等部门发布的《关于数据中心建设布局的指导意见》为数据中心提供了宏观的建设指导。行业还需要一些实践指南、与电力政策挂钩等等鼓励性政策，来进一步推动中国数据中心的良性发展。另外，政策对数据中心的发展具有保驾护航的作用。需要有更多的知识产权保护相关方面的政策出台，以保护和推动企业的技术创新。

（4）加大评测体系支撑力度。测评有利于行业内的横向对比，并可以促进竞争。同时，测评也有利于政府对IDC行业的掌控。2013—2014年，工信部电信研究院开展了两轮绿色数据中心评测工作，评估对象包括阿里巴巴、腾讯、百度等三大互联网公司，以及中国电信、中国联通和中国移动等三大运营商以及业内一些IDC运营商的数据中心。这也是中国国内依据行业标准、由第三方组织开展的权威评估活动，评估得到了TGG等国际组织的大力支持。从发布的评估结果来看，部分云计算数据中心通过一系列先进技术的应用，能源有效利用率已经能够达到74%（PUE为 1.36），中国的数据中心行业与国际领先水平的差距正在逐渐缩小。

5 结束语

目前，中国已成为数据中心大国，只是很多数据中心是直接从机房改造而来，当时的改造主要从业务快速部署的角度出发，而关于能效方面考虑得较少，这导致中国数据中心的平均能效水平较低。但我们也应该注意到，中国新建的很多数据中心已经在积极地进行更多新技术的尝试和应用。百度2015年7月建成的阳泉数据中心太阳能光伏发电项目成功并网发电，这是太阳能光伏发电技术在国内数据中心的首例应用；9月，阿里巴巴的千岛湖数据中心正式启用，因地制宜地采用深层湖水进行制冷，这是中国首个利用自然水冷却的数据中心，与普通数据中心相比，它一年可节电约数千万度，减少的碳排放量相当于1万多吨标煤。我们通过研究IDC在制冷、供配电和ICT设备方面的绿色新技术，不断加大技术创新和引入力度，加大政策的支持力度，加快相关标准的制订力度以及测评体系的支撑力度，从而实现中国数据中心的绿色健康发展。