数据中心供电系统的节能设计

文│ 先控捷联电源设备有限公司 陈冀生

中国电源学会专家委员会 张广明

1 引言

数据中心节能降耗工作是艰苦而漫长的过程。首先要搞清楚数据中心基础设施能耗的去向，各子系统的能耗状况和降低能耗的潜力，在此基础上制定出综合治理策略，如果仅从某一层次采取孤立解决问题的战略，或具备某一层次技术支持的厂商是不可能取得明显效果。

2 数据中心能源效率指标

当前，测量数据中心能耗的指标主要用“电能使用效率”，即：

但是，为便于了解各子系统能耗状态，并对新技术新方案应用的节能效果进行评估，在进行能耗测量时又提出了另两个指标：

（1）空调制冷负载系数CLF，即：

式中PCooling为空调制冷系统耗能，包括冷源（冷水机组、冷却塔、干冷器、水泵、电动阀门、水处理设备等）、空调、湿度调节、新风系统等所有设备的耗能（含空调制冷系统中消耗其他能源所折算出的电量消耗值）。

（2）UPS供配电负载系数PLF，即：

式中PPower为供配电系统耗能，包括高压配电、变压器、线缆传输、转换开关、各级低压配电、UPS、谐波治理等设备的耗能。

3 当前数据中心能效状况

实际上，没有做节能设计的机房的PUE值普遍偏高，测量数值一般在3.0左右。图1是一个大型数据中心能效测试数据，该数据中心设计标准符合TIA 942 IV级标准，IV级数据中心基础设施配置和运行的基本情况如下：

图1 典型的IV级数据中心能效分布

（1）交流输入数量为二路。

（2）供电冗余2N或2（N+1）。

（3）需要全部计算机硬件有故障容错的双电源输入。

（4）连续制冷。

（5）不存在单点故障（不包括人为错误）。

（6） 每年电力环境引起的IT停机时间（实际值）为0.4小时。

（7）整个数据中心系统的可用性为99.995%。

从图1可以比较清楚地看到目前典型的数据中心电能分布情况，各子系统的具体能耗分布如下：

①制冷系统的能耗约占数据中心机房总能耗的33%左右。

②空调送风和回风系统的能耗约占数据中心机房总能耗的9%左右。

③加湿系统的能耗约占数据中心机房总能耗的3%左右。

④UPS供电系统的能耗约占数据中心机房总能耗的15%左右。

⑤配电、谐波治理、变压器等能耗约占数据中心机房总能耗的5%左右。

⑥转换开关和线缆及其他系统的能耗约占数据中心机房总能耗的1%左右。

⑦照明系统的能耗约占数据中心机房总能耗的1%左右。

⑧机房辅助（维修和办公）设备的能耗约占数据中心机房总能耗的2%左右。

⑨IT设备的能耗约占数据中心机房总能耗的32%左右。

图1是没有进行节能设计和改造且符合TIA 942 IV级标准的特例。综合分析我国根据当前各种类型的数据中心公布的节能数据可知， PUE值均在3.0以上，特别是传统的未经节能设计的高性能数据中心，PUE测量值均在3.0左右。

4 数据中心基础设施能效低下由传统设计造成

数据中心从诞生到现在已经有四十多年，在这漫长的发展过程中，数据中心技术也历经了翻天覆地的变化，而能耗问题是最近几年才被提出。在此之前，数据中心的规划设计和广大工程技术人员没有主观地从系统的角度对节能降耗问题做过深入地研究，也可以说数据中心高能耗问题是采用传统设计理念和建造技术的必然结果。

传统IT技术、供电和散热技术的局限与低效是能效较低的根本原因，如表1所示。

表1 传统数据中心中IT技术和供电、散热技术的相似之处

5 造成数据中心基础设施能效低的主要原因

在数据中心机房基础设施能效低的各种因素中，设备容量利用率低是最主要原因。

5.1 设备利用率低是数据中心机房基础设施主要特征之一

在数据中心机房基础设施中，供电和制冷设备普遍存在着低于额定容量下工作的现象，原因有以下四个方面：

（1）IT实际负载低于系统设计（统计）容量，一般来说实际负载是系统设计（统计）容量的70%。

（2）出于可靠性的考虑，设计和设备选用时有意使用过度规划的组件，以提供安全余量（20%～25%的降额）。可靠性的考虑，同时通常对关键的环节或可靠性薄弱的设备采用容错冗余配置，当采用2N配置时，设备实际的输出容量又降低50%。

（3）考虑到在生命周期内要适应负载的多样性、不确定性和可能出现的扩容需求，规划设计时通常要过度规划配电系统容量，典型的配电环节和各级开关的过度规划量大致为30%～100%。

5.2 设备损耗类型与负载量的关系

设备的损耗有三种类型，如图2所示。

（2）比例损耗：损耗百分比不变。

（3）平方律损耗：损耗百分比与负载电流（包括谐波电流）的平方成正比。

表2是数据中心机房基础设施各种设备在额定值负载情况下的典型电能损耗。

表2

设备的运行效率实际上就是输送给负载功率的百分比。第三种损耗虽然随着输出电流的增加会减少输送给负载功率的百分比，但这部分损耗主要表现在主电路输入、输出导线和开关器件上，数值较小。第二种损耗的百分比与负载无关，所以不会随着输出负荷的增加而影响输送给负载功率的百分比。只有第一种损耗百分比是随着负载的增加而减少，所以输送给负载的功率百分比会随着负载量的增加而增大，即工作效率会随着输出负载的增加而提高。以UPS设备为例，图3和图4说明两者关系。

图3 设备损耗类型及对工作效率的影响

图2 三种损耗比例及其与负载量的关系

（1）空载损耗：损耗值与设备额定容量有关，损耗百分比随着负载的减少而增加。

图3是UPS设备自身损耗和传送给负载功率的比例，当负载量达到设计额定值的90%时，虽然设备的比率损耗和平方律损耗都有所增加，但传送给负载功率的百分比可达91%。当负载量只有设计额定值的20%时，虽然设备的比率损耗和平方律损耗都减少，但是由于设备空载损耗并没有随着负载的下降而减少，所以传送负载功率的百分比只有75%。把自身损耗和传送给负载功率的比例以纵坐标表示出来，就是典型的当前UPS设备的效率曲线。

图4 数据中心机房基础设施用电效率与实际负载的关系

图4更直接地反映了数据中心机房基础设施用电效率DCIE和能效比PUE与实际负载的关系。在机房基础设施不做节能改造的情况下，如果提高容量利用率，便可改善系统的PUE值。

以上分析的结论证明，提高容量利用率是提高设备运行效率的关键。

6 数据中心的节能策略

数据中心节能降耗的最终效果体现在降低数据中心总设备能耗。从能效指标PUE可以看出，数据中心总能耗主要由两个因素决定。

（1）IT设备能耗。这部分能耗对数据中心总设备能耗的影响主要表现在IT设备能耗与PUE的乘积上。如果数据中心能耗指标PUE=3.0，当IT设备能耗降低1kW时，则数据中心总能耗就可降低3kW。数据中心PUE值越高，降低IT设备能耗的作用越明显。

（2）能耗指标PUE。PUE是在IT设备能耗为1.0的情况下计算得出，所以PUE主要是由数据中心基础设施设备的能耗所决定。确切地说，主要是由供电、制冷等系统能耗所决定。

明确以上关系后，节能降耗方面就能有清晰的工作重点。

6.1 降低IT设备能耗和提高基础设施能效并举

数据中心节能降耗应从两个方面入手，第一是减少数据中心IT设备对电能的需求，降低其能耗和发热量；第二是提高供电和制冷系统的效率，减少不必要的浪费。

数据中心在这两个方面都存在很多问题：一方面，IT技术迫于应用发展的压力不断增加设备数量，提高计算密度，造成更大能源需求压力；另一方面，由于基础设施方案、设备和结构布局的不合理，特别在低效的供电和制冷系统等方面，又浪费了大量能源。

减少数据中心对能量的需求，可使数据中心原有的供电和制冷容量满足数据中心更长时期的扩展需求，改变或延缓机构建立新的数据中心计划。传统数据中心通常是采用超额供应策略来满足未来扩展的需求，不仅IT设备超额供应，供电和制冷基础设施也超额供应，这必然造成数据中心成本（购置成本和运营成本）的增加。

采用低功耗的芯片、节能外设以及节能服务器可以有效地减少数据中心的能量需求；从整体布局角度分析，可以全面采用虚拟化技术以及实施服务器和存储整合解决方案，减少数据中心服务器数量和存储容量冗余，以及采用水冷却机柜提高功率密度、降低能耗等措施，既满足业务需求，又降低数据中心对供电和散热的总需求。

6.2 综合节能策略

数据中心的节能降耗应采用综合节能策略，贯穿于从规划、设计、建造、设备选型、维护管理等全过程，涉及从IT设备芯片和器件，到服务器和存储等设备、放置各种设备的机架，再到整个数据中心基础设施（机房建设、供电、制冷等）。任何试图仅从某一层次孤立解决问题的战略，或只具有某一层次技术支持的厂商都不可能取得成功。

综合节能策略概括起来应包括以下几个方面：

（1）IT设备节能组件包括：以节能组件设计，节能的服务器与存储设备，刀片系统与热量智能控制技术，机内高效电源。

（2）IT动态节能管理包括：虚拟化技术，提高系统利用率，电源智能管理。

（3）基础设施节能优化包括：提高设备利用率，高效供电系统和设备，动态智能散热技术，紧耦合散热技术，机架水冷却技术。

（4）节能咨询与服务包括：数据中心节能策略和规划，电力审计，制定环境改造计划，规划和运行能耗评估。

大部分数据中心在规划之初，要想做到准确规划IT设备的具体型号、装机数量和电力需求具有相当大的难度，尤其是远期规划则更加难以预测。因此，在数据中心的规划建设过程中，只能依据经验数据和同行业现状，给出IT设备的总体能耗指标，提供数据中心的最大服务能力。

6.3 机房建筑与布局的节能策略

绿色数据中心首先应当考虑的应用对象便是绿色建筑。建筑物围护结构的能耗在数据中心总体能耗中也占有一定的比例，也是节能降耗应该重点关注的一个方面。

在设计数据中心机房围护结构时要考虑的主要问题之一是热隔离性能。由于机房中有大量的IT设备产生热量，冬季气温较低时，围护结构只能将少部分热量带走，大部分热量需要空调系统进行换热。夏季气温较高时，围护结构能有效地影响机房内的温度。因此，为了减小对围护结构的影响，就需要使机房墙体具备较好的热隔离保温功能。

首先要做好机房的空间与平面布局规划，确定机房的场地分隔、工作流程以及建筑工艺。现行数据中心通常采用机房密闭护围、大空间、少隔断、适宜的空间容积、人机区域分离等。主机房内各IT关键设备区域用房应集中（相邻）布置，其他支持区和辅助房室内温、湿度要求相近的房间也应相邻布置。在数据中心IT关键设备区域布置中，应根据IT关键设备种类、系统特性、设备的发热量、机柜布置密度、设备与机柜的冷却方式等，综合考虑数据中心机房区域、机柜列组、机柜内部三个层面的精密空调设备制冷的气流组织。包括空调设备的位置布置、送回风方式、送风口和回风口设置等。采用“冷通道”与“热通道”的送回风通道、平衡和散列高密度机柜中的设备布置等，这些都是当代数据中心空间与平面布局的设计理念与节能策略。

对于建筑体内的数据中心机房区域，需要在符合《公共建筑节能设计标准》的前提下，加强对数据中心机房区域进行建筑热工复合计算和设计处理。同时，根据数据中心所在外部环境、主机房区域的内外部环境以及主机房内各功能区的内部环境，对IT关键设备区域加强措施，合理计算保温隔热的热工参数，选择适宜的围护结构与材料。在可能的条件下，使用传热系数（K）值小的绝热材料。对顶、地、墙的六方体进行隔热，以减小围护结构四周的传热系数，将数据中心的机房区域包裹起来，可以达到较好的密闭、保温、节能效果。

对数据中心的主机房区域应当采用无窗密闭护围，以避免和减少进入室内的太阳辐射以及窗或透明幕墙的温差传热。对数据中心的支持区和辅助房间等功能区采用有窗玻璃护围时，应该控制建筑朝向及窗墙面积比，采用双层玻璃窗或low-e玻璃（幕墙），并辅助采用遮阳设施（外遮阳、内遮阳等）以减少太阳辐射量。

6.4 供电系统的节能策略

图5是一个典型的数据中心供电配置系统示意图。在一个高性能的数据中心供电系统基础架构中，图5所列出的配电环节和相应的设备都是必不可少的。在评估或测试数据中心供电系统效率时，一是要考察系统中所有环节和设备的能耗，而不是仅由主要设备（例如UPS）来确定系统的效率。系统中的配电、变压器、转换开关、谐波治理、线缆等都消耗输入功率；二是不应只考察所用设备的标称效率，而应考察系统中所有设备在实际运行状态下的效率。绝大部分设备的标称效率是较高，例如UPS设备，尽管它的工作效率在系统所有设备中是最低的，但当前的UPS设备的标称效率均在92%左右，很多大功率（特别是由无输出变压器电路组成的UPS）其满载标称效率可达94%以上，但在系统中实际的负载量与实际的工作效率要低得多。当然，供电系统中的其他设备工作效率同样是随着实际工作容量的减少而降低。

供电系统的节能主要依靠系统设计、提高产品性能。对于机房供电系统的规划设计应注意以下几个方面：

（1）合理规划供电系统裕量和系统冗余度，避免过度规划。应尽可能采用允许电源基础设施随着负载的增加而增大的模块化架构。

（2）应当关注电力传输电缆的经济性，在电缆线损与价格上寻找平衡点，选用高效的变压器、转换开关、谐波治理、配电等供电设备。

（3）供电系统中的无功功率主要是由高次谐波造成，治理谐波对降低设备和传输损耗，提高电能的使用效率至关重要，特别是要选用高输入功率因数的UPS设备。

（4）选择高效UPS电源系统。重点观察设备在实际负荷情况下是否处于高效状态，目前UPS特别是无输出变压器UPS系统的效率在很大的负载范围内都可达到94%。

6.5 制冷系统的节能策略

最近几年来，为了应对数据中心高能耗和高密度计算产生的巨大热量以及局部高温的难题，制冷系统从设计理念到新技术的应用都发生了巨大的变化。图6是传统的未经节能设计和改造的数据中心能耗状况示意图，从中可清楚地看到，在房间制冷的状态下系统能耗分布情况。

图5 典型的数据中心供电系统配置

图6 传统数据中心能耗的分布示意图

从图6可以看出，在传统数据中心系统能耗指标PUE=3.0的情况下，制冷系统占1.55，也就是说，当IT负载功率为100kW时，制冷系统要消耗155kW的功率。其中，湿度调节消耗10kW，空调（空调设备自身损耗+冷热气流输送风机功率）消耗30kW，制冷消耗115kW。机房的热源除IT设备100kW之外，还包括照明及辅助用电设备消耗10kW、UPS供电损耗20kW、谐波治理及其他供电设备损耗15kW、空调送风及湿度调节设备损耗40kW，再加上机房防护结构的传热和冷气的泄漏损耗等。要抵消这些热源产生的热量大概需要200kW左右的冷量。但是，按照空调机制冷能效比为1:3的情况，110kW的制冷功率可产生330kW的冷量，这之间巨大的差距是空调制冷效率降低造成的。在实际运行中，空调机制冷效率根本得不到充分的发挥，影响空调机制冷效率的主要因素有空调布局和气流组织问题，造成空调回风温度降低，室外与室内机的匹配问题、多台空调机制冷和湿度调节运行状态的设置问题等。在诸多原因中，冷热气流直接混合是最主要的原因，因此改善机房内的气流组织变得非常重要。

在当代的数据中心里，制冷系统的设计主要是针对制冷功率，而采取的措施包括：采用盲板（空气挡板）防止热空气在机柜内循环；机架摆放采用冷、热通道的布局；空调机应正确安放；提高活动地板铺高，重视机房（特别注意活动地板下送风夹层）的密封；关注机架制冷效果，提高机房室内温度；采用不停电供电及冷冻水空调系统；针对热点紧靠热源制冷；在高密度区采用气流遏制系统（冷通道或热通道封闭）；采用自由制冷技术。

7 数据中心能效测量与评估

当前数据中心节能降耗工作存在的问题是：缺乏指导性的标准；缺乏科学的能耗测量方法；缺乏节能规划、设计和节能技术改造的数字依据；缺乏节能规划、设计和节能技术改造的评估和验收标准。

采用正确的能效测量方法才能真实地反映所建数据中心的能效状况，就目前情况看，以下几点是对数据中心能效测量时必须注意的问题和遵守的原则。

7.1 数据中心能耗测量和统计范围

以下是能效测量时应该明确的测量范围及相关的定义：

（1）测量和统计的区域

①数据中心主机房包括：服务器机房、网络机房、存储机房等功能区域。

②数据中心辅助区包括：电信进线间、测试机房、IT监控室、备件库、维修室等区域。

③数据中心支持区包括：变配电室、发电机房、UPS 室、电池室、空调机房、新风机房、动力站房、环境、动力监控值班室、消防设施用房、消防和安防控制室等。

④行政管理区包括：工作人员办公室、门厅、值班室、盥洗室、更衣间等。

（2）数据中心总能耗

①IT设备耗能。

②数据中心基础设施耗能：包括供配电系统、UPS系统、空调制冷系统、消防、安防、环境动力监控、机房照明等数据中心基础设施设备的耗能。

（3）IT设备

包括计算机、通信设备、处理设备、控制设备及其相关的配套设施构成，按照一定的应用目的和规则，对信息进行采集、加工、存储、传输、检索等处理的人机系统称为电子信息系统。

（4）输入能源

①主供电电网。

②备用发电机。

③非主供电电网（由个别设备引入）。

④太阳能、风能等再生能源，最终都以输入到数据中心的电能表示。

（5）供配电系统

供电系统由高压配电、变压器、配电柜、线缆传输、UPS系统、空调制冷系统配电、安全、照明配电、列头柜、机架PDU等组成。

（6）UPS系统

包括输入配电、输出配电、UPS主机（单机、冗余并机）、电池、并机柜等。

（7）空调制冷系统

①机房内使用的空调设备包括机房专用空调机、湿度调节设备等。

②冷源的设备包括风冷室外机、冷水机组、冷却塔、干冷器、水泵、电动阀门、水处理设备等。

③新风系统包括新风预处理机和送风系统等。

（8）其他设施

包括照明设备、安防设备、消防灭火设备、传感器以及数据中心的管理系统等。

7.2 测量周期和频率

能耗指标的数值受各种因素影响，会随季节、节假日和每天忙闲时段的改变发生变化，因此为全面准确了解数据中心的能效，应采用固定测量仪表，对数据中心能耗进行持续、长期的测量和记录。测量的周期和频率如下：

（1）每年测量4次，分别在春季、夏季、秋季、冬季进行测量。

（2）每个时段测量时间间隔不少于3天。

（3）每天测量不少于2次，分别在数据中心业务忙时和闲时进行测量。

（4）每次测量不少于1小时，取稳定数值或3次测量的平均值。

注意：在每次测量时，要对各点和各环节测量的同时性。

7.3 对共用供电系统的测量

在进行数据中心能效测量时，要把供电系统分为两种类型，即独立供电系统、共用供电系统。

（1）独立供电系统：为数据中心配置的主供电电网（包括备用发电机）只对本数据中心供电，本数据中心的主机房、辅助区、支持区和行政管理区内的所有设备都由主供电电网供电。

（2）共用供电系统：为数据中心配置的主供电电网（包括备用发电机）可能还向数据中心之外的用电设备供电，本数据中心的主机房、辅助区、支持区和行政管理区内的个别设备可能由建筑物内的其他电网供电。

对独立供电系统的能耗的测量要相对简单些，只要测量出IT设备的实际运行能耗和主输入线路的总功率输入就可以。但是对共用供电系统数据中心测量或者是独立供电系统时，需要对数据中心内局部（子系统）进行测量时，因为输入总功率除来自主输入线路外，系统中主机房的冷源（例如集中空调、水冷等）、非主机房区域的安全、照明及辅助设备等，可能是由所在地区和建筑物的其他供电线路提供，所以在测量和统计总输入功率时应注意以下几点：

①总输入功率应包括主机房、辅助区、支持区和行政管理区内所有的与数据中心有关的用电设备功率。

②测量非主供电线路的输入功率时，应考虑非主供电线路输入功率的上级设备（变压器、配电和线缆传输）的效率，也就是说要在这部分功率的数值上除以上级设备的效率。通常配电和线缆传输的效率典型值在98.5%～99%之间，输入变压器的效率的典型值在98%～98.5%之间。

③当很难对非主供电设备用电功率进行准确的测量时（例如建筑物集中空调、水冷冷源及室外设备、安全照明设备等），可采用折算的办法进行估算，折算办法包括：用共用供电系统各部分的设备的额定功率分摊；用共用供电系统各部分的面积或空间（例如照明和制冷）分摊功率；用共用供电系统各部分的电费分摊功率。

7.4 数据中心能效状态评估

能效状态评估的前提是对数据中心能效的正确测量和符合实际情况的能耗测量数据进行整理，评估内容应包括：

（1）针对整个数据中心能效状态（PUE）对数据中心规划、选址、可用性、节能设计等做出综合性评估，并对存在问题和改进措施进行可行性分析。

（2）针对供电系统能效状态（PLF）对供电系统方案、供电设备运行状态和效率等做出评估，并对存在问题和改进措施做可行性分析。

（3）针对制冷系统能效状（CLF）态对空调制冷方案、设备运行状态和工作效率、机房气流组织状态等做出评估，并对存在问题和改进措施进行可行性分析。

即使在测量中采用了相同的指标定义、测量点、测量周期和测量工具，数据中心的能效仍然会因为其所在地理位置、功率密度、机房规划等级、主要业务类型、IT设备上架率、运维管理上的差别等不同而产生明显差异。为更加全面、准确地反映数据中心能效，在公布能效指标数值时，应包括数据中心所在的地理位置，至少精确到具体的城市；数据中心能效测试的方法和具体时间段、频率、室内外温湿度等；数据中心的设计平均机架功率密度、最大机架功率密度、最小机架功率密度；数据中心规模以总电容量计算（kW）；数据中心实际使用率（上架IT设备功率占总设计IT功率的比例）；数据中心建筑形式（单体机房、与办公等混用或者模块化、集装箱式等）；数据中心用途，政府或事业单位、企业应用、互联网应用、客户设备托管等；数据中心供电和制冷方式，例如高压直流供电，风冷/水冷式空调、自然冷源（说明年使用时）；是否采用了间接测量和估算方法，估算时的测量点、热负荷比例和估算方法等。