大型数据中心节能设计实例分析

文｜国网信息通信有限公司 郭向东

1 引言

目前，国内大型数据中心如雨后春笋般层出不穷，数据中心面积越来越大，从几百平方米到几千平方米，甚至上万平方米的数据中心越建越多。如此大规模的数据中心对电力的需求也呈现出爆炸式增长的趋势，因此，节能成为大型数据中心在设计和运行时要考虑的首要问题之一。

据全球最具权威的IT研究与顾问咨询公司——Gartner（高德纳）公司统计，随着能耗和能源成本的节节攀升，能源支出已成为全球70%数据中心的第二大运营支出项目，仅次于人力成本。鉴于国内的人力成本较低，国内数据中心的能源支出要远远超过人力成本。从各大数据中心对电力的需求来看，数据中心已经成为重要的高耗能产业而非“无烟工业”，建设绿色、节能的数据中心急需从概念走向实际。

2 数据中心节能的必要性

按照Tier3或Tier4的标准，数据中心电力应按照1.0～1.6kW/m2的需求进行配置。很多国外数据中心的电力配置更高，例如，美国“圣地亚哥超级计算机中心（SDSC）”的数据中心按照1.42kW/m2配置电力；马里兰州毕士大（Bethesda）的“美国国家环境预报中心（NCEP）”的数据中心电力配置达到1.85kW/m2。目前国内新建数据中心的电力配置也基本满足Tier3或Tier4的要求。根据对国内数据中心的调查统计，面积为1000m2的机房，每年的用电量多在500～700万度左右，因此节能十分重要。

随着数据中心的不断变大，绿色节能数据中心已经由概念走向实际。衡量数据中心节能的指标通常用PUE（Power Usage Effectiveness）值表示，简单来说PUE=机房总耗电量/IT设备耗电量，PUE越低，说明机房越节能。当PUE=1时，说明机房所消耗的电量全部用来维持IT设备运行，其他设备如空调、照明等没有消耗任何电力，在理论上是最节能的机房。当然，这在实际中是不可能的，但追求更低的PUE值已经成为数据中心设计的首要目标。例如，微软公司建在都柏林的数据中心是数据中心设计的里程碑，其PUE值为1.25。据最新报道，Google公司现在已经有部分数据中心的PUE值降低到1.11。

而我国目前数据中心的PUE平均值基本在1.8～2.0，中小规模机房的PUE值更高，大都在2.5以上。这表明国内数据中心在前期规划及设计时没有充分考虑节能问题，在数据中心选址、机房装修、空调制冷、UPS、照明等影响节能的因素上存在设计缺陷，导致PUE值偏高。然而，不切实际的追求过低的PUE值同样是不可取的，过度追求更低的PUE值通常情况下都需在建设初期投入大量的资金，这对国内的企业是个两难的选择。

3 绿色节能数据中心的设计理念

3.1 国外绿色节能数据中心简介

大型数据中心的建设应以安全、绿色、节能为首要目标，从数据中心的选址、建筑结构、设备选型到机房装修、空调制冷方案都应充分考虑绿色节能的因素。

国外在这方面有很多案例值得借鉴，例如惠普公司将数据中心建在靠近海边的温耶德，将凉爽的海风进行预处理后直接送入机房作为免费冷源。温耶德数据中心是惠普公司能源使用效率最高的数据中心，据估算满负荷运行时，该数据中心的PUE值仅为1.16。此外雅虎公司的纽约数据中心、微软公司的都柏林数据中心等也都采用了冷空气作为免费冷源的制冷方式，省去了空调制冷设备，取得了非常低的PUE值，提高了电能利用效率。

3.2 节能设计的理念

数据中心节能设计涵盖多个方面，主要因素当然是空调制冷系统，但UPS、机房装修、照明等因素同样影响着PUE值，甚至变压器、母线等选型也影响着PUE值。对于UPS而言，根据IT设备的实际负荷选择合理的UPS容量，避免因UPS效率过低而产生较大的自身损耗。同时，选择更加节能的高频机、优化UPS拓扑结构都可起到节能的效果。将IT设备专用变压器布置在靠近服务器机房的地方，可减少母线长度，节约母线的投资，同时在运行时也减少了线损，节约了电费。

在机房装修方面，对墙、顶、地采用保温材料也可以取得很好的节能效果。尽量加大架空地板的高度，使风口地板出风更加均匀，提高精密空调制冷效率，同样有利于机房节能。根据实验分析，架空地板高度为1200mm比较理想，考虑到其他因素，一般建议取900mm～1000mm为宜。机房内最好采用冷热通道封闭设计，并利用盲板封堵未安装服务器的机柜，避免冷气流“短路”，将极大地提高精密空调的制冷效率。

据美国采暖制冷与空调工程师学会（ASHRAE）技术委员会9.9（简称TC9.9）统计报告显示，数据中心各部分用电量比例如图1所示。

从图1可以看出，空调制冷占数据中心总电量的近三分之一，是降低PUE值的关键指标。将外界冷空气进行过滤、加湿后直接送入机房，进而取消空调设备，固然是个很节能的方案，但对国内的空气质量而言，其用在空气过滤及加湿上的费用及人工费用恐怕要远高于电力费用，不具有大规模的使用价值。

笔者近年来参与了多个数据中心的建设和运维工作，其中用到了“自然冷却”这个技术，取得了很好的节能效果。根据数据中心设计和运行时出现的问题，谈一下笔者的心得，供读者参考。

4 绿色节能数据中心的建设实例

4.1 项目背景

该项目位于北京地区，数据中心建筑面积约2万平方米，其中机房面积约1万平方米，由若干个机房模块组成，服务器机房的IT设备热负荷及环境热负荷达到1.4万千瓦。面对如此巨大的发热量，采用传统的风冷式精密空调显然不适于本项目。在进行前期制冷方案论证时，根据北京地区冬季时间长、气温低的特点，决定采用空调冷水机组+板式换热器相结合的“自然冷却”制冷方案，在机房内通过冷冻水型精密空调向IT服务器提供冷源。

采用冷冻水制冷方式比传统的风冷制冷方式更加节能，这种系统在机房内采用低温冷冻水对IT设备降温，再将机房内的热量输送到户外，采取水蒸发的方式进行散热。由于采用了高效率的大型冷水机组及散热冷却塔，再加上对水系统采取严密的控制措施，可以使冷却效果得到更好的保证。

4.2 实施方案简介

“自然冷却”即“FREE-COOLING”技术是一个非常广泛的概念，简单来说只要利用外界自然条件减少耗电制冷的技术都可称之为“自然冷却”。本项目中制冷系统在冬季和夏季采用不同的运行模式实现节能。在冬季及过渡季节，当外界湿球温度小于4℃时，采用FREE-COOLING运行模式，即冷水机组停止运行，经冷却塔散热后的冷却水和从精密空调来的冷冻水在板式换热器内进行热交换，将机房内的热量带走，此时冷却塔起到冷水机组的作用。在此过程中仅冷却塔的风扇、水泵及精密空调等设备在耗电，而冷水机组完全没有耗电。在夏季及过渡季节，当外界湿球温度高于4℃时，FREECOOLING运行模式已无法满足数据中心制冷需求，此时冷水机组开始制冷，回到传统的空调压缩机制冷模式运行。

4.3 技术要点

4.3.1 数据中心制冷系统设计

作为数据中心的关键基础设施，冷冻站的设计是最重要环节。本项目设置两个相对独立的制冷机房，每个冷冻机房有两台3500kW（合1000RT）的离心式冷水机组，三用一备。冷冻水供回水温度设定为11℃/17℃。考虑前期负荷较小，为避免离心式冷水机组在低负荷时发生“喘振”现象，系统配置两台400RT的螺杆式冷水机组。板式换热器按冷冻水11℃/17℃ ，冷却水 9℃/14℃进行设计。

为实现制冷系统的不同运行模式，冷冻水泵选择了两种不同扬程的变频水泵以适应FREE-COOLING运行模式和冷水机组制冷模式。

4.3.2 空调水系统设计

为避免空调水系统的单点故障，空调冷冻水系统采用环状管网加按模块组设枝状管网的方式。各模块组内空调管网上的阀门配置原则应满足：当一组阀门发生故障时，受影响的负荷不大于30%的模块负荷。冷却水主环管道设置在室外冷却塔下，为平衡各管道的压降，在所有回水主管设置平衡阀。

鉴于数据中心全年不间断运行的特点，要求空调水系统也应具备全年不间断。因此设计空调水系统时必须充分考虑安全可靠性和可在线维护性。空调水系统一旦发生泄漏，将造成毁灭性的事故，需要采取特殊的措施加以防范，在保证数据中心运行的同时，实现安全更换阀门、管件等设备。

4.3.3 空调系统控制逻辑

在制定空调系统控制逻辑时，首先基于冷水机组、水泵、冷却塔的能耗数据及北京地区的气象条件，提出了合理的节能系统流程图，并与假定冷水机组全年运行的能耗数据进行比较，在理论上做出节能运行分析。

其次，为了保证空调系统安全、节能运行，本项目中控制逻辑分为夏季和冬季两种模式。在由冷水机组转换到自然冷却时，为了避免冷水机组发生低温保护，必须首先开启冷却水管道的旁通阀，将冷却水水温提高，以便顺利开启冷水机组。

冬季自然冷却时，冷却塔处于低温环境，而冷却塔又必须供应低于冷冻水温的冷却水（比如6℃～8℃的冷却水），控制逻辑必须防止冷却塔结冰现象的发生。

控制逻辑还需采取必要的措施以应对极端情况，如传感器失灵、断电重启等。在本项目中为了减少断电重启所需的时间，本系统中所有电动阀门由UPS供电。

4.4 节能方案所取得的效果

根据实际运行经验，本数据中心最迟从每年的12月中旬就可启用FREE-COOLING运行模式，一直可持续到第二年的3月底至4月中旬，每年至少可使用3.5～4个月的免费冷源，节能效果非常显著。

表1是我国北方某数据中心的2010年7月份至12月份的用电量统计及相应的PUE值，该数据中心所采用的空调制冷方案与本文数据中心所采用的方案完全相同。

从表1可知，8月份 IT设备的负荷比7月份有所增加，因此8月份的PUE值比7月份略有降低。9、10月份平均气温低，此时冷却水温度较低，冷水机组效率得以提高，因此9、10月份的PUE值比7、8月份PUE值明显偏低。因当年11、12月份的气温较低，该系统已完全具备FREE-COOLING运行模式所需的条件，冷水机组压缩机已停止工作不再耗电。因此，此时虽然UPS的用电量在逐步加大，但空调的用电量却比7、8、9、10月份的用电量还要低，PUE值从1.76降低到1.33，节能效果非常明显。

4.5 尚需完善的环节

本项目中采用的冷却塔+板式换热器模式与冷水机组运行模式是并联的关系，在同一时间只能有一种模式在运行，两种模式不可同时运行，即在冷却塔+板式换热器模式运行时冷机是无法运行的。然而，更加节能的方式是冷却塔+板式换热器模式与冷水机组模式进行所谓的“串并联”运行。即在春、秋过渡季节，当气温稍低，但又不具备FREE-COOLING运行条件时，可以采用冷却塔+板式换热器模式+冷水机组运行模式，使冷水机组工作在部分负荷下，即冷冻水首先通过冷却塔+板式换热器先进行降温，降温后的冷冻水在冷机开启的情况下可以达到更进一步的节能，这种空调制冷方案可以更充分地利用空气自然冷却，在北方地区每年从10月初开始至次年的5月初，每年有近7个月可以使用免费冷源，节能效果非常明显。

5 对数据中心节能的简单思考

绿色数据中心已经不再是一个概念，任何大型数据中心的设计必须优先考虑节能问题，数据中心已经成为高耗能的产业。以北京亦庄经济技术开发区来看，其辖区所建的几个数据中心的耗电量均排在前列。数据中心节能不仅是设计阶段的任务，同时更是运行阶段的主要目标之一，国际上有越来越多的数据中心设计和管理人员在讨论现有的数据中心运行温度是否太低，认为应该设置到81华氏度（27.2℃），甚至有人建议达到95华氏度（35℃）。据了解，国外某些机房就是按照这个温度运行，效果很好。据有关报道，制冷参数变化1℃，可能会产生5%～10%能耗变化。

我国现行的机房标准对温度设定过低，不利于机房节能。提高机房温度所带来的最大益处是可以延长自然冷却的使用时间，提高精密空调送风温度和提高冷冻水出水温度。

表1