数据中心被动式散热解决方案——通向绿色数据中心之路<br/>

数据中心被动式散热解决方案——通向绿色数据中心之路

2012-09-21CPI公司亚太区

智能建筑与智慧城市 2012年3期

文｜CPI公司亚太区张愚

1 前言

随着新一代计算机设备的计算能力和功率能耗的大幅度提高，传统数据中心如何增加每机柜的功率密度也变得越来越重要。Intel的研究表明，同样的计算能力在2002年时需要25个机柜和128kW的能耗（5.1kW每机柜），到2008年时，只需一个机柜21kW的能耗（21kW每机柜）。对比之下，我们节省了107kW的能耗，并且也大大节省了数据中心的物理大小和结构。

这种大幅度的计算能力的提升得益于虚拟计算、内存系统、多核CPU系统、CPU速度和GPGPU技术的飞速发展。虚拟计算大大提高了服务器的使用效率，从而增加了单个机柜的发热密度。随着内存容量和速度的飞速发展，最新的DRAM技术使得内存的发热量也大大的提升。工程和科学研究等应用大量使用图形浮点运算，GPGPU使得显卡的发热量从25W提高到300W以上。虽然服务器的功耗持续不断的提高，但是性能和功耗比在不断的下降。从以上的例子可以看出，数据中心空调系统能够高效的对机柜进行冷却，将大大降低数据中心的总能耗，在本质上我们可以真正拥有一个绿色数据中心。

提高空调的制冷效率并节约能源只是数据中心管理的重要一部分，然而每机柜的热密度不停的增加则带给我们更多的挑战。目前全球数据中心的每机柜的平均热密度大概为6.5kW，但是ASHRAE2预测在2014年数据中心平均每机柜所需的制冷量为37kW，这种5倍的热密度飞跃，需要我们对数据中心进行不断的革新来解决。本文将对被动式散热解决方案以及如何利用该技术实现绿色节能数据中心进行介绍。

2 数据中心散热基础

首先，我们将对数据中心散热做一个基本的研究。IT设备散热所需的风量可用下列等式来表明：

其中：m3/H 为机柜中的设备散热所需的风量（立方米冷风/每小时）；W=瓦特数（IT设备的功耗）；△T=IT设备的温差（设备回风温度减去设备的进风温度）。

该等式表明了机柜的散热能力和高架送风地板的送风能力有着密不可分的关系。由于高架送风地板所送的冷风风量的不充足，使机柜上部的IT设备进风风扇所造成的负压，会将机柜后部热通道中的热空气抽入IT设备中，从而造成服务器过热的问题。

研究表明，在一个设计不合理的数据中心内，60%的空调机冷送风由于气流组织的不合理而被浪费。目前，传统的开放式热通道结构数据中心面临着两大气流管理难题：冷热空气相混合现象和空调冷送风的浪费现象，这两种现象大大降低了空调制冷的效率。其中，冷热空气相混合现象指的是由设备产生的热空气和空调机的冷送风相混合，从而提高了设备的进风温度；空调冷送风的浪费现象则是指空调机的冷送风并未进入设备并对设备进行冷却，而是直接回流到空调机的现象。冷热空气混合现象也是导致数据中心温度不一致的主要原因，并且这种现象也大大降低了数据中心空调的制冷效率和制冷能力。如何解决这两种现象，最简单、有效的方法就是将冷热空气物理隔离开。

3 数据中心散热管理基线——隔离冷热空气

Intel公司多年的研究和实验表明，良好的气流组织管理，能够大大减少冷热空气相混合现象和空调冷送风的浪费现象。Intel公司现在的数据中心的热密度也从单个机柜310WPSF增加到781WPSF（每机柜15kW增加到40kW以上）。另外，Dell4和HP5的数据中心也正在使用冷池或热池技术。本文将对这种被动型（通过物理手段，无任何有源设备）对数据中心进行散热做出研究，并对可行的方案做出比较，从而找出最佳的数据中心散热解决方案。

目前，主动性数据中心散热也在行业内普遍使用。但是其高昂的投资成本，复杂的安装过程和维护等问题，我们将不在本文中讨论。

图1 标准热池方案

4 数据中心散热解决方案

4.1 方案1：冷池和热池

热通道封闭或热池（HAC）是将热通道密闭起来并通过回风管将热回风传回数据中心空调系统，如图1所示。对比热池，冷池（CAC）是将冷通道密闭起来。这两种技术都将空调的冷送风和热回风隔离开来，并使空调机回风温度提高以此来提高空调的制冷效率。这两种方式的区别主要是可扩展性，散热管理和工作环境的适宜性。

冷池的可扩展性主要是受地板下送风和如何将地板下冷风送入多个冷池的制约。目前业界对该技术有着很多的误解，很多人认为空调机的出风量能满足设备的散热风量即可。他们忽略了高架地板下冷送风对于多个冷池的压力影响和空间的限制。相反，热池则是使用整个数据中心作为冷通道来解决这个问题，正因为这样，扩大了冷通道的空间。这样热池相比于冷池有着更多的空调冗余性能，多出的热通道空间将会在空调系统出现故障时，能够给予更多的宝贵维修时间。而且随着服务器设备的散热能力的提高，服务器所需的散热风量将会大大的减少。现在很多服务器的热风出风温度可以达到55℃。冷池的未被隔离部分空间的温度将会比传统数据中心大大的提高，这将大大增加数据中心工作人员的舒适度和减少数据中心其他设备的使用寿命。综上所述，虽然这两种方法都可以提高每台机柜的热密度，但是当合理使用热池时，热池的效率比冷池更加有效可靠。

通过以上的对比，我们可以发现热池比冷池有着更多的优点。另外在数据中心断电的情况下，冷池数据中心的冷空气只存在于高架地板下和密闭冷通道中，相反热池数据中心中的冷空气存在于高架地板下和房间内的绝大多数地方，所以冷池数据中心的冷空气体积远远小于热空气的体积。当数据中心断电或空调出现问题时，冷池数据中心在几秒钟可以丧失所有的IT设备。所以在有可能的情况下，我们应该尽量采用热池而不是冷池。使用部分密闭热池或冷池的数据中心的热点现象可能还会存在，其消防设施的位置也需要额外注意，但相比传统数据中心则大大提高了每机柜的热密度。但是，要到达2014年每机柜37kW的热密度，这些是远远不够的。

4.2 方案2：垂直排风管机柜

除此之外，另一种方案是机柜级的冷热风隔离系统，如图2所示。这种系统通常是机柜的一个延伸部分，最常见的系统为机柜垂直排风管系统，或称作烟囱机柜系统。垂直排风管系统将密闭机柜内的热回风导入到天花板上方。对比冷池或热池，烟囱机柜系统有着巨大的优点：首先，对于机柜而言，烟囱机柜隔离冷热空气系统比冷池或热池系统隔离整排机柜的冷热空气更为简单有效，并且烟囱机柜在所有解决方案中是最简单的全密闭系统。另外，烟囱机柜系统不和空调系统相连，这样我们可以随着需求的增加来任意增加机柜，从而达到更高的可扩展性。最后，该系统和空调系统的独立性确保了数据中心可以使用大型的空调系统来提高制冷效率和节能。使用垂直排风管系统，冷空气可使用高架地板（常用送风方法）送风或直接将冷风吹入数据中心内部来送风，并且可以结合使用空气节能器来起到更佳的节能效果，垂直排风管系统在数据中心内的应用，如图3所示。

图2 垂直排风管系统或称为烟囱机柜系统

图3 垂直排风管系统在数据中心内的应用

垂直排风管系统机柜的第一个挑战是必须使用天花吊顶或者使用回风管，这样，数据中心就需要额外的高度。第二个挑战是风压差，我们必须确保机柜前后具有风压，使得冷风可以进入机柜来对机柜散热。这种挑战主要体现在机柜前部的送风风压压力、机柜后部热回风的风压、机柜后部的理线等功能区对风压的影响以及机柜顶部垂直排风管的大小和长度。因此，必须在设计时特别注意，确保该垂直排风管系统不会造成错误的压差。

我们可以通过控制机柜内部的空气流速来控制机柜内部的空气压力，即使在没有任何有源设备的情况下，利用自然压力差将更多的冷送风吸入机柜，并将热回风排放至天花板上部。

5 通向绿色数据中心之路——垂直排风管机柜

5.1 防止无效的冷送风浪费现象

Uptime（美国最大、最权威的数据中心研究机构）曾对美国的大型数据中心做过一次研究，美国平均每个数据中心冷送风风量是实际需求的2.7倍，但是这么多的冷量仍无法对大多数的数据中心进行冷却——很多数据中心存在着局部过热问题。实际上这么多的冷量并没有进入机柜对IT设备进行降温，而完全浪费掉。比如，我们通常所见高架地板上的过线孔，在下走线的数据中心内，很多过线孔是开在热通道或机柜底部，这些开口在过线的同时也将空调的冷送风送入了热通道或机柜底部，从而绕开了设备的进风风扇。我们甚至不止一次的见到，由于水平走线的原因，有些数据中心在数据中心高级地板墙壁上开了很大的孔，该孔造成了大量空调冷送风向数据中心外部泄露，这些被浪费的冷送风带来高架地板静压箱送风风压的损失，从而导致冷送风不能送达关键的位置。

图4 高架地板缆线开口造成冷空气的浪费

Uptime通过实际测量很多数据中心，发现大多数的数据中心都存在不正确的浪费现象，其浪费达到50%甚至更多。如果将这些不正确的开孔密闭起来，可以大大提高数据中心空调制冷的效果。如果我们把这50%的冷量节省下来，该数据中心就有巨大的节能效果。我们用表1对同一数据中心做一个比较，在一个30个机柜的低热密度的机房内，如果我们将地板过线孔都密封起来，该数据中心空调运行每小时节省262度电。

表1

5.2 提高空调机热回风温度来提高空调制冷性能

众所周知，空调的制冷效率和性能与空调机热回风和冷送风的温差有关，如表2所示。

表2

对于绝大多数的数据中心而言，它们给空调机的回风温度并不高，这些可能是因为数据中心的布局不好或者是热回风在回流空调机时被旁路（浪费的）冷送风降温，从而导致数据中心的空调制冷效能未达到空调机的性能值。我们以Libert FH600C 30吨的空调机来看，大多冷热通道布局的数据中心温差为5.5℃（21℃回风温度，15.5℃送风温度），这时空调机的制冷量仅为23吨，远远未达空调机额定正常制冷指标。如果我们将回风温度从21℃提高到40.5℃时，我们可以将空调额定制冷量翻倍，30吨冷量的空调机实际制冷效率为61.3吨。提高回风温度，不仅可以少买空调机来节约投资费用，同时在数据中心实际运行中也节省了很多电费。

那么如何提高回风温度？答案很简单：使用烟囱机柜。因为使用烟囱机柜，我们几乎忽略设备热回风的路径。所有热空气在天花板上方，冷热空气不再混合，所以不存在热空气在向空调机回流时被冷却的现象。

5.3 提高空调机冷送风温度

采用冷热通道布局的数据中心，房间内部的温度不一。由于冷热空气的相混合和避免机柜过热的问题，空调机通常的冷送风温度在11℃～13℃之间。

但是在烟囱机柜的数据中心中，机柜顶部的垂直排风管将机柜内部的热回风导流至天花板上方，从而使机房内部再无冷热空气混合的现象。IT设备过热要求设备进风温度不能超过25℃，这样，对于空调机而言，24℃的冷送风完全能够冷却数据中心。

通过提高空调机的冷送风温度，可以提高冷冻水管的水温和冷水机组的制冷效率。

6 结束语

PUE是全球用来衡量数据中心是否绿色节能的重要一个技术指标。

美国高性能数据中心的PUE值大概为2.0左右，这代表了数据中心每用2度电，只有1度电是被IT设备用掉，另外1度电是用在管理该数据中心。通过对数据中心管理用电使用情况分析，得出空调和气流管理大概占到40%左右的结论。

国内数据中心的PUE值比欧美发达国家要大，这也意味着同样的数据中心，我们使用了更多的能源。其中主要问题是管理人员对数据中心散热的不熟悉，不重视。主要问题体现在以下几个方面：

◆一味购买更多的、更大的空调机来对数据中心制冷；

◆空调冷送风温度过低；

◆热回风回流空调机时，预冷却回风从而降低了空调的制冷效率；

◆机房布局不合理，机柜冷热空气相混合现象严重；

◆大量的错误地板开孔导致大量冷送风被浪费。

机柜的传统概念正在被垂直排风管系统慢慢改变，机柜不再是传统意义上只是用来安装设备的柜子而已，使用垂直排风管机柜可将冷热空气彻底隔离，成为数据中心空调系统密不可分的一个重要组成部分。

目前垂直排风管机柜在国际数据中心中逐步应用。其中Intel在全球30个高热密度数据中心广泛使用。Intel在实际应用中，每机柜热密度高达32kW，在机房中无任何机柜局部过热现象。在高效地对IT设备进行散热之外，该机柜还通过提高空调回风温度和提高空调机冷送风温度来大大节约数据中心能源。高密度刀片机柜中垂直排风管系统机柜应用，如图5所示。