数据中心追逐“水立方”梦想

刘洪宇

数据中心,这个方方正正的发热体如何才能凉下来?是再多加几部大功率空调,还是干脆把数据中心迁去西伯利亚?你不妨试试水冷,这项曾一度衰落的技术出现了复兴生机,在推动者与实践者的名单当中,IBM、惠普、Intel等赫然在目。

酷暑难当的时候,也许你喜欢坐在空调房里,尽享宜人的温度;可是也还有这样一些人,他们会选择去游泳,依然可以神清气爽。二者的共同点是,“夏天似乎也没那么难捱!”人类当然可以这样,机器呢?在数据中心,尤其是规模较大的数据中心,“水”渐渐开始发挥降温作用,正在兴起的水冷技术正成为空调冷却的有益补充。机房里的硬件设备在风冷与水冷的双重作用下散热。在自然属性上就比空气制冷更有效的水冷技术,被认为是建设下一代数据中心的重要方向之一。

水冷技术复兴

水冷谈不上是新技术,在大型机上,水冷系统的应用历史已经很长,Cray、IBM等厂商很早就采用了水冷技术,我国目前运行速度最快的国产超级计算机——曙光5000A也采用了水冷散热系统。曙光5000通过使用水冷系统,用密布着的注有蒸馏水或其他液体的小管道循环散热。

但在数据中心,起先并不需要部署这样复杂的温度调节系统,依靠空调散热已经可以胜任。技术发展带了功率密度提高,尤其是刀片服务器在节省空间的同时,也带来了“热点”,水冷系统开始真正证明自己的价值。Sun技术总监Jud Cooley预言,数据中心都会倾向于水冷技术。美国超级计算机应用软件国家中心技术负责人Rob Pennington也持类似观点,该中心计划在2011年安装完成千万亿次高性能计算机,规划的关键之一就在于制冷系统采用水冷装置。Rob Pennington认为,水冷技术也是这些年唯一能提供给美国超级计算机应用软件国家中心在不久的将来所需的功率密度的可行性技术。

谷歌是数据中心水冷的典型例子,在美国俄勒冈州达勒斯市哥伦比亚河畔,谷歌建设了一座数据中心,水坝旁高耸着大型冷却塔;不仅如此,尝到甜头的谷歌前不久还申请了一项名为“海上数据中心”的专利,计划将数据中心部署在离岸边3～7海里的海域,其初衷就是考虑到电力和冷却,尤其是大规模数据中心的计算机散热。但并不是所有数据中心的运营者都能像谷歌一样有灵活选址的可能,受延迟、规模等诸多因素的限制,谷歌的经验似乎并不大容易复制。

把冷水送向机柜

其实,数据中心水冷也可以分不同层面来完成,不同的数据中心可以视实际情况,考虑是否采用水冷,采用哪种方式的水冷。一种衡量方法是,如果建设的数据中心密度非常高,而且使用的是发热量较高的刀片服务器或1U服务器,容易在机房中形成热点,就有必要做更为精确的制冷和散热,这时考虑采用水冷技术比较合适;而数据规模并不大,且使用的多数是2U或4U服务器,就没有必要选择水冷散热,毕竟相比风冷形式,水冷技术的初期成本要更高些。根据经验推定,3000~5000平方米以上机房用水冷技术比较合算。

从具体的技术层面上看,最具推广前景的是水冷与风冷的混合,其制冷效果超过单纯使用风冷或水冷的方式,而且也不需要对已有的系统架构做出重大改变。越是接近热源,散热效果就越好,将制冷方式从房间级制冷转变为机柜级别制冷,最后到芯片级制冷,这正是机房制冷的发展趋势。目前,水冷技术的关键在于机柜制冷。冷却剂在机柜内的封闭系统内循环流动,带走热量后,被传统的机房空调系统冷却或者借助外界自然条件冷却,比如位于美国罗德岛的布莱恩特大学就借助冰雪天气来为其数据中心配备的一套循环制冷系统降温。

在数据中心层面,一度放弃了水冷技术的IBM开始重新发掘水冷技术的应用,IBM推出的eServer Rear Door Heat eXchanger散热产品,就是像服务器一样直接插入机架的设备,通过系统内侧充满冷却水的密封散热管,在空调系统冷却下降低整个机架所产生的热量。Sun则是在其模块化数据中心上首次采用了水冷设计,推出盒子式计算机机房,标准化服务器放置在“盒子”里,采用水冷设计有效减少数据中心排放的热空气的数量。

惠普也组建了一个冷却设计团队,数据中心水冷技术也是该小组的研究方向,并且从1999年就开始了。目前在市场上,我们可以看到惠普推出的水冷系统,这种模块冷却系统是从三种途径取水的水冷机架。惠普给出的数据是,采用这种水冷机架,用户能节省大约30%的电能。

IBM还干脆将水冷技术应用在服务器上,这是Sun和惠普目前没有涉足的领域。在其采用Power6处理器的System p5 575超级计算机上,IBM采用了水冷装置。在System p5 575机柜中内置14个服务器水冷装置,机柜中储存了反复循环使用的大量纯净水,通过芯片顶部的小型铜板上放置的管道来抽水制冷,将水冷从外部设备引入到针对芯片的核心设备上来,极大程度地提高了散热效率。不仅如此,水冷还可能更进一步,比如针对多核处理器和多路主板,水冷技术甚至还可以对主板上的四个插槽进行冷却,这在过去主板插槽有限的情况下,并不能取得这么明显的优势。

不仅能用来冷却

国内已经有了数据中心水冷的先行者,比如北京天文馆数字工作室的渲染系统就采用水冷作为整个系统的主要散热方式,该水冷系统采用封闭管道内循环流动的冷冻水作为空调散热的媒介。世纪互联建设的M5数据中心也采用了水冷式空调,预计水冷系统要比风冷空调的电源输入总功率低33%,散热效率更高。

推动绿色数据中心的英特尔,在自己的数据中心中也进行了水冷尝试。这座数据中心位于以色列,地上建筑有6层,地下有5层,其中包括一个高密度风冷数据中心,满负荷运转时,其总功耗将高达 3.7 MW。这样大规模的数据中心无疑将产生巨大热量。英特尔IT部门通过水冷系统回收数据中心热量,并利用这些热量为建筑的其他部分供暖这一举措,设计了一个节能系统,为解决散热,同时兼顾能源再利用找到了一个新途径。

普通水冷式制冷冷却器通过冷却塔将冷凝器水的热量释放到大气中,而英特尔设计的新式制冷系统采用热量回收(HR)冷却器来获取数据中心服务器和其它设备产生的热量。该解决方案使热量回收冷却器成为整个建筑冷却系统的一部分,HR冷却器冷却数据中心设备并回收其产生的热量。冬天,这些热量可以用来为建筑的其他部分供暖,并全年提供洗澡和做饭用热水。

重复利用数据中心热量,而不是通过冷却塔直接排热,就无需再配备锅炉来为建筑的其他部分供暖。这种节能方案不仅可以帮助企业累积环境认证积分,还具备出色的经济高效性。据预测,燃料消耗每年节省的资金约相当于1.7个月的投资回报。