液冷技术在数据中心的应用

周 婷 王 玮 常传源 张 恬

（1.江苏建筑职业技术学院，江苏 徐州 221000；2.同圆设计集团有限公司，山东 济南 250000；3.中通服咨询设计研究院有限公司，江苏 南京 210000）

0 引言

随着双碳目标的提出，东数西算工程也全面启动，数据中心趋于集约化、规模化和绿色化。作为碳排放“大户”，中国数据中心年碳排放量已超过3 300 万辆汽车。在数据中心能耗占比中，制冷系统用电量已与IT设备相当，占总用电量的比例高达43%，优化制冷系统已成为数据中心提高能源使用效率的重要环节。近年来，国家相继出台一系列与数据中心建设相关的政策，对电能利用效率（Power Usage Effectiveness，PUE）提出明确的规定，要求到2025 年，全国新建大型数据中心的PUE 要降到1.3以下［1］。与风冷相比，液冷能更好地支持高功耗芯片的解散热，保持芯片低温运行，减少服务器散热热点。通过有效利用自然冷源进行冷却，液冷技术能有效降低数据中心的PUE，从而促进数据中心减少碳排放。因此，“液冷”将会成为新型数据中心的重要技术方向。

1 数据中心常规冷却技术

1.1 常规数据中心冷却

在早期的数据中心中，多使用风冷型直接蒸发式空调系统。该系统采用制冷剂冷媒作为传热介质，制冷剂吸收室内的热量后，通过制冷循环将热量输送到室外。制冷剂一般为氟利昂，单机制冷量为10～120 kW［2］。这种空调系统由室内机、室外机、冷媒管及相关阀门附件组成，结构简单，生产厂家较多，在使用时安装维修方便。

随着机房容量的增大，冷冻水型机房空调系统的应用也逐渐增多，其能满足30～150 kW 制冷量的需求。该系统和公共建筑空调系统一样，由冷水机组、冷却塔、膨胀水箱、循环水泵、末端设备、管道、阀门附件等组成。为了提高能源的利用效率，可将冷冻水型机房空调冷冻水的供水温度提高到12 ℃、回水温度为18 ℃。冷冻水温度的提高、温差的增大，在减少输送能耗的同时，机房内也较少产生冷凝水。该类型空调系统设计和生产技术成熟，在大型数据中心得到广泛应用。

1.2 数据中心自然冷却

目前，主流的自然冷却技术有空气侧自然冷却和水侧自然冷却［3］。自然冷却可分为不同形式，详见表1。

表1 数据中心自然冷却方式

1.2.1 空气侧采用自然冷却。Facebook 在美国普林维尔建造的大数据中心采用的是空气侧自然冷却技术，室外空气通过喷淋的方式与水大面积接触，在这个过程中，水吸收了汽化潜热，空气的温度降低，被处理后符合标准规定温度湿度要求的空气被送入数据中心，对机房空间进行冷却［4］。这种系统属全新风直接蒸发冷却空调系统，使用时要控制空气湿度。与直接蒸发冷却相对的是间接蒸发自然冷却，室外空气经表面式换热器与被水喷淋的空气进行换热，从而被冷却，在使用上分为干模式、湿模式和混合模式，国外的蒙特和国内的腾讯、华为等均采用该种冷却方式的数据中心产品。带风冷冷水机组是在传统风冷冷水机组的基础上，通过并联自然冷却盘管，在过渡季节采用自然冷却盘管进行供冷，并根据室外气象条件调整运行模式，在气候温度较低时采用自然冷却，在室外温度较高时采用机械冷却，常用于常规的数据中心。

1.2.2 水侧自然冷却。国内采用湖水自然冷却的有浙江千岛湖数据中心、湖南东江湖大数据中心一期。采用湖水作为数据中心自然冷却的冷源，湖水温度稳定，能有效减少电量的使用，有较好的节能效果。但该方式受环境保护的制约，其技术性与环境安全性还要进一步研究。冷却塔自然冷却是指在室外温度较低时利用冷却塔来制备冷水，与风冷冷水机组类似，可替代一部分机械制冷，从而提高能源利用效率。冷却塔供冷分为直接供冷、间接供冷，直接供冷的冷却水直接进入空调末端，在水质不佳时较少使用；间接供冷采用板式换热器，在室外温度降低到一定值时，采用冷却塔作为冷源，通过板式换热器进行热量交换，来降低冷冻水温度。

2 数据中心液冷技术

目前，数据中心液冷有冷板式、浸没式、喷淋式3种部署方式。冷板式是间接液冷方式，浸没式、喷淋式则是直接液冷方式。液冷是通过液体代替空气，把服务器发热器件产生的热量带走。从冷媒来看，标况下空气的定压比热容为1.004 kJ/（kg·k），水的比热容为4.2 kJ/（kg·k），用于阿里浸没式液冷的氟化液比热容和汽化潜热分别为1 110 kJ/（kg·k）和88 kJ/kg，液体冷却能提供更好的换热效果，从而满足数据中心高功率、高密部署、低PUE 的使用需求［5］。以国外CPU 巨头英特尔为例，作为基础芯片和算力的提供方，英特尔在数据中心领域参与程度较深，拥有CPU、GPU、闪存和FPGA 等产品线，涉及数据的计算、存储和网络传输等环节，目前仍与产业链上下游合作，进行配套的标准制定。在国内，包括浪潮、曙光、华为等服务器巨头，以及网宿科技旗下的绿色云图、高澜股份等解决方案提供商，都纷纷加大对液冷技术研究的投入。

2.1 冷板式液冷

冷板式液冷将热量传递给循环管道中的冷却液体，冷板式液冷多为单相冷却，通过冷却液的温升将服务器产生的热量带走，无效损失较小，冷却效率高，能大幅度降低数据中心的能耗［5］。换热冷板材质一般为高导热系数的材料，冷板表面温度均匀，通过间接换热能带走大量的集中热量［6］。由于服务器芯片等发热器件只用通过冷板的强迫对流换热，不用直接接触液体，所以该系统不用对整套机房设备重新进行改造设计，可操作性更强，应用更广泛。

2.2 喷淋式液冷

喷淋式液冷是将冷却液直接喷淋到服务器发热器件（如CPU、存储）表面，液体吸收发热器件的热量，升温后的冷却液通过管道、换热器等与外部冷源进行热交换。广东合一公司自主研发了“芯片级精准喷淋液冷技术”，设计的喷淋式液冷系统有专门的液冷服务器和液冷机柜，液冷机柜包括管路、液体循环系统、PDU等。2020年，中国长城推出我国首台国产化喷淋式液冷服务器，该服务器采用绝缘导热液体材料作为冷却液，可使芯片降温幅度比传统风冷服务器低20～30 ℃，单机架功耗提升到56 kW 以上。在保证高性能的同时，服务器在喷淋液冷环境下的稳定工作寿命可有效延长0.5倍［7］。喷淋液冷服务器的结构图见图1。

图1 喷淋液冷服务器结构

2.3 浸没式液冷

浸没式液冷以液体作为传热介质，将发热电子元件直接浸没于冷却液中，通过冷却液与电子元件直接接触进行热交换，从而带走热量，是一种新型高效、绿色节能的数据中心制冷解决方案。根据冷却液是否发生相变，浸没式液冷分为相变浸没式液冷和单相浸没式液冷。严逊等［8］根据浸没式液冷试验得出上海市数据中心全年运行制冷PUE 值为1.060，使用浸没式液冷的数据中心，其冷却系统能耗仅为使用传统精密空调的10%。国内液冷技术方案提供商绿色云图液所提供的浸没式液冷解决方案，使散热能耗降低90%～95%，PUE低至1.049。

相变浸没式液冷利用冷却液沸点低、可发生沸腾相变的特性，在机柜内将热量从电子部件传递到氟化液中，并引起液体沸腾产生蒸汽，从而带走热量。蒸汽在机柜内的热交换器（冷凝器）上冷凝，将热量传递给在数据中心中循环流动的设施冷却用水。

单相浸没式液冷技术是指将电子设备完全浸没在冷却液中进行直接冷却，从而形成封闭的导热回路。电子部件直接浸没到电介质特性的氟化液中，而液体置于密封但便于操作的机柜中，热量从电子部件传递到液体，再使用循环泵将升温后的氟化液循环到换热器，在换热器中冷却并回到机柜中［8］。图2、图3分别为单相和相变浸没式液冷原理图［9］。

图2 单相浸没液冷原理图

图3 相变浸没液冷原理图

3 数据中心液冷技术关键技术探讨

3.1 缺乏标准支持

以往液体冷却在行业内没有形成趋势，缺乏大规模的应用案例，相关国家或行业标准也处于空缺状态［10］。目前，由中国信通院牵头制定了首批数据中心液冷系列的行业标准，该系列标准明确了目前主流的冷板式和浸没式等冷却方式的技术要求，对液冷技术PUE的测定方法、冷却液的使用要求也做了详细的阐述，能有效填补当前国内外数据中心液冷行业标准的空白。

3.2 成本较高

使用液体冷却技术的数据中心的设计方式与使用空气冷却的传统数据中心不同。例如，楼梯的承载力、机房的高度等。如果贸然更换冷却方式，除了会影响空间利用率外，人员维护和重建成本也将是一笔大的支出。

3.3 冷却液问题

在数据中心冷媒上，可采用水、矿物油和氟化物。然而冷却水是导电的，矿物油和氟化物与空气接触时会被其他物质污染，对服务器等设备造成腐蚀。冷却液作为热量传递的重要媒介，在使用时要考虑材料的兼容性与可靠性，以及能否大面积推广。为保证设备能正常运行，在服务器信号传输中，介电常数也是一个重要参数，研发设计人员要慎重考虑［9］。因此，必须根据相关标准加大对冷却液的检测和评估力度，包括材料的兼容性、腐蚀性、扩散损失率。

4 结语

目前，全国大型数据中心单机柜的密度在不断增大，根据相关研究，在抽样调查中，数据中心平均机架功率为8.5 kW/h。随着机柜高密度服务器及单机柜密度的演进，对传统风冷散热来说，容易出现局部热点，要不断降低送风温度，增大送风风量，制冷能耗较大。在探究液冷技术时，应结合服务器部署和PUE要求选择适宜的冷却方式，对成本管控与设计标准的提升有一定的积极意义。