数据中心两相冷却技术现状与展望

李芳宁 曹海山

(清华大学能源与动力工程系 北京 100084)

近年来，随着人工智能、云计算、大数据、5G技术等信息技术的快速发展，数据中心数据量呈指数增长，带来的能耗问题日益突出[1]。当前电子芯片内晶体管密度超1.7亿/mm2，核功率密度高达4.5 W/mm2，数据中心中制冷系统的能耗占比超过30%[2]，数据中心面临着追求高性能、低能耗、低数据中心总能耗与IT设备能耗比值(power usage effectiveness，PUE)的巨大挑战。《全国数据中心应用发展指引(2020)》[3]显示，截至2019年底，全国超大型数据中心(规模大于等于10 000个标准机架，以功率2.5 kW为一个标准机架)平均PUE为1.46，大型数据中心(规模大于等于3 000个标准机架，小于10 000个标准机架)平均PUE为1.55。全国数据中心2020年耗电约2 035亿kW·h[4]，若PUE降低10%，年度可节约用电203.5亿kW·h，折合630万t标煤，减少CO2排放量约1 700万t(计算标准：煤耗按照310 g/(kW·h)，CO2排放按照2.7 g/(g标准煤)。

数据中心的实际应用中，主要包括3种冷却方式：空气冷却、单相液体冷却和两相液体冷却。空气冷却多采用恒温恒湿的空调设备，通过冷热通道送、回风的方式排出机房热量，存在自然冷源利用率低、多次换热降低传热效率、气流分配不均引起能耗增加等缺点[5]。在单相液体冷却系统中，服务器垂直安装在装有冷却液的箱体中，热量通过与服务器组件的直接接触传递给冷却液，也可以通过冷板间接接触进行热交换，被加热的冷却液通过冷却分配单元(cooling distribution unit，CDU)中的热交换器被冷却后再返回冷却液箱中[6]。两相液体冷却分为浸没式和喷射式两种，喷射式是在浸没式基础上通过增加流速进一步增强换热性能，与单相液体冷却相比，沸腾换热强化了服务器芯片和冷却液之间的换热，但存在系统压力波动和冷却液逃逸损失等问题。图1所示为当前6种主要的浸没式两相冷却系统。图1(a)为蒸气外部冷却系统，该系统利用压差将沸腾的冷却液蒸气导入冷凝器中冷凝成液体，冷却液再利用重力通过管路回流至冷却液箱中，该系统设备简单，但过程可能存在压力损失，影响蒸气流动，可能导致冷却液难以正常循环。图1(b)为蒸气内部冷却系统，该系统冷却液蒸气在冷凝管冷却凝结后通过重力作用返回冷却液箱，而冷凝管中冷凝液吸热后进入冷凝器中冷却实现循环，其中冷凝管可以布置在箱体内部的上方或两侧，冷凝器可以是空气冷却器、液冷冷却器或恒温箱。图1(c)为蒸气内部冷却系统(风冷翅片+冷凝液区)，该系统增加了一个内部导热系数高的冷凝液区，箱中的冷却液蒸气上升接触到冷凝液区底部隔板部分凝结，冷凝液区和风冷翅片共同作用对冷却液蒸气进行冷凝，使其回落到冷却液液体中。图1(d)为蒸气内部冷却系统(液冷翅片)，该系统与蒸气内部冷却系统(风冷翅片+冷凝液区)类似，区别是利用冷凝管回路代替风冷对冷凝液区和翅片进行冷却，而冷凝液区和液冷翅片共同对冷却液蒸气进行冷凝。图1(e)为蒸气内部冷却系统(风冷翅片全面布置)，该系统冷却液箱顶部布置翅片式换热器，换热器内部为冷凝液，下侧通过翅片对冷却液蒸气冷却，上侧通过风冷散热，箱体四周与下侧布置风冷散热片增强散热效果，但该安装较复杂，实际应用存在一定困难。图1(f)为分布式蒸气外部冷却系统，该系统是基于现有系统的延伸，采用分布式两相冷却系统，多个服务器布置在机架上，每个服务器分别单独浸没在冷却液中，每个冷却液箱中的蒸气利用压差进入热交换器冷凝，然后液体经过分流阀调整流量后回至各冷却液箱中，热交换器吸收的热量再通过冷凝器进行冷却，实现整个两相分布式冷却系统的循环。

图1 六类两相冷却系统Fig. 1 Six kinds of two-phase cooling system

两相浸没冷却系统常应用于温度均匀性要求高和热流密度高的领域。例如，高热流激光二极管冷却、电力电子机柜冷却[12]以及高功率、高重复频率脉冲发生器等[10]。两相冷却相比于空气冷却和单相液体冷却具有较大优势:1)对流换热表面传热系数高，冷却液沸腾发生相变，汽化潜热的存在增强了换热效果，能有效去除高热通量;2)提高冷却系统可靠性，冷却部件温度变化范围较小，增强了系统稳定性。

本文对现有的两相冷却系统进行了归纳、分类和延伸，并重点介绍了两相浸没冷却系统所涉及的冷却液物性、强化换热方法和系统热力学评估3个方面的研究进展。

1 冷却液物性

两相冷却液有很多产品，如美国3M公司的产品有两大类，包括氟化液和Novec工程流体，两类冷却液的常用产品物性如表1所示。氟化液无色透明、无味、不可燃、无油基、毒性低、无腐蚀性，具有极高的介电强度且温度操作范围广、热稳定性和化学稳定性高。Novec工程流体不但具有以上特性，还具有较低的全球变暖潜能值(glowbal warming potential,GWP)和臭氧损耗潜能值(ozone depletion potential, ODP)[13-14]。此外，美国科慕公司也研制了特种氟化液，包括Opteon和Vetrel两类[15-18]，参数与3M公司产品接近，实际应用时可按需选取。

表1 3M公司两相冷却液物性参数[13-14]Tab. 1 Physical properties of two-phase coolants of 3M company[13-14]

冷却液物性的研究对两相冷却技术十分重要，不同种类冷却液的传热系数、介电常数等均有差异，会影响换热效果及服务器运行，因此该研究能够有力推动两相冷却的发展及其在数据中心的应用。针对上述情况，M. Wada 等[19]实验研究了不同Novec冷却液(Novec774、Novec649、Novec7000、Novec7100、Novec7200)的传热性能，发现上述Novec冷却液作为工作介质的两相浸没冷却系统总热阻(空气与被冷却器件之间)无显著差异。在保持被冷却器件浸没的状态下，冷却液的填充率对总热阻的影响较小。

Li Xingping等[20]采用封闭式两相冷却系统对3种不同介电液体(乙醇、FC-72、R113)的传热性能进行了实验研究，该系统的热源与冷却液直接接触，内部没有活动部件，减小了热源与散热片之间的接触热阻。通过开关风扇来制造强制空气对流和自然对流条件，从而对圆筒周围的风冷翅片进行冷却，冷却液蒸气在重力作用下被圆筒外翅片管冷凝滴回到圆筒内。图2所示为强制对流与自然对流条件下总热阻与加热功率的关系。由图2(a)可知，强制空气对流条件下，系统可以承受1 000 W的热负荷，最小总热阻为0.073 ℃/W。由图2(b)可知自然对流条件下，系统可以承受300 W 的热负荷，最小总热阻为0.2 ℃/W，其中乙醇的热阻较低，性能更佳。

为保证电子器件的正常运行，冷却液需具有较小的介电常数，即较弱的导电能力。C. Benson等[21]研究了FK(氟酮)和HFE(氢氟醚)流体工作在0～20 MHz频率范围内的介电常数，发现HFE流体的介电常数高于FK流体，当频率由0增至20 MHz时，HFE流体的介电常数由8降至3，FK流体的介电常数与频率无关，保持在2不变。

2 强化换热方法

强化换热是提高两相浸没冷却系统性能的关键，包括沸腾换热强化和冷凝换热强化。

2.1 表面沸腾换热强化

表面沸腾换热强化的研究很多，目前可以应用于数据中心的方法主要为表面改性和电子器件排布。

2.1.1 表面改性的影响

根据沸腾换热机理，材料表面状况对沸腾换热的影响较大，而强化换热的关键是使沸腾表面有更多半径大于最小成核半径的气泡核。

多孔表面能够成倍提高沸腾换热表面传热系数，提供大量的汽化核心点，从而稳定地固定住大量的气泡核，使泡态沸腾更容易实现。为了增强元件表面的沸腾，3M公司发明了一种应用于液体浴槽内厚度为100 μm的多孔金属材料[6]电子芯片以实现强化沸腾换热。

Fan Simiao[22]将二氧化钛纳米管排列在铜和钛表面(图3(a))，并与普通表面进行对比得到Novec流体沸腾曲线(图3(b))。由图3(b)可知，涂覆在钛板上的纳米管可以有效提高热通量，而涂覆二氧化钛纳米管的铜板热通量偏低，主要是由于界面热阻造成，修正后热通量与涂覆二氧化钛纳米管的钛板相当。实验结果表明，该涂层在钛材质电子器件上具有优异冷却性能和巨大潜力，但涂层的稳定性及引入的界面热阻问题还有待进一步研究。

图3 测试表面及饱和Novec流体的沸腾曲线[21]Fig. 3 Test surface and boiling curve of saturated Novec fluid[21]

2.1.2 电子器件排布的影响

对于两相浸没冷却系统，箱体中电子器件的排布也会影响沸腾换热效果，适当调整可以强化换热。An Xudong等[23]使用CFD对用于高性能处理器设计的两相浸入式冷却解决方案进行了三维数值模拟，以电子元件CPU代表数据中心服务器热源。图4所示为CPU排列方式对最大允许功率的影响。在一块计算板上分别嵌入垂直排列的两个和一个CPU(图4(a))，研究在热源温度不超过80 ℃下的最大允许功率。图4(b)所示为双插槽排列的2A和2B以及单插槽2的最高温度与功率的关系，由于A插槽处气泡上升到B插槽处出现热点，导致B插槽处CPU升温更快，当热源温度达到80 ℃时，双插槽排列方式的最大允许功率225 W低于单插槽的最大允许功率275 W。

图4 CPU排列方式对最大允许功率的影响[23]Fig. 4 Effect of CPU arrangement on the maximum allowable power[23]

A.Niazmand等[24]采用CFD模拟研究了3个不同倾斜角度(垂直于水平面的倾角设为0°)对沸腾换热的影响，结果表明，在相同沸腾温差(壁面温度与饱和温度之差)下，随着芯片倾角的增大，热通量降低，表明倾角对热通量及沸腾换热具有显著影响。

三维芯片堆叠可以增加集成电路密度，提高空间利用率，在更小的电路板面积上提供更强的功能和更好的电气性能。但随狭窄垂直通道中汽化核心的增加，不断增长的蒸气部分可能导致受热表面变干，从通道出口或附近开始出现严重的换热退化。图5所示为K.J.L.Geisler等[25]使用饱和FC-72作为冷却液进行CFD模拟的结果，对于不同厚度的芯片，当芯片间距约为0.5 mm时，热通量达到峰值。因此，确定了最佳芯片间距，优化了微观电子芯片的布局。

图5 硅芯片的临界热通量[25]Fig. 5 Critical heat flux of silicon chip[25]

2.2 冷凝换热强化

冷凝过程在宏观上可分为滴状冷凝和膜状冷凝，分类依据为冷凝液能否润湿壁面。若冷凝液能够很好的润湿壁面，则在壁面形成液膜，在重力作用下沿壁面流动，此时液膜为冷凝换热的主要热阻。若冷凝液不能很好的润湿壁面，接触角较大，则在壁面形成一个个小液滴，液滴长大后沿壁面流动，此时冷凝相变热可以直接传给壁面。滴状冷凝换热表面传热系数要比相同条件下的膜状冷凝大几倍甚至一个数量级，因此目前针对滴状冷凝换热的研究较多，可以通过表面改性和强化管(改变表面结构)措施进行强化。

2.2.1 表面亲润性的影响

材料表面的亲润性对滴状冷凝至关重要，Quan Xiaojun等[26]制备了一种油浸纳米草疏水薄膜，并在涂有这种薄膜的倾斜表面进行液滴滑动实验，结果表明，液滴的流速相比在原铜表面显著提高，薄膜增强了表面的疏水性。在冷凝管外表面涂覆该薄膜进行冷凝换热实验，结果表明，相比于原铜表面，覆盖涂层的冷凝换热表面传热系数可提升50%，表明该涂层对管外滴状冷凝的强化效果显著。

稳定性差是疏水涂层实际应用中面临的主要问题。为了长时间维持滴状冷凝而避免出现膜状冷凝，D.Seo等[27]提出一种在旋转管表面不断刷润滑油的方法，旋转管壁与刷毛之间接触使冷凝器上流失的润滑油得到补充，而毛刷内的润滑油通过毛细作用从储油器中自动填充，同时，该方式还可以扫除液滴、降低液膜厚度、促进新液滴产生，提高换热性能。

图6(a)所示为稳定冷凝阶段光管表面、刷式光管表面、疏水表面、刷式疏水表面、超疏水表面和刷式浸油表面的液滴状态。由图6(a)可知，刷式浸油表面能够有效去除液滴。图6(b)所示为不同表面的冷凝换热表面传热系数随过饱和度(蒸气饱和压力与管表面温度下饱和压力的比值)的变化，光管表面和刷式光管表面处于膜状冷凝阶段，而通过刷子可以减少液膜厚度，使后者表面传热系数高于前者。疏水表面和刷式疏水表面处于滴状冷凝阶段，而刷子可以促进新液滴的产生，使后者表面传热系数更高。刷式浸油表面相比于刷式疏水表面能够有效去除产生的液滴，使前者表面传热系数在很宽的过饱和度范围内显著高于后者，体现了更好的换热性能。

图6 不同表面冷凝状态及换热性能[27]Fig. 6 State and surface heat transfer performance of different condensation[27]

2.2.2 表面结构的影响

改变管壁或冷板等表面结构一方面可以增加传热面积，另一方面有利于冷凝液滴的滑移、滴落，减少热阻，提高冷凝换热效率。Ren Bin等[28]设计了一种双管换热器，分别采用波纹低翅片管和光滑管作为内管，使蒸气/空气混合物在内管冷凝，而冷却水在双管间环形通道对内管进行冷却。测量计算管内冷凝换热表面传热系数结果如图7所示，由于不凝气体增加了传热传质的阻力，两管的管内平均冷凝换热表面传热系数均随着不凝性气体质量分数的增加而减小。同时低翅片管的冷凝换热表面传热系数更大，体现出低翅片管对冷凝换热的强化作用。A.S.Dalkilic等[29]总结了R410A冷却液在不同流量下光滑管、螺纹管和人形翅片管的管内冷凝换热表面传热系数，均随湿度增加而降低，且两种流量下(G=100 kg/(m2·s)和G=300 kg/(m2·s))强化管均比光滑管的冷凝换热表面传热系数高。

图7 冷凝换热表面传热系数随不凝性气体质量分数的变化[28]Fig. 7 Variation of heat transfer coefficient of condensation heat transfer surface with mass fraction of non condensable gas[28]

3 冷却系统的热力学评估

数据中心两相浸没冷却系统理论上具有高效节能的特点，为此多位学者进行了模拟或实验验证，对给定的冷却系统进行热力学分析，主要对制冷性能系数(COP，coefficient of performance)和PUE进行定量分析，COP和PUE分别定义为：

(1)

(2)

式中：Qcond为系统制冷量，W；W为系统输入功率，W；Wtotal为数据中心总功率，W；WIT为IT负载功率，W。

Liu Cheng等[30]通过CFD分析评估了服务器的间隔与表面温度的关系，并在各种IT负载下评估了给定系统的COP和PUE。冷却装置的功率通过功率计进行实时监测，服务器功率通过计算机进行调控。图8所示为给定系统的热力学分析结果，由图8(a)可知，当服务器功率由1 127 W增至1 577 W时，COP由19.0增至26.7。根据已有研究可知[31-32]，给定两相冷却系统COP比空气冷却和单相冷却系统COP约高4～20。由图8(b)可知，当服务器功率由1 127 W增至1 577 W时，系统PUE由1.053降至1.037，相比于空气冷却和单相冷却系统(PUE>1.2)PUE更低。综上所述，两相冷却系统更加高效节能。

图8 给定系统热力学分析[30]Fig. 8 Thermodynamic analysis of a given system [30]

马跃征等[33]搭建了一种磁力泵驱动的两相冷却复合制冷装置，当室外温度较高或泵循环冷却能力低于数据中心需求时，将泵驱动模式切换为压缩制冷模式。蒸发器和冷凝器迎面风速为1 m/s的条件下，泵循环模式和压缩制冷模式的制冷量和功率如图9所示。由图9(a)可知，泵驱动模式下泵仅提供给系统循环的动力，系统功率变化较小，系统制冷量随室外温度的升高迅速降低。由图9(b)可知，压缩制冷模式的制冷量随室外温度的升高逐渐降低，但压缩制冷模式的功率远高于泵驱动模式。

图9 制冷量、功率随室外温度的变化[33]Fig. 9 Variation of refrigerating capacity and power with outdoor temperature[33]

4 总结与展望

面向数据中心的冷却需求，两相冷却是一种比空气冷却和单相液冷更高效节能的制冷方式，能够有效提高制冷系统COP，降低数据中心PUE。本文介绍了两相冷却系统分类与相应系统的关键部件，并提出一种分布式两相冷却方法。该方法将各服务器分离，互不影响，便于各服务器的压力和温度监测，但系统压力控制更具挑战性。此外本文还对两相冷却技术涉及的冷却液物性、强化换热方法和系统热力学评估3个层面的研究进行了梳理。

总体上看，目前两相冷却技术还不够成熟，建议从如下方面开展进一步研究：

1)冷却液物性对两相冷却系统性能的影响至关重要，但目前对于冷却液物性的研究较少，特别是气相冷却液的物性参数。

2)冷却系统涉及沸腾换热和冷凝换热，针对两类换热主要通过对气泡和液滴的形成与脱离过程进行强化，建议开展冷却液相变换热强化相关研究。

3)两相冷却系统具有优越的热力学性能(高COP和低PUE)，应结合低温余热回收系统等，将废热二次利用进一步提高能源的利用率、节约运行成本。

4)服务器和冷却液均在密闭空间内，由于冷却液汽化过程可能导致压力过高，对设备材料和尺寸有一定要求，如何维持系统压力稳定也是亟待解决的问题。

本文受北京市自然科学基金项目(3212019)资助。(The project was supported by the National Natural Science Foundation of Beijing (No. 3212019).)