蒸发冷却技术在数据中心液冷系统中的应用探讨

田哲宁 黄 翔 屈名勋

（西安工程大学 西安 710048）

0 引言

随着大数据和云计算时代的进一步到来，信息产业蓬勃发展。尤其在2020年初疫情来袭，给人们出行工作带来极大不便，大多数人选择在线上办公，这对数据信息的硬件承载者数据中心有了更高一步的要求。在除了满足高能效型、安全性之外，另一方面数据中心能源消耗和运行成本也越来越受到人们关注。根据相关统计数据，数据中心的能耗约占我国全社会总能耗的2%，占总建筑能耗的10%，且呈上升趋势。而在2019年2月，工信部、国家机关事务管理局、国家能源局出台《关于加强绿色数据中心建设的指导意见》，要求到2022年，数据中心平均能耗基本达到国际先进水平，新建大型、超大型数据中心的PUE 降到1.4 以下。

在中国市场，现阶段大多数据中心仍采用风冷，而国外数据中心则进入到了液冷时代。由于液体的比热远大于空气，液冷服务器将供水温度提升至35℃，从而无需压缩机制冷，全年采用自然冷源，使数据中心基础设施制冷系统的运行能耗降低30%-40%，同时，由于提高了功率密度，数据中心所需的机房面积可减少10%，或机房利用率提高10%，使得数据中心的能耗指标（PUE）可降低至1.2 甚至更低，服务器的CPU 可实现超频运行，计算性能提高12%。不难看出液冷服务器使节能降耗带来了变革性的创新，实现数据中心整体提升制冷能效[1]。

蒸发冷却空调技术是人类利用自然条件改善生存质量的一种降温方式，制冷的驱动力是使用丰富的干空气能。该空调技术和传统空调技术相比，不使用压缩机，耗电设备仅为风机和水泵，因此，其节电效果显著；以水为制冷剂，不使用氟利昂，对空气友好，并且对空气中的一些颗粒物如PM2.5和PM10 有一定的过滤作用。所以蒸发冷却技术是一项节能、低碳、经济、健康、环保技术，具有非常好的发展前景术[2]。

论文通过提出传统冷却塔与液冷技术结合的形式的不足，进一步探讨利用间接预冷式蒸发冷却冷水机组代替冷却塔与液冷技术结合的可行性，并进行展望。

1 液体冷却

液冷就是将某种液体作为导热介质，通过液体将数据中心内服务器、CPU、内存条等器件在运行时产生的热量带走。由于近年来数据中心发展迅猛，单机架功率快速提升，单机架用电规模从标准单机架功率4kW 朝着20-30kW 甚至更高规模发展。导致数据中心单机架及整体散热大幅度上升。传统风冷或水冷技术已不能完全满足数据中心所需，液冷技术的重要性越来显现出来。液体冷却根据冷却液体与数据中心发热设备是否直接接触可以分为两大类，一类是直接接触式液体冷却，一种是间接接触式液体冷却。还可根据冷却液体在冷却过程中是否产生相变分为单相液冷及相变液冷。现今直接接触式液体冷却可分为浸没式与喷淋式两种形式，而间接接触式液体冷却主要体现为冷板式这种形式[3,4]。

1.1 浸没式液体冷却

图1 浸没式液冷数据通信设备Fig.1 Immersion liquid-cooled data communication equipment

浸没式液体冷却是将数据中心的发热设备直接浸入冷却液体的一种冷却方式，此形式可以使冷却液体与发热设备直接接触，由于冷却液体与发热设备直接接触使其具有较低的对流热阻，传热系数高，运行温度变化较小等特点。且不需要配备风扇，带来了噪音低的特点。使其成为机柜热流密度大，需要绿色环保的超大型数据中心的绝佳之选。

但由于浸没式液体冷却技术对数据中心整体要求较高，对液冷机柜间及机柜内冷却液如何均匀分配，使得各电子信息设备获得均匀冷量。这方面需要采用同程环路供回液设计，机柜间需要设置平衡管，机柜内需要采用均流板供液。而如何降低主要热源CPU 与冷却液换热热阻，以避免通过增大换热温差来实现散热过程，增大换热温差会降低利用自然冷源的可行性，从而增加系统能耗。这方面，需要选择合适热界面材料及CPU 散热器。目前在国内外并无使用该技术的大型数据中心出现，在如今国内数据中心若使用浸没式液体冷却多数需要在原有的基础上进行较大改造，初投资及运营维护成本也较大，使用技术难度也较大，虽然其具有优势，不过也会带来更大的技术挑战。

1.2 喷淋式液体冷却

图2 喷淋式液冷数据通信设备Fig.2 Spray-type liquid-cooled data communication equipment

将冷却液体通过喷淋器件喷淋在数据中心发热设备表面使其热量被直接或间接的带走，降低设备温度这种冷却方式被称作喷淋式液体冷却。这种方式相较于浸没式液体冷却节省了液体，也可获得较好的静音效果。由于在喷淋式液体冷却中冷却液也可直接的与发热设备接触，进而也可获得较强的散热效率。是解决大功耗机柜在数据中心机房部署以及降低IT 系统制冷费用，提升能效，降低PUE的有效手段之一[5]。

但在喷淋时需要精准喷淋流量设计，对液体的兼容性要求较高，在整体流量的控制上不易达到精准，在喷淋时也会造成喷淋覆盖面对发热元件不能整体覆盖的问题。还需对冷却液体频繁补充，服务器频繁维护，且对原有数据中心改动较大，初投资较高，运营维护成本也较大。

1.3 冷板式液体冷却

冷板式液体冷却如图3所示，冷板与CPU 等核心发热元件直接接触吸收热量，通过直接在冷板内通入冷却液体或通过热传导等间接的方式对冷板进行降温。这种冷却方式对机房、机柜、服务器改造较小，且服务器的维护与常规风冷一致，方案成熟，虽然初投资较高，但运维成本低。

图3 冷板式液冷数据通信设备Fig.3 Cold plate liquid cooled data communication equipment

此种方式水冷板会有泄露风险，对机柜内部造成损伤。需要漏液监测及预警系统辅助，对整个数据中心机房还需要风冷补偿才能达到对机房整体温度的控制[6]。

2 液冷在数据中心实际应用及问题。

2.1 数据中心用液气双通道散热系统

数据中心用液冷服务器散热系统架构如图4所示利用液冷技术将CPU 等高热流密度元器件的热量导出，使其形成液冷散热通道。利用液冷技术带走数据中心大部分热量后，再通过房间级气冷、行级气冷、机柜气冷这三种空气散热的形式，构成气冷散热通道，将数据中心机房内其余热量带走。关于液冷散热通道这里主要介绍如图5所示，冷板直接接触式液冷数据通信设备由热沉直接接触核心发热部件再由冷却板进行热量循环的形式。热沉与发热部件直接接触，热沉充分吸收发热部件的热量后，将热量传递给热管，热管内部通过毛细作用力实现热传导。将热量传递给冷却板，通过冷却板内的冷却水循环将热管热端的热量带走。通常采用冷却塔制取高温冷水通入冷却板，来进行冷却水的循环。

图4 液/气双通道散热系统的架构Fig.4 Architecture of liquid/gas dual channel cooling system

图5 冷板直接接触式液冷数据通信设备Fig.5 Direct contact liquid cooling data communication equipment of cold plate

2.2 冷却塔的不足

冷却塔制取冷水的过程可以近似看作直接蒸发冷却制取冷水的过程。如图6 焓湿图所示，当从用户回来的状态E循环水喷淋到填料形成水膜与空气进行热湿处理时，部分水分蒸发从空气和水中吸收显热，转为汽化潜热，进入到空气中，水温被降到状态G，空气实际情况下发生增焓降温过程，从状态A降温增焓到状态C，液态水发生降温冷却过程。从而实现对循环水的降温，最终获得的冷水温度高于进口空气状态点A的湿球温度。冷却塔出水温度与湿球温度的差值称为逼近度。逼近度并非定值，在设计湿球温度28℃时通常为3～5℃。一般选取5℃为冷却塔最不利出水温度。在如今实际工程应用中考虑到通过管道将制取的高温冷水送到冷板时还会产生一定的温升，所以大都要求冷水机组出水温度不宜超过35℃，而随着单机架功率的上升，CPU 等核心元件发热量逐步攀升，必将对供水温度有更高要求。而通过实际计算绘制分区地图发现利用冷却塔制取出的高温冷水在我国并非对所有地区都可直接满足对数据中心液冷技术进行降温的条件，在有些区域单凭冷却塔供冷制取的高温冷水是无法满足液冷技术所需条件[7,8]。

图6 冷却塔制取冷水的焓湿图Fig.6 Enthalpy and humidity diagram of cold water produced by cooling tower

2.3 间接预冷式蒸发冷却冷水机组

在冷却塔不能完全满足液冷技术所需时，利用间接预冷式蒸发冷却冷水机组产出的冷水将液冷冷水板的热量带走。如图7 焓湿图所示，状态E的喷淋水首先在填料处与状态D的空气进行热湿交换，状态E的喷淋水被冷却到状态F。状态F的淋水继续往下流动，在填料上往下流动的过程中再被冷却，最后聚集在水箱，变成状态G的冷水。最终制取的冷水温度低于状态A点的湿球温度，高于B点湿球温度，高于A点的露点温度。间接预冷式蒸发冷却冷水机组供水温度可达到湿球温度和露点温度之间的亚湿球温度。如图8所示间接预冷式蒸发冷却冷水机组的预冷换热器主要有外冷式和内冷式，外冷式换热器主要为表冷器，内冷式预冷的间接蒸发冷却器主要有卧管式、立管式、板管式、露点式，通常会采用内外冷相结合的预冷形式。作为进风预冷将进风空气的湿球温度进一步降低，使得蒸发冷却的驱动力“干湿球温差”进一步加大，进而满足在机组填料段可以使得空气与水充分的换热，使得水温有更大的降温幅度[8]。

图7 间接预冷式蒸发冷却冷水机组制取冷水的焓湿图Fig.7 Enthalpy and humidity diagram of cold water produced by indirect precooled evaporative cooling chiller

图8 立管与露点式间接预冷式蒸发冷却冷水机组Fig.8 Riser pipe and dew-point indirect precooling evaporative cooling chiller

在最不利气象条件下间接预冷式蒸发冷却冷水机组也可将出水水温降低到湿球温度下2℃。且间接预冷式蒸发冷却冷水机组拥有更良好的节水性，噪音低，更加节电。对预冷段的是否开启可以进行控制，有两种运行模式，使用起来更加灵活便捷[9]。

3 分区地图

3.1 陕西省分区地图

根据上述对冷却塔及间接预冷式蒸发冷却冷水机组最不利出水温度的预测，结合陕西省各市区全年逐时8760 小时湿球温度做出折线图，并分别绘制出典型年出水温度最高可达温度范围分区地图。

3.1.1 陕西省部分市区冷却塔典型年逐时最不利出水温度折线图

图9 西安市冷却塔典型年逐时最不利出水温度Fig.9 Typical annual most unfavorable hourly outlet temperature of cooling tower in Xi'an

图10 榆林市冷却塔典型年逐时最不利出水温度Fig.10 Typical annual most unfavorable hourly outlet temperature of cooling tower in Yu'lin

图11 延安市冷却塔典型年逐时最不利出水温度Fig.11 Typical annual most unfavorable hourly outlet temperature of cooling tower in Yan'an

3.1.2 陕西省各市区典型年冷却塔出水温度最高可达温度范围

图12 陕西省典型年冷却塔出水温度最高可达温度范围分区地图Fig.12 Zonal map of the maximum reaching temperature range of outlet water temperature of cooling tower in typical years in Shaanxi Province

通过上述绘制的陕西省各市区典型年冷却塔出水温度最高可达温度范围图可直观地看出陕西省十个市区内，仅有榆林市冷却塔出水温度可以满足30℃以下，保证数据中心全年安全运行。榆林市相较于其他市区，纬度较高。通过典型年逐时气象参数也可看出榆林市干湿球温差较大，干空气能富足，蒸发冷却效率高。而冷却塔内发生的热湿交换过程又可近似的看作直接蒸发冷却过程，故导致了这一结果。

3.1.3 陕西省部分市区间接预冷式蒸发冷却冷水机组典型年逐时最不利出水温度折线图

图13 西安市间接预冷式蒸发冷却冷水机组典型年逐时最不利出水温度Fig.13 Typical annual most unfavorable hourly effluent temperature of indirect precooled evaporative chillers in Xi'an

图14 榆林市间接预冷式蒸发冷却冷水机组典型年逐时最不利出水温度Fig.14 Typical annual most unfavorable hourly effluent temperature of indirect precooled evaporative chillers in Yu'lin

图15 延安市间接预冷式蒸发冷却冷水机组典型年逐时最不利出水温度Fig.15 Typical annual most unfavorable hourly effluent temperature of indirect precooled evaporative chillers in Yan'an

3.1.4 陕西省各市区典型年间接预冷式蒸发冷却冷水机组出水温度最高可达温度范围

图16 陕西省典型年间接预冷式蒸发冷却冷水机组出水温度最高可达温度范围分区地图Fig.16 Zoning map of the maximum effluent temperature range of indirect precooled evaporative chillers in typical years in Shaanxi Province

使用间接预冷式蒸发冷却冷水机组替代冷却塔后，从分区地图中直观的可以看出陕西省全省范围内间接预冷式蒸发冷却冷水机组出水温度皆可达到30℃以下，满足数据中心全年安全运行所需。

3.2 全国分区地图

上述冷却塔与间接预冷式蒸发冷却冷水机组在相同气象条件下出现的出水温度不同的情况，根据各城市省会城市为代表，选取典型年气象参数制作了以出水温度为区分的分区地图。

3.2.1 典型年冷却塔出水温度最高可达温度范围

图17 全国典型年冷却塔出水温度最高可达温度范围分区地图Fig.17 Regional map of the maximum outlet water temperature of cooling tower in a typical year in China

由于冷却塔处出水温度一般在湿球温度之上的3～5℃，而数据中心的特点是要求全年不间断运行，且需要考虑最不利情况，随意选取各省市省会城市典型年气候参数中湿球温度进行计算，得出典型年冷却塔出水温度最高可达温度范围。可以看出在全国范围内有大部分区域都会有超过30℃的情况，这对于液冷技术是不利的，而还有八个地区超过了35℃，不能满足液冷技术所需，随着技术的不断发展，单机架功率的不断上升，数据中心发热量势必也会提高，对液冷技术的要求也会有更高的要求，不难看出冷却塔已无法满足全国各地区所需。

3.2.2 典型年间接预冷式蒸发冷却冷水机组出水温度最高可达温度范围

图18 全国典型年间接预冷式蒸发冷却冷水机组出水温度最高可达温度范围分区地图Fig.18 Regional map of the maximum effluent temperature of indirect precooled evaporative chillers in China in typical years

在使用了间接预冷式蒸发冷却冷水机组后从全国地图上可以明显的看出冷水机组出水温度显著下降，全国33 个省区都可控制在30℃以内，完全可以满足现阶段液冷技术的需要。在江西地区温度超过了30℃，在此地区极端气候条件下，可以在间接预冷式蒸发冷却冷水机组内增加表冷器，进行入口空气的预冷，使冷水机组出水温度降得更低，最终达到需求。

4 结语

通过对液冷技术各形式的分析，同时总结了直接接触式液冷数据通信设备可与蒸发冷却技术紧密结合的液冷形式，通过绘制出的全国分区地图可清晰看出冷却塔在某些极端情况下不能满足数据中心全年安全运行的要求，利用间接预冷式蒸发冷却冷水机组后，可以满足数据中心全年安全运行要求。故利用间接预冷式蒸发冷却冷水机组取代原有的冷却塔供冷模式是未来数据中心冷却方式发展的其中一种趋势。这种数据中心冷却方式将很好的满足数据中心向着高密度发展的同时，也满足高效、绿色、低碳发展的目标要求[10]。