某液冷服务器性能测试台的液冷系统设计

肖新文 郑伟坚 曾春利

（1.世图兹空调技术服务（上海）有限公司 上海 201108；2.世图兹空调技术服务（上海）有限公司广州分公司 广州 510610）

0 引言

产业、建筑及交通分别消耗全球三分之一左右的能源，主要温室气体碳排放也在这个比例，具体各国因发展差异存在不同[1]。碳中和主要目的是减少大气圈中“黑碳”含量，实现绿色地球碳循环平衡，碳减排是实现碳中和的主要途径之一[2]。碳减排主要包括节约能源和提高能效，作为能耗大户，数据中心节能减排，提高制冷散热系统效率对于实现碳中和具有积极意义。事实上，数据中心行业一直在节能减排上积极探索：气流组织解决方案由普通上下送风及行间水平送风[3]、冷热池通道封闭[4,5]向机柜级冷却[6]发展；而制冷方式从机房精密空调[7]、冷却背板[8]、空调箱及风墙[9,10]向液冷[11,12]发展。直接接触冷板式液冷可靠性及维护便利性均优于其他液冷系统[13]，液冷辅助精密空调风冷散热系统的部分电能使用效率（partial power usage effectiveness，pPUE）值低且全国各地都适用[14]，若与动态自然冷却空调系统等高效风冷散热系统搭配则该散热系统的pPUE 值将进一步降低[15]，而且易于实现热回收，具有良好的热回收效益[16]，所以直接接触冷板式液冷得到越来越多数据中心的青睐，液冷服务器的运用越来越多。为了测试冷板式液冷服务器的性能，作为液冷服务器的生产厂商建立相应的性能测试台成为一个亟需解决的课题。笔者曾参与某电脑厂的液冷性能测试台的规划设计及建设，目前该测试台已经通过验收，投入运行且状况良好，本文以此项目为例介绍冷板式液冷的系统设计。

1 液冷服务器液冷系统及液冷服务器性能测试台散热系统简述

1.1 液冷服务器液冷系统

目前数据中心采用的直接接触冷板式液冷系统为二次侧集中循环式系统，其架构如图1 所示，由一次侧设备与二次侧设备组成。一次侧主要包括散热设备（冷水机组、干冷器或者闭式冷却塔）、循环泵及管路系统等辅件，二次侧主要包括机柜级分集水器（通常垂直安装）、服务器散热冷板（服务器厂家配套提供）及管路等辅件。一次侧及二次侧的换热在换热模块中进行。

图1 二次侧集中循环直接接触冷板式液冷系统架构简图Fig.1 The schematic diagram of the secondary side centralized pumping cold plate direct contact liquid cooling system

1.2 液冷服务器性能测试台散热系统

服务器的性能测试是通过模拟按照预定的规则对其访问并提交服务请求，通过监测并分析服务器实时的相关运行数据，从而判定服务器的性能是否达到设计要求或者发现服务器的性能瓶颈，通常需要综合硬件、操作系统及应用程序等多方面来定位。服务器生产厂家通常关注诸如CPU 的计算能力、内存的延时及速率、I/O 的读写能力及网络的带宽等硬件的性能指标。为了准确了解服务器的技术指标，就需要在模拟的工作环境中进行性能测试。直接接触冷板式液冷服务器除了部分元器件风冷散热外，主要通过液冷冷却系统散热，故应为测试台设计符合实际运行状态的散热系统。

2 系统设计

2.1 项目简述

该项目位于佛山顺德，共14 个机柜，布置在液冷服务器生产车间的测试区开放空间。每个机柜可测试6 组服务器，合计可同时测试84 组服务器。通常，除冷板散热外液冷服务器尚有约20%～35%的风冷散热量[17]，由于测试区配置了空调系统，且该空调系统涵盖了液冷服务器的风冷散热负荷，故该性能测试台仅需考虑液冷冷却系统。

2.2 设计室外参数及负荷的确定

项目地点佛山除与广州的球面距离相差为27km，海拔高差35m 外[18]，其他室外气象参数差异不大，故参考如表1 所示的广州室外气象参数[19]作为系统设计及设备选型依据。每台服务器芯片液冷散热量为1091W，每组有4 台服务器节点，84组服务器的合计散热负荷为366.6kW。

表1 设计用室外气象参数Table 1 Outdoor meteorological parameters for design

2.3 冷源选择

冷板式液冷系统可以选择冷水机组、干冷器及冷却塔作为冷源[20]，表2详细列出了风冷冷水机组、干冷器及闭式冷却塔3种冷源的性能对比。尽管风冷冷水机组在数据中心有着广泛应用，且在低温启动、全年制冷、自然冷却及蒸发冷却技术上取得了长足的发展[21]，但从表2可以看出，除可提供较低的供液温度外，风冷冷水机组的其他性能均差，单纯液冷系统不宜选取该冷源方式，而水冷冷水机组系统复杂，该项目冷量负载不大，水冷冷水机组亦无性能的优势，也不合适。闭式冷却塔的综合性能优良，佛山地处华南地区，水资源十分丰富，故本项目采用闭式冷却塔作为冷源。

表2 3种冷源性能对比Table 2 The performance comparison of three cold sources

2.4 循环冷却液

佛山顺德位于北纬22.4°，在广州市的南部，历年极端温度不低于0℃，故一次侧循环水中不需要加防冻剂，但是水质应符合《数据通信设备中心液体冷却指南》第5.1.1.4节的要求[23]，本例采用纯净水。若项目地址的极端温度低于0℃，则应在一次侧循环水中加入对应浓度的防冻剂。液冷服务器在全球各地运输，为防止运输过程中残留在服务器中的冷却液结冰涨管，依据液冷服务器产品要求，二次侧采用预混合有机酸型冷却液PG25，该冷却液既可实现运输途中的防冻又可确保运行期间的防腐，保证系统长期稳定运行。

2.5 大温差散热

对于水系统而言，合适的供回水（液）温差有利于降低设备初投资及系统运行费用，大温差技术是一项具有明显经济效益的技术措施[24]。对于散热冷板而言，大温差措施的技术瓶颈在于其允许的最高进口温度及最小流量。本例服务器冷板的设计入口温度为40℃，确保二次侧14个机柜的最小流量为21.9m3/h，根据二次侧散热负载依据式（1）可计算出二次侧冷板可以承受的温差达15℃。

式中，Qs为散热量，kW；c为冷却液的比热容，kJ/（kg·℃）；m为冷却液的质量流量，kg/s；Δt为冷却液进出冷板的温差，℃。

实现一次侧冷却塔的大温差可以从提高回水温度及缩小逼近度两方面着手，达到高温低流、使冷却塔更热的目的。提高回水温度，加大进出水温差，冷却系统的综合效率将提高[25]。在一定范围内，温差越大则冷却塔的冷却能力越大，既可降低冷却塔及管路的初投资，又可以节省循环水泵的运行费用；当然温差也不能无限加大，过小的流量也会影响换热效率反而降低散热量。若过分缩小逼近度，降低出水温度而加大温差则会造成冷却塔尺寸加大、风机功耗增加，初投资与运行费用均会提高[26]，故在出水温度及散热量满足使用的前提下尽可能增大逼近度。而且，随着逼近度的增大，相同设计冷却能力的冷却温差随之增大，但闭式冷却塔通常无统一性能曲线组，需要生产厂商通过试验得出[27]。故闭式冷却塔的逼近度及温差特性因厂家而异。

温差加大，系统流量降低，设备及管路系统的压降都降低，有利于循环泵的节能，但一、二次侧实现大温差运行均与换热模块中板式换热器的性能密切相关。板式换热器的传热计算式如式（2）所示：

式中，Qc为传热量，kW；K为传热系数，kW/(m2·℃)；F为传热面积，m2；Δtm为换热平均温差，其计算式如式（3）所示：

式中，Δtmax为换热面两端温差的大值，℃；Δtmin为换热面两端温差的小值，℃。在工程上，当时，可以直接采用式（4）的算术平均温差替代。

由式（3）及式（4）可知，增大换热流体的温差，换热平均温差Δtm有多种变化可能，且此时流量变小，传热系数K值变小，由式（2）可知传热量也会发生变化，故大温差设计需要进一步校核板式换热器的换热量，确保换热量满足设计要求。理论上，板式换热器的传热温差Δtm可以达到1℃，但是过小的传热温差会造成板换配置过大，尺寸及初投资均会增加。

依据板式换热器及闭式冷却塔的产品性能，本项目闭式冷却塔的设计逼近度为7℃，出水温度为35℃，板式换热器换热温差为Δtm为6.2℃，一次侧出水温度为47.5℃，一次侧进出水温差为12.5℃。本项目的散热温差流程图如图2所示，通过扩大冷却塔的逼近度、提高冷却塔的出水温度、增大板式换热器的传热温差等一系列的技术措施实现了一、二侧的大温差设计。

图2 散热温差流程图Fig.2 The flow chart of the heat dissipation temperature differences

2.6 设备选型

在数据中心工程上冷却塔应按照极端温度进行选型[28]，但性能测试台并不需要时刻保持满载，且不需要全年8760h 不间断连续运行，但应考虑湿热空气回流需在当地夏季室外设计湿球温度基础上适当增加0.2～0.5℃的修正值[29]，本项目按照修正湿球温度28℃进行选型。本项目并未设置备用机组，但是一次侧循环泵及二次循环泵（内置于换热模块中）均采用一用一备的设计以提高系统可靠性，该测试台的液冷系统主要设备如表3 所示。液冷散热系统的年pPUE值可以按照式（5）计算得出[30,31]：

式中，ELC为液冷系统全年总能耗；EIT为IT设备全年总能耗；PLC为某一室外工况点液冷系统的总功率，kW；PIT为某一室外工况点IT设备的总功率，kW；Δt为某一室外工况点的全年小时数，h。依据式（5）可将设计工况点的满负载pPUEd值简化成式（6）进行计算：

表3 液冷系统主要设备表Table 3 The main equipment list of the liquid cooling system

换热模块作为该系统的核心部件，如图3 所示，其主要由板式换热器、一次侧电动比例三通阀、二次侧循环泵、膨胀罐、安全阀、进出水管专用接头、控制器及其面板等组成，通过对各个部件的精确控制确保二次侧出液温度恒定。

图3 换热模块机组结构示意图Fig.3 the structural diagram of the heat exchange module

2.7 系统流程

该液冷系统流程示意图如图4 所示，闭式冷却塔与换热模块均只有1 台设备，管路系统与设备对应，无需配置双管路或者环路系统。一次侧只有1台换热末端无需考虑同异程问题，而二次侧有多个末端，且分布生产车间的各个不同区域，为了确保各个末端设计水阻力基本一致，采用同程系统设计。一次侧管路采用不锈钢管，由于二次侧管路布置在已经开展生产的厂区内部，为了方便施工且尽量降低连接漏点风险，采用热熔PPR 管。

图4 液冷系统流程示意图Fig.4 The principle diagram of the liquid cooling system

3 使用要点与设计反思

（1）由于系统测试后部分冷却液会残留在服务器内，二次侧系统的冷却液会逐渐变少，应通过换热模块自带的控制系统实时监测，及时补液。

（2）该液冷系统存在经常开启和关闭的间断运行情况，测试前必须确保换热模块及一次侧散热系统开启且已正常运行。

（3）长期停机不用期间仍应对冷却液进行每年不少于两次的质量监测确保其成分符合要求。

（4）本例中不具备快速接头插拔次数的自动计数功能，须测试人员手动计数或者按照每天平均测试量估算，后续测试台项目应自动统计插拔次数以监控其使用周期及寿命。

（5）本例中的冷却塔及换热器均采用已指定的业内知名品牌厂家数据作为设计依据，除考虑为应对将来可能增加的负载，冷却塔稍留设计余量外，并未另行考虑设计余量。事实上，不同厂家的计算数据存在差异，为降低计算数据差异对于设备招标选型的影响，宜考虑10%～20%左右的安全余量[32]。

（6）本例以冷板测试工况的入口温度与最小流量确定二次侧的温差，充分利用换热模块中板式换热器的换热能力确定一次侧的温差，实现了液冷系统的大温差节能设计。对液冷系统的大温差技术进行综合效益评价，探寻不同规模液冷项目的最佳温差分配方案将是接下来研究的重要课题。

4 结语

液冷作为工业和信息化部、国家机关事务管理局及国家能源局三部委倡导推广的新兴绿色技术产品[33]，将在数据中心行业取得长足的发展，但液冷项目的设计应用仍然有诸多问题需要进一步深入研究及实践。尽管液冷服务器性能测试台液冷系统与数据中心的具体应用略有差异，但系统设计原则基本一致。笔者以液冷服务器性能测试台项目为例分享相关经验，以期取得抛砖引玉的作用。