数据中心热环境瞬态CFD模拟与分析

马昕宇，王军，杜垲

（1-东南大学能源与环境学院，江苏南京 210096；2-江苏凤凰数据有限公司，江苏南京 210037）

0 引言

随着大数据处理与云计算业务需求爆炸式增长和计算机网络技术的飞跃进步，数据中心的规模和容量不断扩大。其热流密度每年呈上升趋势[1]，能耗为(120～940) W/m2[2]，且我国80%的数据中心的能源使用效率（Power Usage Effectiveness，PUE）均大于2.0[3-4]。大型数据中心需要全年不间断运行，使用的空调系统主要有水冷冷水系统、风冷冷水系统、蒸发冷却空调系统等[5-7]。面对诸如服务器功率突增或空调系统失效等情况，数据中心的热环境从稳态进入瞬态，室温在短时间内达到服务器运行的极限温度，造成服务器停机。服务器故障不仅会造成经济损失，而且可能造成不可逆的数据丢失。同时，在室温上升的情况下，数据中心的瞬态热特性决定了是否要配备蓄冷装置以及空调系统备用电源启动时间等问题。因此，有必要对其瞬态热特性进行分析研究，从而预测数据中心内机房温度随时间的变化，为实现空调系统前馈控制提供参考。

最早关于数据中心瞬态热环境的研究是由STAHL等[8]提出的，他们在不同的热负荷下进行了经验分析，与理论计算相比较。BEITELMAL等[9]对数据中心进行了瞬态模拟，研究了计算机机房空调（Computer Room Air Conditioner，CRAC）故障对数据中心温度变化的影响。IBRAHIM等[10]开发了一种瞬态模型来研究时变的服务器功率和CRAC送风量，采用剖面法对功率和气流的变化进行分析，并进行了大量的实例研究，表明机柜进口温度随时间变化的现象。SHARMA等[11]强调了数据中心动态热管理的重要性，并讨论了在数据中心内为更均匀的温度分布分配工作负载的方法。PATEL等[12]提出了数据中心智能冷却的概念，实现了空调50%的节能；他们通过分布式传感、变频空调、数据聚合以及多参数控制系统来全面控制数据中心热环境。BASH等[13]采用智能冷却的概念，利用PID控制器对某一数据中心的热环境进行动态控制。

CFD模拟被广泛应用于气流组织的模拟与优化之中[14-16]，本文在上述基础上建立了一种适用于瞬态CFD模拟的服务器机架简化模型，利用CFD软件FloTHERM对南京某数据中心内一机房进行了稳态和瞬态数值模拟，分析了服务器功率上升、空调冷却失效、供冷恢复以及降低送风温度这四种不同工况下数据中心内热环境随时间变化的规律，为数据中心空调系统的控制与应急提供进一步参考。

1 数值模型建立

1.1 机架瞬态传热模型

在数据中心中，服务器被纵向堆叠放置于柜式的机架中。传统的稳态CFD模拟中，服务器及机架往往作为一个整体被简化成“黑盒”模型[17-18]，即机架前面板作为“汇”吸入气流，机架后面板作为“源”排出相等流量的气流，两股气流的焓差等于服务器发热量。然而在瞬态工况下，服务器发热量不仅提高了空气的焓值，同时也提高了自身的内能，其中服务器自身的内能变化取决与服务器散热元件的热容及传热特性。“黑盒”模型的优点在于机架内部不需要进行建模，降低了网格的复杂度，便于求解。但是，“黑盒”模型不考虑机架内部服务器的热容和对流换热系数，忽略热容并不影响稳态模拟的结果，却会对瞬态对流传热过程产生很大的影响。因此传统的“黑盒”模型并不适用于瞬态模拟研究。

服务器及机架的热容和对流换热系数对研究其瞬态传热过程至关重要，流场到达稳态的时间和瞬态过程中流场的温度、压力等均受其影响。本文建立了包含机架内部细节的CFD模型，用以研究数据中心瞬态对流传热过程。由于服务器内部包含各种发热元件和复杂的几何形状，瞬态模型虽然可以反映服务器的内部不同结构元件传热过程，但会使模拟计算量猛增，这对服务器及机架整体瞬态换热计算来说是没有必要的。为了简化模型，方便求解，本文对机架内部的换热结构做出如下假设：

1）服务器主板及各种芯片等发热元件简化为一块发热平板；

2）平板包含一定的热容，与实际服务器的热容相等；

3）服务器发热源简化为均匀的体积发热源；

4）通过服务器内部气流的压力降由体积阻尼模型计算；

5）服务器风扇简化为垂直的平面速度源。

实际建模过程中，使用文献中给出的Dell PowerEdge 2850服务器参数[19]，具体参数如表1所示，采用标准42U机架，内装20台服务器，机架的几何模型如图1所示。

图1 机架几何模型示意图

表1 服务器及机架物理参数

1.2 机房几何模型

本文选取南京某数据中心内一典型机房建立几何模型，如图2所示。该机房长22 m，宽16.5 m，高4.9 m，采用地板送风空调系统。机房分为空调室和IT设备室，由内墙分开，内墙上开百叶作为回风口。IT设备室内设置8组机柜单元，每个单元由16个机柜构成，面对面放置，单个机柜的尺寸为1 m× 0.6 m×2 m，所有机柜均放置在架高地板上，地板静压箱的高度为0.8m。两列机柜之间为冷通道，使用玻璃顶棚与玻璃门封闭整个冷通道，防止冷气流外泄。同时，地板上设置开孔率为45%的孔板作为送风口，单个孔板的尺寸为0.6 m×0.6 m。空调室内设置4台精密空调，采用下出风、上回风的送风方式，单台空调的送风量为6.95 m3/s，送风温度为17 ℃。

图2 机房平面图

1.3 基本控制方程与模型求解

本文使用CFD软件FloTHERM完成数值模拟与求解。FloTHERM提供了k-ε湍流模型，该模型具有运算方便、收敛快、稳定等优点。该湍流模型的控制方程[20]如下所述。

连续性方程为：

运动方程为：

能量方程为：

湍动能方程为：

湍动能耗散率方程为：

式中：

ui（或uj）——速度在xi（或xj）方向的速度分量，m/s；i（或j）取1、2和3时分别表示x、y和z轴方向；

ρ——流体密度，kg/m3；

p——压力，Pa；

fi——质量力，m/s2；

Γ——有效湍流扩散系数，m2/s；

T——流体温度，K；

s——热源发热量，W；

cp——流体定压热容，J/(kg…K)；

k——湍动能，m2/s2；

ε——湍动能耗散率；

μ——动力粘度，Pa…s；

μt——湍流粘度，Pa…s；

Gk——速度梯度产生的湍动能产生速率；

Gb——粘性力与惯性力产生的湍动能产生速率；

公式(5)中，经验常数的数值为：C1ε=1.44；C2ε=1.92；C3ε=1.0；σk=1.0；σε=1.3。

求解过程中为了简化计算，考虑到整个流场压力变化范围不是很大，采用Boussinesq假设；室内气流为不可压缩的粘性流体；忽略粘性力做功所引起的耗散热；忽略固体壁面和室内物体表面的热辐射；墙壁作为绝热壁面处理。根据模型的几何结构采用结构化网格，并验证了模型的网格无关性。

2 稳态模拟结果与分析

在进行瞬态模拟之前，有必要对系统进行稳态模拟，以便确定残差曲线是否收敛，同时观察稳态工况下的温度场分析是否存在局部热点，从而获得瞬态模拟的初始边界条件。稳态模拟的边界条件如下：单台空调的送风量为6.95 m3/s，送风温度为17 ℃，最大制冷量180 kW，单个机柜的热功耗为4 kW。通过稳态模拟，可以得到整个机房的温度场、速度场和压力场等。主要关注同一水平面上的机柜出口温度，因为其在一定程度上反映了服务器所处的热环境。图3为地板上方1 m高度处的温度云图，整体上看冷通道内温度约为17 ℃，而各个机柜的出口温度较为平均，没有出现大面积热点，机架出口平均温度约为25.8 ℃。仔细观察北侧冷通道内温度有所升高，约为17.5 ℃，对应机柜的出口温度较高，最高出口温度约为27.4 ℃。稳态模拟的结果显示该机房不同位置存在一定温度梯度，但总体温度场较为均匀，机柜出口温度处在合理范围之内，可以将此结果作为瞬态模拟的初始条件。

图3 地板上方1 m处温度云图

3 瞬态模拟结果与分析

3.1 服务器功率上升时的瞬态热特性

当服务器网络计算量突增时，其热负载必然随之快速升高，此工况下机房热环境随之恶化，通过瞬态模拟可以定量分析该瞬态过程中温度场随时间的变化过程。考虑将单个机柜的功率从4 kW提高25%～100%（即分别突变至5 kW、6 kW、7 kW、8 kW不等），记为工况1至工况4。分别对这4个工况进行瞬态模拟，以稳态模拟的结果作为初始条件，空调风量保持6.95 m3/s，通过空调变频控制保持送风温度为17 ℃，单台空调最大制冷量180 kW。设置模拟总时间为60 min，每20秒划分一时间步，共180时间步。提取每个机柜半高处的出口温度，计算所有机柜出口温度的平均值，通过前后温升和达到平衡用时计算平均温升速率，相关瞬态参数如表2所示。图4则显示了4种工况下平均机柜出口温度随时间变化的曲线。总体来看，在前10 min内温度随时间增长较快，达到总温升的约50%，随后温度增长趋于平缓，最终达到新的稳态，曲线呈指数增长形式，体现了服务器热容对温度增长的滞止作用，符合瞬态传热特性。对比4种工况，工况1与工况2的最终平均机柜出口温度均在合理范围之内，而工况3与工况4的机柜出口温度已经超过了45 ℃，很可能导致服务器过热关机。出现这种情况主要是由于单机柜功率超过6 kW时，机房总功率约760 kW，已经超过了空调设计最大负荷，继续提高单机柜功率，送风温度将高于17 ℃，因此热环境会随之快速恶化，难以保证服务器稳定运行。同时，对比各工况可以发现，温升速率随功率的增大而增大，特别是在超出制冷负荷的情况下，温升速率有很大提高，这一瞬态模拟结果将对运维人员即时采取调控措施起到一个前馈作用。

表2 服务器功率上升时的瞬态热参数

图4 功率上升时平均机架出口温度随时间的变化

3.2 空调冷却失效时的瞬态热特性

考虑数据中心内空调冷冻水停止供给、而风机依然工作这一极端情况，对其进行模拟分析。在时间t=0时，空调功率降至0 kW，风量保持6.95 m3/s，送风温度与回风温度保持一致。设置3种工况，将初始机柜功率分别设定为2 kW、4 kW、6 kW，记为工况5、工况6、工况7，分别进行瞬态模拟。依然计算平均机柜出口温度，其随时间变化如图5所示，瞬态热参数如表3所示。可以发现温度随时间线性增长，温升速率随机柜功率的增加而增加。以45 ℃作为机柜出口温度的上限，达到极限温度的时间分别为34 min、13 min和7 min，缩减幅度较大。分析可知，在单机柜功率较大的情况下，有两方面的不利因素导致热环境温度快速到达上限：一是因为机柜功率越高，初始机柜出口温度越高，二是温升速率随机柜功率的增大而增大。综上，对于不同功率密度的数据中心，面对冷源失效时的应急时间不能一概而论，在单机柜功率大于4 kW时，预留的应急处理时间应控制在10 min以内。

图5 冷冻水失效时平均机架出口温度随时间的变化

表3 空调冷冻水失效时的瞬态热参数

3.3 供冷回复后的瞬态热特性

在排除空调设备故障之后，数据中心的环境温度并不能立刻恢复至正常运行时的稳态。考虑初始机柜出口温度为45 ℃，在时间t=0时恢复空调供冷，依然讨论3种工况，单机柜功率分别为2 kW、4 kW、6 kW，记为工况8、工况9、工况10。如图6所示，在恢复供冷之后，平均机柜出口温度均快速下跌，而后趋于平缓，最终恢复稳态。可以发现，即使是单机柜6 kW的情况下，平均机柜出口温度依然在5 min以内下降到了约32 ℃。可见在恢复供冷后，由于送风温度与服务器内部温度温差较大，传热驱动力较大，机柜出口温度可以快速回落到安全区间。

3.4 降低送风温度过程中的瞬态热特性

通常来说，为了应对机柜功率提高导致的机房温度升高，运维人员会调低空调的送风温度。现在模拟该情况，在时间t=0时，单机柜功率由4 kW升至6 kW，将送风温度从17 ℃降低至13 ℃，但是降温开始时刻不同，对应以下5种工况。

工况11：不降低送风温度。

工况12：提前5 min开始降温。

工况13：0时刻开始降温。

工况14：5 min后开始降温。

工况15：10 min后开始降温。

如图7所示，首先观察没有降低送风温度的工况11，平均机架出口温度从25.8 ℃升高到了29.7 ℃，温升3.9 ℃，视为最大温升。对于工况13、工况14和工况15，平均机架出口温度均先升高后减小，最高温度分别为26.2 ℃、28.2 ℃、29.1 ℃，温升为0.4 ℃、2.4 ℃、3.3 ℃，且峰值均出现在开始降温约2 min之后。可以发现，10分钟后温升已接近最大温升，因此为了避免峰值温度过高，应尽量保证在机柜功率升高后5 min内降低送风温度。对于工况12，如果在服务器功率提高前降低送风温度，初始平均机架出口温度为24.5 ℃，低于其他工况的25.8 ℃，由于机架及服务器自身热容的蓄冷作用，可确保服务器避免过热。该规律可供运维人员根据机柜出风温度的变化情况，提前调控空调送风温度，一来可以避免服务器出现过热影响到通讯的安全，二来可在保证服务器不出现过热的情况下，适当提高空调送风温度以达到节能，降低电能利用效率（Power Usage Effectiveness，PUE）。

图6 冷却恢复后平均机架出口温度随时间的变化

图7 降低送风温度时平均机架出口温度随时间的变化

4 结论

1）本文建立了一种适用于瞬态CFD模拟的服务器机架简化模型，模拟结果显示服务器热容及其功率是影响瞬态过程中温度变化响应的重要因素。

2）服务器功率突增时，平均机架出口温度随时间呈指数增长，前10 min温升较快，随后增长趋于平缓。随着机柜功率上升幅度的增加，平均温升速率增加。对于所述机房，当单机柜功率上升超过75%时，超过空调制冷负荷，平均温升速率达到0.36 ℃/min，且平均机架出口温度超过了45 ℃，难以保证服务器稳定运行。

3）空调冷却失效时，平均机架出口温度随时间线性增长，平均温升速率随机柜功率的增加而增加。对于所述机房，机柜功率为6 kW时，平均机柜出口温度超过45 ℃仅需7 min，平均温升速率达到2.21 ℃/min。在恢复供冷之后，平均机柜出口温度快速下跌，在5min内可以快速回落到安全区间。

4）为了应对机柜功率提高而降低送风温度时，降温开始时间是影响平均机架出口温度的重要因素，温度峰值出现在开始降温约2 min之后，为了避免峰值温度过高，应尽量保证在机柜功率升高后5 min内降低送风温度。对于所述机房，提前5 min降低送风温度则可确保服务器避免过热现象。