数据中心CFD优化与应用研究

曹 渊 沈子奇 陈 强

中国移动通信集团上海有限公司

0 引言

随着信息技术、新基建等概念成为当今社会的热点话题，在国家政策支持，客户需求越来越强烈的背景下，全国的IDC 数据中心发展进入了快车道，预计3年后，全国数据中心规模将达到近4000亿元。但是，数据中心属于高能耗产业，从网上商场，网上游戏，银行等，现代数据中心几乎运行这一切信息应用，因而其对电力的消耗增长显著，能耗成本占据数据中心总体运营成本大于50%，运营单位不堪负重，节能迫在眉睫[1]。本文基于数据中心专业气流组织模拟软件，对数据机房进行建模，通过对比实际测量数据，分析模拟软件的可靠性与优缺点，为在以后数据中心建模、布局中提供参照，以便更科学地进行节能优化。

1 CFD 简介与原理

CFD 以电子计算机为工具，应用各种离散化的数学方法，对流体力学的各类问题进行数值实验、计算机模拟和分析研究，以解决各种实际问题。数据中心专业CFD 软件是基于计算流体力学(CFD)及传热学，针对数据中心环境进行预测和优化的专业仿真模拟工具，可以提供数据中心详尽的环境信息，如气流组织、温度场、压力场。本研究采用市场主流软件对某数据机房的简化模型进行空气速度流场和温度流场的数值模拟。数据中心机房的规模在不断扩大，如今的大型数据中心机房普遍面临设备发热密度高、电力能耗大等问题。《数据中心设计规范》（GB50174-2017）规定了主机房空调系统的气流组织形式，应采用计算流体动力学（CFD）对主机房气流组织进行模拟和验证[2]。

采用CFD方法对室内空调通风辅助设计时，合理的物理模型是基础。流动和传热问题的求解过程如下：建立控制方程，确定初始条件及边界条件，划分计算网格，生成计算节点，确定离散初始条件和边界条件[3]。

质量守恒方程：

t——时间

u——速度矢量

动量守恒方程：（N-S）：

式（2）中，S可以分在三个方向上。

式(3)中，T——温度

k——热传系数

Cp——比热容

ST——流体的内热源热量和机械能

转换成的热能[4]

2 研究现状

2.1 数据中心模型及边界条件设置计算

机房平面图见图1。

图1 机房平面图

一楼机房长约33 m，宽约22.8 m，面积约734.4 m2，层高4.7 m，吊顶高度为3.4 m，高架地板高度为54.5 cm，采用高架地板送风结合冷通道部分封闭设计。机房内共223 台IT 设备机柜，其中198 台运行；机柜内为服务器、存储和网络设备。据现场测量，运行IT设备总功率约为337 kW；由理论计算及CFD 软件分析，IT 设备总需求风量约为117560 m3/h。机房内共有15台精密空调，全部处于运行状态，名义总制冷量为1085.1 kW，名义总风量为297400 m3/h。

运行机柜IT 设备入口温度分布统计结果如图1所示。可以看出，机柜内IT 设备入口温度范围为10.8～24.99 ℃，温差达到14.19 ℃，温差较大。超过半数的设备入口温度低于18 ℃，最低达10.8 ℃，部分区域存在过度制冷现象。

同时，为了验证CFD 模拟软件精度，通过人工机房现场实际测量，确定机房内各要素的详细信息，并以此对机房进行了精确的CFD 三维建模。机房三维模型见图2。

图2 机房三维模型

2.2 空调风量测量

空调回风口风量测量结果见图3。

图3 空调回风口风量测量结果

由图3可见，15 台运行中空调总的实测循环风量为202174 m3/h。根据现场实测并结合CFD 模拟，IT 设备总需求风量约117560 m3/h，空调送风效率ASE为：

Vrack-in——空调送风直接用于冷却机柜IT 设备的风量

Vacu-supply——空调总循环风量

此数据表明冷空气循环利用率低。

2.3 可靠性研究比较

实测风量与仿真风量误差比较见表1。

机房开孔地板实测与仿真模拟出风量分布见图4。

表1 实测风量与仿真风量误差比较

为保证CFD 仿真结果的可靠性，将实测机房温度与CFD 模型进行校验。机房XY 截面CFD 模拟温度云图与实测值对比见图5。由图5 可见，模拟值整体分布趋势与实测值基本吻合，偏差在2 ℃以内，同时，将实测开孔地板出风量与CFD 模型进行校验，误差在10%以内，由此说明CFD 仿真结果真实有效。

图4 机房开孔地板实测与仿真模拟出风量分布

图5 地板上机房1.1 m 高度XY 截面实测温度云图

3 机房气流组织问题分析

结合实地勘察和CFD 模拟分析，发现该机房气流组织存在的主要问题如下：

1）运行空调名义可提供的制冷量大于IT设备需求。目前机房在用IT设备总功率为337 kW，总需求风量约为117560 m3/h。15台运行空调的名义总制冷量为1085.1 kW，名义总风量为297400 m3/h，均大于在用IT 设备的散热需求，机房冷空气利用率较低。

2）部分靠近空调的地板下方空气流速较高，导致出现低压，开孔地板出风量很小，如图6所示。另外，存在地板出风量与机柜负载不匹配的情况，见图7。

图6 机房开孔地板下静压分布（蓝色表示低压区域）

图7 机房IT设备功率分布和开孔地板出风量分布（红色表示低风量地板）

3）地板下存在湍流现象

通过对现场的开孔地板下方进行压力测量，发现静压极不均衡，地板出风量差异较大，存在湍流现象。特别是立柱导致地板下冷气流速梯度加大，部分地板出风量较小，无法为前方机柜内IT设备提供足够的冷量，容易形成热点。经仿真计算，也证实了存在湍流现象[5]，见图8。

图8 地板下湍流现象

4）机房冷通道未封闭

机房大部分区域原为封闭冷通道设计，但是现场勘察发现通道的立柱缺口处未进行隔断封闭处理，部分冷通道天窗缺失，由此不但会造成冷空气泄漏至机房环境，降低冷空气利用率，可能造成热空气直接进入冷通道被机柜吸入，并形成热点，见图9和图10。

图9 冷空气进入机房环境

图10 未隔断的立柱缺口

5）机柜内部存在冷热空气混流。

部分无负载机柜及热通道内设置有开孔地板，造成冷量损失；部分运行机柜前方未合理布局开孔地板，导致局部区域无法获得足够的冷空气对设备进行有效散热，易形成局部热点。部分机柜存在反装设备。反装设备是指设备实际安装后的进出风方向与机柜冷热侧方向相反，即设备进风口在热侧，出风口在冷侧。该现象对设备自身运行安全性及气流组织节能不利。机房存在漏风现象。经现场查勘发现，机房部分区域高架地板存在缺口，冷空气直接进入机房环境，造成冷量损失，且有部分负载机架处地板未开孔导致局部温度偏高。

4 优化改造研究

4.1 物理优化改造

1）合理调整开孔地板位置。

依据仿真计算结果，调整开孔地板位置，以满足运行机柜的散热需求。调整前的实测风量数据和调整后的CFD模拟风量效果对比见图11和图12。

图11 开孔地板开孔率调整前出风量

2）调整机房开孔地板布局。

按图12所示，将红色区域地板更换为非开孔地板，并将黄色区域地板更换为经过CFD计算验证得出的相应通孔率的开孔地板。

图12 开孔地板开孔率调整后出风量

3）增设地板下部气流平衡条。

在地板下部分区域放置导流装置。通过对比可以看出，地板下导流装置能有效防止湍流现象，使气流组织更有序化，将冷空气送到指定区域，从而消除机柜底部出风口风量波动和风量不均。同时也可减少特定区域的温度不均匀现象，避免通过加大空调风量消除热点的做法，有效降低能耗[6]，见图13。

图13 湍流区基本消除

4）如图14 红色线条所示，按照CFD 模拟计算结果，在本机房图中位置处增加地板下气流平衡装置，调节地板下气流分布。

图14 导流装置安装示意图

5）机柜冷热气流混流的优化调整。通过增设机柜盲板对冷热气流进行隔绝，有助于防止冷气流未经机柜换热直接漏到热通道中，基本消除冷热混流的现象（见图15），从而提高空调风量和冷量的利用率[7]。

图15 冷热气流隔绝前（左）和隔绝后（右）热通道云图

6）封闭机柜底部进风口和设备安装导轨侧面的间隙。机房内大部分机柜底部均存在进风口，造成冷量损失，需对这些机柜底部进风口进行封堵，采用防火的气流隔离材料对整排机柜底部进行封堵。除此之外，设备安装导轨与前部框架存在间隙则使用绝缘片进行封闭。封堵前、后机房流线图见图16。

图16 机柜封堵前（a）和封堵后（b）机房流线图

5 运行参数设置与获取

5.1 现场部署环境监测平台

5.1.1 温度传感器

对空调回风口、空调出风口以及有源服务器机柜进风侧布置温度传感器。其中，空调回风口共15 处、空调出风口共15处，服务器机柜进风侧669处（无源机柜除外），需增设699个温度传感器。每个服务器机柜进风侧沿高度方向布置3个温度传感器，高度分别为0.2 m，1.1 m，2.0 m。

5.1.2 传感器总线模块

各机柜进风温度传感器信号通过总线模块汇总，由环境参数采集器采集并上传到监控主机，由PTF 软件处理后在监控屏幕上显示实时温度数据并实现报警功能。传感器总线模块及环境参数采集器布置图见图17。本机房共布置总线模块93 个。

图17 传感器总线模块及环境参数采集器安装布局

5.2 智能电能表

为精确测量并对比气流组织节能改造前和改造后的机房空调和IT设备的能耗值，及以此为基础计算改造后的空调节能率，对现场空调屏和IT列头柜加装准确度等级为0.5 级的智能电能表（见图18），实现对该机房内所有机房空调能耗和IT 负载能耗的精确测量。

图18 交直流屏柜挂电表

5.3 空调节能调节

调整空调轮值方案以及空调设定参数，对各个空调的设定进行精细化调节，按需调配相关区域空调的制冷量输出，均衡温度场，有效提升机房运维安全可靠性。经优化后，消除了局部热点，并缓解了部分机柜IT 设备入口温度过低的现象。在保证机柜进风区域温度满足要求的前提下，对气流通路进行优化调整，使机柜进风量更加均衡，在满足运营要求的同时，达到提升空调运行能效的目的。在开启9～10 台空调的情况下，通过调节不同空调的设定回风温度和风机风速，为空调轮值。

6 节能效果分析

6.1 机房气流组织优化结果

经优化后，消除了局部热点，并缓解了部分机柜IT 设备入口温度过低的现象。在保证机柜进风区域温度满足要求的前提下，对气流通路进行优化调整，机柜进风量更加均衡，在满足运营要求的同时，达到提升空调运行能效的目的。空调运行能效优化前后对比见表2。

表2 空调运行能效优化前后对比

6.2 数据中心节能改造效果分析

每日空调用电量节能效果见表3，改造后的机房pue节能量见表4。

图19 为2020 年8月14日至10月20日每日空调用电量及PUE 走势图。

图19中红线为当地最高气温走势图，蓝线为最低气温走势图。所示为8月14日至10月20日的空调每日用电量、PUE 及其节能率。

PUE 节能率按以下公式计算：

PUE是评价数据中心能源效率的指标，是数据中心消耗的所有能源与IT负载消耗的能源的比值。

PUE'空调为节能改造后的空调 ，，为节能改造前的空调节能率计算以8月14日至8月27日机房物理改造开始之前、盲板封闭之后的平均数据为基础，14天平均空调用电量3619.2 kW/h，平均空调PUE 为1.515。从图表中可以看出机房节能改造效果明显，根据目前已经完成四套方案的节能效果，空调平均电量节能率为18.9%，空调PUE平均节能率为18.3%。

表3 每日空调用电量节能效果表

表4 改造后的机房PUE节能量

图19

7 总结

通过CFD仿真软件在日常工程中的应用，大部分数据机房气流温度问题可以通过数学建模来直观体现。将CFD仿真结果与实际查勘测量相结合，可以看出，数据机房气流组织的优化是为了减少冷热气流掺混程度，提高冷量利用率，消除局部热点。通过调整设计方案高架地板的静压层高度和格栅开孔率来逐步优化气流组织，并比较优化方案前后的气流组织与热环境指标，最终得到以下结论：

1)通过设置导流装置、封闭冷通道、隔离冷热气流混流、封闭冷气流漏风点位、调整送风地板布局等措施优化气流组织，达到消除热点和冷点，并且减少了湍流现象。

2)减小温差、精确送风、提高换热效率的效果。

3)调整空调轮值设定方案以及空调设定参数，降低空调运行能耗。预计空调系统年平均节能率在15%以上。

4)在IDC 数据机房的暖通工程改造优化中，CFD 仿真模拟具有一定的参考价值，针对CFD 仿真数据进行分析与施工，能有效提升数据机房节能指数。