风道结构对地板下送风型数据中心气流组织的影响(1)数值设计

,

(1 南京师范大学能源与机械工程学院 江苏省能源系统过程转化与减排技术工程实验室 南京 210042； 2 江苏省邮电规划设计院有限责任公司 南京 210019)

21世纪是网络和信息的时代，数据处理需求的巨大增长极大地带动了数据中心的建设和发展，相应地能耗也急剧增加。2011年我国数据中心总耗电量达700亿kW·h，已占全社会用电量的1.5%。预计2017年我国数据中心的能耗量将超过1 000亿kW·h，且大多数数据中心的PUE指标(PUE=数据中心总能耗/IT设备能耗)仍普遍高于2.0[1]。而目前美国数据中心平均PUE值可达1.9，先进数据中心PUE已达到1.2以下[2-3]，我国数据中心能效水平与国际先进水平相比还存在较大的节能空间。同时，数据中心作为电力消耗的大户已被社会高度关注，对其进行节能改造或建造高能效的数据中心的节能降耗研究具有重要意义。

数据中心的运行能耗主要包括：供配电系统能耗、IT设备能耗和空调系统能耗，其中冷却系统能耗约占数据中心运行能耗的45%，成为数据中心的主要能耗来源[4-6]。因此，降低冷却系统能耗成为数据中心节能研究的重点。数据中心内高热流密度设备多，单位面积散热量大，设备全年全天候运行且对环境温度有较严格的要求等[7-9]给冷却系统提出严峻的考验。对于数据中心这类全年都需要供冷的特殊场所，既要求室内不能在设备工作区出现温度过高的现象，以免损害设备的安全运行，又要合理设计气流组织，不至于使得输配能耗过高。由此可见，数据中心热环境品质不仅对设备的安全运行至关重要，还直接关系到冷却系统能耗，是整个数据中心换热体系性能的综合体现。

近年来，数据中心局部过热现象不断发生，为了保证设备安全稳定的运行，国内外学者在进行机房空调节能研究的同时，更多的集中在热环境改善方面[10-12]。而数据中心局部过热现象发生最主要的原因就是气流组织不合理。气流组织是冷却系统设计中的一个重要环节，合理准确的布局，对数据中心不同形式下的气流组织进行分析和评价，优化出合适的气流组织形式，不仅有利于减少数据中心局部热点产生，改善整体热环境，还能提高冷量利用率，降低数据中心冷却系统能耗，达到节能的目的。

目前，数据中心建设方案中，机架“面对面，背对背”的摆放形式已经成为业界共识，架空地板下送风、上回风被广泛采用[13]。对于架空地板的数据中心，地板下静压层内的气流组织在数据中心有效运作上起关键作用。因此改变气流组织分布的关键是分析和优化地板下静压层内的流场。而对地板下静压层的压力分布及流场形成的影响因素，主要包括：机房空调的位置及送风速度、静压层的高度、穿孔地板的穿孔率和地板下障碍物的位置，如地板支架、电缆和管道等[14-20]。虽然国内外学者对这几个影响因素的研究相对较多，但对数据中心冷、热通道封闭情况下的研究还不够充分和完善，且大多只是研究了单个因素对气流组织的影响，各个参数综合对数据中心气流组织的影响模型不全面，更加没有进行全面的分类讨论和对比。此外，学者们均是以实际工程的数据中心作为研究对象，得到的结论不具有普适性。

大型数据中心的建设往往都是以排布奇数列或偶数列机柜的数据中心子模块为基础扩展而成[21]。本文以排布奇数列机柜的数据中心子模块为研究对象，采取冷通道封闭，机房空调正向送风、地板下送风的气流组织方案。由于单列机柜作为研究对象得到的结论不够全面，3列奇数机柜含两列偶数机柜模型，故本文以布置3列机柜的数据中心子模块(以下简称数据中心)为基础，采用数值分析的方法研究了静压层高度、穿孔地板穿孔率对气流组织的影响，并通过在静压层内架设挡板进行再优化，设计出地板下送风风道结构优化，冷通道封闭的数据中心子模块模型。

1 数据中心设计概况

本文选择的数据中心尺寸为10 974 mm(长)×7 300 mm(宽)×2 500 mm(高，不含地板下静压层高度)。穿孔地板布置在机柜近侧，尺寸为600 mm×600 mm。3列相同的机柜由上至下分别记为A、B、C，机柜尺寸为600 mm×1 100 mm×2 000 mm，机柜之间形成的冷、热通道宽度为1 200 mm，两边机柜到边界的距离分别为1 000 mm、600 mm，机房空调距离第一排机柜1 500 mm，最后一排机柜距离边界1 200 mm，数据中心平面布置如图1所示。

图1 数据中心平面布置Fig.1 Layout plan of the data center

2 数据中心模型的数值求解

数据中心地板下静压层的高度为300～700 mm，穿孔地板穿孔率为20%～60%[22]。由于本文采用地板下送风、上走线方式，地板支架忽略不计，可以认为地板下没有不利障碍物。本文通过数值模拟的方法，以100 mm作为静压层高度的变化步长，10%作为地板穿孔率的变化步长，两大影响因素的各个参数值互相组合形成的25个模型进行数值求解。根据模拟结果，选择冷通道平均温度≤297.15 K，机柜无明显局部过热点的数据中心气流组织模型，得到静压层高度与穿孔地板穿孔率组合参数值的最佳范围。通过对比数据中心机柜内温度场分布的均匀程度，得出该数据中心静压层高度与穿孔地板穿孔率组合的最佳参数值。若对比得到的数据中心气流组织模型内温度场仍存在不均匀度(见公式(1))，则在静压层内架设不同角度的挡板来调整静压层内的气流组织分布，最终得到该数据中心子模块的最优气流组织模型。

温度不均匀系数：

(1)

数值设计流程如图2所示。

图2 数据中心数值设计流程Fig.2 Flow chart of the data center numerical design

2.1 基本假设和物理模型

为了研究方便，本文首先对需要建立的数学模型做以下假设：

1)气流为低速流动，视为不可压缩流体，忽略由流体黏性力做功引起的耗散热。

2)室内空气满足Boussineq假设[23-25]：认为空气流体密度的变化仅对动量方程中的浮升力产生影响，而且除浮升力项以外，密度均为常数。

3)为方便网格划分和数值计算，将机柜内服务器设成热流密度恒定的热源，设定服务器的数量为4，并平均分配散热量。

4)机柜的前、后门设置了一定开度的孔(开孔率为60%)，并简化了机柜进、出风口面板的阻力。

5)数据中心内各壁面、架空地板及机柜面板、内隔板设置为绝热；忽略数据中心内部各个传热表面的热辐射；门、窗、墙壁密封性良好，不考虑外界传热对数据中心的影响。

6)由于数据中心内冷负荷主要来自于服务器散热，照明冷负荷相对很小，忽略这部分散热。

7)在冷通道封闭情况下，冷通道内送风压力明显高于热通道风压，不易导致反向渗风，因此不考虑服务器内部风机的影响。

图3所示为设计的数据中心物理模型，图4所示为机柜服务器模型。

图3 数据中心物理模型Fig.3 Physical model of the data center

图4 机柜服务器模型Fig.4 Model of the cabinet sever

2.2 数学模型

由于数据中心内的空气流动属于大空间的流动问题，且室内空气流动满足Boussinesq假设，所以选用针对高雷诺数的湍流计算模型标准k-ε模型。数值模拟基于连续性方程、动量方程、能量方程、湍动能方程和湍动能耗散率方程。

对于不可压缩流体，其直角坐标系下的连续性方程为：

(2)

动量方程为：

(3)

(4)

(5)

能量守恒方程为：

(6)

湍动能方程为：

(7)

湍动能耗散率方程为：

(8)

2.3 网格划分

本文采用结构化六面体网格对计算区域进行离散，对机房空调的送风口、回风口、穿孔地板送风口、机柜内服务器及其正、背面进行网格加密。相邻网格之间的最大变化率为2，所得的网格计算节点为1 232 876个，离散单元为1 191 544个。

将建好的数据中心数值模型导入Ansys Fluent中，采用SIMPLE压力连接方程的半隐式求解离散方程组。

冯永孝(1993—)，男，江苏徐州人，硕士生，研究方向为船舶运动控制。E-mail:1596532730@qq.com

2.4 初始条件和边界条件

一般情况下，机房空调的送风温度都≤293.15 K。随着送风温度的降低，机柜的冷却效果越好，但能耗随之增加[26]。本文的模拟研究中，选取291.15 K的机房送风温度。机房空调的进风口、出风口均采用风扇边界条件；机柜的正、背面均采用通风口边界条件；统一将穿孔地板的边界条件设置为多孔阶跃模型，不考虑穿孔地板的厚度，只设置一定的穿孔率与阻力系数；热源采用体热源边界条件。模拟参数如表1所示。

表1 数据中心初始条件、边界条件设定参数

3 数值设计过程及分析

将Fluent数值计算得到的模拟结果导入Tecplot软件处理后，得到各个数据中心气流组织模型内部的温度场与速度场。由于数据中心内的温度分布与周围空气的运动密切相关，气流速度的分布直接影响温度场的分布，故仅列出温度场进行对比分析，速度场不再赘述，机柜前门送风速度场的对比分析可参见第二部分实验验证。图5～图9分别为不同数据中心模型中机柜内温度分布及Z=1.3 m截面的温度分布，其中(a)、(b)、(c)、(d)、(e)分别表示地板穿孔率为20%、30%、40%、50%、60%。

图5 静压层高度300 mm不同穿孔率模拟结果Fig.5 Simulation results for each model of different perforation rate and 300 mm plenum height in data center

图6 静压层高度400 mm不同穿孔率模拟结果Fig.6 Simulation results for each model of different perforation rate and 400 mm plenum height in data center

图7 静压层高度500 mm不同穿孔率模拟结果Fig.7 Simulation results for each model of different perforation rate and 500 mm plenum height in data center

图8 静压层高度600 mm不同穿孔率模拟结果Fig.8 Simulation results for each model of different perforation rate and 600 mm plenum height in data center

图9 静压层高度700 mm不同穿孔率模拟结果Fig.9 Simulation results for each model of different perforation rate and 700 mm plenum height in data center

由图5～图9可以看出，各个模型靠近空调机组的机柜都出现了不同程度的局部过热现象，且冷通道前段的温度相对较高。

穿孔地板的流动阻力及压力损失可以从以下公式[27]获得：

Δp=K(0.5ρV2)

(9)

根据大量实验测量总结得到K的经验公式[28]为：

1.414(1-F)0.375)

(10)

对比相同地板穿孔率不同静压层高度下数据中心的温度场，由于静压层高度的增加减少了送风系统动压和气流振动，增加静压，所以随着静压层高度的增加，机柜内局部过热面积逐渐减少，过热点温度明显下降，冷通道内的温度差异性明显缩小。当静压层高度达到600 mm后，数据中心内的温度变化不再明显，趋于稳定。

因此，根据数据中心冷通道平均温度≤297.15 K，机柜内无明显局部过热现象的条件，应在静压层高度600～700 mm，地板穿孔率20%～50%之间选择最佳组合参数值。符合静压层高度与地板穿孔率的最佳组合参数值的气流组织模型有：图8(a)、(b)、(c)、(d)模型和图9(a)、(b)、(c)、(d)模型。

对比图8(a)、(b)、(c)、(d)数据中心气流组织模型和图9(a)、(b)、(c)、(d)数据中心气流组织模型内温度分布的均匀程度、机柜内的最高温度及整体环境温度。根据模拟结果可知，静压层高度600 mm，地板穿孔率20%的数据中心气流组织模型的机柜内温度分布较均匀，整体环境温度较低。

从静压层高度600 mm，地板穿孔率20%的数据中心气流组织模型的温度分布可以看出，B列前段机柜内温度分布仍存在不均匀度，且比后排机柜的温度高。为使所有机柜都达到最佳冷却效果，在最佳静压层高度和地板穿孔率的基础上，在B列前段机柜下静压层内架设一块挡板作为有利障碍物以阻挡来流，促进地板下静压层内压力平衡，对静压层内的气流组织进行调整。以平行于数据中心长度方向为0°方向，偏向左边即为负角度方向，架设挡板的角度变化范围在-15°～45°，以15°作为挡板角度的变化步长，通过数值模拟得到挡板放置的最佳角度。图10所示为架设挡板的数据中心物理模型。

将挡板角度分别为-15°、0°、15°、30°、45°的数据中心模型模拟得到的机柜内最高温度制成曲线图，如图11所示。

由图11可以看出，无论挡板角度如何变化，B列机柜内的最高温度与C列机柜内的最高温度始终相同。当挡板角度为15°时，A、B、C列机柜内的最高温度都最低，与未架设挡板的模型相比较，B列机柜的最高温度下降了1 K，其他机柜温度有微弱的下降。因此，在最优静压层高度和地板穿孔率下，架设15°挡板可以使数据中心内机柜冷却效果最优，气流组织更合理。

图10 架设挡板的数据中心模型Fig.10 Model of the data center with a partition under the floor

图11 不同挡板角度下机柜内的最高温度Fig.11 Highest temperature of cabinets under different partition angles

4 结论

本文以布置有3列机柜的数据中心子模块为分析实例，通过数值模拟设计出了一种地板下送风风道结构优化，冷通道封闭的数据中心子模块。在数值设计的过程中，可以得出以下结论：

1)根据数值模拟结果，本文数据中心推荐的静压层高度范围为600～700 mm,穿孔地板穿孔率范围为20%～50%。

2)当数据中心机柜内温度分布仍存在不均匀度时，可以通过在静压层内架设挡板作为有利障碍物对静压层内气流组织进行优化。在600～700 mm的静压层高度范围与20%～50%的地板穿孔率范围的基础上，数值设计出15°挡板角度作为最佳挡板位置使机柜冷却效果达到最优。

3)通过数值模拟设计出数据中心奇数列(3列为例)子模块的最优模型，且最优模型是在送风温度为291.15 K的运行工况下得到的，变送风温度工况下的可行性还需要进一步的实验验证。

符号说明

ρ——空气密度，kg/m3

u——x方向上的时均速度，m/s

v——y方向上的时均速度，m/s

w——z方向上的时均速度，m/s

x、y、z——直角坐标系下坐标分量

μ——动力黏滞系数，Pa·s

t——时间，s

g——重力加速度，m/s2

p——时均压强，Pa

T——温度，K

α——热扩散系数，m2/s

ε——湍动能耗散率，m2/s3

k——湍动能，m2/s2

V——穿孔地板附近的速度，m/s

K——流体流动的阻力系数

F——穿孔地板的穿孔率

本文受江苏省教育厅高校自然科学基金(15KJD470001)项目资助。(The project was supported by the Higher Education Institutions of Jiangsu Province (No.15KJD470001).)

[1] 谷立静，周伏秋，孟辉. 我国数据中心能耗及能效水平研究[J].中国能源, 2010,32(11):42-45. (GU Lijing, ZHOU Fuqiu, MENG Hui. Research on energy consumption and energy efficiency of data center in China[J]. China Energy Resource, 2010,32(11):42-45.)

[2] 吕继祥，王铁军，赵丽，等. 基于自然冷却技术应用的数据中心空调节能分析[J].制冷学报, 2016, 37(3):113-118. (LYU Jixiang, WANG Tiejun, ZHAO Li, et al. Energy saving analysis of air conditioning in data center based on natural cooling technology[J]. Journal of Refrigeration, 2016,37(3):113-118.)

[3] 张海南，邵双全，田长青. 数据中心自然冷却技术研究进展[J]. 制冷学报, 2016, 37(4):46-57. (ZHANG Hainan, SHAO Shuangquan, TIAN Changqing. Research progress of natural cooling technology in data center[J]. Journal of Refrigeration, 2016, 37(4):46-57.)

[4] 田浩，李震，刘晓华，等. 数据中心热环境评价指标研究[J]. 制冷学报, 2012, 33(5):5-9. (TIAN Hao, LI Zhen, LIU Xiaohua, et al. Study on evaluation indexes of data center thermal environment[J]. Journal of Refrigeration, 2012, 33(5):5-9.)

[5] 张海南，邵双全，田长青.机械制冷/回路热管一体式机房空调系统研究[J].制冷学报，2015,36(3):29-33. (ZHANG Hainan, SHAO Shuangquan, TIAN Changqing. Research on air conditioning system of mechanical refrigeration/loop heat pipe integrated system[J]. Journal of Refrigeration, 2015, 36(3):29-33.)

[6] MEIJER G I. Cooling energy-hungry data centers[J]. Science, 2010, 328: 318-319.

[7] 魏蕤，简弃非，杨苹. 空调布局对数据机房内热环境影响的试验与仿真研究[J]. 暖通空调, 2010, 40(7):91-94. (WEI Rui, JIAN Qifei, YANG Ping. Experimental and simulation study on the influence of air conditioning layout on thermal environment in data center[J]. Journal of HV & AC, 2010, 40(7):91-94.)

[8] 高彩凤，于震，吴剑林. 典型数据机房热环境分析及气流组织优化[J]. 暖通空调, 2013, 43(9):101-106. (GAO Caifeng, YU Zhen, WU Jianlin. Analysis of thermal environment and optimization of air distribution in typical data center[J]. Journal of HV & AC, 2013, 43(9):101-106.)

[9] 黄庆河，曹连华，邱靖国，等. 基于零方程湍流模型大空间数据机房气流组织数值模拟[J]. 暖通空调, 2016, 46(1):73-78. (HUANG Qinghe, CAO Lianhua, QIU Jingguo, et al. Numerical simulation of airflow organization in largr-scale data center based on zero-equation turbulence model[J]. Journal of HV & AC, 2016, 46(1):73-78.)

[10] QIAN Xiaodong, LI Zhen, LI Zhixin. A thermal environmental analysis method for data centers[J]. International Journal of Heat and Mass Transfer, 2013, 62:579-585.

[11] NADA S A, SAID M A, RADY M A. CFD investigations of data centers′ thermal performance for different configurations of CRACs units and aisles separation[J]. Alexandria Engineering Journal, 2016, 55(2):959-971.

[12] FAKHIM B, BEHNIA M, ARMFIELD S W, et al. Cooling solutions in an operational data center: a case study[J]. Applied thermal engineering, 2011, 31 (14/15):2279-2291.

[13] FULPAGARE Y, BHARGAV A. Advances in data center thermal management[J]. Renewable and Sustainable Energy Reviews, 2015, 43:981-996.

[14] PATANKAR S V. Airflow and cooling in a data center[J]. Journal of Heat Transfer, 2010, 132(7):271-291.

[15] FULPAGARE Y, G MAHAMUNI, BHARGAV A. Effect of plenum chamber obstructions on data center performance[J]. Applied Thermal Engineering, 2015, 80:187-195.

[16] CHO J, YANG J, PARK W. Evaluation of air distribution system′s airflow performance for cooling energy savings in high-density data centers[J]. Energy and Buildings, 2014, 68:270-279.

[17] ARGHODE V K, JOSHI Y. Experimental investigation of air flow through a perforated tile in a raised floor data[J]. Journal of Electronic Packaging, 2015, 137(1):1-11.

[18] ZHANG Kai, ZHANG Xiaosong, LI Shuhong, et al. Experimental study on the characteristics of supply air for UFAD system with perforated tiles[J]. Energy and Buildings, 2014, 80:1-6.

[19] WANG I N, TSUI Y Y, WANG C C. Improvements of airflow distribution in a container data center[J]. Energy Procedia, 2015,75:1819-1824.

[20] NADA S A, SAID M A, RADY M A. Numerical investigation and parametric study for thermal and energy management enhancements in data centers′ buildings[J]. Applied Thermal Engineering, 2016, 98:110-128.

[21] NI Jiacheng, BAI Xuelian. A review of air conditioning energy performance in data centers[J]. Renewable and Sustainable Energy Reviews, 2017,67:625-624.

[22] JOSHI Y, KUMAR P. Energy efficient thermal management of data centers[M]. New York: Springer-Verlag, 2012.

[23] NADA S A, ELFEKY K E, ATTIA A M A. Experimental investigations of air conditioning solutions in high power density data centers using a scaled physical model[J]. International Journal of Refrigeration, 2016, 63:87-99.

[24] ZHANG Kai, ZHANG Xiaosong, LI Shuhong. Simplified model for desired airflow rate in under-floor air distribution systems[J]. Applied Thermal Engineering, 2016, 93:244-250.

[25] HAM S W, KIM M H, CHOI B N, et al. Simplified sever model to simulate data center cooling energy consumption[J]. Energy and Builidings, 2015, 86:328-339.

[26] 钱晓栋，李震. 数据中心空调系统节能研究[J]. 暖通空调，2012,42(3):91-96. (QIAN Xiaodong, LI Zhen. Study on energy saving of air conditioning system in data center[J]. Journal of HV & AC, 2012, 42(3):91-96.)

[27] ARGHODE V K, KUMAR P, JOSHI Y, et al. Rack level modeling of air flow through perforated tile in a data center[J]. Journal of Electronic Packaging, 2013, 135(3):1059-1069.

[28] BHOPTE S, AGONAFER D, SCHMIDT R, et al. Optimization of data center room layout to minimize rack inlet air temperature[J]. Journal of Electronic Packaging, 2005, 128(4):33-41.