数据中心水冷空调末端的CFD模拟及应用分析

赖柏年 张剑麟 陈 文 尹 进 陈文胜 张 萌 杨剑峰



数据中心水冷空调末端的CFD模拟及应用分析

赖柏年1张剑麟1陈 文1尹 进1陈文胜1张 萌2杨剑峰2

（1.中国移动通信集团广东有限公司 广州 510623； 2.江苏省邮电规划设计院有限责任公司 南京 210001）

以数据中心空调水系统的机房空调末端为研究对象，结合实际工程，对传统下送风机房专用空调和三种新型末端（热管背板、水冷前门、列间空调）进行了不同机房功耗下的CFD模拟分析并对比其他项目上实测的机房热环境数据，评价4种末端的制冷效果和气流组织的合理性。并结合CFD模拟结果从节能性、安全性、经济性以及运维便利性等多方面对4种末端的工程应用进行综合分析，为数据中心机房空调末端的设计选型提供一定参考和依据。

数据中心；水冷；空调末端；CFD模拟

0 引言

随着移动互联网、云计算的发展，数据中心正呈现出规模日益升级、单机架平均功耗逐步上升的特点。“冷水型空调系统”因其适用广泛、节能效果突出，目前已被各大中型数据中心广泛采用，相应的水冷型空调末端近几年也发展迅速，除传统的下送风机房空调外，又发展出多种新型空调末端，包括热管背板、水冷前门、列间空调等[1]。

多种新型空调末端的出现，主要是由于服务器机架功耗的不断攀升，为了实现服务器机架近制冷，机房空调气流组织合理化，降低末端运行能耗而产生的[2]。本文以我国南方某数据中心项目为例，通过对其标准机房在不同应用场景（4种水冷空调末端×高中低3种机房功耗）下的温度场和流场进行CFD模拟计算，并结合节能性、安全性、经济性以及运维便利性等多方面因素综合分析了几种水冷空调末端在实际工程中应用的情况。

1 项目概况

数据中心地处夏热冬暖地区，总建筑面积约33500平方米，地上8层，共规划IT机架3944架，单机架功耗主要按6.6kW、5.5kW、3.5kW三档划分，采用集中式冷水空调系统。

冷源采用大小冷水主机搭配的方案—3台1200RT高压主机+2台600RT低压变频主机，考虑到数据中心运营初期负荷较低，2台小机一用一备使用；后期满负荷时，3台大机主用，2台小机备用。

空调冷冻水管采用双路由，末端管路采用环路设计，冷冻水水温为12/17℃。

数据机房的空调末端形式主要有：下送风机房专用空调、热管背板、水冷前门和列间空调。

2 应用场景分析和CFD建模

2.1 应用场景几何结构模型

该数据中心标准机房尺寸为：28m（长）×18m（宽）×5.4m（层高），可规划约12列标准机架（机架间距1.2m），总共约140个标准IT机架。本文选取了其中一个标准机房作为研究对象，采用不同空调末端时的机房设备平面如图1所示，每个平面布置图分别对应3种单机架功耗，所以，一共需要进行12个应用场景的CFD模拟。

根据该标准机房、机架服务器的几何结构以及空调末端的形式，采用Gambit建立不同机房的全尺寸三维模型，然后导入Fluent进行温度场和速度场的计算。为了提高计算准确性，采用结构化网格，局部（进、出口）网格加密处理，流场求解采用了RNG-湍流模型，并设置流动残差0.001及能量残差1×10-6作为计算的收敛条件。

图1 四种空调末端下的标准机房设备平面

2.2 模拟计算条件参数

（1）空调末端参数

根据该标准机房的12个应用场景，结合4种空调末端目前主流的技术参数，对每个应用场景进行机房冷负荷和空调末端设备配置分析，得到了4种空调末端分别应用在高、中、低功耗标准机房时的配置数量和送风量等参数，详见表1。

表1 四种空调末端配置表

（2）机房热环境条件

IT服务器一般都有相应的最佳温度、相对湿度工作范围，温湿度过高或过低均会对服务器的运行产生严重影响[3]。因此很多国家（或服务器厂家）都会制定用于控制数据机房环境的标准或规范，如表2[4]所示。

表2 不同国家各机构和厂家的数据中心环境标准

本文依据我国《电子信息系统机房设计规范》（GB 50174-2008）和美国《数据中心通信基础设施标准》（TIA-942-2005）的规范要求，设定：IT机架进风温度20～25℃，进风相对湿度40～55%；热通道回风温度不高于32℃。

3 CFD模拟结果及分析

3.1 热管背板

考虑到气流组织的合理性，采用热管背板的机房，每列机架间一般采取顺排的方式布置[5]，机房模型图见图2，黑色区域为机架及热管背板区，灰色长条为柱子。

图2 热管背板机房模型

热管背板空调末端与IT机架是一对一匹配的，对于不同功耗的机房，当热管背板制冷量和机架功耗一致时，CFD模拟结果也基本一致，所以本节仅列举单机架功耗为5.5kW的机房的模拟结果。

（1）温度场分析

通过计算得到机房在人行高度处（=1.5m）的温度分布，如图3所示，机房温度分布均匀，并且稳定在25℃左右，可以保证每个IT机架的进风温度均在规范要求的范围内。

图3 热管背板机房温度场（H=1.5m）

（2）气流组织分析

图4和图5所示机房剖面和水平方向的速度场分布，可见机房中气流组织形式为前排机架吸入外部空气，气流在机架内部制冷升温后流经热管背板末端降温，并吹向后排机架，如此反复，气流稳定有序。

由于柱子阻挡，部分空间风速较小，但在服务器风扇及热管背板风扇抽吸作用下，柱子与机架前门区域形成负压，依然可以保证外部冷空气进入此部分机架。

图4 热管背板机房速度场剖面

图5 热管背板机房速度场（H=1.5m）

3.2 水冷前门

与热管背板类似，一般采用水冷前门空调末端的机房，其每列机架间也采取顺排的方式，机房模型如图6所示。并且水冷前门末端与IT机架也是一对一匹配的，不同功耗的机房CFD模拟的结果基本一致，本节仅列举单机架功耗为5.5kW的机房的模拟结果。

图6 水冷前门机房模型图

（1）温度场分析

通过计算得到机房在人行高度处（=1.5m）的温度分布，如图7所示，机房温度场分布均匀，平均温度约27℃。但沿气流方向，从第一排至最后一排机架进风温度有小幅温升，分析原因为：

机房初始环境温度为25℃（设计温度），在水冷前门末端风扇压力作用下，前排机架的排风还未能与环境空气充分混合即被后排机架吸入，导致后排机架进风温度略高于前排机架，以此类推，各排机架影响叠加，导致最后一排机架进风温度略高于第一排，但仍在可接受范围。

图7 水冷前门机房温度场（H=1.5m）

（2）气流组织分析

图8所示为机房水平方向的速度场分布，可见机房内气流组织稳定有序，不存在无风区及旋涡区（柱子所在区域除外），各机架内通风状况均良好。

图8 水冷前门机房速度场（H=1.5m）

3.3列间空调

列间空调末端布置在机架列间，通过前侧出风、水平吹向机架，经过机架前门进风、后门出风再回风至空调后部进行制冷。为了防止送、回风短路，提高制冷效率，列间空调一般与冷通道封闭相结合[1]，机房模型如图9所示。本节以单机架功耗为3.5kW、5.5kW、6.6kW的列间空调数据机房为例，通过模拟计算，得到机房人行高度处（=1.5m）的温度场和速度场分布。

图9 列间空调机房模型图

（1）温度场分析

如图10～12所示，单机架功耗为3.5～5.5kW时，机房平均温度约为31℃，机架内部不存在过热点，最高温度约为35～37℃；当单机架功耗提升到6.6kW时，房间平均温度约为34.5℃，机架内部存在过热点，最高温度约为44℃。

图10 单机架功耗3.5kW机房温度场（H=1.5m）

图11 单机架功耗5.5kW机房温度场（H=1.5m）

图12 单机架功耗6.6kW机房温度场（H=1.5m）

（2）气流组织分析

如图13～15所示，可见无论单机架功耗高低，采用列间空调的机房内气流组织稳定有序，不存在无风区（柱子所在区域除外），各机架内通风状况均良好。区别主要是各机房气流平均流速不同，因为单机架功耗较低的机房所配置的列间空调送风量较小；单机架功耗较高时，配置的列间空调送风量也较大。

图13 单机架功耗3.5kW机房速度场（H=1.5m）

图14 单机架功耗5.5kW机房速度场（H=1.5m）

图15 单机架功耗6.6kW机房速度场（H=1.5m）

3.4 下送风机房专用空调

下送风机房专用空调属于房间级空调末端，需要在机房铺设一定架空高度（一般为600～1000mm）的防静电地板来保证一定的送风截面积，且为了防止送、回风短路，提高制冷效率，下送风机房专用空调一般与冷通道封闭相结合[6]，机房模型如图16所示，图中横长条为机架，竖长条为柱子，下部空间为架空地板，机房两侧为回风口。本节以单机架功耗为3.5kW、5.5kW、6.6kW的采用下送风机房专用空调的数据机房为例，通过模拟计算，得到机房人行高度处（=1.5m）的温度场和机架上部速度场分布。

图16 下送风机房模型图

（1）温度场分析

下送风机房专用空调通过静压箱和架空地板自下而上输送冷风，配合服务器设备前进风、后出风的散热形式，在机架正面形成冷通道送风、背面形成热通道回风[6]。

如图17～19所示，单机架功耗为3.5kW时，机架最高出风温度约36.5℃，不存在热点及热区；单机架功耗为5.5kW时，机房存在部分热区，热区温度约39.25℃；单机架功耗为6.6kW时，机房有较大面积的局部热区，热区温度约为42℃。

图17 单机架功耗3.5kW机房温度场图（H=1.5m）

图18 单机架功耗5.5kW机房温度场图（H=1.5m）

图19 单机架功耗6.6kW机房温度场图（H=1.5m）

（2）气流组织分析

下送风机房气流流向为地板下送风，机架上部回风，不同单机架功耗的机房的气流流场分布基本一致，区别主要是气流流速不同，本节仅列举5.5kW机房的流场模拟结果。

从机架上部速度场矢量图（图20）可见机架区域整体速度场分布均匀，除柱子所在部位外，不存在无风区和漩涡区。此外，从机架中部平面及机架正面速度场矢量图（图21～22）可见在热通道气流交汇区域两端存在涡旋，但由于涡旋不在机架区域，因此不影响机架散热。

图20 机架上部速度场矢量图

图21 机架中部（Z=1.2m）速度场矢量平面图

图22 机架正面速度场矢量图

4 工程案例实测

由于本项目各数据机房暂无热环境实测数据，本文选取了若干其他项目的机房热环境实测数据来验证上文CFD模拟的分析结果。

4.1 热管背板空调案例实测

该机房共108个机架，配置108台热管背板末端，单机架平均额定功耗5kW，单台末端制冷量8kW。服务器实测功率为496.8kW，空调实测功率为12.9kW，空调PUE为1.026。

本机房为改造机房，单机架功耗差别较大，但采用热管背板后，机房环境温度分布均匀，基本维持在26℃左右，详见图23。实测结果与上文中关于中等功耗机房应用热管背板空调时的CFD模拟结果基本一致。

图23 热管背板机房实测温度分布

4.2 水冷前门空调案例实测

该机房共84个机架，配置84台水冷前门末端，单机架平均额定功耗8kW，单台末端制冷量8kW。服务器实测功率为673.5kW，空调实测功率为8.85kW，空调PUE为1.013。

如图24所示，该水冷前门机房机架进风温度基本保持在26～28℃，空气经过前门降温至15～19℃，再经过机架升温至25～27℃后排至机房。实测结果与上文采用水冷前门的高功耗机房的CFD模拟结果基本一致。

图24 水冷前门机房实测温度分布

4.3 列间空调案例实测

该机房共72个机架，单机架平均额定功耗5kW，单台空调制冷量20kW，列间空调数量为24台（18用6备），采用冷通道封闭形式。服务器实测功率为358.2kW，空调实测功率为17.4kW，空调PUE为1.048。

图25 列间空调机房实测温度分布

如图25所示，该列间空调机房采用冷通道封闭，冷通道内温度较低，基本在20℃左右，热通道温度较高，约29～34℃，此结果与上文采用列间空调的中等功耗机房的CFD模拟结果基本一致。

4.4 下送风机房专用空调案例实测

该机房共88个机架，单机架平均额定功耗5kW，单台空调制冷量90kW，空调数量为8台（6用2备），采用冷通道封闭形式。服务器实测功率为334.4kW，空调实测功率为38.4kW，空调末端PUE为1.11。

如图26所示，该下送风机房热通道局部温度较高，原因主要是机架功耗分布不均匀，个别机架功耗达到了5kW以上，制冷不均，与上文采用下送风机房专用空调的中等功耗机房的CFD模拟结果基本一致。

5 工程应用分析

实际工程中机房空调末端的选择是一个综合比选的过程，不仅要考虑机房功耗，还要权衡运行安全级别（客户接受度）、服务器装机率、经济性、快速部署能力以及运维便利性等多方面因素[7]。本节基于之前的CFD模拟结果和案例实测数据，对几种机房空调末端的实际工程应用进行了综合分析。

5.1 应用广泛性与节能性

制冷能力方面，三种新型空调末端（热管背板、水冷前门、列间空调）相比下送风机房专用空调具有更广的适应性，特别是机架级制冷的热管背板和水冷前门，还能灵活应用在单机架功耗相差较大的混合型机房。

此外，由于采用就近制冷，新型末端贴近发热设备，几乎没有输送损耗，可以一定程度上提高冷冻水水温，提高主机能效，降低冷源侧能耗，在寒冷地区还可以延长自然冷源利用时间，节能意义重大。并且，就近制冷时末端所需风压小，再配合EC风机的使用，使新型空调末端比下送风机房专用空调取得更好的节能效果，并且机房功耗越高，节能效果越好。

5.2 运行安全性

采用下送风机房专用空调时，设备及管路布置在空调区（有隔墙或挡水围堰），水不进入机房区，安全性较高。

采用列间空调（水冷）和水冷前门时，水进入机房区。两种技术均需在机房防静电地板下布置管路，管路布置区两侧需要设置挡水措施，其中，水冷前门还需要冷冻水进入每个机架前门内[8]，实际运行时有一定安全隐患。

采用热管背板时，机房内仅布置冷媒管，水管及阀门布置在空调区。

综上所述，下送风机房专用空调安全性最高，其次是热管背板，然后是列间空调（列间），最后是水冷前门。

5.3 服务器装机率

不同空调末端所需的土建安装条件不同，因此会对机房的最大服务器装机量产生影响，表3列出了同一标准机房条件下，不同空调末端的服务器和空调设备装机量。

可见，采用水冷前门时服务器装机率最高（约0.34机架/m2），其他几种技术装机率差不多（约0.29机架/m2），列间空调在中高功耗机房的装机率略低（约0.28机架/m2），分析原因主要是：采用水冷前门时，机房区空调不占用机架位置，且空调区仅走水管，所需面积较小；采用下送风空调和热管背板时，机房区空调不占用机架位置，但空调区要布置设备和走水管，所需面积较大；采用列间空调时，空调区仅走水管，所需面积不大，但机房区要布置设备，占用一定数量机架位置，并且随着机房功耗增加，占用的机架位置也会增加。

表3 同一标准机房中服务器和空调装机量对比表

5.4 经济性分析

在同一标准机房中，不同机房功耗在应用不同空调末端时，末端初投资、运行费用会有较大差别。如表4所示，折算成单机架的数值来对比，则下送风机房专用空调初投资最小，新型末端中列间空调初投资最小，水冷前门和热管背板基本相同；年运行电费方面，三种新型末端均远小于下送风机房专用空调，其中列间空调略高，水冷前门和热管背板基本相同。

表4 新型空调末端经济性指标对比表

备注：1.上表计算参数依据“表1”； 2.各种空调末端PUE值按实测案例数据作为参考，暂不考虑不同功耗机架下的PUE差异；3.为了简化计算，上表中电价设定为1元/kWh。

对比下送风空调的初投资和运行费用，可以分别计算三种新型末端的相对投资回收期。如表4所示，机房功耗一定的前提下三种新型末端的投资回收期差别不大，当单机架功耗低于6.6kW时，列间空调的投资回收期最小，但是，随着机房功耗的提高，三种新型末端的投资回收期均呈现逐渐降低的规律，这也印证了上文中关于新型空调末端“随着机房功耗增加，节能效果越好”的结论。

5.5 快速部署能力

在施工安装方面，几种空调末端均需要预留足够的空调区面积和架空地板高度（热管背板无需架空地板）。下送风机房专用空调施工仅在空调区进行，可以与机房区同步施工；水冷前门和热管背板如果采用“空调+机架”一体化采购，则空调和机架可同时落位安装；列间空调在安装时需要和机架配合，如果先安装机架则需预留空调位置，如果先安装空调则需预留机架位置[8]。

综合起来，水冷前门和列间空调需要预留架空地板，且地板下水管安装稍复杂；热管背板为机架顶部安装冷媒管，需要避让其他专业的走线架，但铜管安装稍容易。所以，一体化采购的热管背板快速部署能力较高。

5.6 运维安全性和便利性

下送风机房专用空调的日常运维仅在空调区进行，无需进入机房区，运维方便，机房运维安全级别高；三种新型空调末端的日常运维均需进入机房区，运维安全级别稍低。

6 结论

本文通过选取南方某数据中心某一标准机房建立CFD计算模型，首先利用Fluent计算得出该机房不同应用场景（不同机房功耗，不同空调末端）下的温度场和速度场分布，通过对比其他项目中三种新型末端的机房环境实测数据，表明在目前数据中心单机架功耗越来越高的背景下，新型空调末端相比传统下送风机房专用空调更具优势：

（1）对于中、高功耗机房，下送风机房专用空调容易产生制冷不均的问题，会导致机房局部过热，并且受机房空调区面积限制，高功耗机房中下送风机房专用空调的安装位置十分紧张。

（2）对于高、中、低功耗的机房，三种新型空调末端（热管背板、水冷前门、列间空调）均能满足制冷要求且气流组织良好，对比下送风机房专用空调均有较好的节能效果，并且机房功耗越高，节能效果越好，但需要限定机架服务器为前进风、后出风的气流组织形式。

（3）热管背板和水冷前门可以保持机房整体环境温度在26℃左右，为机房或设备运维人员提供了良好的操作环境；列间空调仅保持机房封闭冷通道温度在26℃左右，热通道温度较高，运维人员在热通道的操作环境较差。

此外，本文基于CFD模拟结果和案例实测数据，通过对几种机房空调末端的工程应用进行了全面分析后发现：低功耗机房推荐采用下送风机房专用空调：投资少、安全级别高、安装和运维方便，机房环境温度亦可满足；对于中、高功耗机房则宜优先考虑新型末端，虽然投资高，但是制冷效率高，运行费用少，并且制冷效果也较好，如果同时需要较高的运行安全性（水不进机房），则热管背板最佳。

[1] 罗海亮,娄小军.数据中心冷水系统空调末端分析[J].暖通空调,2016,46(10):38-41.

[2] 刘成,陈乐天,王颖.通信机房空调气流组织合理化研究[J].建筑热能通风空调,2010,29(5):80-84.

[3] 钱晓栋,李震.数据中心空调系统节能研究[J].暖通空调,2012,42(3):91-96.

[4] 钟景华.新一代绿色数据中心的规划与设计[M].北京:电子工业出版社,2010．

[5] 陈文婷,陈华,谢春辉,等.数据中心背板空调换热特性分析[J].制冷与空调,2015,15(1):27-30.

[6] 高彩凤,于震,吴剑林.典型数据机房热环境分析及气流组织优化[J].暖通空调,2013,43(9):101-106.

[7] 陈延钧.高热密度数据中心水冷解决方案[J].智能建筑与城市信息,2008,(7):23-26.

[8] 安真.某高密度数据机房解决方案浅析[J].暖通空调,2014,(10):38-40.

Analysis on a Variety of Air-conditioning Terminals Based on Computational Fluid Dynamics(CFD) in Data Center

Lai Bonian1Zhang Jianlin1Chen Wen1Yin Jin1Chen Wensheng1Zhang Meng2Yang Jianfeng2

( 1.China Mobile Group Guangdong Company Limited, Guangzhou, 510623; 2.Jiangsu post and Telecommunications Planning and Designing Institute Co., Ltd, Nanjing, 210001 )

Taking air-conditioning terminal of chilled water system in data center as the study object. Combination of practical projects, using CFD simulation method to model and simulate the 4 air-conditioning terminals which is applied to a standard computer room. Furthermore the 4 air-conditioning terminals were discussed comprehensively in practical project application from the points of energy-conservation, safety, economic, maintenance convenience, in order to provide basis for designing the air-conditioning terminal in data center.

data center; Chilled water; air-conditioning terminal; CFD simulation

1671-6612（2017）06-565-11

TU831

A

赖柏年（1976.02-），男，研究生，E-mail：liter@139.com

杨剑峰（1986.01-），男，硕士，工程师，E-mail：yangjianfeng@jsptpd.com

2017-03-30