超高功率机柜改造制冷方案实践应用

张朝阳 迮天怡 翁明全

关键词：数据中心；超高功率机柜；局部热点；制冷解决方案

1概述

制冷系统对数据中心的作用就是收集设备产生的热量，将它们排到室外并保持规定的温湿度，满足服务器运行要求。现有的数据中心制冷方式有房间级、行级和机柜级制冷方式[1]。随着现代IT设备的功率密度将峰值功率密度提升至每机柜10kW甚至更高，对于这类超高功率机柜，传统制冷不再起到有效的作用。未来，新一代高密度和可变功率密度IT设备产生的热量是传统数据中心制冷系统无法应对的，这往往会导致制冷系统过度规划，造成制冷效率低下、制冷性能难以预测。基于此，对现有已建造的数据中心进行制冷增容改造是一种较好的方法。

2某数据中心机房基础设施背景介绍

2.1制冷系统介绍

某数据中心按照国标A类标准设计建造，主要安装IDC机架，IDC机架的尺寸为600mm（宽）*1200mm（深）*2200mm（高），机架安装的列间距为机架的冷通道间距1200mm，热通道间距1200mm。机房内机架送风方式为除传输机房采用下送上回的方式外，其他IDC机房封闭通道均采用前送后回的方式。

数据中心机房楼有着热度高负荷高、需全年供冷的特点[2]，对空调系统运行安全性、可靠性和适用性要求较高。充分考虑到建筑平面布局、地域气候特点、绿色节能要求等诸多因素，该数据中心由集中式冷冻水系统供冷，机房空调配置冷冻水型机房空调，空调冷源采用“高压冷水机组+板换+冷却塔”方式。设计供水温度为14℃、回水温度为19℃。考虑到机房的安全性要求，空调管路采用环状管路的闭式循环系统[3]，由立管和水平管组成，主干管采用异程式布置，各支管安装平衡阀，冷冻水系统由高位开式蓄冷罐和定压罐进行系统定压。每个机房有6个微模块，共254个机柜，每个微模块列间空调为“N+1”配置，采用封闭冷通道形式，单机柜设计功率为4.4kW，机柜实际平均运行约3.6kW。

2.2空调配电系统介绍

机房空调供电为一路U电和一路市电的供电架构，U电由前端电力室空调专用UPS提供，满足市电中断情况下30分钟不间断供电。

3超高功率机柜改造需求介绍

随着客户业务需求发展，在其租赁的某个机房部署2个核心网络机柜，核心网络机柜平均运行功率在14～20kW。如图1所示，AB为一个微模块，使用冷通道封闭的形式，在B06807位置需部署2台核心网络机柜，在AB列通道中，A02，A03，A05，A08，A14，A21，A22，B10，B11，B19为配套无源ODF机柜，其余为常规使用低功率机柜。

按单个通道总冷量计算，AB列原有列间空调总冷量满足设备制冷量需求[4]，但可能在设备运行过程中无法消除超高功率机柜周边的局部热点。为确保高功率机柜的制冷可靠且无新增局部热点，本次改造需新增风冷空调且为“N+1”配置，与原有冷冻水列间空调系统形成2个故障域，满足2N制冷需求。

4超高功率机柜制冷改造设计

针对所提出的超高功率机柜部署需求，进行了空调冷负荷计算，机房楼空调冷负荷Q=Qi+Q2，其中Q1为设备散热量；Q2为机房外墙等围护结构传热量、外窗太阳辐射、人员及照明等因素引起的冷负荷。根据工艺初步测算的设备装机容量，本期机房新增2台14kW网络柜，如表1所列。

4.1制冷改造方案一

根据工艺专业规划及本工程围护结构的情况，在A数据机房AB通道右侧增加2台制冷量为45 kW的风冷精密空调，采用一主一备设计，如表2所列。

平面部署如图2所示。

4.1.1精确送风方式选择

如图2所示，进深较大的数据机房需要增加送风管，以保证制冷量及送风均匀。空调系统风出口处宜安装送风管道或送风帽，送风口可使用散流器或百叶风口，通过风管对目标高功率机柜进行精确送风降温[6]。

（1）地板下送风方式。

通过地板下送风对超高功率机柜进行制冷，地板下送风方式是将处理过的低温空气通过地板下送风管道精确送至封闭冷通道内，吸收数据机柜的热量后，从顶部返回到空调系统。地板下送风方式一般采用架空地板作为送风静压箱，架空地板的高度为60～100cm，甚至更高（应根据负荷密度、机房面积综合确定）。地板送风口數量应保障每个服务器机架均具有足够的冷却风量，宜设在服务器机架进风处，风速宜在1.5～3.0m/s。

地板下送风方式制冷效率较高、安装整洁、送风均匀，但结合实际情况，原机房为末端水冷列间空调，地板下遍布管道，可再利用空间非常有限，施工难度也非常大，容易出现地板下走线拥堵，送风不畅，距离空调机组较远的区域温度偏高，无法得到有效控制。地板下送风方式灰尘易进入机房，清理很难，如果管理不善，会造成一些部位有灰尘积聚，下送风方式会使灰尘随风进入IT设备，增加设备故障概率，严重日寸影响IT设备的正常工作。

（2）上送风方式。

上送风系统与下送风方式相反，其从精密空调顶部出风，可通过精确送风管道对机柜设备进行降温制冷。上送风的空调送风方式是由机房的上部送到通信设备，与热空气交换后，从机房的下部回到空调机组内。机房的送风气流组织与空气流动特性相矛盾，从而使房间最下部温度偏高，不利于通信设备的运行。需要送风距离较短时，可以用消音送风帽的风口直接送到机房内，机房内的气流组织为上侧送风下侧回风方式：需要送风距离较长时，就需要在机房上部设送风管道，通过空调送风管、送风口把空气送到机房的所需部位。因此，送风管和送风口就需要与设备的各类走线架、照明灯具进行协调，以免相互干扰，给设计、施工带来一定的工作量。但是，综合对比下送风方式，上送风在空间可操作性、实施便利程度及部署快速性上都具有很大的优势，因此本方案选择上送风加精确送风管的方式作为风冷精密空调的送风方式。

4.1.2CFD气流组织模拟

在工程实施前，利用CFD气流组织仿真软件模拟实际设备运行状况，可有效识别气流组织不均和可能的局部热点[7]，因此本次制冷改造设计加入了CFD模拟的步骤。

（1） CFD软件介绍。

CFD技术即计算流体力学技术，相当于虚拟的在计算机中做实验，用以仿真实际的流体流动情况。其基本原理是数值求解控制流体流动的微分方程，得出流体流场在连续区域的离散分布，从而近似模拟流体流动情况。

Fluent软件是我国工程应用中的主流CFD软件，针对流体的物理特点，采用适合的数值解法在计算速度、稳定性和精度方面达到最佳。利用Fluent软件能缩短设计论证过程和实验室实验时间。基于此，利用CFD软件分析机房冷通道区域的空气流动问题已经成为研究和机房建设中必不可少的环节。

（2）建模仿真。

选取1个AB和CD微模块机房作为研究对象，实施过程主要分以下几步。

①建立与实体机房相似的3D模型，主要包含机柜、风冷精密空调、水冷列间空调、地板及冷通道等。

②采集机房冷通道的各项参数（出风温度、风速、风量等），并根据服务器主频温度变化曲线，建立数据机房冷通道内气流流動的物理及数学模型，利用Fluent软件模拟封闭冷通道内气流的流场分布，分析其冷通道内气流的形态分布和速度分布情况。

③模型建立后，输出仿真结果，如图3所示。

根据仿真结果，B06，B07新增超高功率机柜附近进回风温度均在28℃以下，但是对向微模块C05-C08处机柜的进风最大为30.3℃，依然存在局部热点的可能，因此本方案还需完善。

4.2制冷改造方案二

根据工艺专业规划及本工程围护结构的情况，结合方案一中存在的局部热点，方案二在A数据机房AB通道右侧增加2台制冷量为45 kW的风冷精密空调，一主一备设计；并在AB和CD模块中间通道（热通道）左侧空余位置增加1台风冷精密空调，主要作用为回收热风，避免在C05-C08处产生局部热点，相关配置如表3所列。

平面部署如图4所示。

方案二设置2组制冷单元分别执行送风和回风工作，风冷送风空调将冷量输送至AB和CD微模块指定位置：而风冷回风精密空调将AB与CD模块间的热风定点回收，避免局部热点产生。此方案的CFD模拟如图5所示，对向机柜最大进风温度为250C，满足设备安全温度运行要求。

5针对超高功率机柜改造不同制冷方式设计方案对比

两种方案的主要差别为方案二较方案一增加了1台专用的风冷回风精密空调，主要用于吸收超高功率机柜所产生的热风，也确保本组机柜和对向机柜不受局部热点的影响。本次扩容改造工程最终选定方案二为最终实施方案，此方案目前已经竣工交付客户使用，在运行过程中未发生局部热点的情况。

6结束语

本次针对超高功率机柜部署的制冷改造，在有限空间内，在高功率机柜的通道两侧部署2套制冷单元，通过精确送回风管道，分别执行空调送风与回风工作，实现冷量输送与热量回收，此举既满足了超高功率机柜（14kW以上）的制冷需求，又避免对向机柜因超高功率机柜散热导致宕机的风险，在设备满载运行时，通过CFD模拟仿真设备最高进风温度25℃，完美消除了机房的局部高热点隐患。