高功率密度数据中心制冷技术研究

雷婷 李谦 张凯

中兴通讯股份有限公司

0 引言

近年来，随着5G、物联网、大数据、云计算等技术的兴起，各行各业数字化转型已经成为必经之路，20年前数据的增长速度大约只有每天100GB，而今，数据的增长速率已达到每秒约5TB，IT算力持续演进，CPU和服务器功率持续提升，伴随AI应用的需求增长，AI算力比重进一步提升。为平衡效率和成本，作为信息处理、存储、发布等核心设施的数据中心，其传统的规划、设计、建造、运维等全生命周期过程越来越不能适应飞速发展的业务需求的变化特点。

随着数据呈井喷式增长、IT算力持续演进，服务器功耗大大增加，服务器性能的提升使其功耗在近十年来增加约15倍，相应地，数据中心的服务器机架的供电功率提高了10倍以上：传统数据中心的一个服务器机架功耗为3～5kW，现在高达6～30kW。在规模和效率的双重驱动下，未来单柜功率密度将进一步提升，如何构建高密可用的数据中心已经成为全球各大数据中心运营方、建设方研究突破的技术方向。

业内认为液冷可解决超高功率密度数据中心制冷问题，但液冷技术产业链尚未成熟，对机房建设运营方式改变较大，对于8～20kW高功率密度机房如何解决制冷问题？本文研究了HMDC（High-Density Modular Data Center，高密模块化数据中心）方案，该方案设计经过3代产品更新迭代，最高可支持单机柜20kW数据中心，能解决绝大部分高功率密度机房制冷问题。

1 第一代中功率密度HMDC

传统数据中心通常采用精密空调地板下送风方式进行制冷，IT机柜的功率密度通常在4～6.5kW，IT机柜的功率密度较低。HMDC第一代产品采用列间空调水平送风，封闭热通道并将冷热通道隔离，将功率密度提升到8.8kW。

1.1 中功率密度HMDC组成

行间级空调贴近机柜水平送风，相比房间级空调更节能且能支持更高功率密度机房，本方案拟采用业内常规600mm宽行间空调来研究中功率密度机房制冷。以30个机柜为例，第一代中功率密度HMDC总共包含30个8.8kW机柜，IT冷负荷为8.8kW×30＝264kW，不间断电源HVDC（含电池）冷负荷为IT冷负荷的5%，共计264kW×5%＝13.2kW，总冷负荷为264kW＋13.2kW＝277.2kW。在HMDC模块两端配置配电列头柜和不间断配电柜及电池柜，为IT机柜供电。

采用列间空调水平送风方式进行制冷，配置6台显冷量为64kW的列间空调，其中一台为备用。

图1 8.8kW中密度HMDC模块布局图

1.2 列间空调水平送风的气流组织

第一代中功率密度HMDC采用列间空调水平送风方式，热通道封闭，冷热通道隔离。列间空调水平送风距离在0.6～1.8米，机外余压约20Pa；相比于传统的精密空调地板下送风的送风距离1.5～15m，机外余压约150Pa。因此，极大地降低了风阻带来的制冷量损失，同时送风距离短及低风压，能够使服务器进风量均匀，解决了机房局部热点问题。使得单机柜功率密度可以满足8.8kW的制冷要求。

图2 8.8kW中功率密度HMDC模块机房流线俯视图

1.3 中功率密度HMDC机房仿真

1.3.1 仿真模型

机房内共安装3个8.8kW中密度HMDC模块，为了验证列间水平送风的制冷效果，建立仿真模型。如表1所示。

表1 8.8kW中功率密度HMDC模块机房仿真模型设置表

1.3.2 仿真分析

截面@0.2m，冷通道最低温度约24.3℃左右，热通道最高温度约38.2℃左右。

截面@1.2m，冷通道最低温度约24.2℃左右，热通道最高温度约38.9℃左右。

截面@1.8m，冷通道最低温度约24.3℃左右，热通道最高温度约39℃左右。

截面@机房某中间截面，冷通道最低温度约24.9℃左右，热通道最高温度约39.3℃左右。

图3 8.8kW中功率密度HMDC模块机房截面1.8m温度云图

1.3.3 仿真结论

仿真结果表明：该布局方案能够满足微模块及设备温度要求。

（1） 气流组织图表明：微模块机房冷热通道隔离良好，无冷热风混合情况。

（2） 截面温度云图表明：热通道最高温度39℃左右，冷通道最低温度24℃左右。

（3） 设备进风温度图表明：微模块机房机柜进风温度为24～25℃，满足ASHARE2011进风不超过27℃要求。

（4） 空调运行状态参数表明：空调运行在较为合理的状态，进出风温度控制合理。

空调冗余工况计算结果表明，机房侧部分空调失效时，其余空调负荷依然在空调制冷能力范围内。

2 第二代高功率密度HMDC

为了进一步支持更高功率密度制冷需求，研究了第二代高功率密度HMDC，该方案将行间空调水平送风方式调整为兼容行间顶制空调OCC制冷方式，并在整体方案上做了如下优化：

（1）对框架进行优化调整，框架结构采用通用框架设计，无底座，与机柜解耦；

（2）封闭热通道，热通道从标准1.2m扩展到1.8m，增加送风截面积满足高功率密度机柜制冷要求；

（3）采用顶置空调，利用热气流上升，冷气流通过OCC顶置空调换热后重力下降送风，无需风机，做到空调节能。

通过以上优化，第二代高密度HMDC模块进一步将单机柜功率密度提高到13.6kW。

2.1 高功率密度HMDC构成

以32个机柜单机柜功率密度13.6kW为例，高功率密度HMDC 的IT冷负荷为13.6kW×32＝435.2kW，不间断电源（HVDC，含电池）冷负荷为IT冷负荷的5%，总冷负荷为

435.2kW＋21.8kW＝457kW。

在HMDC模块两端配置配电列头柜和不间断电源配电柜及电池柜，为IT机柜供电。

采用4200mm和4800mm长的OCC顶置空调方式进行制冷，配置4台显冷量为95kW和2台显冷量为110kW的OCC顶置空调，其中一台显冷量110kW的OCC顶置空调作为备用。

主用显冷量总共为488.1kW，备用显冷量为109.2kW，占空调总显冷量的18.3%。

2.2 OCC顶置空调的气流组织

第二代高功率密度HMDC采用了OCC顶置空调，对框架进行优化调整，框架结构采用通用框架设计，无底座，与机柜解耦。封闭热通道，冷热通道隔离。服务器吹出的热气流上升到热通道顶部，经过热通道顶部两侧的OCC顶置空调换热变成冷气流下落至冷通道。这种气流组织方式完全利用服务器风扇自身的风压和热气流上升的压力及冷气流的重力进行循环。由于取消了空调器的风机，所以比第一代列间空调水平送风的方式更加节能。由于OCC顶置空调利用了机房顶部空间，大大增加了换热面积，热气流上升换热顺应了空气的热力学特点，因此进一步提高了IT机柜的功率密度，提高到了13.6kW。

图5 13.6kW高功率密度HMDC模块机房流线俯视图

2.3 高功率密度HMDC机房仿真

2.3.1 仿真模型

机房内共安装3个13.6kW中密度HMDC模块，为了验证OCC顶置空调的制冷效果，建立仿真模型。如表2所示。

表2 13.6kW高功率密度HMDC模块机房仿真模型设置表

2.3.2 仿真分析

截面@0.2m，冷通道最低温度约24.3℃左右，热通道最高温度约38.2℃左右。

截面@1.2m，冷通道最低温度约24.2℃左右，热通道最高温度约38.6℃左右。

截面@1.8m，冷通道最低温度约24.2℃左右，热通道最高温度约38.7℃左右。

截面@机房某中间截面，冷通道最低温度约24.9℃左右，热通道最高温度约39.3℃左右。如图6所示。

图6 13.6kW高功率密度HMDC模块机房截面1.8m温度云图

2.3.3 仿真结论

仿真结果表明：该布局方案能够满足微模块及设备温度要求。

（1） 气流组织图表明：微模块机房冷热通道隔离良好，无冷热风混合情况。

（2） 截面温度云图表明：热通道最高温度39℃左右，冷通道最低温度24～25℃左右。

（3） 设备进风温度图表明：微模块机房机柜进风温度为24～25℃，满足ASHRAE2011进风不超过27℃要求。

（4） 空调运行状态参数表明：空调运行在较为合理的状态，进出风温度控制合理。

空调冗余工况计算结果表明：机房侧部分空调失效时，其余空调负荷依然在空调制冷能力范围内。

3 第三代超高功率密度HMDC

第三代超高功率密度HMDC结合了第一代中密度和第二代高密度HMDC的技术。

由于第二代HMDC框架结构采用通用框架设计，无底座，与机柜解耦，因此可将第一代HMDC中采用的列间空调推入到机柜列间，在OCC顶置重力送风这种方式的基础上，加入了第二代列间空调水平送风，增加HMDC模块的换热面积和风量，从而实现将单机柜功率密度提升到20kW的超高密度。

3.1 高功率密度HMDC构成

高功率密度HMDC总共包含28个20kW机柜，IT冷负荷为20kW×28＝560kW，不间断电源HVDC（含电池）冷负荷为IT冷负荷的5%，共计560kW×5%＝28kW，总冷负荷为

560kW＋28kW＝588kW。

在HMDC模块两端配置配电列头柜和不间断电源配电柜及电池柜，为IT机柜供电。

采用OCC顶置空调和列间空调进行制冷，配置4台显冷量为94.7kW和2台显冷量为109.3kW的OCC顶置空调，其中一台显冷量109.2kW的OCC顶置空调作为备用。配置4台显冷量为64kW的列间空调，其中2台列间空调作为备用。主用显冷量总共为616.1kW，备用显冷量为237.7kW，占空调总显冷量的27.8%。如图7所示。

图7 20kW超高密度HMDC模块布局图

3.2 OCC顶置空调的气流组织

第三代超高功率密度HMDC结合第一代中密度和第二代高密度HMDC的技术，OCC顶置空调和行间空调在三个方向上包围式的制冷方式，增加HMDC模块的换热面积和风量。如图8所示。

图8 20kW超高功率密度HMDC模块机房流线俯视图

3.3 高功率密度HMDC机房仿真

3.3.1 仿真模型

机房内共安装3个20kW超高密度HMDC模块，为了验证OCC顶置空调＋列间空调的制冷效果，建立仿真模型。如表3所示。

表3 20kW超高功率密度HMDC模块机房仿真模型设置表

3.3.2 仿真分析

截面@0.2m，冷通道最低温度约24.6℃左右，热通道最高温度约38.9℃左右。

截面@1.2m，冷通道最低温度约24.5℃左右，热通道最高温度约39.6℃左右。如图9所示。

截面@1.8m，冷通道最低温度约24.5℃左右，热通道最高温度约37.4℃左右。

截面@机房某中间截面，冷通道最低温度约24.9℃左右，热通道最高温度约39.3℃左右。如图9所示。

图9 2 0kW超高功率密度HMDC模块机房截面1.8m温度云图

3.3.3 仿真结论

仿真结果表明：该布局方案能够满足微模块及设备温度要求。

（1）气流组织图表明：微模块机房冷热通道隔离良好，无冷热风混合情况。

（2）截面温度云图表明：热通道最高温度39℃左右，冷通道最低温度24～25℃左右。

（3）设备进风温度图表明：微模块机房机柜进风温度为24～25℃，满足ASHRAE2011进风不超过27℃要求。

（4）空调运行状态参数表明：空调运行在较为合理的状态，进出风温度控制合理。

（5）空调冗余工况计算结果表明：机房侧部分空调失效时，其余空调负荷依然在空调制冷能力范围内。

4 结束语

该方案设计经过3代产品更新迭代最高可支持单机柜20kW数据中心，解决了绝大部分高功率密度机房制冷问题。本文提出的技术方案包含如下创新点：

（1）快速灵活。通过工厂预制化的产品方式，框架与机柜解耦，兼容标准机柜、整机柜服务器、小型机及其他异形机柜，HMDC的交付时间可以缩短到8-12周，站点现场交付效率比传统服务器上架交付的方式提升10倍以上；无底座设计，方便机柜就位，对场地要求低，普通水泥地面即可安装；采用模块化设计，后期可按需扩容，降低初始投入。

（2）超高功密。采用OCU顶置空调主用、行间空调备用的方案，通过优化冷热通道气流组织，实现超高功率密度机柜制冷，相比液冷等方案更易运维、更易规模化部署。

（3）绿色节能。采用冷热通道隔离、冷/热通道封闭的气流遏制设计。制冷末端靠近IT设备，服务器入口温度可提升至27摄氏度，采用自然风冷却机房整体能耗，降低风机转速和能耗，并降低噪声。