数字孪生数值模拟平台实现数据中心节能降耗分析

郑品迪

（北京瑞思博创科技有限公司，北京 100036）

0 引 言

双碳环境下，数据中心面临很大的节能减排压力。2021年12月8日，国家发展改革委等四部门印发《贯彻落实碳达峰碳中和目标要求推动数据中心和5G 等新型基础设施绿色高质量发展实施方案》，提出新建大型、超大型数据中心运行PUE 不高于1.3，现存数据中心PUE 超过1.5 的要进行节能降碳改造，上架率低于50%的不支持规划新建数据中心。但是目前，根据CDCC《2021年中国数据中心市场年报》数据，2021年全国PUE 平均水平是1.49，与国家要求2023 达到平均1.30 还有0.19 的差距，往往PUE 在数值低位时每降低0.1都要付出巨大代价。

华中、华南地区受地理位置和上架率及多种因素的影响，数据中心平均PUE 值接近1.60，存在较大的提升空间。所以我们需求一种技术可以有效指导数据中心降耗。本文提供一种数据中心数字孪生数值模拟平台实现机房节能降耗分析，主要体现在以下几点：（1）数字孪生节能途径与节能平台架构模型。（2）平台架构数值模型要素分析，关键模型节能原理。（3）在节能平台架构上实现的成功案例分析。

本文主要讨论运营机房的节能应用。

1 数字孪生节能途径与节能平台架构

如何通过数字孪生数值模拟实现机房节能呢？首先需要了解机房的节能途径，以及数字孪生平台的节能框架，了解在这个框架下需要集合哪些功能才能实现节能分析，然后是数字孪生模型要素的分析以及实现的效果。

1.1 机房节能途径

图1为数据中心能耗的典型构成图，来源于ASHRAE TC9.9 的报告，空调制冷是机房能耗的主要构成部分，数字孪生数值模拟的目的就是降低冷却系统的能耗。

图1 机房能耗分布图

对于运营数据中心节能的途径归纳为以下两种：物理结构方法和可控参数方法。

1.1.1 物理结构方法

物理结构方法指的是通过增加或者调整机房内的物理结构，改善冷却系统的运行效率实现节能。可采用的方法包括：机柜增加盲板、密封条，空调送风路径上增加导流板，设备安装冷热气流隔离板，合理规划IT 设备上架位置等。

所有这些物理改造方法都是有指导的，预先评估过的方法，如果盲目改造可能出现机房安全隐患。数字孪生数值模拟方法可以在创建的数字孪生模型上实施改造过程，预测改造的结果，通过指标评估改造方法的可行性，综合考虑机房的安全、能效与改造的关系。

1.1.2 可控参数方法

数据中心出现的能耗或者热点问题不一定都能通过物理结构优化解决，这就考虑到了另一个节能改造的方向，通过参数控制实现节能。可采用的方法包括：

首先是优化冷却设备的控制值，比如：（1）提高行级冷冻水空调的控制回风温度，可以实现节能。（2）提高末端风机的控制温差可以减少风机转速实现按节能等。（3）提高冷冻水温度可以实现节能。

然后是最佳备机方案选择，尤其是空调末端采用冷备份时，开启空调的数量直接影响机房冷却系统的能耗。

可控参数方法要求数字孪生数值模拟具有末端空调、冷冻水系统控制能力，比如回风温度控制时如何实现的？风机温差控制如何实现？空调是否具有风机和制冷开启关闭能力？

1.2 数字孪生数值模拟节能平台架构

通过上面的节能途径可以看出数据中心数字孪生数值模拟平台不是单纯的通用的CFD 解决方案，需要体现以下特性：（1）创建的数字孪生模型体现数据中心基础实施的关键能耗设备，包括冷却设备、机柜与IT 设备、电力设备等模型，以及相关参数。（2）体现冷却系统的控制能力以及冷却系统形式，包括直接膨胀式空调、冷冻水空调等更多样式的空调。（3）集成可评价的机房能效指标。（4）节能效果评价。

2 平台架构数值模型要素分析

根据数字孪生数值模拟节能平台架构要素，分析机房主要设备核心参数，每种模型都会设计到平台部分或者全部要素，通过要素之间的相互所用，在数字孪生数值模拟平台下实现节能分析。

2.1 冷却系统模型

冷却系统模型包括冷机和空调末端，在进行节能分析的时候需要考虑这两个关键设备的能效相关参数，需要考虑的主要因素包括2.1.1 ～2.1.3 三个方面的内容。

2.1.1 需要支持冷机效率设置

图2为某离心冷水机组在不同冷冻水温度下的功率与COP。离心冷水机组冷量750 RT（2 640 kW），冷却水温度32/37 ℃，冷冻水供回水温差5 ℃。

图2 某离心冷水机组在不同冷冻水温度下的冷机功率与COP

冷冻水供水温度提高2℃，供回水温差均为5 ℃时。以供回水温度为10/15 和12/17 为例，10/15 供回水时压缩机功率约453 kW，12/17 供回水时压缩机功率约427 kW。提高2℃节能百分比＝（453-427）/453 ＝5.7%

同样对于直接膨胀式精密空调末端，当回风温度增加时机组制冷量与能效也相应增加，图3为某厂商精密空调的在冷凝温度为45 ℃的性能。

图3 精密空调能效曲线

在25 ℃～40 ℃范围内，回风温度每提高1 ℃，能效平均提高3.3%。

2.1.2 需要支持空调末端控制

多样的控制方式实现主要分为两大类：独立控制和群组控制。

独立控制：（1）控制方式：送风控制、回风控制、差值控制.（2）控制参数：温度、压力.（3）被控制设备：水阀、风机，其中，水阀通过回风温度控制，风机转速通过温差控制；水阀通过回风温度控制，风机转速通过压差控制；水阀和风机转速都通过回风温度控制。

群组控制：设备控制参数同独立控制，群组控制体现一个主空调控制器控制其他空调。

2.1.3 需要支持不同的风机类型

图4为鼓风机与下沉式EC 风机在精密空调内的位置与出风形式。

从图4中可以看出不同风机类型与安装位置会显著影响风机的出风形态，所以节能平台不能忽略风机的影响，需要考虑的主要参数为：（1）风机安装位置。（2）风机的类型设置：鼓风机、EC 风机、轴流风机等。（3）风机的出风角度：不同的叶片安装角度导致风机的出风方向会有较大差异。（4）风机的导风罩：带弧度的导风罩、箱式导风罩，以及可能的接出风管等。

图4 空调风机类型对气流的影响

除了要体现上述结构等参数外，运营机房空调的实际运行风量因现场流动阻力条件实际输出风量是不确定的，所以还需要测试空调的运行风量。

2.1.4 节能分析

在数值模拟平台上进行节能分析可以通过四个方法实现：PUEr 评估指标分析、冷冻水节能量估算法、空调因子计算节能量、平台内置节能量分析。

PUEr评估指标分析：可以用PUEr 来分析机房能耗情况，来自绿色网格组织的指标，指定了PUEr 等级。PUEr 计算：PUEr（）=PUEre（）÷PUEactual， 其中PUEre（）是等级中最小的PUE 值；PUEactual：机房目标PUEr 等级。

冷冻水节能量估算法：根据《中央空调冷水主机变冷冻水温对系统节能的影响分析》的数据，可以按照冷冻水升温按照水温提升1 ℃冷机节能率约为3%计算节能量计算。

空调因子计算节能量。空调因子是PUE 的构成部分，在利用数字孪生数值模拟平台进行冷却系统能耗分析的时候可以重点突出空调因子的影响：PUE ＝（IT 设备能耗＋空调能耗＋供电系统能耗）/IT 设备能耗＝1 ＋空调因子＋供电因子。

平台内置节能量分析：这是推荐的节能计算方法，因为是数值模拟平台集成的功能，所以在分析上会有很大的便利性，只需要创建数值模型，在计算结束后就可以得到年节能量、机房效率指标等重要模拟结果。如果要实现平台内置的节能量分析可通过以下步骤实现：（1）需要定义系统COP 与冷冻水供水温度，空调末端的显冷量与回风温度的关系。（2）需要定义机房规划情况，包括冷却冗余、机房安全热余量、电费、电力、冷却、气流等容量。（3）包含内置机房PUE、各种电力设备功耗统计、效率指数计算模型。（4）通过上述设置可以得到机房能耗评价情况，包括：房间效能、PUE、电力明细表、机房效率与性能指标、潜在节能量等。

2.2 机柜与IT 设备模型

机柜与IT设备模型需要考虑的主要因素是风量和发热。

2.2.1 风量设置

实际运行风量由现场的实际部署情况决定，风量设置可以采用两种方法：定义进出风温差和定义风量。

定义进出风温差即固定机柜的进出风温差，这是最简单的边界条件，建议在机房设计阶段采用，运营机房不建议采用，如果用统一的固定的值会与现场实际情况差异较大。

定义风量有两种方法可以获得IT 设备的风量：通过测试温差获得风量和直接测试风量。

通过测试温差获得风量即实际测试不同IT 设备型号在不同负载率下的进出风温差，根据温差和功率确定服务器的风量。根据公式=××Δ确定风量的，式中只有为未知数，因此可以根据测试数据得出IT 设备的流量。

图5为实测的某国内厂商IT 设备的风量进风温度变化的数据。其中，横坐标为IT 设备进风温度，纵坐标为服务器流量，当进风温度升高时设备流量逐渐增加，可以将此值设置到数值模型中就能很好体现设备的流量条件。

图5 服务器流量与IT 进风温度关系

现场测试时建议在服务器出风口增加15 cm 的光滑导风管，使出风混合均匀，如果现场条件不允许的化尽量将传感器紧贴布置在服务器出风口，减小空间气流的影响。测试点位通常要求IT 设备出风口测试8 ～12 个点，布置于导风管出口处，进风口1个点位。测试设备为温度采集仪+T型热电偶。

直接测试风量即实际测试不同IT 设备型号在不同负载率下的出风风速，取测试的平均风速与面积的乘积计算出流量。鉴于风速传感器与现场条件测试结果会有较大误差，不建议采用这种方法。

除了上述两种方法外，平台还应提供标准参数，图6（a）（b）分别为EnergyStar 和ASHRAE 标准的IT 设备流量设置。流量单位为l s/kW，体现流量和IT 设备进口温度、负载率的关系，当负载率增加的时候流量增加，进风温度增加的时候流量增加，模拟服务器内部风机的控制逻辑。图6（a）EnergyStar 为单条曲线，图6（b）ASHRAE 采用高、中、低三条流量曲线设置，根据需要进行选择。

图6 IT 设备流量推荐设置曲线

2.2.2 功率设置

采用实际运行功率，假设100%转换成发热。

2.3 出风地砖模型

出风地砖模型需要考虑的主要因素包括：出风地砖阻力与流动特性。

在风洞中对详细的出风地砖模型进行模拟，以捕捉气流特性。创建简化模型并调整设置以匹配详细模型的结果。图7为详细模型与简化模型，实际数字孪生模型中使用简化模型。

图7 出风地砖模型

为了使简化模型体现实际模型的流动特性，需要在测试风洞中进行出风地砖的流动阻力与流动形态验证，流动阻力特性获得流阻曲线，如图8所示，简化模型与详细模型有相同的流动阻力特性。

图8 出风地砖模型简化前后流动阻力曲线

如果需要可以调整流动角度，有时需要将附加结构到简化模型中，保证地板出风口的流动特性与详细模型一致。如图9所示。

图9 出风地砖模型简化前后流动形态

2.4 机房评估指标

节能平台从三个维度上说明机房的评估指标，包括机房健康指标、机房容量指标、机房绩效指标。限于篇幅，本文只介绍机房健康指标、机房容量指标。

2.4.1 机房健康指标

机房健康指标可以分为流量、温度、热量三类指标，如表1所示。

表1 机房健康指标

2.4.2 资源利用率指标

资源利用率的目的是优化机房容量，使其均衡发展。容量包括电力、冷却、气流、空间、端口等。

容量用于规划机房各系统的匹配运行，减少因某些容量耗尽引起的容量碎片化，通过容量规划最大化机房利用率。

为资源不平衡率，为容量个数，为某个容量，≠，=1，2，…，，为组合数。

3 节能平台架构上实现的成功案例分析

该机房是一个运营商机房，案例特点完成了数值模拟与改造方案实施，节能效果验证全过程分析。

3.1 机房基本情况

机房面积260 m，机房净高4.4 m。共包含4 个微模块、102 个机柜和32 个行间级空调，机房设计IT 负载为510 kW，封闭冷通道，现状机柜总输入功率138.7 W，空调控制回风23 ℃，额定风量5 023 CMH，制冷量21.9 kW。

该机房过热机柜为刀片服务器机柜，单机柜功率3.4 kW，最大进风温度为29.09 ℃。

3.2 节能优化分析过程

首先，通过模拟验证表2所示方案的升温的可行性，排除机柜过热隐患。下述三个方案均可以将IT 设备进风温度控制在27 ℃以内，根据现场条件按照方案一实施升温方案，实际升温2 ℃。

表2 改造方案

（2）实际测试升温前后IT 设备的进风温度变化，验证升温前后的模拟精度。图10 为升温前后抽样选取的部分IT设备进口温度的模拟与实测值对比情况，大部分模拟精度在5%以内，满足业主需求。

图10 升温实施模拟精度

（3）核算模块空调末端经过升温后的节能量，读取动环系统同时段的电能数据转化为功率，得到图11 升温前后空调末端的功率kW，机房升温2℃空调末端节能8.1%。

图11 升温前后空调末端功率变化

4 总 结

数字孪生数值模拟平台实现数据中心节能降耗分析的方法，相对于通用数值模拟软件根据有针对性，集成数据中心基础实施的关键能耗设备，包括冷却设备、机柜与IT 设备、电力设备等模型，以及相关参数，体现冷却系统的控制能力以及各种冷却系统形式，结合机房能效评价指标，实现机房各种节能方案效果的评估计算。

在节能平台架构上实现的成功案例是运营商机房节能改造评估，通过数值模拟与现场改造方案实施验证，充分证明数字孪生数值模拟节能平台节能评估的可靠性。

本文提出了侧重于经验的可行的数据中心节能分析方法，在双碳环境下，为数据中心节能减排提供有益的指导。