地板下送风数据中心冷通道导流的结构研究

许陆顺,张忠斌,宋 平,巩 莉

(南京师范大学 能源与机械工程学院,江苏 南京 210023)

0 引 言

近年来,随着物联网、人工智能和5G等计算科学技术的蓬勃发展,数据中心行业迎来了快速增长的趋势,随着对数据中心行业存储、网络和计算需求的不断增加,数据中心的数量、规模、复杂性和能量密度不断增长。同时,随着设备发热量的增加和数据中心能耗的上升,数据中心的节能降耗问题已经成为社会广泛关注的热点议题。人们越来越关注如何通过采用创新的节能技术和优化的运维策略降低数据中心的能源消耗。

据统计,2020年,我国数据中心的年耗电量已超过2 500亿kWh,相当于三峡水电站一年半的发电量[1],占全国总用电量的3%以上[2]。未来,数据中心的能耗将以每年15%～20%的速度增长[3]。数据表明,数据中心用电量至少占据英国全国总用电量的1.5%,英国的数据中心用电量每年将以20%的速度增长[4]。美国数据中心的能耗占到了全国总能耗的2%,其中冷却系统的能耗占到了数据中心总能耗的40%[5]。随着信息技术的迅速发展,数据中心的能耗问题愈发严峻,对于实现节能降耗目标来说,降低数据中心的能耗至关重要。

数据中心的能耗主要由信息设备能耗、空调系统能耗和电源系统能耗3部分组成,共占据了能耗的98%[6],其中冷却系统能耗约占40%[7]。冷却系统的主要作用是提高数据中心的散热能力,确保数据处理设备能够安全高效地运行[8]。此外,通过有效地散热和温度控制,冷却系统可以降低能耗,提高能源利用效率[9],从而实现数据中心的可持续运营和能源效率的提升。因此,优化数据中心热性能对数据中心节能降耗有积极作用。

优化数据中心热性能主要包括优化供气配置、设备布局和运行参数。目前数据中心多采用地板下送风冷通道封闭方式,机柜通常以“面对面、背靠背”的形式排列。李婷婷等对数据中心进行了数值模拟,忽略高架地板漏风、地板下线缆、空调供回水管和照明设备等因素,机房内整体的温度较低,热点机柜较少[10]。SCHMIDT等对地板下送风和顶部送风数据中心进行了比较,发现带有静压层的地板下空气分配系统更好地改善了供气的均匀性[11]。LU等研究了不同的静压层高度和穿孔率共同对数据中心整体热性能的影响[12],表明通过调整几何结构,显著提高了系统的热性能。当超出临界范围时,静压层高度高于0.6 m,地板穿孔率低于20%时,性能变化不大。文献[13-14]通过数值模拟和实验发现,使用冷通道密封可以改善服务器的热性能,特别是在高功率密度下效果更显著。HAM等通过CFD和空气泄漏数据对数据中心进行建模,定量分析冷通道不封闭和封闭的热管理性能[15]。结果表明,在适当的冷却系统控制下,2种结构的热管理性能都很可靠,但在使用冷通道封闭时节能效果更好,在特定工况下,可节省24%的能耗。NIU等基于冷通道封闭模型,考虑主动强化气流分布方式,在冷通道前端设置诱导风机,发现诱导强化送风方式能够减少局部热点的产生,提高数据中心服务器的热性能[16-18]。

现有研究重点主要集中在数据中心的热性能和气流组织管理方面。数据中心研究的关键问题之一是确保气流在整个数据中心内的均匀分布,以保证冷却效果的一致性。同时,研究人员还关注电子设备核心温度的均匀性,确保各个设备的温度分布相对均衡。然而,对于地板下送风式数据中心冷通道的气流组织管理的研究较少。因此,本文提出了气流优化方法,在冷通道中应用4种导流板,改变冷气流进入机架的路径,从而提高直流的冷却效率。分析不同形状的导流板对地板下送风冷通道封闭式数据中心的优化作用,采用数值模拟的方法分别做出包含初始模型在内的5种不同的数据中心冷通道模型并求解计算,对比分析不同导流结构对数据中心热性能的影响,并通过实际测试对模型进行验证。

1 数值模拟

1.1 物理模型

所选研究对象为位于江苏省南京市的某高校数据中心,长11.7 m,宽6.5 m,高3 m,其内部结构尺寸如图1所示。

图 1 数据中心平面图Fig.1 Data center floor plan

该数据中心共有2台机房空调,采用地板下送风结构,并且对冷通道进行封闭,其结构模型如图2所示。

图 2 地板下送风冷通道封闭式数据中心模型Fig.2 Closed data center model with underfloor air cooling channel

图2中,共布置了4排机架(标记为A、B、C、D),每排分别有11个机柜(编号1～11),单个机柜尺寸为1 100 mm×600 mm×2 000 mm。每个机柜对应一个穿孔地板,每个冷通道内共布置22个穿孔地板,共计44块,穿孔地板尺寸为600 mm×600 mm,穿孔率为20%。机柜内服务器尺寸为800 mm×500 mm×90 mm,额定功率200 W,单机柜内含12台服务器,总功率2.4 kW。

数据中心中由2个机房空调单元提供冷却空气,冷气流从机房空调单元的底部释放并进入静压层,形成稳定的流场环境。随后,冷气流受静压驱动通过穿孔地板进入冷通道。之后冷气流通过机架流向热通道,并带走机架中服务器设备产生的热量。最后,被加热的冷却空气从顶部被吸入机房空调的回风入口进行制冷并开始下一轮循环。送风温度20 ℃,送风量4.4 m3/s。

根据上述数据中心,利用商用模拟软件Airpak3.0建立基本数值模型。为了简化模拟工作,在模拟中进行以下假设:

1) 数据中心和冷通道结构密封良好,密封活动地板无泄漏;

2) 数据中心的墙壁、地板和静压空间等板材绝热;

3) 忽略数据中心内部各换热面的热辐射;

4) 不考虑服务器内部风机的影响,并且每个服务器都设置为相同尺寸和恒定功率。

5) 机柜前后门设为多孔介质模型,开孔率为65%;穿孔地板也设为多孔介质模型,以简化穿孔地板微观出流特性,其他地板为实体封闭结构。

1.2 数学模型

求解过程中基于室内空气流动的3种假设: 1)数据中心机房内气流为低速流动,可视为不可压缩流体,忽略其因黏性力做功产生的耗散热; 2)机房内空气流动为充分流动状态,可设为稳态湍流; 3)机房内气流密度变化仅对浮升力产生影响,即符合Boussinesq假设。数据中心气流流动属于大空间流动问题,且遵循Boussinesq近似,因此在数值模拟过程中采用标准k-ε湍流模型[14-15]。

数值模拟采用控制体积法。使用计算的网格将该区域划分为离散控制体积,其中速度、温度、湍动能k和耗散率ε通过一阶迎风格式离散。差分格式采用混合格式,压力-速度耦合采用SIMPLE算法,x、y、z方向的速度和连续性的收敛残差精度控制在1×10-3以下,能量的设定值控制在1×10-6以下。控制方程,即

(1)

1.3 边界条件及网格划分

模拟边界条件的参数设置见表1。

注：N/A表示不适用或无适用数据。

选择机架上最高温度作为有效参数,分析不同网格数下温度的差异,进行网格独立性测试。当网格数≥3 600×103时,机架的最高温度几乎不再变化,表明模拟结果的精确度和稳定性较高,因此选择网格数3 600×103进行后续的研究。

2 实验测量及模拟验证

2.1 测量仪器和测点布置

在实验过程中,主要测量参数为温度(机架进出口温度、机房空调进出口温度、穿孔地板出口温度)和速度(机房空调供风风速、穿孔地板风速、机架进出口风速)。数据中心内温度检测仪器使用Agilent 34972A数据采集仪(精度为±0.001 ℃),配套温度传感器选择T型热电偶测量(测量范围-40～80 ℃)。数据中心风速测量则使用手持式Testo416热敏风速计(测量范围0.01～20 m/s,精度(0.03±5%)m/s,具备读数保持功能,方便测量不同高度的测点。

被测机架的测点位于每个机柜前后门的正中间,水平方向测点布置间距为600 mm,共布置11个测点,垂直方向布置6个测点,高度分别为100、400、700、1 000、1 300、1 600 mm,搭建整个热电偶测点网络。

实验在数据中心稳定工作后进行。对所有测量点测量4次,间隔15 min,最终每个测量点的温度取该点4次测量的平均值。在每一次温度测量过程中,数据采集器每30 s记录1次温度,采集时间为10 min,每一次测量的温度值取采集时间内温度的平均值。对于速度测量,取30 s内的平均速度作为每次测量的速度。并且进行3轮重复性测量,取其平均值作为实验结果,以减少误差。

2.2 不确定度分析

根据估计方法的不同,不确定度可分为A类不确定度和B类不确定度。A类不确定度按照统计分布进行估计,采用贝塞尔公式计算得到; B类不确定度按照非统计分布进行估计,通常以仪器误差表示,即

ΔB=Δi

(2)

式中:ΔA为A类不确定度;Sx为由贝塞尔公式计算得出的标准偏差;Δi为仪器误差;ΔB为B类不确定度;ΔX为合成不确定度。

选择A11机架后门6个测点的温度和风速测量结果进行不确定度分析,机架A11后门测点综合不确定度计算结果见表2。

表 2 机架A11后门测点综合不确定度计算结果

结果表明,测量点的测量不确定度小,测量值的离散度在可接受范围内,测量精度高。

2.3 模拟结果验证

为了验证建立的数据中心数值模型的可靠性和准确性,选择对热环境影响更加明显的机架出口的温度和速度作为验证对象,将所测数据中心A列机柜出口的温度和速度与数值模拟结果进行比较。为了更准确地描述实测值与模拟值之间的差异程度,引入相对偏差的概念,并使用式(3)进行计算,即

(3)

式中:CRE为相对误差;PEV为实测值;VSV为模拟值。

根据式(3)计算得到的温度和速度的实测值与模拟值的相对误差,结果如图3所示。

(a) 温度相对误差 (b) 速度相对误差

从图3可以看出,温度和速度的相对误差都非常小。这意味着模拟结果与实际测量值之间的差异非常小,模拟模型能够高度精确地捕捉到了系统的行为。温度的实测值与模拟值之间的最大相对误差不超过5%,表明模拟模型在模拟系统的热行为方面表现出色。速度的实测值与模拟值之间的最大相对误差不超过10%,表明模拟结果对系统的流动性能进行了良好的描述。总体而言,速度的相对误差比温度的相对误差大,是可预期的正常现象,并且两者的误差都在可接受的范围内,证明了模拟模型的准确性和可信度。

3 结果与讨论

为了研究导流板的应用对数据中心热环境的影响,将数值模拟分为5种场景,对应无导流板和应用4种不同形状的导流板(复合型、线型、凸型、凹型)的情况。冷通道内应用的导流板具体结构如图4所示。

图 4 导流板示意图Fig.4 Diagram of the deflector

由于机架A9、A10和A11的热环境最差,在3个机架中产生局部热点的可能性很高,因此主要选择A9、A10和A11等3个机架进行分析,包括3个机架在5种场景下的进排气温度及其速度4种共20幅云图,每幅云图中从右往左依次为机架A9、A10、A11。其模拟结果如图5所示。

图 5 不同导流板的模拟结果Fig.5 Simulation results of different deflectors

从图5可以看出,对于未应用导流板的S0来说,进气速度分布并不均匀,下部进入机架的冷空气充足但机架中上部区域却明显不足,这可能会导致机架内上部区域的服务器不能够充分冷却。进气温度分布比较均匀,这是因为温度机架附近发生的热循环的现象较少。机架出口温度分布并不均匀,并有可能会有局部热点产生,这是由于机架出口风速较低,不能及时带走热量所致。而应用导流板后,机架出口的温度都有不同程度的降低,说明无论导流板的结构如何,冷通道应用导流板对热积聚的现象都具有明显的改善作用。

对比S1～S4等4种模型, S1、S2、S4进气速度表现较好,分布较为均匀,S3表现相对较差,在上部出现了进气速度过低的问题,这是因为该结构改变气流方向的作用较其他几种较小。4种模型的排气速度也是如此,S3表现不好,在中间部分出现了速度较小的问题,而S2和S4排气速度分布较好。进排气的速度在一定程度上影响了进排气温度的好坏,但最重要的还是要保证温度分布均匀,无局部热点产生。S1、S2、S3的进气温度分布较S4好,因为S4中凹型导流板上部过窄,气流不能较多地进入机柜上部从而导致上部进气温度出现局部过热的现象。同样是这个原因使得S3的进气温度分布最好,因为凸型导流板留给了机架上部足够多的进气空间,上部进气量较大。而对于排气温度S3表现不好,局部热点较其他模型多,这是因为受到了进排气速度影响,S2和S4的排气温度分布较好。

仅从模拟结果的温度和速度云图考虑导流板的优化效果较为单一,需要对模拟结果的具体数值进行分析。机架进气温度分布状况都比较均匀,而排气温度差异较大,另外,机架排气温度是判断机架是否产生热点的重要依据,而机架热点又关乎数据中心能否安全运行。因此,重点从机架排气温度进行分析。

图 6为机架A9、A10和A11在5种不同场景下的排气平均温度。

图 6 S0～S4场景下3个机架平均排气温度Fig.6 Average exhaust temperature of three racks in the S0～S4 scenario

从图6可以看出,在场景S0时,机架A9、A10和A11的平均温度分别为31.4、31.5、31.8 ℃,机架距离CRAC出风口越远,平均排气温度越高。而在冷通道内应用导流板后,3个机架的平均排气温度均有不同程度的降低。S2和S4表现较S1和S3更好,其中S2的3个机架平均温度最低,皆在30.5 ℃以下。

然而,机架平均排气温度的降低并不完全代表热环境的改善,因为在机架中可能会出现局部热点,而局部热点对平均温度的影响并不大。所以本文又在局部上分析了热点温度相对于S0的下降情况,同时在整体上研究了排气的标准差。

A9、A10和A11机架在4种场景下的机架热点温度相对于S0的下降情况如图7所示。

图 7 S1～S4相比于S0的热点温度降Fig.7 Hotspot temperature drop of S1-S4 compared with S0

从图7可以看出,与平均温度趋势相似,S2和S4热点温度的下降最为明显,比S1和S3下降得更多,达到了1 ℃以上,其中S2的3个机架的热点温度下降的平均值接近2 ℃。机架排气温度的标准差如图8所示。

图 8 机架排气温度的标准差Fig.8 Standard deviation of rack exhaust temperature

从图8可以看出,温度标准差越大,说明机架的温度不均匀性越高。对于标准差而言,S4的结果略高于S1、S2和S3,意味着S4场景下排气温度整体分布较其他3种场景更不均匀,与前面平均温度和热点温度下降情况截然不同,因此该结构具有一定的局限性。显然S2的标准差最低,热环境温度均匀性更好。

综上所述,可将S2的线型导流板作为最优导流结构。

4 结 论

1) 对于地板下送风冷通道封闭式数据中心,合理地增设导流结构使数据中心各个机柜的进排气的温度和速度得到优化,温度场和速度场更均匀,很大程度上减少了局部热点的产生,可以有效避免由热量积聚造成的服务器损害现象。

2) 在CRAC相同的工况条件下(送风温度20 ℃、送风量4.4 m3/s),对比4种不同导流结构(复合型、线型、凸型、凹型)对数据中心热性能的影响,线型导流板效果相对最好,3个机架排气平均温度较原始结构下降了1.4 ℃左右,热点温度下降了1.9 ℃左右,标准差下降了0.4左右,并且结构简单,更易作为导流结构应用到数据中心。