CFD技术在数据机房环境运维中的应用探索

文/张振国 项颢 贾琨 张祖刚 (中国电子工程设计院有限公司)

1 引言

随着云计算、大数据、移动互联网、物联网等技术的迅猛发展，数据中心爆发式增长，数据中心建设向大规模、集成化、智能化发展。新技术层出不穷，数据中心的基础设施品牌种类也越来越多，数据中心自身已经变得越来越复杂，数据中心基础设施运行与维护的难度、工作量也随之加大。面对不断扩充和升级的数据中心，基础设施安全、稳定的运行作为数据中心业务系统基础环境保障显得日益重要。而数据机房环境的运维是数据机房安全运维的前提之一，为机柜创造一个安全可靠的运行环境尤为重要。

数据中心机房存放着大量的 IT 设备，机房单位面积发热量大，机房气流组织受机房布局、机柜摆放、空调运行情况等因素的综合影响。目前，数据中心多数采用强迫风冷冷却 IT 设备，气流组织成为空调制冷系统节能的关键。国外针对气流组织做了大量的研究，CFD（Computational Fluid Dynamics，计算流体动力学）被广泛用来分析和优化机房和 IT 设备内部的气流组织和温度分布[1]。

目前，数据中心机房设计中广泛采用由英国 Future Facilities 公司研发的数据中心气流组织仿真软件6SigmaDC。该软件含有丰富的模型库，可快速搭建数据中心机房，模拟、仿真、预测数据中心内的热环境，以动画、视频等多种方式显示温度场、气流场、压力场、湿度等[2]。

本文结合实际项目，采用CFD模拟对不同机柜架空高度下的机房环境进行了分析，给出了地板架空高度推荐值和相应的运维建议。

2 项目概况

本项目位于北京市，机房面积为153.64m2，其中信息机房的面积约为70m2，净高为3m，中间梁高为0.4m。共布置机柜24台，单台最大电力容量为4KW，机柜两行竖向布置，中间为冷通道（冷通道封闭），两边为热通道（见图1）。机房采用2台直膨式恒温恒湿专用空调，一用一备，单台额定制冷量为80kW，机房采用下送风上回风的气流组织形式，冷风通过地板下的静压风库送入机房，设计送风速度不大于3m/s。

图1 平面布局图

根据项目平面图建立了CFD模型，如图2所示：

图2 CFD模型

3 不同地板架空高度的影响

本项目为改造项目，层高仅为3m，梁高为0.4m，机柜高度为2.0m，则地板架空高度过高会影响空调回风，地板架空高度过低会影响架空地板内的压力分布继而影响空调送风。

图3为机房剖面流场图，可以看出横梁对机房回风的影响较明显。底部架空高度越高，横梁前的旋涡越大，回风越不畅。因此，应充分论证本项目的底部架空高度，以优化机房的 环境。

高架地板架空高度与送风量、机柜布局、桥架线缆布置与走向等因素有关。空调回风温度设定为34℃，模拟本项目架空地板高度分别为300mm、400mm、500mm的情况下，机房环境及空调运行状态。模拟结果见图4。

模拟结果表明，架空地板高度为300mm时，机柜9、10、11、19、20、21入口处温度最大值超过了26℃，其中11和21超过了27℃。架空地板高度为400mm时，机柜11、23、24入口处温度最大值超过了26℃，最高达26.5℃。架空地板高度为500mm时，机柜11、23入口处温度最大值超过了26℃，最高达26.7℃。

当高架地板较低为300mm时，风机阻力增加，为了保障送风量风机频率增大、转速增大从而压头增大，近空调侧架空地板静压减小，栅格送风量减小，导致机柜入口温度升高。当地板架空高为400mm时，上述现象有明显改善，当架空地板高度提高为500mm时，改善效果不明显。综上，本项目高架地板推荐高度为400mm。

从后期运维角度来看，地板架空高度选择 400mm 时，架空地板下的走线和梁对气流组织影响不大，建议架空地板高度为 400mm，后期运维时应讲不用的机柜旁边栅格关闭，防止架空地板中落入灰尘杂物，影响送风。

图3 剖面流场

图4 不同架空高度机柜入口温度分布

4 冷通道封闭的影响

考虑到本项目层高受限的特殊性，分析了当架空高度为400mm时，封闭和不封闭冷通道两种条件的运行情况见图5。

模拟结果表明：当冷通道不封闭时，开启两台空调，回风温度设定为30℃，固定单台空调风量为额定状态的50%，机柜12和机柜24入口温度最大值较高，较高位置出现在机柜顶部，温度达到33℃，存在局部热点。从根据机柜12的流线图（图6）可以看出，机柜12出现局部热点的原因是机柜排风出现了回流，导致入口温度升高。当增大送风量至60%或降低回风温度设定值后，机柜12和机柜24的局部热点才消失，但是这也同时导致空调能耗的升高。

当封闭冷通道后，固定单台空调风量为额定状态的50%，回风温度设定值提高至33℃，机柜进口温度分布均匀，未出现局部热点。由此可知，相同送风量下封闭冷通道后回风温度设定值可提高3℃，这对降低空调能耗是非常有利的，同时也可延长自然冷源的利用时间，从而进一步降低PUE。

图5 冷通道封闭前后机柜入口温度分布

图6 机柜12流线图

5 后期运维建议

同时，结合CFD技术对机柜布置，空调控制策略、冷风泄露、增设盲板等问题进行了模拟分析，综合分析后为项目提供了以下运维建议：

（1）机房封闭冷通道节能效果明显，封闭冷通道后空调回风温度设定值建议为33℃，或送风温度设定建议为20℃，后期运维应检查冷通道的密封性。

（2）冷风泄露对机房环境和空调能耗影响很大，当发生回风温度偏低、机柜入口温度部分不均时，应检查是否在架空地板边缘出现了冷风泄露现象。

（3）增设盲板对机房环境和空调节能影响较大，暂时未使用的机柜应增设盲板，且应优先在近空调机柜侧加装 盲板。

（4）地板架空高度选择 400mm 时，架空地板下的走线和梁对气流组织影响不大，建议架空地板高度为 400mm，后期运维时应讲不用的机柜旁边栅格关闭，防止架空地板中落入灰尘杂物，影响送风。

（5）容易互相热点的机柜是靠近空调侧的前 3 台机柜，这几台机柜更容易出现过热现象，机柜占用时建议由远级近布置服务器。

（6）受房间尺寸，机柜布局的影响，左侧空调和右侧空调容易出现出力不平衡现象，右侧机柜出力相对较大，服务器可优先往左侧摆放。

（7）空调 1+1 冗余，建议采用固定送风量，单台送风量设定为 50%送风量，根据回风温度控制送风温度的控制策略，送风温度最小值不低于 16℃。

（8）当机柜使用率低于 30%时，建议优先将空调送风量调节至相应的设计风量（但应保障栅格静压），条件允许并经对比论证后，可改为送风量随回风温度变化的控制模式，或只开启一台机组运行，另外一台待机备用；当机柜使用率高于 30%，应采取固定 50%的风量运行，并根据空调运行情况，调整回风温度设定值。

（9）严禁将服务器反向安装，发现局部热点且调低送风温度无效时，应第一时间检查热点机柜是否存在反装现象。

6 结束语

本文以实际项目为依托，以地板架空高度问题为切入点，对不同架空高度、冷通道封闭前后机房环境进行了CFD模拟，为项目设计和运维提供了指导建议。同时，CFD技术也可用于对机柜布置，空调控制策略、冷风泄露、增设盲板等问题进行模拟分析，从而指导现场运维。