甘肃省计算中心高性能计算机房节能改造方案探讨

◆文 洮 范瑞龙 赵志威

(甘肃省计算中心 甘肃兰州 730030)

甘肃省计算中心高性能计算机房于2005年投入建设并使用，位于办公大楼二层，机房净空高度3.5m，建筑面积为32.5m2。机房在2009年进行第一次扩容升级之后，其内部摆放一排5个机柜，其中3个机柜集中放置刀片服务器100个，另外2个机柜放置管理节点、磁盘阵列、网络交换机等设备。随着甘肃省计算中心高性能计算用户的不断增长，对计算资源的需求随之增加。2017年对机房进行了第二次扩容升级，增加机柜2个，新增刀片式计算节点20个，磁盘阵列存储100T。2005年至2017年机房内的制冷一直由一台总制冷量为45.2kW的精密空调完成，另外一台冗余的5P空调在机房温度超过35℃时自动启用。由于计算机设备的使用周期一般为5年，2009年扩容的设备运算速度在2017年已不能满足大部分用户的计算需求。因此，在2018年进行第三次扩容之前，本文对该机房的效能进行了分析，不断增加的计算设备需要更高效的制冷系统，对该机房进行更加合理的规划从而达到节能目的是本文最终要解决的问题。

1 机房效能分析

1.1 改造前机房概况

甘肃省计算中心高性能计算集群用户主要来自甘肃省内各大科研院所与高校，计算领域涉及气象、化学、材料等，集群设备无间断24h工作，每年运行天数约345天。运行过程中产生大量的热，安全运行范围 25℃-35℃。机房几何尺寸：长×宽×高=9.88m×3.15m×3m，机柜几何尺寸为：1.1m×0.6m×2.2m，机房内共有1排7个机柜，沿着z方向是机柜正面，机房几何模型三维示意图见图1所示。精密空调采用下送风上回风的气流组织方式。据机房值班人员日常记录的数据可知，精密空调送风的温度一般在18℃-20℃之间，机柜正面的最高温度是25℃，机柜背面的最高温度出现过 42℃，都是出现在机柜上部并且是计算刀片密集的部位。

图1 机房平面示意图

1.2 机房能耗占比分析

为了对机房的能耗有一个较为详细的了解，我们对该机房进行了电表以及电费的数据收集（图2），通过对数据的分析可知，计算设备和精密空调所占能耗的比例是最多的，分别是 48%与46%，照明设备所占的能耗比例为4%，其他能耗为8%。由此可见，该机房节能的重点应该是计算设备与精密空调。根据日常运行经验可知，计算设备大多数情况下都是无法避免的能耗，但是也可以通过精准的管理用户作业来避免一部分计算资源的浪费。另外，还可以通过先进的制冷手段来减少精密空调的能耗，这样整个机房的节能目标才能实现。

图2 机房能耗占比

1.3 改造前机房气流组织模拟

根据机房几何模型建立相应的物理模型，利用ANSYS ICEM软件进行模型的网格划分后导入到 FLUENT中进行模拟计算。机柜内部IT设备的排布情况一般只影响到内部的气流走向，对机柜外面造成的气流影响相对较少，因此在模拟过程中不考虑机柜内部 IT设备的排布情况，将机柜看成一个整体来进行模拟，降低了模型的复杂性[1]。

由于机房墙面由绝热材料构成并且密闭性良好，所以边界条件设置中机房各壁面为绝热壁面，精密空调送风口设置为速度入口，空调回风口设置为压力出口边界条件，机柜前面散热量小忽略不计设置为绝热壁面，热量主要集中在机柜背面，按照机房面积校核机柜背面的热交换率并在边界条件中进行设置[2]。计算收敛条件为：流动方程相对误差10-3，能量方程相对误差1×10-6。最终得到的计算结果文件在 FLUENT中进行流场的显示，可得到如图3所示的速度矢量图与温度云图。可见在这种计算工况下，如图3a，从空调送风口送出的冷空气在接触到机柜表面后迅速上移，在空调壁面与机柜表面之间的区域形成一个较大的回流区，此刻的冷空气移动了很短的距离就回到了空调的回风口，并没有流动到需要降低温度的机柜背面区域，机柜背面的空气流动速度非常小。相应的，从图3b的温度分布云图中可见，机房内部温度非常不均匀，发热量最大的机柜背面的温度依然没有得到有效降低，出现了部分冷热空气掺混现象，使冷空气利用效率降低。该模拟结果与日常机房内检测的温度分布数据基本一致，尤其在夏季室外温度较高，精密空调满负荷运行时，机柜背面的温度依然会出现超过 40℃的情况，导致管理人员不得不关闭部分计算节点保证机房的安全，这同时也影响到了用户完成计算作业任务的效率。

图3 计算后处理图

1.4 存在的问题

根据以上分析可知该机房目前在气流组织、机房管理、UPS规划等方面存在一定问题。

（1）该机房面积较小而且狭长，空调与机柜的摆放不合理，空调送风口的风直吹到机柜铁皮表面形成一个巨大的涡流，导致冷风不能及时运送到机柜背面发热量大的区域，大大降低了制冷效果，造成了冷空气的浪费；

（2）老旧计算设备使用率低、能耗高，缺乏整合资源利用率低的服务器[3]；

（3）旧的精密空调压缩机已超出使用年限，自身能耗较高，增加了运行成本。

2 机房改造方案探讨

2.1 迁移老旧设备

近几年，随着国家各行业对高性能计算需求的日益增长，数据机房的数量与承载能力也在相应的不断增加，单机密度越来越大，单机柜最大容量可达15kW/柜[4]。在此情况下，老旧设备的淘汰率不断升高。因此，该机房2009年购置的老旧服务器需要迁移走，不让其开机运转，旧设备上的用户基本很少提交作业，资源利用率低，如果让其继续运行需要很多能耗，管理也不方便。另外，应拆除旧的精密空调，安装最新的节能制冷空调，降低运行成本，提高制冷效率。

2.2 冷通道封闭方案的具体实施

根据该机房实际尺寸可知，其纵向距离较长，横向距离小，属于窄长形的小型机房。冷通道封闭技术施工相对简单，成本较低，适合该机房的改造需求。将旧的精密空调机组拆除后整个机房的空间变大了一些，为了方便今后机房的再次扩容，将机柜的个数增加为9个；另外，每间隔3个机柜安装1个与机柜外形尺寸一致的行级空调，如图4所示，空调的送风口在机柜前侧，空调为水平送风方式，气流路径为后进前出，其将服务器排出的热风吸入冷却后吹出；冷空气再被服务器吸入、排出，如此反复。在机柜前侧顶部边缘与机房侧面墙壁之间搭建冷通道顶部，如图5所示，冷通道出口入口均安装电动门，冷通道与电动门采用8mm的防火玻璃，隔热效果较好。这样整个送风区域形成了封闭的环境，由空调送出的冷空气被隔离开，不会与热空气掺混，提高了冷空气的利用效率。机柜背面为主要的散热面，并且精密空调的回风口也安装在背面侧，热空气进入空调压缩机进行降温后继续制冷。

图4 机房改造方案平面示意图

2.3 对“封闭冷通道”的方案进行气流组织模拟

根据改造前机房气流组织模拟与实际机房温度分布可知，若更换老旧设备、增加服务器数量之和仍然采用旧的空调气流组织方式是不能解决机房局部温度过高的问题，也不能达到节能降耗的目的。在此基础上，通过采取“封闭冷通道”或“封闭热通道”的技术错说来达到进一步提高制冷效率的目的。采用冷热通道分离，稳定的温度确保有效的制冷，并提供持续的高温回风以更有效的改善精密系统的制冷性能[5]。

采用与改造前机房数值模拟同样的方法建立物理模型以及数学模型，封闭后的冷通道以及机柜内部的区域不在网格计算范围内，机柜的背面设置边界条件为速度入口，行级空调的回风口设置边界条件为压力出口，在FLUENT中进行计算。计算后的气流组织模拟结果如图6所示，由图6a可见机房内空气流动的一个分布，流动区域内没有出现大的回流区以及冷热空气掺混现象，图6b温度分布图中也未出现局部的温度过高的现象，整个机房内温度分布较为均匀，有两处温度相对较高的位置是因为这两个机柜内摆放的刀片服务器非常密集。这样一来，封闭的冷通道完全将冷热空气隔离，冷通道内的空调送风方式为水平送风，气流路径为后进前出，将服务器派出的热风吸入冷却后吹出，冷空气再被服务器吸入、排出，如此反复。与机柜并列的空调靠近热源，送风距离大大缩短，从而减少气流沿程压力损失和冷空气的泄露量，提高了冷量的利用效率[6]。

图5 冷通道安装平面示意图

图6 封闭冷通道之后的气流组织模拟

3 改造实际效果

目前该机房放置9个机柜，三套独立运行的高性能计算集群，共计刀片式服务器60余台、机架式服务器26台、8路胖节点2台、管理节点4台、存储服务器8台、网络交换机数个。空调制冷系统由2台制冷量为38kW的精密空调来调节机房温度，实施封闭冷通道方案之后，空调送风温度稳定在15.9℃，在冷通道外面加装了1台制冷量为12.5kW的立式空调作为补充，如图7所示。根据该机房实际稳定运行后的功率，也就是整个机房实际运行效率维持在 70-80%时，由专业的热线风速仪测量机柜正面平均温度稳定在 18℃，机柜背面靠近精密空调的两个机柜背面平均温度稳定在 30℃左右，其他距离空调较远的机柜背面平均温度稳定在25℃左右，相比改造前机柜背面温度的40℃降低了大概10℃，并且在2019年夏天室外温度较高的时间段，机房内温度也保持恒定，没有局部温度过高出现报警的情况。在拆除旧的计算设备以及空调之后，由甘肃省计算中心财务年度支出数据可知，该机房2019年全年的用电量500976kWh，按工业用电价格核算后，一年总的电费约44万元左右，相比于改造前平均每年的电费50万元，节省电费6万元。

图7 改造后机房实景图

4 小结

机房的制冷环境必须与机房内设备运行情况协调才能使整个机房运行安全、稳定，如果不断更新设备而机房制冷环境得不到改善就容易造成资源的浪费。因此，对于小型机房来说，受机房面积的限制，如果设备过于集中摆放容易造成部分位置出现热点，增加发生消防事故的概率[7]。在机房的实际运行维护工作中，技术人员应不断总结方法和经验，利用科学的方法模拟、预测机房改造后的各种可能性与问题，根据设备情况不断改进和完善现有的做法，从而选择最有效、最节能的方法来对机房进行升级改造工作。