论数据中心微模块测试技术

2020-06-11齐曙光王长山

互联网天地 2020年5期

□ 文齐曙光王长山李尚

1、引言

随着移动互联网、大数据、云计算、物联网等新兴技术的兴起，全球数据中心数量持续增长，并呈现出高功率密度和高能耗的发展趋势。近年来，我国超大型数据中心的建设速度也逐渐加快，部署机架数量大幅增长。为了缩短数据中心建设周期，减少初期投入成本，数据中心微模块（以下简称微模块）成为了互联网行业、通信行业及其他行业的数据中心的最佳选择。与此同时，随着5G和工业互联网等实际应用规模不断扩大，边缘数据中心和小型数据中心的数量呈现出倍增的趋势。而在上述边缘数据中心和小型数据中心中，微模块也成为了标准化、绿色化建设的不可缺少的组成部分。

2、数据中心微模块概念

基于行业诉求，目前国内各大供应商均在着手研发数据中心微模块。它虽然是小型的机房，但随着其标准化步伐的加快，目前已成为了新型产品。那么，什么是微模块产品？该产品不同于传统意义上的产品，它选择性地包含了数据中心的供配电设备、制冷设备、监控部分、储能设备等机房内的各类基础设施。在行业标准YD/T 3004-2016《模块化通信机房技术要求》标准中定义通信机房（含数据中心）微模块是指由机柜系统、配电系统、监控系统、供电系统（可选）、制冷末端（可选）、综合布线系统、安防系统等组成的具有标准的功能定义和输入输出接口，能够完成单项或多项业务的功能单元。从该定义中，可以看出微模块是一个完成多项业务的功能单元，其构成较为复杂。在行业标准YD/T3290-2017《一体化微型模块化数据中心技术要求》中定义的微模块是由一定数量的两列背对背或面对面的IT机柜以及不间断电源、近端冷却设备等通过封闭通道而形成的小型机柜集群。通过封闭两列IT机柜间的冷或热通道，形成与大机房和其他集群相对隔离的物理环境。根据机柜内设备情况设计独立的电气、制冷、安防、监控、布线甚至消防系统，用户仅需要提供外部市电、网络和必要的冷源即可使数据中心投入运营。微模块内各子系统、组件均可在工厂进行预制、调试，现场快速组装后即可投入使用。多个微模块之间极少或者没有物理关联，用户可按需建设，实现将一个大规模数据中心模块化分步部署。此描述较清晰具体，并对提前预制、调试等情况均提出了要求。

为了便于读者理解，微模块如图1所示。

图中的虚线部分可依据数据中心规模和微模块的具体部署而灵活配置。例如，很多大型数据中心基础设施中会具有高压机组、高压配电及变压器等设备，而小型数据中心中很可能会不包含此部分。另外，微模块中的空调末端设备，可以采用列间空调，根据冷量需要布置于服务器机柜中间采用水平送风；也可以采用传统机房专用空调，布置于列的两端采用下送风方式进行制冷。

3、数据中心微模块测试技术

微模块作为一个产品，可以从其整体、电气子系统、制冷子系统、监控子系统、通道组件和安全性能等几大部分进行测试验证，若详细进行验证参数有数十余条。由于篇幅有限，微模块重要参数的测试方法及具体案例简要分析如下：

3.1 整体性能测试技术

在整体性能中包括了输入特性、能效PUE、温度场均匀性等参数。

（1）输入电压与频率范围测试

图1 微模块示意图

若将微模块当作黑盒来看，其在一定输入电压范围及输入频率范围之内应正常工作。对于配备交流UPS或高压直流模块的微模块，在上述电源设备以额定负荷运行的条件下，使用净化电源等输入电源设备调节其电压至被测模块所允许的电压上限值和下限值，检查在此范围之内微模块内的ICT设备或模拟负载是否能够正常稳定运行。频率范围测试方法与电压范围测试方法非常类似，调节净化电源频率参数即可。对于供电设备在微模块外部的情况，即微模块内部只包含配电设备，同样调节输入参数，检查包括ICT在内的微模块各设备是否能够运行正常。

（2）能效（PUE）测试方法

微模块的PUE测试方法较其他参数测试复杂，对于采用风冷空调系统的微模块该参数的测试涉及负载率的变化以及室外温度的变化。由于负载变化直接影响微模块内的电源及配电产品效率，而室外环境温度的变化直接影响到空调系统的能效，因此，严格意义上该参数只能在焓差实验室内进行测试，并且应具备可调负载，均匀分布在微模块里ICT机架内。按照笔者经验，宜采用25%、50%、75%和100%负载率和室外环境温度-5℃、10℃、15℃、25℃和35℃的不同组合进行测试。具体试验过程为：在输入条件为额定电压条件下，连接好负载（即将模拟负载插入IT机柜内），并在模拟负载的适当位置布置温度传感器。温度传感器应均匀布置在每个机柜上中下或者上下位置。但必须注意的是，尽量在具体运行的设备进风口处或者模拟负载处进行测试才具有温度的代表性。针对某样品进行PUE测试的图如图2-1至图2-4所示。该微模块通过实时监测负荷状态，动态调整供电系统的工作模式（如开启休眠功能）以及制冷系统的工作模式（如开启轮巡工作），达到数据中心整体能效优化和总体能耗降低的目标。试验案例中对动态节能PUE参数和关闭节能模式时的传统PUE参数进行了比较，由试验结果图看出，在不同的负载率下节能效果均明显。

值得注意的是，若无焓差实验室的条件，只能在现场测试时，应重点考虑室外环境温度的变化情况是否满足验证的要求。同时，对于水冷空调系统，要检查室外冷源部分是否由单独的配电柜进行供电，从而直接能够测量室外冷源部分的能耗。若在大型数据中心等室外冷源部分是集中配置冷水机组和水泵时，无法直接测试微模块所对应的室外冷源功耗，测试结果中应写明测试条件。

（3）温度场均匀性测试

温度场均匀性对ICT设备的稳定运行有着非常重要的作用，是安全、稳定、可靠运行的重要保障。微模块内的温度场均匀性测试计算方式有两种。第一种方法为依据所有传感器的温度数值计算出平均值T，再找出温度最大值和最小值，依据如下公式计算出温度场均匀度(µ1～µ2)。

式中Ta为温度最高值，Tb为温度最低值；

另一种计算方法为首先测得每个机柜的进风温度的平均值T1、T2……Tn。再套用公式（1）得出温度场的均匀度。其中T的计算方法如下。

图2-1 25%负载率下不同室外环境温度PUE值

图2-2 50%负载率下不同室外环境温度PUE值

图2-3 75%负载率下不同室外环境温度PUE值

图2-4 100%负载率下不同室外环境温度PUE值

上述两种方法对比而言，第一种方法计算出的均匀性会差，因为整个温度场中的最高温度和最低温度的相差会大。而第二种方法在每个机柜处都已经计算出了机柜进风口的平均温度，所以套用同样的公式（1）时，得到的均匀性数据范围会小很多。

3.2 供电子系统测试

（1）供电架构检查

微模块各回路供电应考虑冗余，可采用1+1冗余或N+1冗余方式。依据保障等级可选择空调系统是否由交流UPS或高压直流供电。检查供电架构和回路结构时测试人员应从供电接口输入端开始把相关回路走线检查到末端，清晰辨认回路的总体铺设情况以及冗余情况，同时检查线缆标识是否准确无误，是否清晰可见。

（2）电池后备保障时间测试

首先使被测微模块以设计的额定功率运行。应注意此功率不是微模块内电源系统的额定容量，也不是机架额定容量的总和。由于考虑到冗余，不会把所有机架都按照额定容量插满负载，因此验证微模块正常工作时的最大容量（即设计额定容量）进行放电时，测试后备电池所能支撑的时间。电池截止电压应依据相关电池的行业标准截止电压进行。按照笔者测试经验，考虑到数据中心的安全性保障，配备的蓄电池容量应能够维持产品以满功率运行不少于15分钟。

（3）电池管理功能测试

微模块的供电子系统对电池组良好的管理功能对后备电池的使用寿命具有非常大的影响。因此管理系统应具备电池单体电压、内阻、极柱温度、电流、SOC/SOH监测功能以及蓄电池均充充电及浮充充电状态进行手动或自动转换功能。对蓄电池进行充电时，蓄电池管理部分应能限流充电，并且限流值能根据需要进行调整。此外，管理部分也应能根据蓄电池环境温度，对系统的输出电压进行温度补偿或保护。

3.3 空调子系统测试

对于空调系统，首先检查是否具有空调排水故障检测和溢水停机保护两级告警功能，是否具备冷媒泄露检测，并且是否在管理系统上显示相关的告警信息。对具有节能功能的空调系统，应验证其空调系统的休眠和轮巡功能。具体方法是，调整模块内IT负荷的负载率至50%以下，检查空调机组是否部分进入休眠状态，验证其是否具备自动轮巡和手动轮巡功能。关闭其中一台或几台空调，模拟空调机组故障，检查休眠空调设备是否能够自动启动。此外，模拟微模块内部出现高温故障，检查备机是否自动进入运行状态，并测试上述状态下，整个温度场的均匀度是否满足相关要求。

3.4 监控子系统测试

就目前的监控管理系统总体水平而言，大部分微模块具备了整体布局、各链路和部分（具体包括供电链路、制冷链路、冷量视图、温度云图等）显示功能，能耗管理功能、资产管理功能等。也可依据客户不同需求，设置更多的可视化的和支持各类终端接入的功能。测试人员应逐一检查相关的链路和显示是否与微模块实际配置保持一致。同时，采用高精度的仪表对电压、电流等参数进行测量，并检验监控系统所采集数据的相对误差是否符合要求。

此外，告警与保护是监控系统保障整个微模块安全可靠运行的重要部分。在发生开关断开、输入过/欠压、机柜过载，局部过温、有烟雾、水浸和湿度过高等异常情况时，模块应能够产生相应的告警，并作出对应的保护动作。检测人员应通过人工手段逐一模拟上述各类异常情况并检查验证是否产生了相应告警信息和保护动作。此外，随着数据中心基础设施与新兴ICT技术的深度融合，目前，较先进的微模块也具备了基于人工智能技术的根源告警自动定位功能。通过智能化的手段，能够准确定位故障源并呈现给维护人员，将根源告警衍生出来的其他告警信息隐藏在下级目录中，从而让维护人员第一时间处理根源故障，大大节省故障定位时间，保障数据中心安全稳定运行。

3.5 安全性能测试技术

（1）消防安全功能测试

首先应检查系统的天窗控制器设备是否正常接入，且外部消防信号联动、内部烟感联动、远程控制开窗、空调故障联动功能是否均正常。在此基础上，触发告警信号，检查天窗是否自动打开以及启动灭火功能。

（2）承压测试

承压测试的目的是检查在发生火灾等情况下消防柜进行喷射时微模块是否发生任何异常。测试时首先关闭微模块门窗、洞口等，并采用手动启动灭火控制模式，通过控制器使消防设备柜同时进行喷放，此时检查消防联动是否关闭了通风系统并打开顶上翻转天窗。消防柜喷放后，检查微模块外壳是否有变形、损坏，泄压阀是否自动开启，通风系统是否自动开启等。

（3）接地性能测试

微模块内的电源设备、配电设备和空调设备等均需要保证接地良好，因此微模块内部具有较多的接地端子。该测试中的接地性能指的是微模块作为一个整体，是否具备完善的接地系统，检查接地排布置是否合理，是否形成闭合环接地汇流母排，并测量微模块平台总接地点对地的接地电阻值。

（4）防护等级测试

该测试主要是在实验室条件下进行防护等级试验，可依据GB 4208中规定的相关IP等级进行测试，具体见表1、表2和表3所示，本文不做赘述。