某容错级数据中心的供配电方案

张 玮

（苏州供电公司，江苏 苏州 215004）

现代社会是信息化的社会，而所有的信息化应用，都要以基础数据库为中心。公共的数据中心和云计算为用户的数据存储、传输提供了便捷高效的第三方数据服务。

近年来，全国数据中心产业蓬勃发展，江苏苏州地区也陆续建设了多个大型数据中心，且规模、等级、先进性等指标居于国内领先水平，特别是位于苏州工业园区的某座数据中心，更是亚洲唯一一座容错级（最高等级）的数据中心。苏州供电公司相关部门全程参与了该类大型数据中心的项目前期方案论证、工程设计、项目施工、验收投运等工作，并根据国内外的技术资料和地区的实际特点，对大型数据中心的供配电系统进行了开创性的探索和创新。

1 数据中心的分类和容错级标准

目前，国际中通用的数据中心分类参照美国电信工业协会（TIA）颁布的《数据中心电信基础设施标准》，该标准将数据中心分为4类：基础级、冗余级、并行维护级、容错级。其中等级最高的容错级标准为：“数据中心基础设施的性能和能力可以保证任何计划性维护都不会引起关键负载的中断，它的容错能力也使得基础设施能够忍受至少一次最糟糕的情况——非计划性故障或非关键性负载时间的冲击。需要同时运行2条路径，通常是双系统2（S）的配置。从电力角度来说，需要2个独立的（N+1）UPS系统，可用性为99.995%。”

容错级标准中涉及到电力系统的技术指标如表1所示。

表1 容错级数据中心相关电力系统技术指标

2 容错级数据中心供配电系统分析

2.1 数据中心负荷等级分类原则

常规照明用电：普通办公、生活区用电，负荷等级为三级负荷。由于容错级标准中规定数据中心全部负荷均应能由发电机提供，则其容量应计入发电机保障容量中。

机房计算机用电：主要为单纯的计算机类负载，如：系统服务器、存储设备、终端设备、网络通信设备等。其电源负载条件较为单纯，对电源质量要求较高，有多种类型供电需求保障要求，对上级供电系统无不良的影响。负荷等级为一级负荷中的特别重要负荷，采用双总线UPS供电，设备末端切换，能延时供电达到15 min，单路UPS前端采用市电+柴油机供电。

机房空调系统用电：由于机房内计算机设备不间断运行，设备发热量较大，设备对机房环境温湿度要求较高，因而对机房精密空调系统运行保障等级要求较高。故负荷等级为一级，由市电+柴油机供电，设备末端切换。

消防系统、应急照明、运行监控系统用电：主要为消防设备用电、报警监控系统用电、应急广播照明用电等。负荷等级为一级，由市电+柴油机供电，设备末端切换，并采用EPS供电。

2.2 容错级数据中心供配电系统设计原则

（1）高可靠性

容错级数据中心整体可靠性系数平均被定为99.995%，计算机系统设备的供配电系统服务等级可靠性系数应等同于99.995%的标准，整体方可匹配。电力系统等级达到容错级，按照规定，平均每年电力事故引起的宕机时间为0.4 h。

根据容错级中的相关标准，数据中心机房的供配电系统的设备全部采用双系统（S+S）的配置，即同一套用电设备，均存在2套独立全容量的变压器、发电机、UPS供电。对计算机设备用电需求进行统计分析，对供配电系统中的设备作如下分析说明。

第一级：“变压器A”与“变压器B”之间电源完全独立，同时运行，互相备供，即2台变压器电源来自不同上级变电站，通过不同路径进入变电所内，由不同高压母线供电。

第二级：“柴油发电机组-A组”与“柴油发电机组-B组”，柴油发电机组采用2（S）方式。

第三级：“UPS-A组”与“UPS-B组”。A组、B组各自内部还可分为不同的模块式小容量UPS组合。UPS系统采用2（S）热备用方式。

第四级：从UPS输出母排，到楼层级配电柜，均为双路，并有多路分支供到不同区间配电间。

第五级：从楼层级配电柜到各区域级配电柜，均为双路，并根据计算机设备用电需求特性，将分为双电源配电柜、单电源配电柜。

第六级：在机柜级单电源配电柜进线前端，将2路供电通过“机柜内静态切换开关（即STS）”控制，供给某些机柜特别的单电源设备。

第七级：对于双电源设备，从区域级、末端配电柜到末端设备的全程，均保持双路供电，并为完全独立敷设的线路。

综合以上7级供电可靠性设计原则，可得出如下数据中心机房供配电系统逻辑关系图（图1）。

此系统逻辑也是计算机设备供配电系统的规划架构，包括了高低压变配电、柴油发电机和UPS应急保障系统和低压输出配电系统的总体规划架构。

（2）高智能化

对于如此高可靠性、高复杂度的数据中心变配电系统，如何管理也同样面临严酷的挑战。变配电系统不仅仅包括末端的低压机柜和变电所内的高低压设备，还包括楼层配电柜、总配电柜等，这些配电柜都必须纳入整个电力系统监控范围，通过电量仪、开关辅助触点等手段对其运行状态实现监控。新一代变配电系统就是利用数字化监测手段，将机房内各个配电开关通过网络通信技术，使管理人员可远距离监控配电柜的工作状态。通过利用此项技术，在电力智能化管理系统中，可轻松实现各级配电的能源管理，从容掌控机房的资源管理。

3 容错级数据中心供配电系统方案实例

3.1 用户背景资料

鉴于保密要求，用户背景资料中部分数据做了修改。

苏州地区某座容错级标准的数据中心主体建筑为一座6层建筑，地下室、一层为办公、设备用房等，2～6层为机房，消防、监控等。按照容错级标准，单个机柜UPS供电量达到4 kW，机柜总用电需要8 000 kW。

3.2 负荷等级分类及设备容量配置

办公用电属于三级负荷，机房空调属于一级负荷，满载负荷容量为3 400 kW，需用变压器容量为4 000 kVA，满载负荷率85%。需用发电机容量为4 000 kW。

机房、监控用电负荷等级属于一级负荷中特别重要负荷，根据标准，在满足0.9N的基础上增加一定量的冗余度，配置10 000 kVA的UPS（设定80%输出下），则需用5组UPS，每组2 000 kVA，分楼层供配电。每2组UPS合供1 600 kW负荷。需用变压器容量为10 000 kVA，满载负荷率80%。需用发电机容量为10 000 kW。

按照2S（双系统）原则，则配置变压器容量28 000 kVA，每台2 000 kVA，共14台；发电机容量28 000 kW，每台2 000 kW，共14台；UPS容量为20 000 kVA，每组2 000 kVA，共10组，并且每组UPS内分为5组模块式小容量UPS，每小组400 kVA。

图1 数据中心机房供配电系统逻辑关系图

3.3 供配电方案的设计

（1）高压供电电源方案

该户的实际用电负荷为11 400 kW，根据2S（双系统）原则，所需变压器装机总容量为28 000 kVA，2路电源供电，每路电源14 000 kVA，2路电源同时运行，可互为备供。平时每路电源的负载率为40%，一旦发生一路电源失电的情况，由另一路电源供全部负荷，最大负载率为80%。

该户处在区域具备20 kV电源供电条件，可采用2路20 kV电源供电，即能满足用户的2S要求。但因为考虑到该户的重要程度特别高，在一路电源故障或长时间检修时，由一路电源供电还是存在一定的不安全因素，故建议用户在原有2路主供电源的基础上，再增设一路外部电源，作为紧急联络备用。

三路电源引自上级110 kV变电站不同主变低压侧，其中至少有一路电源与其余2路电源不从同一变电所引出。3路电源经不同路径（电缆）引至数据中心地块内2座开关站内。从上级变电站分布、供电电源的数目、电缆路径、开关站的冗余度分析，都能达到N+2，符合标准要求。见图2。

图2 高压供电电源方案例图

（2）变电所高低压系统接线方案

高低压配电系统采用2（S）方式配置，故变电所内采用双电源、双母线供电，高压不联络，低压侧联络。每台变压器低压侧与一台同容量的发电机联络，经联络切换后对负荷供电。

对于变压器、低压总开关进行冗余度分析，若其故障情况下，导致一路市电失电，则其对应的发电机自启动，经自动开关（ATS）切换后继续对UPS供电，达到N+2要求。若低压母线ATS开关故障，将导致一路低压母线失电，无法达到要求，故采用带有维护旁路的ATS，在其主回路ATS发生故障的情况下，可切换至维护旁路继续供电，而主回路ATS开关抽出维修、更换。低压母线联络开关或低压联络母线故障，可能影响到低压母线失电，故联络母线采用双侧开关，满足标准要求。

变电所高低压系统接线方案见图3、图4。

图3 高压系统接线方案

图4 低压系统接线方案

（3）柴油发电机系统配置方案

本方案中，数据中心配置14台2 000 kW柴油发电机，分为A组和B组，分别一一相对应于1号、2号电源所供变压器。

10台发电机供应UPS，单台容量2 000 kW，每台柴油机对应1台2 000 kVA变压器。10台机组分为A、B共2路，每路5台。4台发电机供应数据中心办公、消防、空调等，单台容量2 000 kW。该4台机组分为A、B共2路，每路2台并机，并机容量为4 000 kW。

柴油发电机房设置在地下室一层，分独立2个房间放置，2组系统独立配置室外埋地油库，油库距离建筑大于15 m，通过输油管路送到柴油发电机房。其中A组7台柴油机运行96 h所需地下储油罐容积为360 m3（参照康明斯2 000 kW机组耗油量计算）。B组7台柴油机油罐独立设置，不得与A组油罐混用，且保持15 m以上安全距离。

4 结束语

在该数据中心项目实施过程中，因为没有先例可以借鉴，众多设计方案细节均是通过多次比较、分析、论证的结果，也有一些需要在实际运行中检验。现将这些讨论总结如下：

（1）外部电源的数量问题：客户的电力工程师认为其内部已经配置了2S的发电机和UPS，外部电源也按照要求配置2路电源即可。而供电公司考虑到其所处区域内存在新建项目多、道路施工多等不稳定因素，坚持认为应该多设置一条备用线路。事实证明，在后来的道路施工中，一路主供电缆迁移需要停电2天，经过供电公司运行调整，投入备用电源，保证了用户安全运行，增加了可靠系数，减少了用户的发电机油料支出。

（2）高低压配电系统采用2（S）方式配置，变电所内采用双电源、双母线供电，没有采用三电源及三母线方式。主要考虑：①已有系统中的子系统均采用2（S）方式，电源冗余度足够；②3路电源与2路发电机之间的系统过于复杂，闭锁繁杂，反而可能存在系统逻辑程序错误或则运行人员误操作，从而影响到系统可靠性。

（3）2路电源联络方式采用高压不联络，每2台对应的变压器在低压侧联络。主要是考虑高压联络开关一旦发生故障的情况下，可能影响到2路市电均需停电处理，引起故障的扩大化，降低了系统的可靠性，而低压联络已能够达到设计要求，故本次不设置高压联络。

（4）低压母线ATS切换开关的选择至关重要，若其故障，将导致一路低压母线失电，无法保证安全运行。故采用带有维护旁路的ATS，在其主回路ATS发生故障的情况下，可切换至维护旁路继续供电，而主回路ATS开关可抽出维修、更换。