苏州工业园区TierIV标准数据中心供配电系统设计

傅卫东 / 张 渊（苏州工业园区设计研究院, 江苏 苏州 215021）

1 项目及建设标准简介

近日位于苏州工业园区独墅湖畔的苏州工业园区综合数据中心正式投入运营，成为工业园区重要的公共技术服务平台，填补了工业园区数据中心增值业务的空白。该数据中心建筑面积约4.2万m2，分两期进行建设。第一期建筑面积1.8万m2，其中机房区域1.08万m2，设施配套区域7200 m2，最大可配置标准机柜1694个。

难能可贵的是该综合数据中心投运之前已经顺利通过由国际正常运行时间协会(The uptime institute,UI)组织的关于数据中心的设计等级认证，据报道该中心是亚洲首个获得TierIV级别设计等级认证证书的数据中心。

Tier标准指的是《ANSI/TIA-942-2005数据中心用远程通信基础设施标准》，该标准是世界上第一部较为全面地以数据中心为对象的技术标准。标准中以数据中心基础设施的“可用性(Availability)”和“安全性(Security)”为主要指标，将数据中心由高到低分为以下4 个等级，分别为TierIV，III，II，I。其中的TierIV标准相当于国内的GB50174-2008 《电子信息系统机房设计规范》内的最高标准的A级机房标准，而且在某些方面要求更加严格。

数据中心等级认证级别越高，标志着数据中心成熟度越高，能够提供的服务也就越安全稳定，当然单位面积的造价也就越昂贵。正是由于TierIV级别在基础设施建造上的高要求和高成本投入，全世界能够成功通过该级别标准的企业不足10家。在这一点上苏州工业园区综合数据中心实现了我国数据中心的一个新突破。作为建设方聘请的顾问公司和机房区的承包方，某国际知名IT企业的全球服务部全程参与了该项目，而作为项目的设计方笔者所在的苏州工业园区设计院完成了除机房以外的所有区域包括变电所、发电机房的设计。在此仅将设计中的一些体会写下来供大家参考。

2 TierIV 标准的电气供电一般要求

TierⅣ认证的数据中心要求具有容错结构，系统设计需要避免出现单点故障，所有电力系统，包括备用电源都是全冗余的。允许对重要负荷进行有计划（不会中断系统）的操作。容错功能需要至少能经受住一次最重要的意外事故（操作失误、设备故障、外电源中断、维护和检修等）而不会中断电子信息系统的运行，能提供99.995%的可用性。具体来说对于电气系统的要求一般有以下几项：

1） 市电接入两路主供

2）变压器容量配置 2N，即全冗余

3）备用柴油发电机配置不低于N +1

4）发电机燃料储量 不小于 96h

5）电气系统允许并行检修

6）单位面积供电密度不小于 1.5kW/m2

7）UPS系统容量配置 2N，即全冗余

8）独立双电源路径至PDU

9）空调设备供电2N，即全冗余

10）冷水主机配置不低于N +1

11）精密空调末端配电不低于 N+1

12）自动化配电集中监视系统

以上要求的后6项属于机房区域的工作范围，一般由专业公司来完成，这里仅重点介绍一般需要由设计院完成的前6项。

3 数据中心供电设计方案

3.1 负荷分析及UPS配置情况

按照机房区设计方IT公司提出的要求，一期工程中安装的网络机柜及服务器机柜总用电量为6314kW，考虑到80%的负载率及0.8的功率因数，IT公司选择的为机柜服务的UPS的实际需要容量为10000kVA，UPS按照2N的原则配置，即总配置容量为20000kVA。为机房区服务的冷冻机、冷冻水循环泵、冷却塔、冷却水循环泵、机房空调箱、机房精密空调等设备的总负荷为2385kW，其中冷冻水循环泵、机房空调箱、机房精密空调设备由于与机房温度密切相关，一旦停止工作将因机房内1500多台服务器机柜的巨大散热导致机房温度迅速上升，并很快即会超过服务器的临界工作温度从而间接导致系统中断运行。所以IT公司也要求配置UPS供电，其负荷为643kW。为了降低启动电流，这部分负荷里所有风机及水泵均采用变频或软启动，同样考虑到80%的负载率及0.8的功率因数，按照2N原则需要为该部分负荷配置2×1000kVA UPS。UPS电池供电时间均按照15min考虑。其他负荷包括机房区域照明及机房以外的办公区空调、照明、风机、防排烟设备及消防水泵等设备，该部分负荷容量约为1600kW。

3.2 变压器配置

考虑到UPS的性价比，IT公司最终选择了500kVA/台的UPS来搭建整个UPS供电系统，为机柜区服务的20000kVA UPS按照2000kVA一组分成了10组，10组里又按照100%冗余原则分为A、B两路，每路五组共10000kVA。因为在选择UPS时已经考虑了负载率，因此在选择变压器时容量不再放大，每组UPS由1台2000kVA的变压器供电，为机柜区服务的变压器总共为10×2000kVA。 接下来是为数据中心服务的辅助设备供电，经过计算2N或2（N+1）配置的冷冻机、冷却塔、冷却水泵每组运行负荷为1780kW，每组由1台2000kVA变压器供电。2N或2（N+1）配置的冷冻水循环泵、机房空调箱、机房精密空调设备再加上其他负荷每组由1台2500kVA的变压器供电。这样我们得到了总的变压器安装功率为10×2000kVA+2×2000k VA+2×2500kVA=29000kVA，14台变压器和UPS机组一样分成100%冗余的A、B两路，每路7台，安装容量为14500kVA。

3.3 发电机选择及配置

按照本文第二节里提到的TierIV标准里对发电机配置的要求是不低于N+1，事实上经数据中心建设方的要求，最后是按照2N的标准来进行设计和土建预留的。发电机和变压器一一对应，一样分成了100%

冗余的A、B两路，每路7台。由于发电机需要100%地承担相对应的变压器的荷载，因此每台按照常用功率

2000kVA(备用功率2000kW)来选择。只不过项目初期考虑到造价的因素，只配了A路的7台发电机，B路的7台发电机电源配出屏本期才安装到位，通过联络母线与A路相应发电机组联络，并从本路的发电机电源配出屏向B路负荷供电。将来需要时可以在最短的时间内迅速安装B路的7台发电机组。因为建筑空间的限制，发电机房只能布置在地下一层，考虑到发电机组散热时需要的巨大风量不可能通过自然进风来解决，故采用发电机散热器远置的方案。散热器均安装在四层屋面上，通过闭路的冷却水管路来进行循环散热，而地下室发电机房内进风量仅需要考虑发电机燃烧时的新风量及少量的机组辐射热即可。

3.4 发电机储油量计算及室外油罐配置

查阅各大柴油机厂家提供的资料，2000kW备用功率的柴油发电机每小时的耗油量约为500L，A路7台备用发电机48h的耗油量总和约16.8万L，因此需要在室外为A路发电机建造180m3的地下储油罐。B路7台备用发电机同样需要180m3的地下储油罐，并且与A路发电机的油罐埋地距离保持15m以上的安全距离。因为每路发电机的室外油罐均能满足100%的负荷运行48h的要求，故两个室外油罐的总储量可以满足TierIV 标准里的发电机96h运行的要求。

3.5 20kV市电接入设计

按照TierIV 标准要求应从两个独立的电网变电所的专用输出回路上分别引入一路市电电源，以专线方式沿不同的敷设路由引接至数据中心。每一路市电电源的供电容量应能满足全部负荷的需求，即应为全冗余，并且两路市电应同时供电运行。 本项目一期安装了14台变压器，两路市电每路需要连接7台变压器，安装容量14500kVA。当然由于在变压器的配置上已经采用了2N的形式，故高压侧不再需要联络。

14500kVA的变压器装机容量已经超过了常规10kV 系统单路供电的上限，对于这样的供电容量在国内绝大多数地区是需要以35kV及以上电压供电的，大多数情况下均需要建造一所35kV或110kV降压站。然而幸运的是本项目建设地点正好位于苏州工业园区的核心区内，而该园区自1994年开始开发建设以来一直采用20kV中压系统进行供电。对于20kV系统而言，单路专线供电的上限为16000kVA，14500kVA正好处于单路供电的上限以下，因此两路20kV专线即轻松地解决了供电的问题。不过为了满足从两个独立的电网变电所引来专用输出回路的要求，虽然数百米之外的一座供电局110kV降压站内两段不同20kV母线上可以分别提供一路20kV专线，但是经过权衡最终还是只从该降压站引来了一路20kV专线，另一路20kV专线则是多花了数百万投资由数公里之外的另一座220kV降压站里引来的。至于数据中心的二期供电问题，存在两种可能，一是极有可能在工业园区政府的大力支持下，二期再由供电局的两个不同的降压站引来两路 20kV专线，但前提是每路容量不超过16000kVA。二是一旦二期的专线容量超过单路供电上限，在二期再建设数据中心专用的110kV/20kV降压站，由降压站的20kV 母线上分别向一期二期的变电所供电。即使是按照最坏的打算最后仍然避免不了110kV 降压站的建设，但是毕竟是为数据中心的建设方赢得了宝贵的经营时间和极大地节约了初期的建设投资,这也从一个侧面体现了苏州工业园区20kV中压配电系统的优越性。

4 供电设计具体分析

数据中心整体供电的系统框架图如图1所示。

从图1中可以看到，所有电气设备按照100%冗余的原则分为互相对称的A、B两路，其中T1～T10是为服务器机柜UPS 服务的变压器，每台变压器容量2000kVA，各带2000kVA 的UPS。T11、T12 是为数据中心服务的冷冻水循环泵、机房空调箱、机房精密空调设备及其他辅助用房及建筑物消防负荷服务的变压器，每台容量2500kVA 。T13、T14是为数据中心服务的冷冻机、冷却塔、冷却水泵供电的变压器，每台容量2000kVA。发电机组目前是先装备了A路的7台，其中1#、3#、5#、7#、9# 发电机为服务器机柜UPS 服务，11#、13#发电机为数据中心配套及消防负荷服务，并且需要并列运行。

下面以T1、T2变压器为例，对系统的设计进行具体分析。

从图2我们可以看到T1、T2变压器分属不同的设备组别A、B，互为备用，各带一组4×500kVA 的UPS，UPS同时也互为备用。T1、T2一一对应发电机组1#、2#，（2#发电机暂不安装）。变压器间设低压联络，发电机间也设低压联络，发电机和对应的变压器间通过自动切换开关连接。为了消除单点电气故障，满足Tier IV标准中电气系统允许并行检修的要求，采取了以下的措施： 1）为了在两台变压器同时带电的情况下检修和测试联络母线，在变压器联络母线的两端均需要安装断路器，而不像常规设计那样仅在联络母线的一端设断路器，而发电机的联络母线因为发电机平时不带电故仅在一端设断路器即可。 2）发电机和变压器之间的ATS需要采用带旁路维修功能的自动切换开关，该类切换开关除了满足当市电断电时自动切换至柴油发电机供电的功能外，还可以做到在自动切换开关处于抽出状态维修及维护时,仍然可以通过内置的旁路隔离开关的手动选择来实现正常供电及发电机供电的功能，从而使ATS维护时不间断供电成为可能。3）UPS需要设计维修旁路，并且主回路、旁路应由不同母线专用供电。因此设计中选用了两条母线同时供电至UPS并联机组前后的两段母线上，以满足旁路开关合上后可以不停电进行检修及维护UPS机组的要求。

最后结合变电所的平面布置，简述对土建设计上的要求。

从图3可以看到A、B两路高低压设备需要严格分开，中间必须设防火墙及防火门隔开，变电所设在地面1层，以成品架空地板向上抬高了1m。发电机设在地下1层，由发电机引至ATS的母线及A、B两路变压器间的联络母线均在1m的架空地板下敷设，而引至UPS机组的母线及旁路母线均从柜顶出线，从而有效地减少了管线的交叉。由于使用了大量的UPS，尽管各大UPS厂家均声称可以将波形畸变率THD%控制在5%以内，考虑到将来一旦谐波超标会带来严重影响，故仍在变电所里预留了有源动态滤波装置的安装位置，一旦实测波形畸变率不能满足系统正常运行的要求，可以有补救的余地。 在整个建筑物里设备机房及管井的设置上，也依然按照A、B两路完全分开的原则设置各自独立的UPS间、电池间、UPS 配电竖井、强电井、电信接入室、网络管井，甚至是各自独立的水管井、气体消防管井、楼层新风管井…

5 供电母线及电缆的选择

鉴于本工程里为数据机房服务的UPS电池间及制冷机房等均位于地下室，且与位于1层的变电所并不贴邻布置，故由变电所引至上述机房的大电流母线在地下室敷设时有相当长的一段距离是安装在机房以外没有防火防护的空间里的，而3150A的电流是几乎没有可能用防火电缆来进行传输的。在以往的设计中往往也只能选用普通的母线来配电，因为市场上没有这样大容量的防火母线。为此这里也往往成为整个配电系统设计里最为薄弱的环节，一旦地下室发生火灾，就有可能因为母线故障造成整个供电系统的完全崩溃，从而使之前在电力系统里设计的多重冗余统统失效。 那么这个问题究竟有没有更好地解决方案呢？笔者在设计阶段通过多方寻找及实地考察后了解到某知名国际母线公司刚刚由国外引进了一条LR环氧浇注式母线生产线，该母线采用环氧树脂和定量特选的矿石混合材料相混合，制成高效绝缘材料将铜导体直接浇注密封，根据GA537-2005 “ 母线干线系统（母线槽）阻燃防火耐火性能的试验方法”测试，在温度达到1000℃时，可继续供电约60min，同时因为绝缘材料里不含卤素，即使燃烧也不会发出有毒、有害的气体。因此本工程的2500m母线全部采用了该型母线。除了解决了防火的问题，在母线安装完毕以后时值苏州六月份的黄梅天。还发现了一个意想不到的好处，因为该型母线是完全密闭的浇注母线，防护等级达到了IP68，因此可以丝毫不担心黄梅天地下室里正常通风系统尚未运行时的潮气，哪怕是母线表面上已经有密密麻麻的一层结露，也绝不用担心母线的绝缘性能受到影响。

数据中心里其他重要设备的配电干线电缆大部分采用了矿物绝缘电缆，总的安装长度超过了3万m。矿物绝缘电缆的防火能力是目前电缆里最高级别的，大量地在干线系统上的使用给予了整个电力传输系统以极高的可靠性。不过这里需要指出的是上述两种母线和电缆的敷设难度要较常规的母线和电缆大得多，施工前需要有足够的思想准备。

6 小结

该数据中心项目于2008年6月完成设计，2010年8月正式投入运营。一期工程仅1.8万m2的建筑面积造价即达到了4.5亿，这还是在一半发电机组和部分楼层UPS机组及服务器机柜尚未安装到位的情况下的造价。尽管如此，单位面积的造价也达到了2.5万元/m2, 单位面积的供电密度是1.61kVA/m2。这确实是一个高投入的产业，需要有绝对实力的公司来建设。不过考虑到它将产生的巨大社会效应以及在数据应用、数据备份及灾难恢复等多方面产生的作用，这些投入又是值得的。近年来越来越多的地方在兴建各种不同规模和等级的数据中心，也印证了数据中心需求的旺盛。本文对TierIV数据中心的供配电设计的简单介绍，也是希望能对今后类似的设计有所帮助。

[1] ANSI. ANSI/TIA-942-2005数据中心用远程通信基础设施标准[S].

[2] 中华人民共和国工业和信息化部. GB50174-2008电子信息系统机房设计规范[S].北京: 人民出版社, 2009.