数据中心“双路市电”的必要性浅析

刘水旺 阿里巴巴 数据中心基础架构专家，注册电气工程师

沈烨烨阿里巴巴数据中心系统工程师

数据中心“双路市电”的必要性浅析

刘水旺 阿里巴巴 数据中心基础架构专家，注册电气工程师

沈烨烨阿里巴巴数据中心系统工程师

随着中国电力自动化技术应用和电网改造升级，在多数大城市区域电网供电可用性进一步提高。与此同时，数据中心规模越来越大，单个数据中心市电引入容量也越来越大。如此大规模的市电容量的需求，如果依然按照2N的市电来设计建设，对于数据中心的选址和建设运营都带来很大挑战。基于此，本文对数据中心“双路市电”的必要性进行了研究和分析。

数据中心；市电；柴油发电机组；成本；可靠性

1 引言

国内大多数互联网、电信、金融类数据中心对于供电的配置大多采用2N市电+N柴油发电机组的电源方式（或N+1柴油发电机组），这种方式来源于Uptime和GB50174规范中对于数据中心可靠性等级的相关建议和规定。经过多年的实际运行来看，这种供电方式可以为数据中心提供相对可靠的电能。采用2N市电+柴油发电机组的配置相对比较笼统，只提出了对市电电源数量和柴油发电机组数量的配置要求，并没有考虑到市电电源的质量和柴油发电机组的技术指标和接入方式等，所以并不能很好地适应多数数据中心场景。

近年来，随着中国电力自动化技术的应用和电网的改造升级，在多数大城市区域电网供电可用性得到进一步提高。根据近年来在北京、上海、杭州、深圳等城市多个数据中心的运行数据和经验，市电有计划停电和意外中断次数明显减少。在这些城市多数数据中心平均每年单路市电中断时间少于几小时。大多数2N市电配置的数据中心一年运行下来从来没有出现过两路完全同时中断的情况，大量备用的柴油发电机组“无用武之地”。

与此同时，随着互联网的发展和云计算的兴起，数据中心规模越来越大，单个数据中心市电引入容量也越来越大，从早期的几千千伏安到目前几万千伏安，甚至十几万千伏安。如此大规模的市电容量的需求，如果依然按照2N的市电来设计建设，对于数据中心的选址和建设运营都带来很大挑战。以一个5万台服务器的数据中心为例，如果按照2N市电+（N+1）油机的配电方式，那么基本的配置包括主备各3万千伏安的市电引入和大约4万千瓦备用柴油发电机组的配置。这些资源的建设成本大约需要1.2～1.5亿元，大约占数据中心基础设施成本的25%～30%。高额的建设成本只是一方面，更严重的是能满足主备各3万千伏安市电引入资源的区域非常稀缺，可选址范围受到很大限制。另外，在运营费用方面，2N的市电引入随之带来的是与其配套2N的变压器配置，这样会产生每个月数百万元的基础电费，造成变压器利用率极低。

2 数据中心是否必须要配置双路市电

高昂的建设运营成本，越来越难获得的市电资源和极低的市电利用率，让我们不得不思考应该如何去改变。问题很简单，2N市电+油机的配置方式，要减配要么减少市电要么减少油机。

国内目前最普遍的做法是减少油机的数量，或者更准确的说法是油机配置容量不足。例如，设计1万千瓦的负载，很多数据中心只配置1万千瓦（备用或主用功率）的柴油发电机组。这种减配的设计方式在负载率比较低或负载率远小于设计负载时候发电机组可以满足负载使用要求，在负载率进一步提高时就面临巨大风险，因为按照设计负载柴油发电机组是无法承担或只能极短时间承担的，这样配置的收益在于大概减少了20%～30%的发电机投资，另外表面上看可以称为是2N市电+油机的配置方式给人高可用的假象。但是这种减配方式，被认为是得不偿失的，目前可以存在的原因是因为多数数据中心运行负载率远没有达到设计负载率。它所节省的成本有限，但是由此带来的负载率的限制和过负载风险很大。

根据建设和运营实践经验，笔者认为对于数据中心来说，市电属于外部不可控资源，即使多路市电理论可靠性可以非常高，但是因为市电来源均为电网，也不能因此不配置或减少配置柴油发电机组，如历史上的美国东部大停电和中国2008年的雪灾停电。但是对于外市电资源，笔者认为可以根据实际情况适当减少做N或N+1。考虑市电减配的原因在于一方面市电减配带来的建设成本和运营费用节约比较多，如市电侧投资会减少30%～50%，运营基础电费会随之大幅减少；另一方面从目前数据中心运营数据来看，供电可用性的短板并不是市电而是柴油发电机组。也就是说增加一路或多路市电带来的可用性提高与提高柴油发电机组系统可靠性来比是不对等的。因为市电均来自电网，即使很多路市电来自完全不同的高等级的变电站，这些市电相互也不具备完全独立性，另外市电也不可避免地受到外部条件的影响和制约。但是对于柴油发电机组，如果采用合理的设计和选型则可以大幅提高整个数据中心供电的可靠性。

从目前电源不可用的情况来分析，国家电网统计目前大城市单路市电可用率远超过99.9%，我们要竭尽全力去解决这不可用的0.1%的市电中断时间。而为了解决这0.1%的市电中断时间，目前国内数据中心的做法往往是增加了一倍的市电引入，并且再配置不同冗余数量的柴油发电机组。也就是说，即使多花了一倍的市电引入成本，仍旧需要为应对不可控因素配置柴油发电机组。这个时候，是否可以考虑将市电看成是一个低成本、高效益、不可控的电源，另外建设一个由柴油发电机组构成的高可靠、高保障的电源来完全作为备用，应对极少数市电不可用的情况和灾害情况。这样市电电源和柴油发电机组电源是相互独立的，如果需要高可靠的供电等级，只需要不断提高柴油发电机组供电系统的可靠性即可。对于市电系统，按照现有常规系统进行设计，平时由市电进行供电。对于柴油发电机组根据应用等级的需求按照不同的高可靠方案设计。对于柴油发电机组的建设需要考虑柴油发电机组自身的可靠性，柴油发电机组输出配电环节的可靠性和柴油发电机组机房设计的可靠性和可维护性及维护策略。

对于可用性要求比较高的数据中心，减少部分市电采用N或N+1市电配置建议应当做到以下几点：

（1）柴油发电机组选择有实力合格的厂家的产品。

（2）柴油发电机组应当按照可以长期运行（至少1周）的负荷率进行设计。

（3）柴油发电机组至少做N+1冗余，必要时候做N+2，N的数量要有合理的控制。

（4）柴油发电机组配电输出至用电设备整个环节应当考虑没有单点故障点。

（5）柴油发电机组机房和附属设施应当能够满足柴油发电机组长期运行的条件。

（6）严格遵守发电机组制造商约定的定期维护维保。

在满足以上几点的前提下，在目前国内市电质量比较好的大城市数据中心采用N或者N+X市电来取代现有2N的市电是具有可行性的。

3 各种方案对比分析

对于目前存在的数据中心常用的几种市电和油机供电方案及建议，从可靠性、建设成本、运营成本等方面进行简单对比。首先，选取目前常用的2N市电+（N+1）油机、2N市电+N油机、2N市电+N+1油机（配置不足）的方案与建议的（N+1）市电+（N+1）油机，N市电+（N+2）油机方案，以5万台服务器数据中心为单位进行简单对比（见表1）。

（1）假设单路市电供电可靠性99.9%，3+1市电可靠性是99.95%，2N市电供电可靠性99.99%（因为双路市电相互并不完全独立）。单台油机供电系统可靠性99%，则各种方案供电理论可靠性依次约为：99.99999%，99.9999%，99.99%，99.9999%，99.9999%。

（2）建设成本按以下指标简单估算：发电机组还配套按照400万每套；高压配电按照100万元每套；市电引入按照1000万每路10000KVA；低压配电按照200万每套（含1台变压器）低压配电按照240万每套（含2台变压器）。

（3）基础电费按照40%变压器容量，40元每千伏安每月估算。

（4）成本对比只考虑建设成本和基础电费。不考虑低负载率造成的效率损失、制冷成本、空间占用等其他因素对成本的影响。

表1 以5万台服务器数据中心为单位进行对比

综上认为，2N市电+（N+1）油机适用于可靠性非常高的数据中心，但是建设成本和运营费用都比较高，并不适合大规模的数据中心建设和应用；2N市电+（N）油机可靠性比较高，建设成本也比较高，但是应对意外灾害能力比较差；2N市电+（N）油机配置不足这种方式是一种不合理的配置方式，为了保证可靠性，不得不限制数据中心的利用率，最终造成单位建设和运营成本大幅提高；在市电稳定性比较高的区域采用（N+1）市电+（N+X）油机，N市电+（N+X）油机方案，能取得比较好的可靠性和比较低的建设成本，这种方式适合可靠性要求比较高的大型数据中心。

4 结束语

随着互联网和云计算应用的不断推广，数据中心规模和数量不断增加，数据中心对于资源的占用急剧膨胀。如果仍旧按照传统的方式继续建设和运营数据中心，一方面高成本低可用性的数据中心会带来大量的资源占用和资源浪费；另一方面数据中心的数量和质量也将会成为互联网和云计算产业的瓶颈。因此，不得不重新思考如何采用更低的成本和更有效的方式来改善数据中心的供电架构。目前，常用的传统的“2N”市电的架构简单粗暴，是数据中心粗犷型发展的代表。在建设和运营大量数据中心总结积累的数据基础上，在配电环节对于低故障率的环节采用N+X取代传统的2N有着非常重要的意义，2N市电配置的降低只是其中一环，另外还包括变压器、低压配电母线、UPS等。随着电网供电技术和管理水平的不断提高，供电可靠率的不断上升，对于未来数据中心特别是供电发达区域数据中心对于“双路市电”的依赖性将会不断降低。

2014-09-12）