大型数据中心基础设施规划的思考与体会

2013-07-18唐为民王蓓蓓

通信电源技术 2013年1期

唐为民，王澄，王蓓蓓

（1.中国移动通信集团江苏公司，江苏南京210029；2.东南大学电气工程学院，江苏南京210096）

1 概述

随着互联网及云计算等先进技术的飞速发展，IT设备集成度越来越高，单机架功耗由早期的3～4 kW逐步向5～10 kW迈进，甚至达到20 kW。机房的建设也突破传统思维，单一数据机房的建设将越来越少，大型数据中心基地的建设模式将成为主流。据了解，目前国内各大运营商及互联网公司正纷纷建设自己的大型数据中心基地，基地模式的建设对基础设施的规划和建设提出了更高的要求，主要体现在选址位置、征地规模和建设规模的模式确定、电价、高低压配电系统结构优化、外电引入以及节能减排等方面。

2 数据中心的概念

数据中心是指在一定规模的地块上为集中实现客户及自身业务发展所建设的多栋通信机房的统称，其功能包括信息处理、存储、传输、交换和管理等各种业务的综合处理。

数据中心建设的终极目标是绿色数据中心（Green Data Center），目前行业内定义绿色数据中心主要以是否节能为衡量指标（即PUE指标）。PUE（Power Usage Effectiveness的简写）是评价数据中心能源效率的指标，其值是数据中心消耗的所有能源与IT负载使用的能源之比。PUE指标越小表明一定容量的IT负载所消耗的配套能耗（包括空调、照明、配电等能耗）越小，数据中心越节能。据了解国外谷歌、IBM等公司大型数据中心的PUE指标能够做到1.2以下，国内好的数据中心也仅能做到1.6以下。

但PUE指标仅仅反映数据中心是否节能，对其他指标却没有考虑，如系统可靠性保障、项目总成本（TCO）、后期扩容便利性、维护运营成本等指标，所以规划好一个绿色数据中心应追求可靠性、投资、运营成本、节能等各方面的综合平衡，绿色数据中心应定义为在满足系统安全可靠基础上以最经济的投入和最少的运营成本获得最佳的能源效率。绿色数据中心的“绿色”具体体现在整体的规划设计以及机房空调、UPS、服务器等IT设备上，要具备节能环保、高可靠性和合理性。

影响绿色数据中心的因素较多，但在规划前期需重点考虑项目选址、建设规模设置、投资成本、后期维护等方面。

3 项目选址

传统单一数据机房对地块选址要求较少，只要周边有一定电力容量、管道路由便利、价格便宜等即可。但大型数据中心的选址恰恰相反，非常重要，可以说好的选址可以起到事半功倍的效果。前期需充分论证和比较，考虑因素牵涉到多个方面，包括区域位置、征地价格、征地规模、周边电力资源、电价因素、政府指标要求和资源支持等。

3.1 征地区域位置

征地位置除传统提及的交通便利、城郊结合部、外线引入便利等因素外，为追求更低的PUE指标，征地位置务必能充分利用室外自然热冷源且当地自然环境较好。对于一些大型数据中心，可能会采用空调水冷系统，征地区域最好离自然湖泊较近。

考虑到中国国土面积较大，各省各地区域气候特性和自然环境差别较大，选址时北方区域需考虑气温较低对水冷空调冰冻的问题（不建议采用空调双冷源系统，不但投资翻番且建筑面积翻番）以及建设周期的影响（冬季无法施工）；而南方区域气温较高其自然冷源无法利用，不节能，后期运营成本支出较大。

3.2 征地价格

对于数据中心的征地，首先需要了解当地政府产业规划，积极利用地方政府的优惠政策，降低地价成本。考虑到各省及各地区地块价格差异较大，无法进行统一。但地块价格主要需考虑地块的用地性质（以工业用地为宜，价格较低）、位置区域（郊区或城郊结合部）、符合当地政府的产业规划，容积率指标不宜太高、地块开发成熟度等因素。

3.3 征地规模

数据中心的征地规模与项目建设规模密切相关，而建设规模是由业务发展所需的机房面积确定，考虑到数据中心从征地到建成投入使用周期较长，且建设是分阶段进行的，短则5年，长则10～20年，给业务预测带来较大不确定性。征地规模较大一旦后期没有业务需求将造成地块浪费，面临国土部门的罚款甚至没收；相反征地规模偏小将影响业务发展，选址如果过于分散，维护难度较大。

除提高业务预测准确性外，还需通过反推方式来确定具体征地规模。数据中心征地主要受制于外线引入的电力容量，根据不同的电力引入方案来确定不同的征地规模。目前供电部门高压电压等级主要有10 kV、20 kV（较少使用）、35 kV 以及110 kV（220 kV 和500 kV使用较少），供电部门对不同电压等级的供电容量有明确要求。

（1）用电容量测算：按照数据中心内单机架平均功率4 kVA计算，含主设备、空调、电池充电等设备1万平米机房楼总功耗可达到7 000 kVA。

（2）供电局政策：传统通信机房引入外线为2路10 kV（一主一备，相当于1路），最大使用容量为8 000 kVA（各地区略有差异），该容量只能满足1.15万平米房机房容量。为满足数据中心更大电力容量引入，要么提高电压等级（如35 kV、110 kV），要么引入多路外线。

对于采用单路高压引入的数据中心，其不同电压等级对应的数据中心征地规模和建设规模建议如表1。

表1 不同电压等级对应数据中心征地及建设规模表

备注：（1）按照1万 m2机房楼占地3 000 m2，建筑密度按照35%考虑，则所需用地约13亩；（2）如供电部门允许同一地块外线多路引入，其建设面积和征地面积相应可以倍数增加；（3）上述计算数值未考虑数据中心地块内建设其他低功耗的仓储用房、管理用房等。

3.4 电力价格

考虑到数据中心耗电量巨大，1万平方米通信机房年耗电约6 132万度（7 000×8 760），按照1度电0.9元计算，年电费成本约5 500万元，如果电价便宜一半，每年节省电费达到2 750万元，所以在地块位置选取上就应该选择电力输入省，而非电力输出省。

供电电压等级越高，单价越便宜，同时不同用电种类其价格又不同。表2为江苏省电价统计表，从表中可看出，要争取按照大工业电价和35 kV电压等级以上计量，同时也需要争取地方政府政策支持，切实降低电价。

表2 江苏地区不同用电种类电价表

同时随着国家政策的相应调整及直供电试点工作的逐渐开展，后续可能存在发电侧直供电的可能性。所谓直供电是指作为用电大户，直接参与发电侧供电谈判，根据试点通知要求电压等级不低于66 kV或110 kV。发电侧直供电也需通过公共电网变电所取电，需付供电部门一部分过网费用，比供电部门的转供电价格要便宜。

4 建设规模和单层面积设置

4.1 数据中心建设规模

数据中心建设规模包含两个部分，第一个部分是数据中心地块内的总建设规模，这部分已在前面提及，需结合电力外线引入容量综合考虑，建议总建筑规模控制在1.2×104m2、6×104m2和15×104m2左右。第二个部分就是数据中心地块内单栋机房楼建设规模，考虑到数据中心整体建设规模较大，包含多栋机房楼建筑，结合机房楼综合利用率以及外线引入容量，建议单栋建筑规模控制在1.2×104m2左右（1路10 kV外线容量可满足需求）。

4.2 单层面积设置

从机房楼规划考虑，为节省低压电缆馈线引入长度、减少搬运难度，机房楼建设不宜过高，4～7层左右较为合适。同时机房楼单层面积设置需综合考虑设备安装的便利性和楼层配电总容量，目前机房楼单台变压器容量以2 000 kVA和2 500 kVA为多。为便于楼层分散供电，建议单台变压器容量按照1层楼或2层楼总容量设置，尽量不采用1台变压器带多个楼层（导致供电电缆交叉）。

如果按照单台变压器容量为2 000 kVA计算，单层面积在3 000 m2（含IT设备、空调及电池充电每平方米负荷约700 kVA，则2 000 kVA变压器容量可满足3 000 m2左右）。如果按照单台变压器容量为2 500 kVA，建议1台变压器带2层负荷，则单层面积在1 800 m2左右。

5 大楼配电建设模式

数据中心功耗巨大，其配电结构有别于传统通信机房的配电系统。

5.1 外市电引入

数据中心采用10 kV外线引入，可将高压侧部分直接放到一层配电房，对于35 kV及110 kV外线引入的高压部分，建议单独在场地中央设置电力配送中心（由35 kV/110 kV变为10 kV电压等级），然后通过10 kV高压线向不同机房楼内配电房供电（10 kV转变为0.4 kV电压等级），不宜由电力配送中心直接送0.4 kV电力至各通信机房，损耗和投资均大大增加。