数据中心主机房机柜布局的研究

孙丽玫（中国移动通信集团设计院有限公司， 北京 100080）

数据中心主机房机柜布局的研究

孙丽玫
（中国移动通信集团设计院有限公司， 北京 100080）

本文以多个实际工程为例，从机房建筑布局、空调方案、维护操作等多方面分析了影响数据中心主机房机柜布置的关键因素，提出了提高机柜布置率的方法。

数据中心；主机房；机柜布局；空调系统

1 引言

随着国家对战略性新兴产业的重视，对云计算、下一代网络的积极推进，IDC市场迎来了前所未有的发展机遇。2015年，中国IDC市场规模达518亿元，比2014年增长39%。2015年国家宽带提速，“互联网+”向产业加速渗透，带来互联网流量快速增长，拉动对数据中心等互联网基础设施需求的增长。数据中心基础设施的建设进入一个新的高潮。

在数据中心的规划建设阶段，对数据中心的规模、容量、等级的规划设计，将直接影响到数据中心投资、运营和收益。其中，提高数据中心的出机柜率，是数据中心建设方、设计方一直致力研究的课题之一。目前市场上IDC价格体系中，主要以机柜数量、单机柜供电能力、带宽等为基准进行价格测算。因此提高主机房使用率即提高主机房内机柜布置率，是IDC业务提供商提高业务收入的主要途径之一，在数据中心基础设施建设中显得尤其重要。

2 主机房机柜布局原则

主机房，是数据中心安装机柜的空间。机柜布置时，要考虑较多影响因素，如机柜搬运、维护操作空间、IT设备系统与供电系统、制冷系统的匹配等问题。图1为典型的机房布局示意图。

主机房机柜布局一般按如下原则进行。

2.1 基础设施能源利用最优化

各机房空间内，单个模块的IT设备、电源、空调等系统尽量达到最佳匹配和平衡。主设备系统、空调系统、气流组织系统、供电系统、智能监控系统应综合集成，提高机房空间利用率。

图1 典型的机房布局示意图

2.2 合理搬运维护通道

机柜布局时，应充分考虑维护人员安全、设备搬运、检修维护需要的空间。根据规范要求，机房内主运输搬运通道的宽度为1.5 m，次通道的宽度不小于1 m。成行排列的机柜，两个出口通道之间的距离超过15 m时，在两个出口通道之间增加出口通道。

2.3 机柜按区分冷热通道排列

机房的机柜布置采用“面对面、背对背”的排列方式，分出冷通道和热通道。机柜列间距综合考虑工艺设备安装需求、日常维护需求、地板规格等，并根据机柜装机功率密度和气流组织的需求，确定机柜列间距离。

2.4 机柜系统标准化

在满足客户需求的前提下，主机房内的机柜系统尽量采用标准机柜。标准化机柜尺寸一致，供电、送风方式相同，利于机柜布局便于统一安装、维护。

3 主机房机柜布局影响要素分析

主机房空间内一般包括机柜安装空间、机柜搬运空间、线缆竖井及空调末端空间等。主机房内机柜布置能力，可以用主机房的单机柜使用面积来衡量，即：

单机柜使用面积=主机房使用面积/机柜数量（1）

单机柜使用面积（平米/架）越大，说明主机房内安装的机柜数量越少。因此，通常我们追求更小的单机柜使用面积。

影响主机房单机柜使用面积的主要因素有：机柜尺寸、机房空间尺寸、空调末端形式和机柜配电系统。

3.1 机柜尺寸的影响

机柜尺寸有宽、深、高3个维度。机柜尺寸是由其内部安装服务器和设备情况确定的。机柜的宽度、深度对出机柜率影响较大。机柜的宽度，确定了每列拟安装机柜机柜数量。一般而言，IT标准机柜宽为600 mm，部分网络设备机柜宽800 mm。显然，机柜越宽，同一列内安装的机柜数量就少。

机柜的深度，影响到机房内机柜列数，同时影响到机柜列间搬运维护间距的取定。随着服务器运算能力提升，服务器深度有加大的趋势，因此机柜深度尺寸也逐步从1 000 mm提升到1 200 mm。部分存储机柜深度达1 500～1 800 mm。

机柜深度1 000 mm时，考虑服务器和机柜的搬运，其前维护间距可考虑为≥1 000 mm。如果机柜深度为1 200 mm，此时一般服务器深度较大，达800～900 mm，考虑服务器和机柜的搬运，其前维护间距就考虑为≥1 200 mm。这样机柜深度越大，在同样空间，能安装的机柜列就少。

因此在同样空间大小情况下，机柜尺寸越大，能安装的机柜数量相应地就少。

3.2 机房平面布局的影响

为保障主机房最佳的使用率，主机房以矩形为最佳，原则上不采用弧形、三角形等异形平面。主机房的长度、宽度尺寸，对机柜的布置和数量有较大影响。

3.2.1 机房长宽取定原则

机柜布置，分为两个方向即标准列长方向和列数方向，机柜布置与机房布局方向的关系图如图2所示。

图2 机柜布置与机房布局方向关系示意图

机房的宽度方向，一般设置与机柜标准列长方向平行。此时机房的宽度设置需要考虑机柜标准列长、机柜搬运通道、空调末端区域宽度的需求。如机房空调末端采用冷冻水型机房专用空调并单侧设置空调区域的机房，其宽度设置为：

机房宽度=空调末端区域宽度+主搬运通道+标准机柜列长+次搬运通道 （2）

当机房设置单面空调区域时，机房宽度一般可以设置在17～20 m左右；设置双侧空调区域时，机房宽度必须加大，宽度修正为不低于20 m，以获得更佳的出机柜率。

当采用机柜级制冷方案时，可不考虑空调末端区域宽度。

机房的长度方向，与机柜列数方向平行时，长度的决定因素是机柜深度和列间距。目前，较为通用的方式是将冷热通道隔离。因此建议长度应尽量“机柜深度+冷通道列间距+热通道间距”为单元模块进行规划。

设机柜厚度为H，热通道间距为R，冷通道间距为L，机房内设置n列机柜时，建议机房的长度设置为：

机房长度=n×H+(n/2)×L+(n/2+1)×R (当n为偶数时) （3)

机房长度=n×H+((n+1)/2)×L+((n+1)/2)×R (当n为奇数时) （4）

目前多数机房都考虑了机柜的冷热通道隔离，采取了冷通道封闭或热通道封闭等措施，因此在可能的条件下，机柜列数n以偶数为最佳（如n=6或8或10列等）。

3.2.2 机房面积规模的影响

一般情况下，主机房的面积越大，装机率越高。目前影响机房模块使用面积大小的主要决定因素，是消防气灭系统对机房容积的要求。根据相关消防规范，每个气灭防护分区总容积率不能超过3 600 m3，因此在气灭系统容许的范围、合理层高情况下，加大机房使用面积，提高机房装机能力。

如果两个机房尺寸完全一致，机房长度和宽度一致，但是其内部机柜布局呈90°调整，即机房I机柜列平行于机房宽度布置，机房II机柜列平行于机房长度布置，哪个机房的出机柜率更高呢?

图3为机房I和机房II中的机柜布置图。两个机房尺寸相同，但是机柜布置方案不同，呈90°调整。机房I和机房II的机柜布置指标见表1所示。

图3 机房I和机房II机柜布置

表1 机房I和机房II机柜布置指标表

由表1可知，机房I和机房II虽然面积相同，但其布置的机柜数量有一定差距，差距达8%左右。原因是因为机房II机柜标准列长度较大，空调送风距离长，因此需要双面送风设置双侧空调区域；并且其机柜列的长度超过15 m，根据规范要求，考虑维护和搬运安全，需要将机柜列中设置中间搬运通道，这样机房II的辅助区域空间占比增大，机柜实际安装面积减少。

由此可得出，通常情况下，主机房面积越大，机房出机架率越高；在相同机房面积情况下，机房长度如与机柜标准列方向一致时，机房出机架率越高。

3.3 空调末端方式的影响

目前在机房中，常见的空调末端形式主要有：冷冻水型机房专用空调、列间空调、热管背板和水冷冷门方式等。这4种空调末端方式在机房内布置方式各具特色，冷冻水型机房专用空调一般在机房设置一侧或两侧设置空调末端布置区域；列间空调方式是在机柜列中布置空调末端机柜；而热管或水冷冷门方式是将空调末端的制冷板挂在机柜后门处或前门处。本研究以某标准化机房为基础，考虑不同种空调末端方案时，主机房内机柜布置情况。考虑热管和水冷冷门方式对机房布局影响一样，因此本研究将其归为同一类情况分析。根据数据中心机柜功耗发展情况，本文以单机柜功耗为5～7 kW/架的主机房需求为研究对象。

图4 不同空调末端方式时机柜布置图

图4 为相同机房、单机柜平均运行功耗5 kW时3种不同空调末端形式下主机房机柜布置图。

图5是对上述相同机房尺寸不同空调末端方式时，机柜布置指标分析图。

可以发现，一般情况下，在出机柜率方面，柜式的热管背板或水冷冷门末端方式优于行间级的列间空调末端方式，房间级的冷冻水空调末端方式机柜使用面积最大。

3.4 机柜配电系统的影响

在主机房机柜布置中，配电机柜成为必不可少的要素，其在主机房占位因素，正逐步被大家关注。

目前数据中心服务器存储设备等，多采用交流220 V供电，部分系统或设备采用直流-48 V供电。对于交流供电时，通常在每个机柜标准列内设置一个配电柜（PDF），对于-48 V直流供电时，考虑压降因素等，通常需要在每个机柜标准列内设置多个配电柜，列头柜、列中柜和列尾柜等。根据工程统计，交流供电时，配电列头柜一般占机房内机位5%～7%；而直流供电时，配电柜一般占位超过10%。

因此，配电柜的设置，对主机房机柜布置和出机架率，有非常重要的影响。

图5 不同空调末端方式时机柜布置指标分析图

4 提高主机房机柜布置率的措施

通过上述分析，为提高主机房机柜布置率，降低主机房机柜使用面积，可以采用如下措施进行优化。

4.1 机柜尺寸标准化

机柜尺寸直接影响到机房的列间距确定和机房宽度进深设置。机柜尺寸的标准化，有利于机柜列间距标准化、机房布局标准化，对机房运维标准化、流程化有重要意义。

对于特殊尺寸的机柜，在不影响相同功能情况下，建议在机房模块内单独设列，该列的维护间距特殊考虑。或者特殊尺寸机柜单独设置在机房空间。

4.2 机房布局合理

机房面积设置时，应满足消防要求、机房功能定位需求，并综合考虑其供电制冷系统能力基础上，设置最大机房模块面积。

机房应优选矩型形状，其宽度和长度应合理安排，建议机房宽度与机柜标准列长平行，依据空调末端方式确定，不宜过长。机房长度方向的设置以满足相关要求和功能需求的最大值为宜。

4.3 优先选择柜级制冷的空调末端方案

在机房长宽确定情况下，机柜级制冷方案——热管或水冷冷门方式情况下的主机房单机柜综合使用面积最小；冷冻水型机房专用空调方式情况下主机房单机柜综合使用面积最大，因为此时需要设置一个空调末端专用区域，需要考虑空调设备的安装及检修等空间等。本研究案例分析得出，机柜级制冷方案时主机房出机柜率比房间级的空调方式下布局提升约20%。

通常，当IT单机柜运行功耗越大，主机房单机柜综合使用面积取值应随之增加，但采用机柜级制冷方案时，主机房单机柜综合使用面积基本不变。因此建议在满足机房制冷需求，基础设施维护能力可行时，应优选机柜级制冷的空调末端方案，提高机房的出机柜率，获得较好的主机房制冷效率。

4.4 采用机架母线供电方案

为提升主机房出机架率，机架配电母线方式已在部分新建数据中心中推广采用。

机架母线配电方式，是采用“始端箱+母线槽+终端箱”供电方式，以替代现在常用的精密列头柜及其输出电缆。机架配线母线方式，可以机架列为单元灵活调配单个机架用电功率，显著节省列头柜占地、降低建设成本。采用机架母线配电方式，主机架出机架率将提升5%～10%。图6为机架母线配电方式的布置示意图。

图6 机架母线配电方式布置示意图

5 结束语

提高主机房的出机柜率，降低主机房单机柜使用面积指标，一直是IDC业内人士能力的目标，是机柜提供商利润的重要来源之一。

[1] Luiz Andr Barroso，Jimmy Clidaras，Urs H lzle. 数据中心设计与运营实战[M].陈实，等，译.北京：人民邮电出版社，2014.

[2] 张广明，陈冰，张彦和.数据中心基础设施设计与建设[M].北京：电子工业出版社，2012.

Research on the crack layout of the data center

SUN Li-mei
(China Mobile Group Design Institute Co., Ltd., Beijing 100080, China)

On the basis of many projects,this paper studies and analyzes the key factors of thecrack layout, such as the equipment room layout, air conditioning system, maintenance and operation, and others. This paper puts for word the key factors and solutions to improve the crack number of data center.

data center; equipment room; the crack layout; air conditioning system

TN915

A

1008-5599（2017）01-0006-05

2016-08-25