企业大型数据中心网络和布线设计

文｜ 世源科技工程有限公司 王志强 陈 宏

企业大型数据中心网络和布线设计

文｜ 世源科技工程有限公司 王志强 陈 宏

随着数据中心的发展，数据中心已经不是一个简单的服务器统一托管、维护的场所，已经演变成一个集大数据运算、存储为一体的高性能计算机的集中地，需要通过各种方式将之前以单台为单位的服务器变成多台为群体的模式，在此基础上开展诸如虚拟化、云计算、云存储等一系列的功能，以提高单位数量内服务器的使用效率。随着虚拟化、云计算的快速兴起，数据中心对网络的要求越来越高，网络设计应充分考虑未来适应新技术发展的需要，尤其是对于企业大型数据中心设计，应从未来数据中心的发展趋势和企业需求来规划数据中心的网络和布线方案。

1 布线系统总体规划

企业大型数据中心布线系统设计，应以网络架构设计为依据，满足应用系统的需要，按照一次规划分期建设的原则进行，同时留有部分余量，避免浪费。

企业大型数据中心布线系统设计需要在网络规划的基础上进行布线规划，采用结构化、模块化布线方式。布线系统总体架构包括：主配线区（MDA）、中间配线区（IDA）、水平配线区（HDA）和设备配线区（EDA）四个布线区域。由主配线区（MDA）至中间配线区（IDA）、由中间配线区（IDA）至水平配线区（HDA）、由水平配线区（HDA）至设备配线区（EDA）采用星型拓扑结构的布线方式。数据中心布线系统拓扑结构如图1所示。

2 结合网络架构的布线设计

针对企业大型数据中心的项目特点，常见的网络架构及布线设计方案可以分为列头式（EoR）、集中式 （改进型EoR）、分散式（ToR）三种方式。

（1）列头式

列头式即EoR的方案，是数据网络架构规划及布线设计中比较传统的方案，即将网络系统中接入层交换机置于每列列头的1～2个机柜中，本列机柜所有铜缆/光缆都汇聚到列头柜的接入交换机中，通过交换设备把铜/光的数据传输转换为光缆传输；所有经过列头柜转换出来的多芯光缆汇聚到数据中心的模块或核心交换机中。网络拓扑如图2所示。

采用EoR的方式，服务器首先连接到布线列头柜，布线结构清晰，具有较高的通用性与灵活性，尤其在一些业务应用不明确的前提下可考虑采用。可以将高性能、高端口密度、模块化的大型交换机置于列头柜中，通过高效的端口分配，提高端口利用率，降低交换机成本，由于采用列头柜的接入方式，提高了端口利用率。

EoR布线方式的缺点是采用大量双绞线布线，综合布线成本高，后期维护成本高，每列机柜需要至少一个列头柜，从而导致每个机房模块需要较多的列头柜，空间利用率低。

（2）集中式

集中式的原则是将同一区域的服务器统一接到网络机柜，以高密度的网络设备作为服务器群的接入。根据机房的实际情况，可以划分区域的范围，一般一个区域的服务器机柜不超过60台。按照企业的实际情况，网络设备采用集中式的放置方式，使用大型框架式数据中心级交换机。即在一个机房模块中分为几个大的区域，各个区域的服务器分别集中到区域汇聚交换机中。网络拓扑如图3所示。

采用集中接入方式，端口利用率很高，所投入的网络设备数量减少了很多，网络设备的维护量会减轻，可以将高性能、高端口密度、模块化的大型交换机置于机房中，利用交换机的虚拟化技术，提高整体处理能力，无需设置列头柜，一个机房模块集中设置网络机柜，节约了机房的面积。

但对布线系统提出了较高的要求，线缆的维护量较大。服务器统一接到网络机柜，需要大量双绞线布线，有时会受到距离的限制，综合布线成本较高，后期维护难度大，维护成本高，网络系统扩充难度大，对综合布线的依赖程度高。

（3）分散式

ToR的原则是把接入层交换机布置在设备区的每个机柜内。优点是从服务器到交换机是“简单的”跳线连接，从交换机的上行链路端口到上层交换设备是光纤连接，在汇聚层向上，构建一个“全光纤”的网络架构。网络拓扑如图4所示。

ToR布线方式简化了服务器机柜与网络机柜间的布线，服务器在机柜内通过双绞线（或光纤）在机柜内直联交换机，接入层交换机通过光纤上连至汇聚层交换机，节省综合布线成本，尤其是后期综合布线系统的管理成本。接入层交换机的分散放置，网络容易进行系统扩充，也使得服务器的接入空间相对增加，从而提高机房内单位面积的数据处理能力。按42U高的机柜计算，如果采用交换机ToR布线方式，则每个机柜最多可部署40台1U高度的机架式服务器。

ToR布线的缺点是每个服务器机柜受电源输出功率限制，可部署的服务器数量有限，每个服务器机柜或相邻几台服务器机柜中需放置接入层交换机，由于接入服务器数量的限制，每个交换机的端口不可能完全被利用，端口利用率较低。ToR方式的网络建设成本比较高。

综合布线与网络系统整体成本增加，但是可以提高机房有效的空间，提高机房单位面积的数据处理能力，因而获得很好的性价比。

3 设计案例

以某大型企业数据中心为例，结合企业应用系统需求和网络架构规划，针对机房模块不同的业务需求，相应地采用不同的布线设计方案。从使用功能上，该企业数据中心主要分为普通业务应用模块、大型重要业务应用模块、云计算应用模块、核心网络机房模块、屏蔽机房模块。以下将结合上述几种机房模块应用系统需求及网络架构的特点分别提出布线设计方案。

（1）普通业务模块布线方案

普通业务模块主要针对一些重要性一般、中小规模的业务系统部署，如办公管理系统、对外网站、电子邮件、企业信息系统、档案管理系统等，一般多个应用系统共同部署在一个机房模块内。各应用系统的规模不等、网络接入的需求各不相同、业务应用部署需要不明确，因此要求布线设计具有较高的通用性与灵活性，推荐在普通业务应用模块采用EoR的布线方式。普通模块分区如图5所示。

考虑到企业数据中心的业务特点，普通业务模块单机柜供电容量按平均3kW/RACK设计，2U及4U机架式服务器各按50%考虑，估算每台服务器机柜内服务器的数量为8台，每个服务器机柜按“24电+8光”规划布线端口数量。每台服务器机柜设24个铜口，采用一次性布线的方式，由EDA区引至HDA区，考虑到满足未来设备部署灵活性的需要，EDA区的铜缆配线架推荐配置在机柜上方对应位置网格桥架的侧方，每台服务器机柜考虑8个光口（初期按30%配置），每4个机柜布置一个1U的光纤配线箱，部署12个光口，供4个机柜共用。光口主要满足以太网接入及存储网络接入的需要，光纤配线箱推荐部署在光缆线槽的下方，HDA区至IDA区采用预连接光缆，在每排预留4U的光纤配线架机框，敷设24芯预连接光缆4根至IDA区（初期按30%配置），光缆、铜缆跳线按50%配置。

（2）大型重要业务应用模块布线方案

大型重要业务应用模块主要部署企业重要的、中大规模的业务系统，如企业ERP等。一般一个应用系统需要占用一个或几个机房模块，业务系统内的横向流量远高于纵向流量，适合采用高性能、高端口密度、模块化大型交换机作为接入交换机，提高网络的性能和可靠性，降低接入过载比，通过虚拟化的技术提高整体性能。因此布线设计适合采用集中式（改进型EoR）布线方案。按照数据中心集中式的网络架构，将一个机房模块划分为4个区域（每个区域40～60台机柜），每个区域放置一对数据中心级交换机，每个区域预留2台交换机机柜和2台布线机柜。以某厂商设备为例，其数据中心级核心交换机产品的高度是38U，对于标准42U高的机柜，需要占用一整个机柜。单机柜可以提供576个万兆端口或者864个千兆端口，完全可以满足数据中心服务器接入需要。大型重要业务应用模块分区如图6所示。

大型重要业务应用模块单机柜供电容量仍按平均3kW/RACK设计，每个服务器机柜按“24电+8光”规划布线端口数量。每台服务器机柜设24个铜口，采用一次性布线方式，由EDA区引至区域集中EoR布线区。考虑到满足未来设备部署灵活性的需要，EDA区的铜缆配线架推荐配置在机柜上方对应位置网格桥架的侧方，每台服务器机柜考虑8个光口（初期按30%配置），每4个机柜布置一个1U的光纤配线箱，部署12个光口，供4个机柜共用。光口主要满足以太网接入及存储网络接入的需要，光纤配线箱推荐部署在光缆线槽的下方，区域集中EoR布线区至IDA区采用预连接光缆，在每排预留4U的光纤配线架机框，敷设4根24芯预连接光缆至IDA区（初期按30%配置），光缆、铜缆跳线按50%配置。

（3）云计算模块布线方案

云计算应用模块主要部署企业的云计算服务平台，如桌面云、高性能计算等，一般单独分配一个或几个模块来满足此种业务的应用需要。云计算应用对服务器的各项性能指标要求较高，包括计算能力、可靠性及虚拟化性能。云计算平台一般采用高性能的机架式服务器或刀片式服务器，部分云计算数据中心采用定制化的服务器，推荐在云计算环境下采用4U机架式服务器。另外云平台的建设通常采用统一建设的方式，服务器的性能规格、接口类型、部署方式容易做到统一及规模化部署。云计算数据中心模块须要采用大二层网络架构。为了提高单位机柜对整体数据中心基础设施的利用率，设备端口的布线密度非常高。因此云计算模块中的高密度服务器机柜适合采用ToR的布线方案。

云计算模块单机柜供电容量按平均7kW/RACK设计，每台机柜部署8台4U机架式服务器，每台服务器考虑4个业务网端口，2个存储端口，1个管理端口。云计算网络不仅要进行业务数据通信，还要实现虚拟服务器的在线迁移、负载均衡等新功能，因此云技术平台服务器与数据中心网络设备的连接尽量采用万兆接口，以减小带宽对资源池动态调配可能造成的不利影响。万兆网卡光铜口按各占50%设计，铜口区域每台服务器机柜考虑32个铜口，由服务器至ToR交换机采用铜缆跳线直接跳接的方式；光口区域每台服务器机柜考虑32个以太网络光口，由服务器至ToR交换机采用光缆跳线直接跳接的方式。每2台机柜为一组，作为一个ToR布线单元，ToR设备机柜布线采用每个ToR布线机柜内放置1U光纤配线箱的方式，由ToR机柜布线区至IDA区引入2根12芯预连接光缆（初期按50%配置）。

考虑到云计算应用中每台服务器均有存储资源池的访问需求，每台服务机柜设24个光口用于连接存储网络（初期按50%配置）。每2个机柜布置一个1U的光纤配线箱，部署12个光口，供2个机柜共用。KVM及带外管理网布线单独设置，按每2个机柜布置一个24口的铜缆配线架，供2个机柜共用。采用一次性布线方式，由EDA区引至HDA区。光缆、铜缆跳线均按50%配置。云计算模块分区如图7所示。

（4）核心网络机房布线方案

核心网络机房模块用于部署数据中心的核心网络路由交换设备及核心网络布线的MDA区。项目采用两个标准机房模块中的部分机柜（2排）作为核心网络机房（MDA区）使用，每个机房模块的中间配线区（IDA）至每个核心网络机房（MDA区）引入2根72芯OM4光缆，光缆推荐采用OM4多模光缆，满足未来40G或100G应用对传输距离的要求。光铜缆跳线按50%配置。网络核心机房（MDA区）分区如图8所示。

（5）屏蔽机房布线方案

企业屏蔽机房建设是为满足企业涉密业务的需求，屏蔽机房的布线须符合国家对涉密信息的安全要求。屏蔽机房的建设须参照国家保密局《处理涉密信息的电磁屏蔽室的技术要求和测试方法》BMB3-1999，和中国人民解放军《军用电磁屏蔽室通用技术要求和检验方法》GJBZ 20219-94等标准的要求。

在本项目中，屏蔽机房内设2排机柜，每排10个服务器机柜，每台服务器机柜考虑24个屏蔽铜口，采用一次性布线方式，服务器机柜到网络列头柜采用6A类屏蔽铜缆，屏蔽铜缆配线架配置在机架上。每台服务器机柜考虑8个光口（初期按30%配置），每4个机柜布置一个1U的光纤配线箱，部署12个光口，供4个机柜共用。光纤配线箱部署在光缆线槽的下方。由服务器机柜到列头柜采用预连接光缆的方式，屏蔽铜缆及光缆跳线按50%配置。

（6）运营商接入布线方案

数据中心楼两侧各独立设置运营商接入机房，满足从两个不同的路由引入电信市政外线的要求。本项目两侧各设四间运营商机房。每个运营商机房区域可满足4家运营商接入的需要。每家运营商机房至每个MDA区引入1根24芯OM3多模光缆，12根6A类非屏蔽铜缆，12根75-5同轴电缆以满足多种类型链路的接入需求。

4 布线产品的选择

布线产品的选择需根据项目的实际需求，并考虑项目的建设投资等因素综合确定，以下仅给出推荐性建议。

在线缆的选择方面，为支持10GBase-T的需求，数据中心铜缆推荐采用6A类铜缆，6A类铜缆承载10GBase-T的距离为100m。为了支持 10G和未来40G或100G的应用，数据中心光缆推荐采用OM3 50/125 μ m激光优化多模光缆或OM4光缆。光缆连接推荐采用预端接光缆，光纤模块采用MPO-LC接口类型。在线缆的阻燃等级方面，A级机房铜缆布线推荐采用CMR级阻燃线缆，光缆布线推荐采用OFNR级阻燃光缆。B级机房铜缆布线可采用CMR级阻燃线缆或低烟无卤线缆，光缆布线可采用OFNR级阻燃光缆或低烟无卤线缆。

大型数据中心机房规模较大，部署的服务器机柜数量较多，对后期布线系统的运维管理带来了较大难度，因此推荐使用电子配线架。电子配线系统对快速布线、及时诊断故障等带来便利，提高了运行及维护的效率。

数据中心网络布线的线缆路由建议采用上走线方式，铜缆布线推荐采用开放型的网格式桥架，光缆布线推荐采用光纤尾纤槽。

5 结束语

从根本上讲，数据中心网络布线系统满足于各应用系统网络互连互通的需求。因此，合理的布线系统设计一定是基于数据中心的网络架构规划，方案设计难点也在于此。本文主要结合数据中心常见的网络架构和布线设计方案及一些企业大型数据中心项目中布线系统设计的经验，提出了针对一些业务应用场景和特定需求的解决方法。当然，正因为布线系统的设计源于数据中心应用系统的需求，因此需要在每个项目中针对特定行业、特定企业的应用特点及需求，提出有针对性的数据中心布线系统设计方案。

1 电子信息系统机房设计规范GB 50174-2008.北京：中国计划出版社，2009

2 综合布线系统工程设计规范GB 50311-2007

3 美国通信行业协会标准数据中心通信设施标准TIA 942

4 钟景华，朱利伟，曹播.新一代绿色数据中心规划与设计.电子工业出版社