大型数据中心的网络规划设计

摘要：网络的规划设计将直接影响数据中心机房内的系统设备、平台及关键应用数据。从介绍大型数据中心的概念开始，引入数据中心网络规划设计的基本思路，包含了物理网络设计和逻辑网络设计两大部分，先从全局维度阐述了总体设计的多个关键要素，包括但不限于弱电综合布线设计、机柜部署设计、设备物理端口连接设计、网络拓扑图设计、网络IP地址及VLAN设计、网络安全策略设计、网络及安全管理设计，然后分别对每个方面的深化设计内容展开详细的论述，最后以理论与实践相互作用的角度进行了总结。

关键字：网络规划设计；设备物理端口连接设计；网络拓扑图设计；网络IP地址及VLAN设计

一、引言

对于典型的数据中心机房，除了土建工程和基础设施的规划设计以外，最重要的就是机房的数据通信网络的规划设计，网络设计的稳定性和可靠性将直接影响到数据中心内运行的电子信息系统设备，因为网络作为基础环境承载着数据中心的多种基础系统平台，而这些平台上运行的应用数据恰恰是政务及企事业单位日常及高峰业务的核心价值所在。

二、大型数据中心的概念

一个典型的数据中心机房，是指放置电子信息设备并提供稳定运行环境的场所，通常包含计算机信息系统、通讯和存储系统和为这些系统提供恒定适合的温度、湿度、电力等环境的基础设施在内的一整套设施。

数据中心机房按照机房的用途、业务特点及要求乃至机房在经济和社会中的作用和影响，根据国家标准《数据中心设计规范》GB50174-2017可以划分为A级、B级、C级三个级别。其中A级是较大型专业的机房标准，在性能要求方面，A级机房内的场地设施应按容错系统配置，在电子信息系统运行期间，场地设施不应因操作失误、设备故障、外电源中断、维护和检修而导致电子信息系统运行中断[1]。

三、网络规划设计的思路

数据中心的网络规划设计，最终目标是为业务系统运行提供安全、稳定、可靠的计算存储和网络通信环境，支撑关键业务的开展。因此，首先要采用稳定成熟的技术路线，在稳定可靠的基础之上，对于具体业务场景可以适当引入较先进的技术架构，在局部发挥前瞻性技术优势。数据中心的网络规划设计，整体可分为物理网络设计和逻辑网络设计两大部分，物理网络设计主要是机房内的各种线缆、物理端口、机柜空间等的设计，逻辑网络设计主要是涉及逻辑功能和性能的拓扑图、IP地址、安全策略等的设计[2]。本人遵循此思路，已经在实践中顺利完成了某大型数据中心的网络规划设计。

四、总体设计

网络的规划设计涉及面较广，需要综合考虑多个维度。对于大型的数据中心机房而言，主要包括以下几个方面：1.弱电综合布线设计。主要包含通信机房及光交箱、弱电列头柜、配线架的设计[3]。2.机柜部署设计。主要包含整个机房的机柜分布区域设计，机柜内空间设备部署设计[4]。3.设备物理端口连接设计。主要包含设备之间采用的物理端口及连接线。4.网络拓扑图设计。主要包含网络的各个区域组成及划分，区域之间的连接，区域内部的连接等[5]。5.网络IP地址及VLAN设计。主要包含对于IP地址段、VLAN用途的规划设计。对于复杂的基础系统平台，如云计算平台，大数据平台，尤其需要专业的精心设计，不仅要考虑将管理网络和业务网络区分开、多机柜分布式部署，还需要考虑VxLAN和SDN等新技术的使用场景[6]。6.网络安全策略设计。主要包含跨不同区域之间的业务访问控制策略，以及同一区域内不同业务的访问控制策略，这部分不仅要单独考虑每个网络安全设备的功能，也要结合业务数据流在数据中心内的流向考虑整体的安全策略，让所有网络安全设备协同工作发挥出整体最优的效能。

五、深化设计

（一）弱电综合布线设计

1. 弱电垂直布线。机房的机柜区域往往涉及多个楼层的多个不同区域，按照功能可以分为通信机房、测试机房、主机房区域1、主机房区域2等。通信机房是运营商部署光交箱和交换机等通信设备的场所，也是运营商线路从园区外部进入机房楼内落地的第一站，通常将机房楼内各个运营商的接入配线架部署在这里。以本人设计的某机房布线为例，通信机房在机房的1层，而主机房区域在2层，则从1层通信机房连接到2层主机房区域的通信线路（如光纤）就形成了垂直布线。

2.弱电水平布线。以本人设计的某机房布线为例，和通信机房在同一楼层的区域，从1层通信机房连接到1层测试机房的通信线路（如光纤或铜缆）就形成了水平布线。同样是此机房的布线，对于在同一个主机房区域的机柜与机柜之间，从主机房区域的总配线架连接到各列机柜的弱电列头柜的通信线路也形成了水平布线。对于在同一列的机柜，机柜与机柜之间的通信线路也形成了水平布线。

（二）机柜部署设计

通常机柜要按照不同的业务及功能区域来设计布局，以本人设计的某机柜设计为例，包含了网络核心区、网络外联区、网络管理区、具体业务区、数据备份区等。同一个业务区域的机柜尽量要连续排列，不要拆散分离，便于在后续扩展機柜时的运维和管理。机柜部署有两个基本要素：一是电功率；二是机柜空间。从实际部署看，很多时候即使机柜空间没有占满，但电功率已接近上限，就不能再增加设备了。机柜通常采用双路供电，因此对应配备两组PDU电源。PDU电源通常有两种类型：10A插口和16A插口。以本人设计的某机房为例，大多数设备如服务器、接入交换机、防火墙等都采用10A插口，而少数设备如大型存储、小型机、核心交换机等则采用16A插口。机柜内的PDU插口数量是有限的，每一路PDU有24个插口，其中20个是10A的，4个是16A的。

对于空间占用较大或电功率较高的设备，如网络核心交换机、小型机、大型存储等，根据实际情况可考虑每台设备分别放在不同的机柜，在机柜位置上优先放在机柜的最下方。这样做的优点：一是利于机柜重心的稳定；二是电功率高的设备使用的16A插口位于机柜偏下的位置；三是便于上架和下架等运维操作。

对于机柜内设备有高可用性要求的，需两个机柜组成一对来使用。在实际的机柜部署中，具有高可用性设计的网络核心交换机、边界防火墙、服务器、存储等，应分别部署在成对使用的相邻机柜。这样做的优点：一是便于线缆的连接；二是便于运维操作。

对于一些复杂的系统平台，可能会需要考虑多机柜分布式部署，以本人设计的某机房为例，由于云计算平台的数据有3个副本，因此云计算平台的存储服务器部署在了3个不同的机柜里。

（三）设备物理端口连接设计

如果将整个网络划分为接入层、汇聚层和核心层，网络交换机的端口带宽速率大小顺序应该是接入层<汇聚层<核心层。

以本人设计的某机房为例，其中接入层交换机按照给服务器提供管理网络和业务网络接入的不同，又可以分为管理网络用1G带宽的电口，业务网络用10G带宽的光口。这是由于业务网络传输较多的业务数据，而管理网络只有较少的用于管理维护的数据，将业务网络和管理网络从物理层面分隔开，可以有效避免管理网络的数据占用业务网络的带宽。接入层交换机上联到汇聚层或核心层交换机的端口通常是40G带宽甚至100G带宽的光口，这样做可以有效避免核心层带宽的瓶颈问题。

每两台交换机之间做高可用堆叠的互联端口采用10G带宽（管理网络）或40G带宽（业务网络）的光口。

而防火墙或其他安全设备大多数采用10G带宽的光口与交换机互联，少数根据业务需要采用40G带宽的光口与交换机互联。路由器外联到运营商线路则根据运营商提供的带宽大小及接口特性的不同，采用1G带宽的电口或光口，或者10G带宽的光口。以本人设计的某机房为例，一条400M带宽的互联网专线采用了1G光口，另一条1G带宽的互联网专线采用了10G光口。

除了端口带宽，端口连接类型也很重要。目前主流的光口一般采用LC-LC连接器（俗称小方口）或MPO连接器，适合数据中心的业务网络。主流的电口一般采用1000BASE-T（RJ45接口），适合数据中心的管理网络。也可以根据实际需要配置光转电模块接口。以本人设计的某机房为例，光口全部采用LC-LC连接器，电口全部采用1000BASE-T。

（四）网络拓扑图设计

1.划分不同的业务功能区域。大型数据中心承载着复杂的关键业务，因此通常会以模块化理念设计多个业务功能及安全区域，便于管理和控制。以本人设计的某机房为例，整个网络划分成10多个区域，包括但不限于：管理中心区，数据备份区，核心交换区，互联网接入区，广域网接入区，业务容灾区，关键业务区一，关键业务区二，测试机房等。这些区域跨了机房的好几个楼层，从1层、2层到3层。各个区域都会有网络设备以及网络安全设备，但只有部分区域有服务器和存储设备。

2.区域之间的连接。各区域之间是通过将区域边界的设备直接物理连接从而实现区域间互联的，并不是每两个区域之间都可以或者需要直接互联，要根据网络整体的架构设计，并考虑业务数据流的走向和访问控制来确定。以本人设计的某机房为例，核心交换区连接了所有区域，各区域之间的访问都要先经过核心交换区中转来实现。

3.跨区域边界的防护。区域与区域之间，通常是不同的安全级别和需求，因此属于不同的安全域，这些安全域要通过各区域的边界设备来实现具体的防护，这些边界设备最常见的就是防火墙，主要实现的就是基于地址和端口的访问控制，从而防止区域外部未授权的请求对区域内服务器等设备的业务访问。我们通常称这类跨区域的访问流量为南北向流量，边界防火墙也被称为南北向防火墙。

4.区域内部的连接。区域内部是通过逐个网络层级设备的物理连接从而实现互联的，比如服务器上联到接入交换机，接入交换机再上联到汇聚交换机或核心交换机。并不是所有服务器之间都可以或者需要直接互联，要根据业务区域的网络需求设计，并考虑业务数据流的走向和访问控制来确定。

5.区域内部的防护。即使在同一个区域内部，根据业务场景和需求，也可能属于不同的安全域。以本人设计的某机房为例，云计算平台不同租户的云主机之间的互访，因为属于不同安全域，要通过区域内的防火墙设备实现具体的防护，主要实现的就是基于地址和端口的访问控制，从而防止区域内部未授权的请求对区域内服务器等设备的业务访问。我们通常称这类区域内的访问流量为东西向流量，对应的防火墙被称为东西向防火墙。

6.本地机房与外部机房的连接。本地数据中心机房与外部数据中心机房通常采用长途或本地专线线路实现连接。以本人设计的某机房为例，在本地数据中心有一个单独的业务容灾区，部署2台路由器设备，实现与外部数据中心的通信。而本地数据中心机房与外部数据中心机房之间的关系，本地是主数据中心机房，外部是灾备数据中心机房。

（五）网络IP地址及VLAN设计

1.内部网络IP地址段要有整体的规划和具体的分配。前面我们已经设计了多个业务功能和安全区域，按照每个业务区域，根据使用情况设定IP地址使用范围，并且在每个业务区域预留IP地址段以便于日后网络的扩展。网络IP地址可按照建设单位的网络规范标准进行部署设计，本着不仅满足当期使用并考虑后期扩展的原则来进行分配。以本人設计的某机房为例，IP地址段分为两大类：业务网络IP地址段和管理网络IP地址段。顾名思义，前者是用于传输业务数据的网络地址，后者是用于运维管理的网络地址，需要分别规划设计不同的IP地址段，设计的输出物形成了具体的地址分配表。

2.外部网络IP地址段要区分不同运营商的接入。外部网络主要是指互联网接入、广域网接入等，其IP地址段是由提供接入的运营商提供的，以本人设计的某机房为例，用户单位再根据业务需求具体分配每个IP地址，设计的输出物形成了具体的地址分配表，能区分不同网络运营商的接入。

3.VLAN的分配要有整体的规划。前面我们已经设计了多个业务功能和安全区域，按照每个业务区域，根据使用情况设定VLAN ID号使用范围，并且在每个业务区域预留VLAN ID以便于日后网络的扩展。VLAN的分配和IP地址分配通常是同时进行的，两者相互关联和影响，因此要同时整体考虑。

4.考虑SDN和VxLAN。对于SDN等新技术，数据中心网络有了VxLAN的使用场景。以本人设计的某机房为例，涉及SDN业务属性的，需要对应VLAN分配VxLAN，非SDN业务的则不需要。VLAN网络是底层逻辑层面的网络，VxLAN网络是上层逻辑层面的网络，根据VxLAN ID与VLAN ID的关联，在分配的时候特别做关联的设计。

（六）网络安全策略设计

数据中心的网络安全，通常按照设计要求的等级保护标准进行规划和建设，不仅有技术类安全要求也有管理制度类安全要求，技术类主要是网络安全和主机安全，以本人设计的某机房为例，通过区域划分、边界防护、访问控制、安全审计、入侵防护、病毒防护、身份鉴别等多重技术手段，综合实现了整体的网络安全保障。

六、结束语

数据中心机房的网络规划设计，是一个全方位多维度地从设计到实施的整体过程，既不能因循守旧也不能天马行空，要遵循行业和技术的最佳实践经验，在实际落地的过程中做到有理有据和灵活变通。网络规划设计是网络实施的理论依据，只有打好了这个基础，才能有效指导后续的网络工程实施，起到理论指导实践的作用。同时，在实际的网络工程实施过程中，通过实践发现网络规划设计的不足之处后，及时调整和完善，不断的打磨网络规划设计，做到精益求精，让实践反过来作用于理论，从而形成理论和实践相互影响的全闭环过程。

作者单位：黄毅    华迪计算机集团有限公司

参  考  文  献

[1]孙长青.数据中心国标A级与Uptime TierIV等級的级别对比[J].洁净与空调技术，2019（03）：58-60+63.

[2]钟鸣，辛杰廷.基于数据中心的大型网络规划设计[J].大众科技，2020，22（12）：10-13.

[3]鞠德鹏，薄艳.网络机房机线标准[J].中国新通信，2013，15（05）：44-45.

[4]李岳梦，田盛泰，李旭光，等.核心网机房规划标准化研究[J].电信工程技术与标准化，2013，26（03）：38-42.

[5]蒋炜，钱声攀，邱奔.数据中心网络拓扑结构设计策略研究[J].中国电信业，2021（S1）：73-78.

[6]邓世昆. 计算机网络[M].云南大学出版社：， 201502.330.