5G时代虚拟化核心网组网架构演进

（中国联合网络通信有限公司广东省分公司，广东 广州 510000）

1 引言

从2007年至2017年，在进行移动核心网网络设计时，主要考虑的网络结构是流量收集型，即在各个城市的无线网收集上网流量，通过承载网络传送到省会或重要城市，并在这些城市建立核心网节点，集中完成上网流量的疏导。

整个网络的流向为南北向，流量汇聚程度极高，主要网络结构如图1所示，从网络运行的实践来看，该网络结构较为稳定，复杂度较低，能够较好地收集并传送流量。池组化的网络结构，也有效地降低了单台设备故障造成业务全阻的风险。

但在2017年，随着各种互联网合作套餐的上线，用户流量迅速被释放，该网络结构受到较大考验。虽然在多次扩容后业务能够做到完全承载，但必须同时扩容核心网、承载网、防火墙和出口路由器，对网络投资、网络资源等提出了较高的要求。为了在高负荷的情况下保持核心网的稳定，还需要尽量在同一时间完成整个池组的扩容工作，这都对设备维护人员提出了更高的要求。

图1 南北流向模型网络架构设计

2 网络功能虚拟化的构想

5G时代移动核心网需要适应增强型移动宽带（eMBB）、海量大连接（mMTC）和高可靠低时延（uRLLC）三大业务场景。具体来说，eMBB场景主要是速率的提升，未来5G标准要求单个5G基站至少能够支持20 Gb/s的下行速率以及10 Gb/s的上行速率，主要应对4 k/8 k超高清视频、VR/AR等大流量应用；uRLLC是要求5G网络的时延必须低于10 ms，才能应对无人驾驶、智能工厂等低时延应用；而mMTC场景是海量大连接，对应物联网等连接量较大的应用。为了满足这些业务场景，对网络结构设计、网络优化提出了更高的要求。

2.1 虚拟化网络架构

网络功能虚拟化（NFV）部署，为现有移动核心网及5G核心网网络结构设计带来了新的挑战。网络虚拟化后，整个网络承载DC化，核心网不同的功能加载到不同网络层级的虚拟机（VM）上，最后形成一个多层次多功能的云网结构。在该网络结构下，除了南北向的业务流量，还有各个虚拟网络功能网元之间互相访问，各个虚拟机进行同级DC之间迁移的东西向流量，整体如图2所示。

在这种情况下，基于汇聚疏导南北向流量的网络结构会显得东西向设计不足。同时南北向和东西向流量计算，在不同级别链路中断的情况下如何进行容灾处理，不至于造成网络阻塞，都成了现阶段网络设计的要点。本文介绍的架构实现如下：

图2 网络虚拟化结构图

（1）可扩展的互联带宽。对任意一台承载虚拟机的服务器，都能使用网卡的最高带宽与数据中心中任意一台承载虚拟机的服务器进行通信。

（2）经济性。扩展网络规模时与扩展普通交换机一样，不用产生额外对网络结构进行更新的花费。

（3）向后兼容。升级到这种网络结构后不需要做额外的改动即可软件升级支持5G网络。

2.2 Clos架构选择

为实现上述设计目标，网络结构可以选择CrossBar架构或Clos结构。

CrossBar（即CrossPoint）被称为交叉开关矩阵或纵横式交换矩阵，它是业界公认的用于构建大容量系统的交换网络结构。CrossBar架构在交换网络内部没有带宽的瓶颈，不会因为带宽资源不够而产生阻塞，在N×N结构下可以实现无阻塞网络。具体结构如图3所示。

图3 M×N CrossBar架构图

但是当进行M×N交换时（即M个输入，N个输出），是有阻塞的交换，例如(3,2)的通路就占用了(4,1)的，所以(4,3)被阻塞了，不能同时转发。

而诞生于1952年的Clos架构，是由贝尔实验室的Charles Clos博士在《无阻塞交换网络的演进》提出的，起先用于程控交换机的设计，后续演进引入数据中心架构设计。这个架构主要描述了一种多级电路交换网络的结构。Clos最大的优点就是对CrossBar结构的改进，通过Clos架构可以提供无阻塞的网络，Clos交换架构可以做到严格的无阻塞（Non-blocking）、可重构（Rearrangeable）、可扩展（Scalable），相比传统的CrossBar架构在突发流量处理、拥塞避免、递归扩展上均有巨大的提升。具体如下：

（1）在大规模输入输出时，对比CrossBar结构需要CrossPoint数量少。假设在M×N模式下，具体算法如图4所示。

具体的算法如公式(1)所示：

所以，计算总共N=20个输入，Stage1上Sub-Switch上承担n=10个输入，Stage2采用k=3个Sub-Switch的情况，共需要CrossPoint为136个，而采用ClossBar需要N×N，即400个CrossPoint。

（2）每一个输入输出的Session有冗余链路，可以采用ECMP（Equal Cost MutiPath）进行多路负荷分担，降低产生拥塞的可能性，提升了传输带宽。

（3）任何输入都能找到没有在同时使用的线路，所以叫做无阻塞架构（当然，也分情况，Clos在有些情况下也不是完全无阻塞）。

例如图5，按3级Clos结构规划的网络中，特别经典的称为胖树（Fat-Tree）结构，可以按照图5的方法进行设计。其构成如下：

核心交换机个数(k/2)2，Pod个数k，每个Pod汇聚交换机k/2，每个Pod计入交换机k/2，每个接入交换机连接服务器k/2。

每个接入交换机剩余k/2个口连接Pod内k/2个汇聚交换机，每台核心交换机的第i个端口连接到第i个Pod，所有交换机均采用k-port switch。

图4 算法示例

图5 Fat-Tree结构设计图

可以计算出，支持的服务器个数为k×(k/2)×(k/2)=k3/4，不同Pod下服务器间等价路径数(k/2)×(k/2)=k2/4。

胖树拓扑架构的一个好处是，它用到的所有交换机都是相同的，而且，这种架构具备非阻塞特点，对于任意的通信模式，总有路径让他们的通信带宽达到网卡带宽。不过，达到1:1的超分比还是有点困难的，因为要防止出现TCP报文乱序的问题。

当k=48时，也即采用48口全千兆交换机组件的胖树架构，包含48个Pod，每个Pod中包含24个汇聚交换机，24个接入交换机，每个接入交换机连接24台服务器。它支持27 648台主机，由1 152个子网构成，每个子网下接入24台服务器。其中，每两台处于不同Pod下的服务器间有576条等价路径（跟核心层交换机数量一致，从某一核心层交换机到某一台接入交换机间只有一条路径）。

3 虚拟化网络结构的容灾设计构想

在这个设计方案中，网络中的每个交换机都会配置BFD（Bidirectional Forwarding Detection Session）进行链路检测，用以确定链接或相邻交换机何时失效。

从容灾的角度分析，存在两种典型链路故障：一是接入层交换机到汇聚层交换机故障；二是汇聚交换机到核心层交换机的故障。出现链路故障后，如果由路由协议或自带的慢Hello机制，没有硬件支持的情况下，一般收敛速度较慢（秒级），需要控制平面处理，占用CPU且不能独立于具体协议。而由配置BFD协议进行故障的检测，可以将故障容灾切换、协议重路由等动作降低到毫秒级。

利用上述Clos结构设计的核心网络具备无阻塞特性，如图6所示，无论是虚拟机集群上联接入交换机部分链路中断，还是接入交换机上联汇聚交换机的链路中断，只要设计遵从Clos结构，出现中断后无论是南北向流量（例如送到互联网的流量或下到eNodeB等无线网的流量），还是东西向流量（例如核心网设备之间的流量，虚拟化设备迁移等流量，都可以无损地在网络中传递）。

图6 Clos结构核心网容灾示意图

4 虚拟化网络中路由协议选择

现阶段中大型数据中心设计还是基本采用了接入层2层交换，汇聚层使用OSPF或ISIS等路由协议，核心层对外使用BGP连接运营商骨干网络的方案，该方案网络结构分划清晰，各路由之间不互相影响，是较为理想的方案。但在网络规模不断增大时，OSPF等内部网关协议由于定期路由更新和泛洪的路由更新机制，会导致网络收敛时间明显增加。如果配合BFD协议可以控制路由更新的时间，但路由网络规模增大仍然会带来单台设备进行路由计算会占据较多CPU和内存资源。

本文推荐使用BGP协议代替IGP协议作为整个数据中心的路由协议，具体理由如下：

（1）对比类似OSPF等的IGP协议，BGP协议的结构更加简单。IGP协议通常需要多播协议，且邻接关系和邻居关系需要较为复杂的配对和维护，BGP协议只需要作为承载的TCP协议可达，邻居关系的建立和维护直接和简单。

（2）BGP的协议泛洪机制比IGP的泛洪机制简单。BGP协议会在本路由器内部完成最佳的路由计算和选择之后，再广播给它的Peer，这样一个链路的故障即可以迅速传递到BGP Peer，对端接收到后在上述Clos结构网络内也无需采用全量计算即可以在其他负载均衡路径进行流量传递。而与之相反的是IGP协议需要至少在内部同一个区域（Area）内进行链路失效的泛洪通知，同时区域内所有路由器都需要重新计算，路由收敛时间明显增加。

（3）使用预先定义好的自治域号（Autonomous System Number）和标准AS_PATH防环检测机制，每台虚拟机的流量可选路径都是可控、无环路和清晰的。而在一个标准IGP协议的路由域内，需要达到同样的目标则需要拓扑设计、路由配置等多个方面的协同，而且后期维护和故障分析也需要更多的工作量。

（4）与IPv6的兼容性。在中共中央办公厅、国务院办公厅印发的《推进互联网协议第六版（IPv6）规模部署行动计划》书中，国家战略将大规模推动IPv6的商业应用。而BGP协议，尤其是目前大规模使用的MP-BGP，从配置上通过制定不同的address family，可以平滑过渡到支持IPv6。而普通IGP协议，例如OSPF，需要全局更新至OSPF v3，才能完善支持IPv6的功能，其他IGP协议也面临类似的情况。

综上所述，建议网络结构按照Clos结构完成部署单局点或并行多局点后，使用eBGP协议将核心网（Spine）、汇聚层（Leaf）、接入层（ToR）分别规划相应的私有AS号，核心网层可以考虑使用公有AS号。具体网络协议结构示例如图7所示：

图7 路由协议设计结构示意图

5 结束语

网络虚拟化以及使用虚拟化架构构建5G核心网已经是5G网络建设及维护的必由之路。网络的基础设施由专用的ASIC硬件结构向通用的X86结构转变，网络的架构也需要从主要南北向疏通大规模流量，向着兼顾南北向和东西向流量的方向转变。本文阐述的全方位网络设计方案由Clos网络结构设计、容灾和路由协议设计组成，较好地兼顾了虚拟化网络结构特点及5G核心网网络要求。