构建互联网运营商IP骨干网的高速新平面

唐利莉，张宁

(1 中国移动通信集团设计院有限公司，北京 100080；2 北京爱奇艺科技有限公司，北京 100080)

1 互联网运营商网络规划建设面临的主要挑战

计算机和互联网技术的普及，改变了人类社会的生产和生活方式，并且成为国家战略性基础设施，经济发展的强力引擎。

在全球互联网用户数持续高速增长的同时，4K/8K视频、VR/AR、云计算、社交网络、物联网、5G等技术日益流行，视频流量在互联网流量中的占比持续增高，全球互联网不再是一个简单的数据传输网络，运营商需要为互联网用户提供越来越高的接入速率。

互联网用户规模持续增长和接入速率不断提高的背后，是爆炸性增长的互联网流量，它驱动着互联网规模的高速增长。运营商的网络还需要为视频流量提供高品质的QoS保障，满足视频流量对分组丢失、时延的要求。云计算的发展使得更多的应用和资源向云端集中，热点事件的随机性带来网络流量突发，互联网业务流量特征发生深刻变化，给运营商网络带来极大冲击。

当前互联网流量的快速增长已经明显的超过了路由器设备容量的提升速度。业界最大的路由器设备容量，也只有43%的年复合增长率，而全球网络中继带宽达到了89%的年复合增长率。设备容量的发展无法满足当前网络结构下国内运营商对其部份节点的需求。

传统IP网络架构面临着网络规模激增、服务质量、路由器设备容量限制等多个方面的压力，带来前所未有的挑战。如何面对这些挑战，对传统IP网络架构进行优化调整是本文的主旨所在。

2 互联网运营商IP网络架构优化思路

IP网络结构优化的可以从点、线、面不同维度着眼，对应节点的合并与裂变，中继方向的调整、网络层级的调整、网络平面的扩展等。下面介绍如何从网络平面的角度考虑IP网络结构的优化方案。

2.1 纵向扩展

纵向扩展的思路是在保持现有网络节点设置不变的情况下，通过对现有中继链路的带宽进行扩容，同时增加中继链路方向，来实现网络规模的增长。

图1 纵向扩展示意图

在图1中，红色的节点代表了网络的骨干核心节点，这些节点负责本地流量疏导的同时，还负责疏导转发其它节点之间的流量。随着持续的纵向扩展，网络向Full-Mesh的网络结构演进，流量二次转发的压力会从骨干核心节点逐步卸载，大部分节点之间的流量可以通过直连的中继链路疏导，所以纵向扩展的过程也是网络扁平化的过程。

网络纵向扩展的能力严格受制于节点设备的能力。这种扩展方式相对来说较为简单，比较适应于网络发展的平稳时期。

2.2 对称横向扩展

对称横向扩展的思路是在保持现有网络的核心设计理念不变的情况下，平行地增加节点和链路，构建出多个对称的流量平面。在这种思路下，链路的方向、数量，以及节点的增加都以一种“对称”的形式出现，如图2所示。

当网络处于急速发展期时，横向扩展可以提供较好的扩展能力，但是也存在一些自身的问题。

（1） 扩展的网络结构和原有的网络结构紧耦合。

（2） 每个流量平面的网络规模取决于扩展能力最小的流量平面，由此呈现出木桶效应，网络规模可扩展性受限。

（3） 如果新增平面的中继链路采用更高速率接口，为保持带宽的对称性，需要对于原有平面链路进行调整和捆绑，或对于新增平面的链路人为进行逻辑分拆，才能确保对称比例的流量分担到新的链路上，这样会增加设计和网络维护的复杂度。

2.3 非对称横向扩展（构建新平面）

传统的IP网络架构扩展，往往根据自身网络发展阶段和业务需求，以纵向扩展和对称横向扩展相结合的方式展开，以便在确保网络规模的同时能够兼顾投资保护。

图2 对称横向扩展示意图

图3 非对称横向扩展（构建新平面）示意图

既有投资的确需要保护，但是沉淀的资源不应该成为考虑网络架构演进的决定性因素，也不应该成为限制性因素。

如何寻求一种突破，既可以摆脱节点设备能力的束缚，又可以将对称横向扩展方式下遭遇到的“耦合”问题进行解耦，是我们需要重点关注和讨论的问题。

可以抛开2.2节中整平面扩展的惯性思维，从解决局部入手。在对现有网络流量、流向更为精确分析的基础之上，关注网络中设备压力较大的局部节点，进行有针对性的扩容，即选择这些节点构建新的平面。新平面独立互连，内部带宽按需建设，覆盖节点之间的互访流量完全通过新平面疏导。随着对局部问题的解决，自然形成新的网络平面；并通过增加新平面节点，逐步调整流量在新平面的比例，直至流量完全迁移到新平面，如图3所示。

在这种思路下，选择设备压力较大的局部节点构建新的平面，意味着原有平面的设备不会被替换，既有投资得到了保护。新平面跟原有平面的拓扑组织均是按需设置，意味着新旧平面之间没有关联，互相解耦得以实现。

由于新平面内部跟原有平面内部的中继链路均是按需设置，是一种非对称结构，因此我们把这种新的网络扩展思路称作：非对称横向扩展（构建新平面）。

这种扩展方式可以充分保护现有网络投资，同时实现网络架构的持续优化；便于在新平面引入新型设备以及新技术；还可基于当时的设备价格、设备能力来灵活选择新、旧平面的扩容；充分发挥新型高端路由器设备和新技术带来的后发优势。此种扩展方式对网络流量流向的预测能力和维护能力都提出了相对较高的要求。

以上分析可以看出，非对称横向扩展方式适用业务处于爆炸式增长、新技术引入需求强烈的网络。这种松耦合的设计思路给网络的扩容带来极大的灵活性，并可持续演进，可以满足不断激增的海量数据承载需求以及不断翻陈出新的互联网应用。

3 构建IP骨干网的高速新平面

IP骨干网构建新平面的驱动力来自于业务流量的爆炸式增长，现有设备扩容能力无法承担扩容的需求，引入新型核心设备和骨干网新技术成为迫切要求。

本节将详细介绍在非对称横向扩展的思路下，如何构建IP骨干网的高速新平面，实现流量分平面疏导的目的。

3.1 新平面的网络架构设计原则

高速新平面的网络架构设计原则主要包括流量疏导原则、中继设置原则、路由策略3个部分。

3.1.1 新平面的流量疏导原则

国内电信运营商IP网络一般分为骨干网、省网、城域网，其中骨干网一般分为核心层和接入层两层，在骨干核心节点和骨干接入节点，均对称设置1对或2对路由器设备，构建出2组或者4组对称的流量转发平面。IP骨干网内的流量一般可分为网内省际互访流量、国内网间流量和国际网间流量，如图4所示。

在非对称横向扩展方案中，新平面和原有平面之间相对独立的流量疏导任务，决定了新平面和原有平面网络结构的松耦合关系；因此首先需要考虑的是非对称的流量疏导原则。

根据流量预测结果和原平面设备能力受限节点情况选择N个省份，这N个省之间的网内省际互访流量通过新建平面疏导，其它流量在原有平面疏导。

在图5中，我们以北京、上海、山东、福建共4个省市为例，4个省市间共有6组省际互访流量，我们选择北京、上海、山东作为新平面省份，共有3组省际互访流量迁移至新平面疏导，其余3组流量依旧在原有平面疏导。

在运营商的骨干网中，一般有31个省网存在，那么就有465组省际互访流量，选择N个省份，则有N×(N-1)/2组流量迁移至新平面。随着网络总体规模的不断扩容，一方面保持原有平面的总体规模基本不变或者缓慢增长，另一方面通过扩大N省份范围，将越来越多的流量迁移到新平面，由新平面承担主要的网络扩容规模。

新平面覆盖省份的选择，主要考虑是否可以较为有效的将流量引导至新平面；以及现有设备容量受限、现有机房紧张的节点，以避免替换搬迁给网络带来的不稳定性。

3.1.2 新平面的中继设置原则

图4 运营商IP承载网络结构示意图

在3.1.1节中我们可以看到，新平面和原有平面的流量划分、节点设置均是非对称的，各自根据所承载的流量进行中继链路设置，因此新平面和原有平面的网络架构之间是松耦合的，具体结构示意图如图6所示。

图5 非对称横向扩容流量疏导示意图

在新平面中首先考虑采用100G+的以太网高速链路，构建一个高速的新平面，提升带宽敏感型多媒体流量的承载能力；还可以充分考虑网络结构的扁平化，使网络结构向Full-Mesh快速演进；或者根据当时的厂家设备情况优先考虑采用新型、大容量路由器设备，提升网络扩展能力。

3.1.3 流量疏导策略

新、旧平面并存的网络结构下，会出现两种类型的EBGP直挂骨干网节点，一种是双跨新、旧两个平面的节点，另一种是只与旧平面互连的节点。流量疏导策略要求所有双跨节点间的互访流量完全通过新平面承载，同时双跨节点还要保持与单跨老平面节点的正常互访。实现上述流量疏导的策略可通过两种方案实现。

3.1.3.1 对端优选新平面的EBGP方案

双跨的EBGP节点同时向新、旧两个平面发布本节点路由，由对端的双跨EBGP节点利用EBGP的LocalPreference属性优选从新平面的EBGP邻居发布的路由。由于新平面发布过来的路由只是那些和新平面有连接的双跨节点的路由，这样可解决双跨节点之间互访流量全部通过新平面疏导的要求。那些没有双跨只与旧平面互连的节点的节点，发布的路由自然只能从旧平面收到，所以利用EBGP属性优选新平面的路由策略对这部分路由不生效，从而实现双跨节点和单跨节点之间继续通过旧平面疏导。

3.1.3.2 骨干网控制下发路由方案

在该方案下，不需要对端EBGP节点配置策略优选路由，而是骨干侧在旧平面上不给对端EBGP节点发布双跨节点路由，只在新平面的落地设备上向对端发布双跨节点路由，这样双跨的节点从新平面只能收到双跨节点路由，从旧平面只能收到单跨节点路由。为了区分双跨节点的路由和单跨节点的路由，可在这些节点向骨干发布路由时，由骨干侧统一打上单跨／双跨的特殊Community标记，这样就可以方便地完成上述过滤要求。

3.2 新平面网络架构的演进

随着业务发展，新平面覆盖节点数量不断增加，承载的流量比例不断扩大。一方面减缓了旧平面的扩容压力；另一方面，随着更新一代的路由器产品推出，可以在恰当时期在旧平面引入最新的产品，使两个平面通过此消彼长的方式保持网络与产品更新换代相匹配的节奏，既延长了老产品的使用周期，又可以发挥新产品的性价比、新技术支持等优势。

由于新旧平面的解耦，新平面可以采用业界最新的设备，引入业界的热点技术比如广域网SDN。SDN是一种新型的网络架构，它的设计理念是将网络的控制平面与数据转发平面进行分离，并实现可编程化控制。广域SDN的部署使得网络可以感知网络状态并以此为依据进行全局调度流量，保证关键业务质量，提供端到端QoS。

图6 IP骨干网新旧双平面的网络结构示意图

可以看出，构建IP骨干网的高速新平面的建设思路具有很好的普适性和可持续性，当未来更高容量的设备以及更高速率的带宽出现时，仍然可以借鉴这一思路，确保网络的良性可持续发展。

4 结束语

互联网正在改变世界，其业务发展和创新的速度已经远非人们的想象力所能及，数据流量像洪水一样以摧枯拉朽之势推动着各种新技术的更迭。

当前宽带互联网发展已进入一个新时代，运营商必须抓住机遇，未雨绸缪，提前布局，完成现有IP网络的超宽带化，探究网络扩展的思路使之具有灵活的可扩展和适应性。加快SDN/NFV的战略布局，实现网络的智能化，以应对未来的互联网流量发展需求。