高性能单机路由器在中国移动互联网中的应用

2015-07-03李伟许帅

电信工程技术与标准化 2015年7期

李伟，许帅

（中国移动通信集团设计院有限公司，北京 100080）

1 高性能单机路由器出现的背景

2008年后，中国移动CMNet进入快速发展期，网络流量增长迅速，网络规模迅速扩大。仅骨干网容量，就从2008年的不到800 Gbit/s，快速扩容到2014年底的14 Tbit/s，预计到2015年底将达到33 Tbit/s，增幅巨大（如图1所示）。

图1 中国移动CMNet骨干网容量统计图

网络流量的急速增长和业务类型的丰富促进了路由器设备性能的不断进行升级和提高。路由器容量的提升，具体表现为槽位数量的增多、每槽交换能力的提升以及板卡端口密度的不断提高。但是，互联网流量的发展都是远远超过设备容量更新的速度，据统计显示，互联网流量每12个月增长1倍，而路由器的容量每18个月才增长1倍。

当前，业界主流的集群路由器即便可以多框并用，其容量也不能满足业务的飞速增长。以主要承载互联网业务的两大干线网络的163骨干网为例，目前其网络流量已超过40 Tbit/s，并且以每年60%的幅度增长，而目前业内部署的最大集群路由器为2+8集群，可将单个路由系统的端口总容量上限提高到5.12 Tbit/s （40 Gbit/s 2+8集群)或者12.8 Tbit/s （100 Gbit/s 2+8集群)，这仍旧无法满足中国电信的骨干网容量需求。目前，支持更多框的路由器集群系统目前还停留在理论阶段，而更多框的集群对机房的要求也极为巨大，在电源、散热、机房承重、运维等因素的制约下，在网络的某些核心节点集群路由器的部署与扩展已面临困难。

2 高性能单机路由器的业界现状

高性能单机路由器，即大容量、高效率、多功能的新一代核心路由器。简单来说，此类设备一般是通过提升槽位数、单槽位接口卡容量来提升设备的整体容量，20槽位已经是此类设备发展趋势，单槽接口卡容量趋势为400 Gbit/s、1 Tbit/s、2 Tbit/s，未来更可以根据需求向背靠背、多机框扩展。高性能单机路由器能够满足多种场景应用的性能要求，同时满足未来网络流量不断增长的需要。高性能单机路由器普遍不支持POS的端口，以以太网技术为基础的高性能单机路由器实现了单槽位高密度、单端口高带宽，从而使得整机的转发能力一举超越现有的集群路由器。

2.1 高性能单机路由器的优势

高性能单机路由器利用以太网的技术优势和性价比，极大地扩展了路由器的容量，从而突破了传统单机在开发技术工艺上的限制，解决了传统集群路由器在部署、运维、割接上的困难。

首先，由于高性能单机路由器能提供极大的单设备容量，在业务需求快速增长的情况下，避免过多引入节点，使得网络拓扑和路由策略变得简单和清晰，解决了网络的扩展性问题，便于网络维护和网络优化。

其次，利用以太网技术来获取更大的带宽和更低的每比特费用，大大减少了投资。

目前，主流100 Gbit/s平台集群路由器单机端口线速容量为1.6 Tbit/s左右，2+4集群端口线速容量为6.4 Tbit/s。而目前主流厂商高性能路由器单机端口线速容量均大于等于6.4 Tbit/s（如Cisco 8 Tbit/s，上海贝尔阿尔卡特朗讯8 Tbit/s，Juniper 8 Tbit/s，华为6.4 Tbit/s），未来还有很大性能提升空间，完全可以替代100 Gbit/s平台集群路由器。这将大大节省电源与机位需求，减轻机房压力，更易于部署和维护，且不会增加路由的复杂度。高性能单机路由器与传统集群路由器对比见表1所示。

以目前中国移动CMNet骨干网上市场份额最大的Juniper设备为例，要配置16×100 GE端口和192×10 GE端口，如果采用现在的集群路由器，则需满配1台主控框SCC和2个业务框LCC，满配功耗大约25 kW左右，占用4个标准机柜空间（SCC为800 mm宽，1 300 mm深的非标准机柜）；如果采用Juniper最新的高性能单机路由器MX2020，则只需1台设备即可，功耗大约11 kW，可放置在1个标准19英寸机柜内。值得注意的是，这时的MX2020只使用了6个槽位就达到了1套1+2集群路由器满配时的容量，而自身还有14个槽位可预留后续扩容使用，可见高性能单机路由器的处理能力之强大。

表1 高性能单机路由器与传统集群路由器对比

2.2 当前市场主要高性能单机路由器产品

目前各厂家高性能单机路由器大致可分两类：一类较传统单机和集群而言功能没有变化，比较适用于核心节点，如上海贝尔7950 XRS系列、华为NE5000E系列、Cisco NCS6000系列、Juniper PTX系列；另一类业务端口类型丰富，适用于业务接入节点，如Cisco AR9200、Juniper MX2020、华为NE40E系列。各厂家设备对于集群和背靠背支持情况不同，具体指标对比详见表2所示。

3 高性能单机路由器的应用场景探讨

高性能单机路由器以其“大容量、高性能”的特点而被应用于网络中同样有着“大容量、高性能”特点以及有着“高可扩展性”需求的网络节点上，比如IP骨干网、省网核心、城域网核心等节点。

表2 主流厂家高性能单机产品性能对比

3.1 骨干网核心

骨干网络由于汇聚了大量的业务流量，链路数量和方向都非常大，对大容量、高性能设备的需求是最迫切的。同时，骨干网正向着大容量、少节点、扁平化的趋势演进，少节点、扁平化需求更加加剧了网络单节点的大容量需求，所连接的链路数量成倍增加。100 Gbit/s端口的出现暂时缓解了链路数量的压力，但是并不能满足网络长期的发展；目前的技术条件下，采用400 Gbit/s或更高容量的高性能单机路由器，可以很好的解决这一问题，提高骨干网的建网效率，使得网络的扁平化成为可以实现的目标。

从中国移动业务发展和预测结果来看，CMNet 5年内流量大幅增长，预测2018年CMNet骨干网需要疏通的流量应该在100 Tbit/s左右。目前，中国移动CMNet骨干网核心节点现有设备均已接近扩容上限，且传统10 Gbit/s POS链路较多，无法通过设备替换部署高性能单机路由器；且骨干网核心节点服务区域广影响范围大，网络的稳定至关重要。因此对于高性能单机路由器骨干网核心节点的部署，可以考虑两种方式，如图2所示。

图2 高性能路由器在骨干网中的应用场景示意图

方式1：即骨干核心设置高性能单机路由器，新路由器之间采用100 Gbit/s或400 Gbit/s带宽链路互联，将原有核心节点的集群路由器通过大带宽端口下挂到新增节点，根据流量情况可以选择取消或保留原有核心节点之间的互联链路。将主要业务通过路由策略导入新的核心节点，部分低速业务可通过直连链路转发，从而实现了核心节点的设备替换。

方式2：即选择省网出口流量较大的省份，如传统业务量大省以及骨干IDC所在省份部署高性能单机路由器，构建新的高速平面，从而达到新旧平面同时分担流量的目的。在此过程中，还需考虑新平面与旧平面的流量分担比例问题。如图3所示。

非均衡方案，即新平面与旧平面采用不同的比例分担流量；均衡方案则是新平面与旧平面按照等比的方式分担流量。均衡方案在路由策略和流量控制方面较非均衡方案要简单易行，但由于旧平面的设备扩容能力有限，往往会制约新平面设备的能力发挥。非均衡方案可以充分发挥新平面大容量设备的能力，同时由于新平面承担的业务流量更多，使得旧平面设备的使用周期向后延迟，从长期来看，非均衡方案在投资上更加具有优势。

图3 新旧平面流量分担方案对比示意图

在新旧平面过渡过程中，如果存在10 G POS、10 GE、40 G POS、100 GE等多种链路，面临着不同的链路类型如何并行使用的问题，常用的技术包括ECMP（等价路由）、链路捆绑、子端口、MPLS TE，以及非等价路由、多速率链路捆绑等。工程中应根据网络场景和设备厂家的支持情况选择使用以上技术。

同类型同速率时：建议同厂家间采用链路捆绑，异厂家之间根据厂家支持情况和系统要求选择使用链路捆绑或者ECMP；如果同局向链路超过4条，建议分多组捆绑以降低多条链路捆绑的风险。当受到链路捆绑数量限制时，使用ECMP在多条等速链路上均衡流量。

同类型不同速率时：即同方向存在10 GE和100 GE两种链路类型，或10 G POS和40 G POS两种链路类型；可以采用链路捆绑方式或者采用“链路捆绑+子端口”方式形成多条等速逻辑链路，然后采用ECMP实现多条等速逻辑链路的等价负载均衡；或者根据厂家支持情况采用多速率捆绑或者MPLS TE方式实现链路的负载均衡。

不同类型时：即同方向存在POS和以太两种链路类型，可以采用链路捆绑方式或者采用“链路捆绑+子端口”分式形成多条等速逻辑链路，然后采用ECMP实现多条等速逻辑链路的等价负载均衡。

3.2 省网及城域网核心

云计算、大数据、移动互联等创新技术应用，使得省网/城域网核心设备的容量需求大增，特别是城域核心路由器，承担着城域内以及跨城域网的流量疏通。

省网/城域出口节点路由器对于高性能单机路由器的需求强烈。在城域网出口部署高性能单机路由器，增加城域网出口带宽，同时减少城域网层级，从而为用户高速上网、4G LTE等业务提供了有力支撑。根据CMNet城域网现网状况，高性能单机路由器的应用可以分为现有设备直接替换和组建新的配对组合两种方式。对于CMNet中大部分省网/城域网而言，目前已经在使用10 GE端口进行业务承载，因此采用设备替换方案可实现现网的平滑过渡，一次性解决网络容量的问题。而少量省网/城域网目前还在使用POS端口，此类节点则建议在保护现有投资的前提下，采用新增组合的方式进行网络容量扩容，待原有设备折旧期过后再考虑退网或下沉。

3.3 IDC网络

随着云技术的发展，中国移动数据中心IDC业务急速增长，用户数和流量快速上升，正成为新的流量中心。目前大数据IDC流量疏通主要由骨干网承担，不仅极大的占用了骨干网带宽，而且由于IDC流量的流向与用户发生的流量流向不同，导致骨干网的疏导策略复杂，降低了疏通效率。

若采用高性能单机路由器为5大直管IDC（北京、上海、广东、哈尔滨、呼和浩特）新建核心设备，组建IDC互联平面，则可通过传输直接建立Full Mash全连接，来进行IDC间互联和数据调度。用户访问IDC时通过城域网再接入新建的IDC网络，网络架构简单，可形成对CMNet的分流，大大减轻骨干网流量压力。通过在IDC互联网络中部署SDN技术，可实现流量的实时监控和实施调度，极大提高链路利用率。

3.4 部署中需要考虑的其他问题

由于高性能单机路由器刚刚开始商用，需要逐渐积累应用、管理及维护方面的经验。

首先，由于采用高性能单机路由器的网络节点在网络中都处于非常关键的位置，对于网络核心设备而言，一旦出现故障导致业务中断，将致使上百万用户受到影响，良好的容灾设计对于高性能单机路由器来说至关重要。

其次，由于高性能单机路由器由于容量大，也同样有着一些不可避免的缺点，比如：单机设备对空调的需求较大。受制于能效比，风冷技术的实际天花板是每机柜25 kW，超过这个数值后能效比严重劣化。目前业界的高性能路由器多使用新型风扇散热，后续待功耗增加到一定程度则需要通过板级/柜级的液冷技术来提供散热。因此，在设计时要选择空调、承重等条件比较好的机房，同时充分考虑预留足够的空间，以便于后续的节点升级。