云网协同时代运营商IP承载网发展

2017-12-04朱永庆黄晓莹张文强

电信科学 2017年11期

关键词：骨干网城域网虚拟化

朱永庆，黄晓莹，张文强

（1. 中国电信股份有限公司广州研究院，广东广州 510630；2. 中国电信集团公司，北京 100032）

云网协同时代运营商IP承载网发展

朱永庆1，黄晓莹1，张文强2

（1. 中国电信股份有限公司广州研究院，广东广州 510630；2. 中国电信集团公司，北京 100032）

IP承载网作为Internet的重要基础设施，在云网协同发展背景下其作用越发重要。万物互联时代，IP承载网的演进逐步从以网络扩展为中心向以用户为中心转变。在对运营商IP承载网络现状分析的基础上，结合业务与技术研究，提出了基于“体验圈”的网络发展思路。“体验圈”从流量的区域汇聚特性切入，以用户体验为核心对架构进行优化，同时，对传输层以及应用层的协同提出建议。

IP承载网；软件定义网络；体验圈；IP—传输协同

1 引言

IP承载网由IP骨干网、城域网与IDC（internet data center，互联网数据中心）等构成，与用户网络共同构成了Internet的主体。作为用户网络的连接纽带与承载平台，IP承载网在Internet的发展过程中发挥了至关重要的作用。云计算、视频、物联网等业务的发展以及SDN（software defined networking，软件定义网络）、NFV（network functions virtualization，网络功能虚拟化）等技术的出现催生了“云网协同”时代。长期以来，IP承载网一直在业务需求与技术发展等因素的推动下持续平稳演进。在云网协同发展的今天，业务与技术都出现了新的变化，并为IP承载网的发展带来新的机遇与挑战，因此需要深入探讨。

2 互联网业务发展趋势

互联网诞生于20世纪70年代，随着网络空间与物理空间的逐步融合，互联网正在从最初的单纯数据通信网络逐步向“万物互联（internet of everything，IoE）”网络演进。这个过程伴随着IDC设施的云化以及终端类型的多样化。现阶段，3类互联网业务推动着互联网发展。

· 云计算相关业务：云计算是一种技术，更是一种理念。在云计算出现之前，尽管IP网络具有传送、计算与存储等功能，但长期以传送功能为主。云计算技术的出现，极大加速了IP网络功能向计算、存储等领域的拓展，使得“云”“网”逐步融合进而形成“XaaS（一切皆服务）”的态势。云计算相关应用的出现与发展进一步推动了网络东西向流量的增长，使网络流量流向呈现变化快、突发性强以及更加离散等特征，对网络的资源动态配置能力提出了极高要求。

· 视频业务：视频是当今第一大互联网应用。思科公司2016年发布的VNI（visual networking index）报告显示，2020年互联网视频流量将占全球互联网流量的 79%。用户对视频体验的不断追求推动着视频业务向超高清和沉浸感体验发展，4K、8K、VR（virtual reality，虚拟现实）以及 AR（augmented reality，增强现实）等视频应用将不断涌现，带来更加极致的视频体验。相对于其他业务，互联网视频具有大流量、高感知、长连接和高并发的特点，且在热点效应下极易出现突发的“大象流”，对IP承载网络产生非常大的冲击，需要网络具有较强的弹性承载能力。

· 物联网相关应用：物联网扩大了互联网的内涵，颠覆了传统的网络应用思路，丰富了终端类型，将催生出更加丰富、更深层次的网络应用和业务。从现有需求与技术发展来看，未来一段时间，物联网仍以M2M（machine-to-machine）通信为主（数据量小，本地连接较多），尽管连接数量巨大，甚至出现部分可靠性、即时性需求，但还不足以对现有IP网络形成较大冲击。未来，5G场景下物联网应用是否出现“井喷式”发展并对IP承载网产生较大影响，需要持续关注。

由此可见，云计算、视频等业务所导致的高通量、高突发、高并发、长连接以及流量流向离散等流量行为，将对IP网络产生深远影响。尽管可以通过CDN部署、DC分布化等方式缓解流量对网络的冲击，但在业务云化的趋势下，仍难以通过局部优化实现云网协同发展，需要从IP网络整体架构寻求解决之道。

3 IP承载网络现状及挑战

IP承载网涵盖骨干网、城域网、IDC等网络，是信息传输的高速通道。云网协同需要IP骨干网、城域网以及IDC的共同推进，其协同演进及发展对实现云网协同至关重要。

3.1 IP承载网现状

IP承载网中，城域网及IDC网络除流量转发外，主要承担用户、应用及网络资源的聚合角色，通常属于区域性网络，需要IP骨干网作为连接纽带。IP骨干网属于跨地域网络，各运营商运营理念以及发展思路的不同导致了IP骨干网形态的差异。从业务运营的角度，IP骨干网可分为单一网络融合承载与多业务分离承载两类。单一网络融合承载将所有业务承载在同一张IP骨干网上（必要时可根据业务质量实施差异化承载），美国AT&T的IP骨干网即属此类网络。多业务分离承载则是根据业务定位，将不同服务质量要求的业务承载在不同 IP骨干网上，中国电信利用ChinaNet和CN2分别承载不同业务，就是在IP骨干网层面实施多业务分离承载的范例。另外，根据拓扑结构，IP骨干网又可分为汇聚型网络和格状网络。汇聚型网络设计的前提在于网络中存在流量规模较大的核心节点，因而汇聚型网络的普通节点通常通过核心节点实现流量交互，而较少关注节点间距离等因素。格状网络则将节点间距离作为主要设计参数，不设置核心节点，相邻节点间保证绝对可达（但不强调所有节点全连接）。随着IP流量持续增长以及网络架构优化等因素，上述两种拓扑结构有逐步融合的趋势。

3.2 IP承载网面临挑战

尽管运营方式与网络拓扑不同，但随着业务发展与IP流量的持续增长，运营商IP承载网络的发展进入一个瓶颈期，主要体现在以下几方面。

（1）扩展性不足

网络应用日益丰富与IP流量的不断增长需要网络持续扩展。IP承载网的扩展性主要取决于网络容量的可扩展性，而容量的扩展则体现为节点规模的扩展与节点自身的扩展。IP网络属于分布式网络，每个节点都同时担负着路由决策与转发功能，当节点数量较大时，业务布放速度与网络收敛速度会受到较大影响。因此，在IP承载网中，节点数量相对稳定，通常不会出现数量大幅增加的情况，网络的扩展性更多依赖于节点自身的扩展。IP承载网的节点由路由器组成，受限于散热、芯片工艺等技术的发展，路由器一般2～3年容量提升一倍，其容量的提升速度低于全球IP流量的增长速率。集群路由器（通过中央框、线卡框的方式扩展路由器容量，而对外呈现为单台路由器）的出现可在一定程度上缓解此矛盾，尽管集群路由器容量理论上可达到64个线卡框（线卡框在非集群状态下可作为独立路由器使用，因此64个线卡框的集群路由器容量相当于64台独立路由器）甚至更高，但由于集群路由器对机房的空间、电源和承重都有极高的要求，因此，在工程实现上，单机房集群路由器通常不超过9个线卡框，这对网络扩展性提出了较大挑战。

（2）业务适配性差

传统IP承载网强调网络的高速转发功能，较少考虑对上层业务的适配，主要表现在：IP网络遵循TCP/IP协议栈的分层原则，上层应用与IP层相对独立，难以根据IP网络资源等信息优化配置。这样不仅容易导致局部网络性能劣化，也不利于业务体验的提升；路由器等传统网元强调互联接口与协议的标准化，采用封闭的软硬件设计方式，网络能力与硬件能力强相关，网络—应用之间缺乏有效的协同/沟通机制。当新业务对网络提出新的能力要求时，通常需要升级甚至替换IP网元才能满足要求。

（3）流量调度手段有限

有效的流量调度可实现网络资源利用率以及业务体验的提升，是网络运营能力的重要体现。随着业务云化，大规模分布式计算使得流量的突发性及离散性增强，网络需具备更智能的流量调度能力。目前，IP网络采用PHB（per hop behavior，逐跳转发）方式，各节点独立决策，因此，无法实现流量的全局调度。另外，IP路由协议在路由决策时几乎不考虑链路质量、带宽以及时延等参数（OSPF、ISIS等链路状态协议在设计之初考虑了相关因素，但并未真正付诸应用。MPLS转发依赖于路由协议所确定的可达性，也不能从根本上解决该问题），对网络资源缺乏全局动态感知，从而无法对流量实施有效动态调度。

4 新技术的影响

IP网络的发展是一个技术与业务双轮驱动的过程。近年来，随着软硬件技术特别是IT技术的发展，催生了虚拟化等一系列新技术，为IP网络的发展注入了新的活力。以虚拟化为代表的一系列新技术开始改变信息化基础设施的构建理念，同时影响着IP网络的发展方向。

4.1 虚拟化技术

虚拟化本质上是在对软硬件资源逻辑抽象的基础上，通过对逻辑单元、流程等以更灵活颗粒度进行优化组合，从而实现功能重构和性能增强的一种方式。IP网络目前诸多问题的根源在于其基于传统网元的分布式组网方式以及“面向问题”的发展模式（目前IETF有效的标准文档超过8 000个，基本都是针对特定问题而提出的协议标准），而虚拟化技术则为 IP网络后续的发展提供了技术基础。虚拟化技术目前可分为计算虚拟化、存储虚拟化和网络虚拟化3类。网络虚拟化基于物理拓扑对网络连通能力进行抽象，可实现网络资源的多层次灵活隔离、共享与快速部署。网络虚拟化与服务器虚拟化、存储虚拟化等技术结合，可充分发挥IP网络的计算与存储能力，从而大大提升网络弹性与可扩展性。虚拟化技术也将推动云网协同进程，在对IP承载网架构产生深远影响的同时，进一步加速了网络流量流向的离散与突变趋势，对网络的敏捷度与响应能力提出更高要求。

4.2 SDN技术

SDN定义了一种在转控分离模式下信令、资源等信息的交互机制。这种机制保证了上层应用通过可编程接口与下层网络资源的交互效率，从而使网络更高效、敏捷，同时提升集约能力。

SDN在实践过程中逐渐发展出三大流派。以ONF（Open Networking Foundation，开放网络基金会）为代表的革命派，主张对网络进行根本性变革，网络控制层被完全抽离，网络节点只做纯粹的数据交换。从产业链的支持力度看，该模式短时间内难以在IP承载网推广。由设备厂商主导的overlay派，主张通过叠加的逻辑平面屏蔽底层网络细节，目前主要应用于数据中心互联，解决云环境下数据中心的扩展性问题，尚未在运营商IP网络有成熟商用。由设备厂商主导的改良派，提出通过开放网络设备接口的方式向上层应用提供适配的资源与能力（网络节点仍可保留一定程度的控制平面与自主控制权）。这种方式对现有网络改动较少，较适合在过渡期间引入部署（初期聚焦于局部流量调度，通过引入集中化的控制技术，提升流量调度的灵活性）。

4.3 NFV技术

NFV是由运营商主导提出的网络功能虚拟化技术，旨在通过软硬件解耦的方式，降低设备成本并提升资源调度能力和业务部署灵活性。NFV进一步加速了IT与CT技术的融合，为IP网络的发展提供新的思路。

目前，基于x86架构的NFV解决方案，其处理能力远低于基于NP/ASIC的专用网络设备，主要适用于计算密集型和业务功能丰富的应用场景（如 vRR、vCPE、vBNG 等）。核心路由器等以高速转发功能为主的IP承载网网元，在通用硬件或开源硬件技术取得突破之前，不会NFV化。

5 IP承载网络演进思路

在可预见的未来，“Everything over IP, IP over everything”仍是互联网发展的基调。IP网络在过去的演进过程中始终强调分层解耦以及自身容量和效率的提升，在与上层应用、底层资源的协同方面较为欠缺，整体运行效率难以最优化。云网协同背景下，网络发展逐渐转向以用户体验为中心，多业务融合承载将成为主流。为满足互联网的发展需求，IP承载网的发展需要聚焦在网络架构优化、IP—传输协同、网络—应用协同等方面。

5.1 架构优化

云网协同条件下，网络服务的即时性成为用户体验的第一要素。长期以来，IP承载网的核心诉求是对数据分组的快速和可靠转发，流量整体优化是其主要目标。长期以来，IP承载网的架构优化以网络规划周期内流量的宏观效率提升为基础，IP骨干网、城域网、IDC优化缺乏有效协同，架构保持相对稳定但难以应对短期内流量与应用大幅度的变化。为提升包括即时性在内的用户体验，同时应对流量的快速变化，需要以“体验圈”为核心推动IP承载网的组网优化。

IP网络中，体验圈即具有相同/相似流量与用户特征、以特定地域范围为核心形成的网络区域。体验圈所涵盖的区域，其经济、文化或政治联系较为紧密，用户之间沟通频繁，内容源相对集中，用户行为与流量特征也存在一定相似性。一般来讲，流量汇聚比例超过50%即可从IP网络角度划分为同一区域。以此类区域为基础进行网络架构调整，将使网络流量流向更为有序和集中，从而可保证区域内的用户体验。在现有网络架构下，IP骨干网通常与IDC、城域网相连。组建体验圈，即将具有相同/相似流量特征的IP骨干网、IDC和城域网通过一定的连接法则聚合，形成特定地域范围内、具有较高网络体验的网络体系。由于流量、用户等特征的趋同性，通过把内容源、骨干网、城域网有效地组织起来，可以更好地适应流量的变化。IP骨干网作为体验圈的重要组成部分，是连接体验圈内各网络区域（如城域网与IDC间、IDC之间以及城域网之间等）的重要通道。因此，基于体验圈的 IP承载网络优化应以骨干网为切入点。

具体而言，在骨干网内首先根据体验圈所确定的地域范围设置区域中心节点。区域中心节点是IP骨干网的枢纽节点，负责圈内外流量的疏导与转接。为保证区域内主要流量（如大型城域网访问大型IDC、大型城域网间互访等）不发生路径绕转，区域中心节点应设置在大型 IDC或城域网所在地市。考虑到组网顽健性等因素，在同一体验圈内需至少部署一对骨干网区域中心节点。为扩大体验圈的覆盖范围及提升连接效率，除区域中心节点外，某些区域还存在区域接入节点。区域接入节点可基于行政区域、地域范围和节点重要性等因素设置，该类节点主要负责本地流量的接入与转发，通常不与区域外节点连接。为保证体验圈内的流量效率，同一体验圈内的节点连接原则为：中心节点之间全互联；接入节点采用双归方式与一对或多对中心节点连接；接入节点间可根据流量规模按需互联，最终形成星型或半网状连接。

体验圈内，区域中心节点、接入节点构成了IP骨干网的区域性网络。体验圈内的城域网、IDC等则根据流量规模、重要性等确定与区域中心节点或接入节点的连接方式。通常情况下，为保证不同区域之间流量路径最短，区域中心节点之间可采用全网状（full mesh）方式互联。基于体验圈的IP承载网模型如图1所示。

图1 基于体验圈的IP承载网模型

以体验圈为核心的架构优化已在实际网络建设中实施。以西南某区域为例，该区域内所有省份流量汇聚比例达62%，属典型的体验圈区域。将该区域看作一个整体进行各网络架构协同设计，将使带宽布放更有效率。具体来讲，则是以区域为整体进行连接优化，提升区域内连通比例，适当减少跨区域长途连接。区域内设置IP骨干网双核心，所有省份的接入节点双挂核心，城域网、IDC网络通过骨干接入节点实现区域内互联；区域外，采用核心双节点一体化设计，以区域为对象实现跨区域连接与流量疏导。优化后区域呈现明显统一的组织特性，区域内连接度提升，区域间连接以区域为单位通过核心节点实施。架构优化后，区域内流量本地化比例得到较大提升，用户体验更佳。

可以看出，体验圈的构建过程是将IP骨干网、城域网以及IDC网络作为整体实施优化的过程。它以资源的有效聚合为优化依据，最终会促进资源的进一步优化部署。而以体验圈为中心的IP承载网架构相对传统的格状网络或汇聚型网络，在适应流量变化与提升用户体验方面更胜一筹。同时，以体验圈为基础的组网架构，对传输网络也提出了新的需求。

5.2 IP—传输协同

为减少IP流量的物理路径绕转，需要IP—传输协同组网，以保证IP—传输之间的网络拓扑一致。组网协同属于静态协同方式。在组网协同的基础上，为实现更为精细与动态的资源调度，使传输资源更好地服务于IP流量承载，需要通过技术手段实现资源协同。资源协同主要解决3个方面的问题：首先，传输技术为了适配IP业务统计复用的特性，开始逐步引入分组化内核，打破既有的波分、时分复用方式，通过复用方式的多样性提升数据链路层及以下层次资源的整体利用率；其次，通过更灵活的容器和封装/映射技术提高数据分组在传输单元的承载效率，从而实现任意颗粒度IP宽带业务在传输网络中的有效承载；第三，通过IP层与传输层协同调度的方式，提升从物理层到网络层资源的整体利用率。

IP层与传输层协同调度的目的是，通过IP层与传输层间有效的信息互通实现资源的动态按需分配，同时提升流量传输效率和网络生存性。为实现 IP层与传输层之间的协同调度，业界提出GMPLS（generalized multiprotocol label switching，通用多协议标签交换）协议，试图通过统一的控制平面实现对IP层、传输层各层次用户平面（或称为转发平面）的协同调度。但是，GMPLS主要以UNI（user network interface，用户网络接口）作为IP—传输之间信息互通的机制，并未定义能力抽象的架构，加大了控制层的复杂性，从而导致扩展性不足，因而未能实现规模部署。随着SDN概念的提出，基于SDN的IP—传输协同方案成为业界热点。这种方案需要在IP层与传输层分别部署SDN控制器（controller）实现能力抽象；同时，为避免GMPLS实现的复杂性，通过协同编排器（orchestrator）或更高层面的控制器实现IP层与传输层控制器的信息交互与统筹决策。与IP—传输协同相似的解决方案，还有IP—传输融合。该技术通常将IP与传输集成在同一设备中，通过IP提供彩光接口或IP over OTN等方式实现。这种方式可在一定程度上（尤其在单厂商设备组网时）降低投资成本，但对网络运维要求较高（缺乏传统的IP与传输专业运维界面），且标准化程度较低，难以广泛应用。

目前，IP—传输已实现组网协同，而IP与传输正分别进行SDN场景与相关技术的验证，未来将引入统一的控制面，通过南北接口与两专业控制器分别对接，从而实现更深层次的调度协同。

5.3 网络—应用协同

网络—应用协同可实现网络承载效率与应用部署的整体优化，进一步提升用户体验。云网协同背景下，网络—应用协同主要体现在组网协同与能力开放两方面。

为实现网络—应用的协同组网，通常利用CDN实现“存储换带宽”与“内容就近推送”，为视频业务的规模开展奠定基础。在网络应用日益丰富的形势下，还需要以网络能力开放的方式支持更多业务与应用的部署。网络能力开放就是在网络分层解耦的基础上，将网络能力抽象、封装以供用户和上层应用调用的一种网络—应用协同方式。以往，单个网元的用户管理、路径管理、业务管理、网元管理以及转发能力等被封闭在“盒子（box）”中，以此为基础的网络资源的调配、业务部署等工作通常工作量大且难以全局最优。为了实现网络—应用协同，需要逐步将网元的相关能力抽象出来，并通过封装方式提供给上层应用。网络能力开放使得上层应用可对底层资源进行快速调用，加快业务上线速度，高效率的业务运转将进一步优化运营商的资源配置。

现阶段，网络能力开放还处于初级阶段，主要在 BGP、PCEP等协议扩展的基础上将路径决策能力抽象、封装，供上层应用或客户使用，是对现有流量调度能力的提升，属于增强型能力开放。目前，现网主要基于增强型能力开放的方式实现局部网络的协同调度（如在区域核心节点间部署集中控制器，利用BGP flowspec、PCEP等较成熟的南向接口协议对出口设备进行策略下发，实现特定场景下的局部流量调度）。未来，需要将网元的业务管理、用户管理等能力向上层开放，实现网络可编程，从而实现网络资源多维度以及多颗粒度的调度。

随着网络能力的逐步开放，网元形态逐渐向通用化、软件化演进。但是，大带宽、高可用以及低功耗等特性仍是IP承载网的基本要求，目前虚拟化技术网元还不能满足需求。因此，在可预见的未来，IP承载网网元仍然会维持目前实体的形态，技术发展仍聚焦于高容量低功耗的关键技术。

6 结束语

满足用户与业务需求始终是运营商IP承载网发展的核心诉求。尽管云网协同对IP承载网提出新的挑战，基于TCP/IP架构的IP承载网的演进仍将在现有基础上渐进式发展。本文提出的以“体验圈”为理念的IP承载网架构优化以及应用—网络—传输协同的解决方案，从用户需求的角度切入，推动IP骨干网、城域网及IDC架构的统筹优化，并已在现网中得到应用且取得良好成效。未来，将进一步通过网络—应用协同能力的提升推动云网融合发展，为Internet的规模、高效发展奠定基础。

[1] SALTZER J H, REED D P, CLARK D D. End-to-end arguments in system design[J]. ACM Transactions on Computer Systems, 1984, 2(4): 277-288.

[2] CLARK D. The design philosophy of the DARPA internet protocols[C]//Symposium Proceedings on Communications Architectures and Protocols, August 16-18, 1988, Stanford, California,USA. New York: ACM Press, 1988: 106-114.

[3] GHODSI A, KOPONEN T, RAJAHALME J. Naming in content-oriented architectures[C]//ACM SIGCOMM Workshop on Information-Centric Networking, August 19, 2011, Toronto,Ontario, Canada. New York: ACM Press, 2011: 1-6.

[4] MARK M C, CHRISTOPHER A W, HARISH V, 等. SDN在IP网络演进中的作用[J]. 电信科学, 2014, 30(5): 1-13.MARK M C, CHRISTOPHER A W, HARISH V, et al. Role of SDN in IP network evolution[J]. Telecommunications Science,2014, 30(5): 1-13.

[5] 刘汉江, 欧亮, 陈文华, 等. 基于 SDN的跨数据中心承载技术[J]. 电信科学, 2016, 32(3): 28-34.LIU H J, OU L, CHEN W H, et al. Bearing technology across the data center based on SDN[J]. Telecommunications Science,2016, 32(3): 28-34.

[6] 张敏, 梁建君, 孙丽娟. 能力开放演进与电信运营商的能力开放策略[J]. 通信企业管理, 2011(10): 72-75.ZHANG M, LIANG J J, SUN L J. Ability open evolution and telecom carrier ability open strategy[J]. C-Enterprise Management, 2011(10): 72-75.

[7] 盖晶, 刘晶淳. 下一代分组传送网的新技术发展走向[J]. 电子制作, 2016(10x): 52.GAI J，LIU J C. New technology trend of next generation packet transport network[J]. Practical Electronics, 2016(10x): 52.

Development of carrier’s IP bearer network in cloud-network coordinated era

ZHU Yongqing1, HUANG Xiaoying1, ZHANG Wenqiang2
1. Guangzhou Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China 2. China Telecom Corporation, Beijing 100032, China

IP bearer network is one of the basic internet infrastructures. It plays a more and more important role in the cloud-network coordinated era. Entering the era of everything interconnected, the IP beaer network evolution has changed from network-centric to user-centric. Combined the current situation of the IP bearer network with the research of related technologies and service, some suggestions on IP bearer network development based on the concept of “experience circle” were given. The “experience circle” concept came from the research on traffic regional aggregation, which offered a way to optimize the IP bearer network based on user’s experience, as well as suggestions on IP-transport synergy and application coordination.

IP bearer network, software defined networking, experience circle, IP-transport synergy

TN919

10.11959/j.issn.1000−0801.2017256

2017−03−31；

2017−08−28

朱永庆（1974−），男，中国电信股份有限公司广州研究院高级工程师，长期从事IP网络研究工作，主要研究方向为网络重构、SDN/NFV技术的发展应用等。