城域网重构思路

陈华南，龚霞，朱永庆，伍佑明，黄灿灿

（中国电信股份有限公司广州研究院，广东 广州 510630）

1 引言

信息基础设施升级换代，满足生活智能化和社会现代化需求，已成为全球各国经济产业发展的重要方向。大数据、物联网、云计算等创新业务催生了体验沉浸感、服务即时性和安全性等新需求，如AR/VR要求“身临其境”感受、5G要求低时延传送路径等。现有网络组织架构与运营模式显得厚重，在资源调度及功能更替等方面无法满足新业务快速加载和弹性扩展要求。

城域网作为用户/业务的承载平台，其能力强弱直接决定整个网络的性能高低，同时影响业务部署的效果。城域网成为各类创新技术应用的试验田，旨在提升网络能力，如SDN控制器[1]提升网络控制能力、NFV[2]提升网络功能灵活部署能力、CORD[3]提升网络资源提供能力等。标准组织、开源组织及运营商从不同的角度切入城域网重构，但未能形成可践行、可演进的路径。本文拟就城域网重构目标架构、关键技术及演进方案进行探讨，为后续城域网重构技术研究和试点部署提供参考。

2 城域网重构目标架构

城域网重构是一个复杂网络的系统工程，不是传统网络TCP/IP协议栈的“细腰”功能增强，涉及多个方面的协同与融合[4,5]，其目标架构如图1所示。从网络覆盖角度来看，城域网目标架构分为接入层、业务控制层和城域出口层，是当前业界认可的简洁架构，实现用户流量汇聚及快速转发。从网络承载功能分层来看，城域网目标架构可分为基础网络层、虚拟化网络功能层和协同编排层[6]。基础网络层未来将由“以太网+OTN”传送网元构成，完成OSI七层模型中物理层和数据链路层的功能，实现无阻塞流量转发。虚拟化网络功能层将在虚拟化资源池中使能各项网络功能模块，可在网络任意位置进行网元功能定义和部署，实现与硬件无关的功能扩展，以提供随应用而动的网络能力。协同编排层提供对各层次网络功能的协同和面向全生命周期的业务编排，并响应上层业务和应用的要求，形成融合的控制面。其中，VNFM对虚拟化网络功能进行管理和调度；SDN控制器负责对基础设施的集中管控；云管理平台则实现对虚拟化基础设施的管理和协同。

CT与IT走向融合已成为业界趋势，如何构建面向用户的超宽带智能城域网成为运营商网络重构的关键[7]。以DC为核心的端局重构是城域网重构的重点举措，通过引入 SDN/NFV技术，推进转发面和控制面分离。基于通用化硬件，推进端局资源虚拟化，解耦当前专用设备的软硬件功能，形成统一的硬件资源池，实现软件功能灵活加载。基于能力开放和可编程技术实现网络的弹性伸缩、业务的快速开通。基于协同编排技术构建以城域网为单位的智慧运营系统，实现虚拟化资源和物理资源的一体化管理。

3 城域网重构关键技术

城域网重构不是单一功能增强，而是多项关键技术集成应用。其中，网元技术是网络最小单元，是网络基石；控制面是网络中枢系统，负责网络资源管理、网络策略管理及故障管理；网络自动化配置则提升网络部署效率；业务链是网络重构的终极目标，面向用户提供业务切片，实现资源及连接的保障。

图1 城域网重构目标架构

3.1 网元技术

在互联网发展道路上，网元创新一直是各方的焦点，以7 000多个RFC为代表，构建难以超越的技术壁垒，同时限制了 CT技术发展速率。随着IT技术渗透，网元技术发展发生了巨大的变化，从封闭走向能力开放，从专用走向通用。

现阶段，从网元实现方式来看，可分为专用设备、虚拟化设备与白牌设备。专用设备通常是指现有的专业化大容量设备，以高集成度、高转发性能和高可靠性等著称。专用设备向更高性能及开放方向发展，如采用Tbit/s级NP芯片、56 Gbit/s PAM4高速互联技术、400 GE高速接口等技术以支持 4 Tbit/s每槽位能力；采用segment routing（分段路由）[8]、BGP-FS、VxLAN等增强技术打开网络能力，实现网络能力对外调用。虚拟化网元以基于 x86服务器的虚拟化设备为代表，结合虚拟机、容器及微服务技术对网元功能进行解构、抽象及组合，实现快速重用及硬件无关的网元自定义。虚拟化网元研发聚焦在性能加速上，如 DPDK软件加速、网卡叠加NP/FPGA硬件加速等。白牌设备倡导开源技术，基于通用化硬件及开源软件系统实现功能定制与优化，提供网络业务的可编程能力。基于P4的白牌设备成为业界研究热点，可通过抽象编译实现良好人－机交互，实现用户转发协议快速定义。

作为城域网的核心网元，宽带远程接入服务器（broadband remote access server，BRAS）负责用户接入控制及业务承载，要求其功能可随业务动态加卸载，其虚拟化成为城域网重构的主要切入点。基于网元的实现模式及组成形态，vBRAS可分为一体化模式、软件转控分离模式和硬件转控分离模式3类，如图2所示。一体化模式是对现有传统设备的虚拟化，将传统BRAS的全部功能都移植到虚拟机（VM）上实现，自动扩缩容能力较差。软件转控分离模式将BRAS的转发面和控制面通过不同的VM承载，基于软件可编程实现，存在x86服务器的转发性能不足的问题。硬件转控分离模式则是将控制面通过VM承载，而转发面则由通用的高速转发设备实现，如白盒设备等。一体化模式和软件转控分离模式实现相对成熟，可实现小规模部署；而硬件转控分离模式依赖于白牌设备技术的发展情况，短期无法实现规模商业化。

3.2 控制面技术

控制面是网络—业务协同处理的中枢，是网络自组织的大脑。随着 SDN/NFV技术的发展，控制面逐步与转发面物理分离并实现集中部署。通过分立控制面实现网络统一控制管理成为网络重构的发展趋势。控制面通过与应用层的交互，实现网络与应用协同；控制面通过与基础网络层的交互，实现对转发面的控制与信令传递。拓扑发现、信令处理、路由计算、网络状态维护与业务抽象及映射是控制面的核心功能。

图2 vBRAS实现模式

控制面主要包括协同编排器和控制器。协同编排器是按专业或场景进行划分，在特定网络区域应用，包括基于云平台的业务编排，如OpenStack、CloudStack与VMware vCloud等；DC SDN的业务编排，如思科APIC、华为Netmatrix等；NFV网络的业务编排，如 HP NFV director等。不同的协同/编排器通过 orchestrator或super-control进行协同/编排，或通过东西向接口协同。控制器架构设计与研发如火如荼，形成了由标准组织、行业会议、开源组织、互联网研究项目等组成的生态系统。ONF、ETSI以及 IETF等标准组织侧重于架构设计和标准制定；ODL、ONOS以及 OPNFV等开源组织侧重于产品开发与开源代码共享。随着产业界的整合，控制器逐渐形成了OpenDaylight和ONOS两大阵营。

3.3 网络自动化配置

网络自动化配置是实现网络智能化的重要环节，将提升网络业务部署速度，以实现用户自助业务部署。接口标准化和数据模型标准化是网络配置自动化的前提。其中控制面北向接口以RESTful API为主，基于HTTP实现Internet可编程接口。面向不同的作用对象，南向接口有多种处理协议，包括OpenFlow、Netconf、BGP-FS及PCEP等。在南北向接口研发中，业界倾向于采用统一YANG数据模型，实现业务与网络层的无缝传递，减少模型转换环节。

Netconf/YANG是当前网络配置自动化的代表，在 IETF和 OpenConfig等组织推动下，逐步成熟及应用。Netconf采用XML数据格式，基于RPC机制，实现高效网络管理。YANG支持对象数据的结构化、树状描述以及约束条件定义，支持XML或JSON等多种编码格式，可以方便地面向机器提供可编程接口。基于Netconf/YANG的网络自动化配置系统如图 3所示。其核心部件包括业务管理模块、网络管理模块、业务—网络逻辑转换模块、Netconf适配管理模块等。基于YANG模型对业务、网络进行抽象和建模，实现业务SLA随选，并面向用户提供定制化服务；采用Netconf标准化接口与底层网元对接，可实现网络设备策略自动化配置，实现快速业务部署。

3.4 业务链

业务链不仅是网络重构的组网模式，也是未来创新业务模式，围绕用户提供端到端的业务平面，提升用户价值。IETF SFC[9]主导对业务链的研究，提出了业务链参考架构和实现方案，并逐渐成为业界的共识，其架构如图4所示。SFC编排器主要提供业务链的定义，并通过RESTful API传递至控制器，可提供业务链基础资源预置。SFC控制面包括SFC控制器、策略平台和业务功能控制器，其中SFC控制器实现SFC overlay网络管理、SFC路径计算和流表下发等功能。SFC控制面北向提供接口与编排层、云管理平台对接，南向通过 OpenFlow、Netconf接口与流分类器、业务功能转发器及业务功能模块对接。在业务链串接及管理方面，IETF重新定义了NSH头部[10]，携带业务上下文处理关系，但增加了数据分组长度，且需要SFF设备支持NSH封装。

图3 网络自动化配置系统

图4 业务链架构

业务链将盘活城域网能力，推进城域随选网络应用。城域网MSE/BRAS作为用户接入认证、授权和计费的控制点，与控制面联动实现用户业务灵活选择[11]。基于用户业务订购，不同的用户数据流经过流分类器分类后进入不同的业务链进行业务处理，实现网络的灵活编排和业务自动化部署。现阶段，网络虚拟化程度较低，且现有网络对业务链支持较弱，业务链还有待进一步研发。虚拟网络功能常见的包括vDPI、vFW、vCPE等，可选择的VNF较少，且现有的实现方式基本都是对专业功能的软件化，存在“软件烟囱”风险。

4 城域网重构演进方案

城域网重构以网络能力开放及增值业务能力增强等为导向，应结合各项技术研发进展，有的放矢地推进网络演进，实现网络升级，为用户提供具备可编程能力的可用弹性网络。基于对关键技术研判、结合运营商网络建设节奏，城域网重构应分阶段演进。近期演进方案是向目标架构演进的起步阶段，以提升网络能力为目标，引入虚拟化技术，打破专用硬件封闭网络，提升网络弹性；远期演进方案是向目标架构演进的攻坚阶段，以提升业务能力为目标，打造面向用户的增值业务链，基本实现承载功能分层架构，构建融合控制面，实现虚实网络资源统一管理，提升网络竞争力。

4.1 近期演进方案

随着吉比特光纤带宽、4K视频的大规模发展，网络流量持续高速增长要求提高网络基础设施承载能力。城域网应在推进大容量设备应用的同时引入虚拟化网络资源，构建具备呼吸效应的弹性网络。构建边缘 DC是近期阶段城域网架构调整的目标，重点围绕边缘NFVI-pop引入，实现基于虚拟化资源的业务控制层功能灵活扩展及性能提升，单个边缘DC可提供10万以上用户规模能力，实现40 Gbit/s以上流量转发。

在城域出口引入400 Gbit/s以上平台路由器，提升网络容量；在接入侧推进OLT万兆上联，提升用户接入能力；在端局位置构建边缘NFVI-pop，部署虚拟化网元，提升网络能力。在重构过程中需考虑城域网与接入网、传输网等专业网络的协同演进，近期演进方案如图5所示。

图5 近期城域网演进方案

边缘NFVI-pop与BRAS/MSE、CR互联。网络流量在BRAS/MSE处进行分流，将ITMS/VoIP等小流量大会话业务引流至边缘 NFVI-pop进行处理，而用户互联网业务和视频业务仍在现有的BRAS/MSE中进行处理，从而提升边缘业务提供能力。分流点可采用二层隧道技术（如VxLAN）将相关业务分流至边缘 NFVI-pop。在边缘NFVI-pop内部署基于x86服务器形态vBRAS，可按需选择部署一体化模式或软件转控分离模式。

现阶段，网络重构研究集中于业务分流处理模式和虚拟化产品的实现上，而在城域控制器和协同编排器实现上相对不成熟，且各厂商vBRAS产品的控制器功能简单，差异较大。应加强对城域网控制器和编排器功能要求、业务处理及协同控制逻辑梳理，以城域网为单位考虑控制器、协同编排器等小规模建设。

4.2 远期演进方案

远期城域网以构建分层DC为目标，重点采用虚拟化技术构建城域 DC，搭建统一云化的资源池实现边缘DC与城域DC联动和管理，实现80%网络功能软件化，提供面向用户的业务链服务，实现资源可视、随选和按需自服务能力。远期演进方案主要举措包括硬件转控分离 vBRAS部署、业务NFVI-pop构建、智慧运营系统组建等，如图6所示。

边缘NFVI-pop逐渐取代专用设备，并规模集中部署通用设备形成带宽能力池。边缘NFVI-pop引入硬件转控分离模式vBRAS，将用户管理、策略管理和业务管理等功能分离形成融合控制面，推进基于虚拟化和软件化的控制面功能池建设，增强网络功能原子化能力。随着网络流量不断增长，边缘 NFVI-pop内部可采用leaf-spine架构[12]，并通过引入高速通用化设备，提升网络转发性能。

在 DC机房内引入 NFV技术构建业务NFVI-pop，开展 vFW、vDPI等新型业务集中承载，构建增值业务提供中心，增强网络业务提供能力。业务NFVI-pop与边缘NFVI-pop采用统一云平台进行承载，实现城域资源的灵活分配，可基于SDN控制器的灵活配置，牵引相应业务流量至业务NFVI-pop处理。

图6 城域网远期演进方案

以城域网为单位构建智慧运营平台，实现异厂商云管理平台、VNFM和SDN控制器协同，逐步形成网络能力自动、自助开放，具备自动将业务需求匹配到网络功能、虚拟资源、基础设施的能力，形成全网统一运营策略。

5 结束语

城域网重构是运营商在数字化、智能化背景下的网络建设战略，以DC为核心，引入SDN、NFV及云计算等相关技术，打造具有深度感知、智能数据应用及自动化运营的弹性网络。城域网重构还处在初级阶段，各项关键技术有待实际性突破，运营商应积极参与各标准组织、开源组织的项目，开展新技术试点，推进技术成熟与应用。

参考文献：

[1]ONF： software-defined networking (SDN) definition[EB].2017.

[2]ETSI： network functions virtualisation (NFV); architectural framework[EB].2014.

[3]PETERSON L, AL-SHABIBI A, ANSHUTZ T, et al.Central office re-architected as a data center[J].IEEE Communications Magazine, 2016, 54(10)： 96-101.

[4]黄勇军, 朱永庆.新一代互联网发展趋势与技术浅析[J].电信科学, 2013, 29(4)： 1-6.HUANG Y J, ZHU Y Q.Analysis of development trend and technology of new generation internet[J].Telecommunications Science, 2013, 29(4)： 1-6.

[5]阮科, 冯明, 朱永庆, 等.下一代互联网体系架构演进分析[J].电信科学, 2014, 30(Z2)： 50-53.RUAN K, FENG M, ZHU Y Q, et al.Analysis of the evolution of the next generation of internet architecture[J].Telecommunications Science, 2014, 30(Z2)： 50-53.

[6]陈华南, 邹洁.新 IP理念及发展思路探讨[J].电信技术,2016(7)： 10-12.CHEN H N, ZOU J.New IP concept and development ideas[J].Telecommunication Technology, 2016(7)： 10-12.

[7]蔡康, 唐宏, 朱永庆.超宽带城域网架构设计思路和关键技术浅析[J].电信科学, 2012, 28(1)： 1-6.CAI K, TANG H, ZHU Y Q.Architecture design and analysis of key technologies of the ultra-broadband IP MAN[J].Telecommunications Science, 2012, 28(1)： 1-6.

[8]FILSFILS C, NAINAR N K, PIGNATARO C, et al.The segment routing architecture[C]//IEEE Global Communications Conference, Dec 6-10, 2015, San Diego, CA, USA.Piscataway：IEEE Press, 2015： 1-6.

[9]IETF： Halpern, Joel, and Carlos Pignataro.Service function chaining (sfc) architecture [EB].2015.

[10]QUINN P, ELZUR U.Network service header： RFC 8300[S].2015.

[11]朱永庆, 龚霞, 陈华南.基于 SFC的业务路径选择算法[J].电信科学, 2017, 33(5)： 113-118.ZHU Y Q, GONG X, CHEN H N.SFC selection algorithm for SFC[J].Telecommunications Science, 2017, 33(5)： 113-118.

[12]ALIZADEH M, EDSALL T.On the data path performance of leaf-spine datacenter fabrics[C]//IEEE 21st Annual Symposium on High-Performance Interconnects (HOTI), Aug 21-23, 2013, Santa Clara, CA, USA.Piscataway： IEEE Press,2013： 71-74.