运营商多云专网一体化业务的策略与实践

陶高峰 顾艳雷 殷康

摘要：研究和探索运营商在SDN转型中所面临的特殊挑战及其应对策略，分析指出运营商正经历从“网化”计算到“云化”网络的技术和业务转型，云网一体化业务是未来的根本出路。运营商SDN化的困难在于异构的基础网络架构，其成败关键在于选择扎实可靠的SDN控制和编排平台。其中，独立于厂商设备的通用SDN控制器和编排器至关重要。结合实践案例，分析如何借助目前运营商全程全网的优势，采用解耦、统一、独立的控制和编排平台，快速地实现大规模、多租户、可运营的多云专网一体化业务。

关键词：SDN控制器;SDN编排器;混合云;多云互联;云化网络;流量工程

1   引言

有两大原因驱使运营商关注“云网一体化”，一是市场需求，二是自身变革。

随着云计算技术的广泛流行，越来越多的企业开始接受云服务模式。许多企业的信息通信ICT工作负载都将分布在不同的公有云中，然而，在现实环境中却面临着诸多问题：企业客户的关键业务和应用不可能仅锁定在一个云业务提供商，企业云业务需要多个云提供商。所以，多云战略对于企业和ICT产业变得非常重要[1]。

目前，已有一些公有云提供商可以提供企业的私有云向其公有云直联通道的所谓“混合云”服务。但是，混合云方案只是解决多云策略的一小部分，并没有解决企业用户不愿意锁定于特定一家公有云提供商的顾虑。由于竞争关系，公有云提供商没有意愿和资格提供与其它公有云通道的能力。市场上也有提供基于公共互联网的多云管理平台的解决方案，但基于互联网技术的多云管理具有一些致命的弱点，例如，缺乏云网一体化所要求的性能和安全品质。大多都是针对个别公有云提供商和企业私有云的集成方案，不仅不能和运营商的网络集成，难以确保网络的性能和安全品质，更缺乏多租户、大规模和可运营的基本技术条件和能力。企业用户需要多家公有云提供商和联结多云服务商的网络运营商。

在这样的大背景下，以云网一体化为特征的产业互联网市场已成为电信运营商新的业务增长点。电信运营商理所当然可以担负起为企业提供高品质全覆盖的云网一体或多云互联业务。进一步看，电信行业运营商也必须逐渐从管道运营向云网一体化形态转型。云网一体化不仅是最终企业客户ICT业务需求的转向，也是运营商自身网络架构与技术深刻变革的需要，同时也是未来ICT业务运营与服务模式重大创新的机会。

但这一领域目前尚处在起步与探索阶段，要实现在全国范围的“云网一体化”或“多云专网一体化”服务，重塑网络技术架构和运营转型难度极大。在国际上，目前还没有看到大规模成功的商业案例。本文基于在此领域的架构设计以及商用部署的实践，将从梳理云网技术发展的基本脉络开始，分析运营商所面料的技术挑战及其对策，分享“多云专网一体化”实践的基本策略和技术关键。

2   从“网化”计算到“云化”网络

在讨论云网一体化业务之前，为了更清晰地理解云网发展的相互关系和关联影响，有必要分析云和网技术的过去和未来。文献[2]较为系统地梳理了信息IT技术和通信CT技术的发展脉络。简而言之，IT产业是以计算技术为核心而发展起来的产业，而CT产业是以网络技术为核心而发展起来的产业。随着网络融合技术的诞生，IT和CT产业的技术架构也开始融合，形成“你中有我”和“我中有你”的新型ICT融合产业。计算与网络成为ICT产业创新和发展的一对相对独立的引擎。ICT产业因此不仅得以加倍速度发展，而且在技术能力和规模效益上得以相互促进、相互影响和相互颠覆。可以说云和网这种相得益彰式的关联发展，使ICT产业进入了一个更加灵活、简易、强大和更高层次的大发展时期。

网络融合技术的力量非常大，对传统的计算模式和架构进行深入的渗透、影响和颠覆。计算模式中的物理功能和资源开始被综合并抽象成为与物理位置和能力无关的逻辑计算资源池，从而极大地提升ICT的整体算力和容量，并彻底改变ICT服务的性质和形式。“云计算”這一崭新的计算形态由此应运而生。云计算不依赖单个物理CPU的纵向计算能力，而是通过网络横向的平台能力使逻辑资源池的使用和扩展更加方便和灵活。从某种技术意义上来看，网络使分布的物理计算资源变得可弹性、可延展。所以，“云计算”的本质就是网络计算。云源于“网化”的计算，云的基础设施和云服务离不开网的根本支撑和协同;网是云的基础和保障。

在云和网双创新引擎的驱动下，不仅网络对计算形态形成了直接的影响，同时，新型云计算模式也对网络技术产生直接的颠覆和影响。这其中，最明显的当属“软件定义网络SDN”。与传统网络硬件设备组网的架构相比，软件定义网络意味着网络必须“云化”。其架构的意义在于：物理网络资源必须像物理计算资源一样，进行全程全网的逻辑抽象，形成与具体网络设备和物理形态解耦的逻辑网络。ICT的应用和业务通过逻辑网络进行组织、分配、管理、调度和控制，从而极大地增强网络的“弹性和延展”能力，达到与云计算相匹配或同等程度的灵活使用和动态调度。

为更好地支撑云服务发展，运营商的网络必须进行“云化”转型和重构。“云化”网络的基本技术就是软件定义网络和网络功能虚拟化（NFV）。运营商不仅需要“云化”数据中心网络，更需要“云化”骨干网、城域网以及接入网。“云化”网络也是5G承载网的基本要求。

SDN将传统网络设备中的控制平面和转发平面进行功能解耦，实际上，也就是将整个物理网络抽象并简化为“单一”实体，形成易于控制和管理的逻辑网络。逻辑网络与物理网络设备的部署位置、数量、配置或分布无关。物理网络面向联通性，负责网络的稳健和可达。而逻辑网络面向业务，负责处理业务需求的动态变化、弹性按需、灵活可控。这种网络抽象提供了一种新的网络适应力，集中部署的控制器具有逻辑网络和物理网络的映射关系，并在此之上可进行网络业务的编排和管理。同时，它可以通过逻辑网络对物理网络进行关键控制，并在瞬间将网络策略的执行和调度决策的变化复制到每个物理网络设备之中。

3   运营商骨干网SDN化的挑战和策略

重塑运营商骨干网络面临较大困难。运營商的骨干网是投资成本大、覆盖区域广、运营规模大、使用效益大和安全可靠稳定运行责任大的基础设施。对于国内运营商已经大规模运行的现网骨干网络，实现SDN化面临一些基本的不利条件，如设备的SDN能力问题、多厂家控制器不可协同、业务模式复杂难以自动化等。总结如下：

（1）骨干网设备不支持SDN，虽然可以逐步替换，但代价沉重，不仅耗时而且成本极高。

（2）运营商大多采用多厂商网络设备，即使各厂商具备SDN能力，但控制器是各厂商私有的，不能兼容其它厂家设备。

（3）骨干网的用户是企业客户，网络可靠性至关重要，要求SDN控制器必须支持高可用性（HA），但在多厂家控制器环境中实施难度极大。

（4）传统运营模式下，运营商业务流程多、周期长，亟需自动化的抽象和编排，重塑网络涉及到多部门、多环节。

运营商如何克服现有环境中面临的问题，采用SDN架构创新业务模式，实现业务自动化，已是迫在眉睫的问题，根据我们的实践经验，提出如下4个关键策略应对如上挑战：

（1）必须面向未来，设计三层全解耦的SDN技术架构。

（2）采用独立于网络硬件设备的通用SDN控制器，谋求SDN架构利益最大化。

（3）与运营商研究院合作，整合新老业务运行机制，使SDN网络可持续运营。

（4）制定SDN系统平台北向API，为包括云网一体业务提供接口。

运营商骨干网一般都有多厂家网络设备，SDN方案必须适配这种异构网络场景。采用独立于网络硬件设备的通用SDN控制器是SDN解决方案的核心关键。通用SDN控制器位于各厂家网络设备之上，是统观网络全局的中枢平台，南向适配各厂家网络设备，屏蔽异厂家设备接口差异，内部建立全网设备模型和状态，特别是针对不同网络设备资源和能力的模型抽象，从而将整个物理网络变成可动态控制和管理的逻辑网络，使其具有完备的网络拓扑、流量状态、组网逻辑、网络资源、监控状态等。北向提供运营商网络业务能力的抽象，支持多种业务支撑系统的接口，使其具备API外部扩展能力。

统一业务编排器是全网业务逻辑和业务自动开通的核心，掌控全网的统一资源管理，定义完整的用户业务流程，包括用户业务的定义、开通、生成、分配、下发、计费等。统一业务编排器负责整网业务统筹调度与路径优化，多协议、多平面实现用户VPN、TE隧道业务，通过底层通用SDN控制器和网络设备，收集全网络拓扑，统一呈现网络及设备状态，展现全网流量动态。统一业务编排器一个巨大的挑战是需要整合传统运营模式下的OSS/BSS，涉及运营商内部多部门、多环节和多业务的协调和沟通。而且这个过程往往反复多、周期长。我们的实践经验是，与运营商的研究院或设计院深度合作，他们一方面代表运营商对整体SDN项目提需求、定任务、查进度，另一方面，加强内部部门沟通，通过深入参与SDN项目的实施和运维的商用实践，共同创新业务模式，提升业务能力，定义用户业务的自动化流程，实现业务需求自动下发，多个系统联动完成业务端到端快速部署。进一步实现运营商SDN化以后，使网络走向智能化、运营智慧化。

4   云网一体的技术基础：通用SDN控制器+SRTE

实践表明，运营商采用独立于网络设备厂商的通用SDN控制器，不仅确保SDN方案不会被网络设备厂商锁定，更重要的是运营商SDN的短期和长期利益诉求得以最大限度地予以确保。SDN控制器和网络硬件设备解耦，未来转发平面的技术新发展可以主动适时集成和采用。在运营商异构网络环境下，独立、统一和通用的SDN控制器为SDN整体平台方案的推动、发展和未来业务的快速部署，提高SDN的业务创新能力，确保SDN网络全局一致性和跨域端到端的业务质量，降低运维成本起到关键而根本的作用。图2显示了通用SDN控制器的一些基本功能模块。

但同时需要指出的是，通用SDN控制器的架构、设计和软件开发的性能和品质至关重要，因为它涉及到物理网络和逻辑网络的抽象，必须由熟知网络设备操作系统、网络路由协议和大网架构设计等多方面的经验的专业团队负责。

目前，运营商骨干网路由技术采用分布式的最短路径策略，优点是确保网络稳定可无限扩展，缺点是网络对各种应用一视同仁地“尽力而为”，网络资源的流量调度和流量工程能力TE很差。但随着云网应用的日益普遍和复杂，运营商传统骨干网的路由策略满足不了云业务对网络能力的动态需求。云网一体化业务的一个基本而重要的课题就是如何使骨干网流量工程能结合SDN架构集中管理和调度。如图3所示，依据不同用户、不同云业务和应用在不同网络实时状况下能够对网络流量进行统一和自动的调整。通过近几年的网络技术创新和实践，业界普遍的共识是采用SDN架构与最新提出的“SR（Segment Routing，分段路由）”技术[3]相结合，流量工程SRTE是大规模商业部署最可行的方案。这个方案不仅简化了原来骨干网传统的MPLS-TE流量工程机制，而且，通过实时监测和策略算法可以集中调配及优化全网流量。SRTE的控制平台必须具备采集和综合全网信息的能力，采用智慧算法的通用SDN控制器来实现。其技术门槛高、实现难度大和缺乏多厂商设备支持，使SRTE技术的商用部署实践面临一系列挑战。

目前，大地云网所研发的通用SDN控制器是国内首个具有完整骨干网流量工程模型和算法、在全国范围内商用SRTE超过2年的SDN解决方案，其技术突破有如下几点：

（1）支持全动态实时SRTE完整解决方案，包括流量工程TE的自动下发、自动计算、自动调整、自动引流和自动调度。

（2）全网实时流量动态可视化和自动监测，全网自动负载均衡、避免拥堵和热点，可按需调整流量。

（3）智慧路由，依据带宽利用率、最短延时、最低丢包率等策略算路、选路和为特定应用推荐最优路径。

（4）實时路径监控和监测，如果路径中发生任何流量拥堵或链路故障时，通用SDN控制器能够根据全网信息快速部署新的路径。

（5）SRTE的通用SDN控制器完全基于开放的SR技术标准，独立于网络设备厂商，但同时支持多家厂商的SR网络设备。

（6）适合于运营商或云商所必需的多租户业务运营。

5   多云专网一体化业务架构及实践

基于通用SDN控制器和SRTE技术创新架构设计的基础之上，实现网络资源、拓扑和流量的集中管理、流量工程的动态实施。通用SDN控制器在多厂家异构核心网的HA的机制及其稳定性、可靠性和大规模部署的可行性得以全面考验，并在运营商现网环境中实现业务的自动配置，大大降低了业务开通的时间。通用SDN控制器提供多种业务支撑平台的扩展接口，统一的业务编排器内部抽象业务逻辑，统一的业务管理，并与运营商传统的OSS/BSS、一站式系统、调单系统、网络资源等系统相整合，实现运营商骨干专网MPLS/VPN业务线下线上同步、自动开通、实时付费、资源统一管理、运维一体化监控等功能。统一的业务编排器还重新定义用户权限与流程，适应全网业务的信息化流程，优化系统业务流程。统一业务编排器北向提供统一外接Portal，并通过开放API的方式对不同用户分权开放，并允许外部APP调用，负责企业客户业务端到端拉通以及调整、优化和编排，支持Site to Internet、Site to Site以及Site to DC（Cloud）多种形式业务。通过通用SDN控制器和统一业务编排器平台，实现了运营商业务功能，包括支持运维人员、最终用户、云服务商、客户经理等不同角色的账户自服务、业务管理（L3VPN业务的增删改查）等功能。

在运营商现网SDN重塑的过程中，SDN网络运维监控系统的重要性日益增强。为此，SDN的平台系统专门独立出SDN运维监控系统模块。该系统与运营商传统运维支撑系统相对接，确保运营商骨干网MPLS/VPN专网业务的拓展和可持续运营。图4显示了从SDN网络到云网一体化业务的基本架构和模块关系。

在通用SDN控制器和统一业务编排器技术不断成熟的基础上，开发公有云业务的API模块，就能叠加多云专网互联业务（如图5所示）。在一个分层架构清晰的SDN系统平台上，多云的统一业务编排器通过云商API接口，管理和适配各种云商网元链接，配备云网一体化业务逻辑和云业务模块进行编排，要支持多种云网业务支撑系统接口，具备各个云商API外部扩展能力，完整定义用户的多云专网一体化业务流程，包括适配各公有云的VPC的线路连接和管理。公有云用户业务API的认证、调用、适配和协同，通过运营商MPLS/VPN骨干网，实现从一个云商的VPC到另一个云商的VPC专网专线联通的实时生成、下发、计费等。

在统一业务编排器定义和叠加实现“多云互专网一体化业务”，使运营商借力SDN网络实现一点入云、多点入云、云间互联等一系列新型云网一体化业务。在现有异构厂商网络场景下实现数据中心间L3VPN业务创建、开通;维护TE隧道计算、创建、变更;在DC之间、DC与公有云之间快速开通DCI业务等。客户可在Portal界面发起业务请求，云网互联通过控制层控制全网路由器自动部署业务，并通过统一业务编排层互联客户企业站点、DC、公有云VPC、各种接入站点等。多云专网一体化业务整体解决方案适用大规模运营商，可集中化实现全网业务的用户管理、资源管理、业务管理、拓扑管理、订单管理、计费管理、运维管理、高可用性（HA）仲裁等。

“多云专网业务一体”经过一年多的商用部署和实践（如图6所示），总结有如下特征：

（1）基于全国范围异构设备骨干网上，建立在独立于设备厂商的通用SDN控制器和统一业务编排器系统平台之上，快捷和灵活地叠加生成了“多云专网一体化”业务平台。

（2）具备多租户用户自定义“多云专网一体化”业务的生成、认证和随选能力，自动下发，实现大规模、多级运维管理、全国范围、所有云商的云网业务分钟级一体化配置、部署、计费的弹性快捷服务。

（3）多云专网一体化业务与MPLS/VPN专网业务无缝融合，企业面对一个Portal界面，统一管理全公司的广域组网和多云业务。

（4）面向市场需求简化运维流程，端到端自动化快捷服务，提高整体运营效益。

全国范围内，大规模多次功能更新迭代，逐步实现多领域、多系统层面的云网技术和业务的协调、改造和创新 ，验证了基于SDN平台的云网业务和协同能力。

该业务平台经过全国商用运营，目前覆盖全国330多个城市、150多个自营云数据中心以及70个国内外顶级公有云提供商的云数据中心。物理网络全部预先联通各个云商的数据中心，通过统一的SDN控制和业务编排平台按月更新迭代，在不到一年的时间里，实现与阿里、腾讯、京东、百度、瀮云、万国、华云、青云、华为云、沃云、AWS（亚马逊）、微软、阿里云国际、腾讯云国际等公有云商之间任意VPC间的实时多云专网互联业务一体化。该系统的目标是为几乎所有企业和全部共有云商提供多云专网互联业务，为所有企业客户提供任意云平台之间VPC的迁移、备份和联接的云网一体化解决方案。

6   结束语

运营商多云专网一体化业务的实践证明，尽管运营商网络SDN改造和重塑挑战极大，但倘若采用正确的应对策略和步骤，仍然可以取得明显的成果。云网一体化不仅能使运营商现网能力提升，而且对未来5G移动网络的规模运营也有极大的借鉴价值。

运营商云网一体化业务可以通过如下三个步骤，从下向上地逐步推进：

（1）第一步：运营商现有网络SDN化，关键在于选择独立和通用的SDN控制器，网络设备支持SRTE技术，实现网络流量的自动调度。

（2）第二步：整合和统一业务编排系统，包括整合传统的OSS/BSS，使运营商SDN网络可商用持续经营。

（3）第三步：开放业务平台API接口，叠加云网一体化功能。与运营商自身的数据中心云网络对接，与云商互联API对接。云网建设完成统一控制平面，实现“多云专网一体化”集中控制和管理。利用软件化实现配置快速下发，提高自动化程度。

下一步的探讨工作有如下几个方面：

（1）全国云网业务多域一体化自动部署、端到端质量保障

通过拉通各云商和运营商多个网络域的全面覆盖和管理，对任意云商的任何VPC间的专网互联业务需求按域进行分割、下发，实现多云、多网和多业务域的联动，完成云网业务端到端快速部署。例如，把城域网和接入网SDN化，连同SDWAN解决方案一起集成在一个SDN方案之下。

（2）简化架构、抽象并开放网络功能，快速叠加云网业务的创新能力

将全国网络资源和所有云商互联的网元能力抽象为可被软件调用的函数，实现业务可编程。通过开放函数接口，构造生態圈并满足用户自服务和业务定制化需求。通过重构的运营商SDN网络架构，重新定制各网元功能点，从而简化网络结构和网元需求，为快速叠加和生成新的云网一体化业务提供可能，为运营商提高云时代的云网新业务收入。

（3）多级运营、流程自动化、提高运营效率

提供多Portal接入的电商化自助服务，用户和运营商多业务部门通过分级但统一的自助门户实现业务功能自助下单计费和审核批准。支持对接OSS/BSS等支撑平台的多级运营，实现流程全自动化改造，提供优化的业务受理流程，为运营商进一步提高云网一体化的业务效率。

参考文献：

[1] Danilo Ardagna. Cloud and Multi-cloud Computing： Current Challenges and Future Applications[C]//Proceedings of IEEE/ACM 7th International Workshop on Principles of Engineering Services-Oriented and Cloud Systems， 2015： 1-2.

[2] 北京大地云网科技有限公司. 全球SD-WAN趋势报告[R]. 2018.

[3] Clarence Filsfils， Kris Michielsen， Ketan Talaulikar， et al. Segment Routing详解（第一卷）[M]. 北京： 人民邮电出版社， 2018.

[4] 鲁子奕，杨文斌. 大型运营商SDN云网协同架构和关键技术研究[J]. 中兴通信技术， 2019，25（4）： 32-40.