面向5G通信云的网络自动化编排及解耦部署研究

张世华，胡 祎，张 奎，赵以爽，文湘江（.中讯邮电咨询设计院有限公司郑州分公司，河南 郑州 450007；.中国联合网络通信集团有限公司，北京 00033）

1 概述

随着互联网+、中国制造2025、智慧城市等概念的提出，智能终端以及云服务的普及和应用，促使网络的规模和流量快速激增，这也使传统的数据通信网络面临众多新的挑战。通信云作为电信运营商主流的解决方案，能够解决传统专用硬件设备成本高、灵活性差、开发周期长等问题，满足5G 网络、大数据、物联网/车联网等新兴业务的需求。以5G 核心网业务为代表，运营商正在大规模部署通信云资源池，稳步推进网络云化改造。

通信云网络通常采用数据中心经典的Spine/Leaf架构，完成DC 内流量快速、无阻塞转发。若通信云网络使用传统的VLAN 方案存在着明显的缺点：VLAN数量有限，难以满足大规模组网；容易造成广播风暴，通过STP/RSTP协议破环导致链路利用率低，故障恢复时间长；未能实现网络和业务的解耦，主要通过手工配置，无法满足业务快速开通。SDN 作为一项颠覆传统网络架构的新技术，是未来网络演进的重要方向，有效推动网络和基础设施新一轮的变革。通过SDN可以有效提升通信云网络的自动化、智能化编排能力，实现云网协同的目标。

但是由于通信云承载各种网络云化、创新平台业务，通信云的云平台（Hypervisor 虚拟化层+虚拟化集群管理组件）通常是由主流电信设备提供商基于ETSI NFV 标准进行定制化开发，无法与SDN 控制器自动适配，再考虑到通信业务的可靠性要求高，网络协议配置复杂，也增加了云平台和SDN 控制器对接的难度。本文从通信云业务特征分析入手，探讨云平台和SDN控制器的对接方案。

2 通信云业务特征分析

随着技术标准演进，服务化（SBA）、软件化成为通信系统的发展趋势，通信网元也从虚拟化向云化发展。基于目前运营商的部署测试情况，5GC、VoLTE 短信网关、视频彩铃等业务网元已通过虚拟化测试验证，满足商用部署条件。根据网元云化成熟度，现阶段适合云化部署的业务包括管理平台、创新业务平台以及控制类网元。基于不同的业务特征、网络需求通信网元可分为主机型VNF和路由型VNF。

2.1 主机型VNF流量模型

主机型VNF 直接使用VM 网卡（vNIC）的IP 和MAC 地址对外通信，VNF 没有业务地址，不对外部网络建立路由邻居、BFD 协议，发布路由等。由于采用分布式网关，VNF 将Leaf 设置为默认网关，Leaf 根据VNF 报文目的地址查找EVPN 的MAC/IP 路由表，将报文封装进VxLAN 隧道发往对端DCGW/Leaf，DCGW/Leaf 终结VxLAN，同样根据MAC/IP 路由表，将报文转发到外部网络/内部其他VNF。若VNF采用主备保护，主备VNF 所在的VM 需绑定相同的浮动IP 地址。主机型VNF的网络接口与通信模型如图1所示。

2.2 路由型VNF流量模型

对于路由型网元，除了VM 配置的vNIC IP 外，VNF 本身有业务IP 和Loopback 地址。路由型VNF 将按需对外建立路由邻居（主要是与DCGW 建立BGP 邻居），通过BFD 进行主备路由倒换，提高收敛性能，因此路由型VNF 将产生大量的业务路由。路由型VNF业务地址配置在Loopback 上，接口板VM 采用N+1 方式分担流量，VNF 通过动态路由对外通信。路由型VNF的网络接口与通信模型如图2所示。

3 通信云网络SDN部署方案

图1 主机型VNF的网络接口与通信模型

图2 路由型VNF的网络接口与通信模型

通信云网络可以分为Underlay 网络、Overlay 网络和业务层网络。Underlay 网络就是数据中心的内部物理网络，负责底层网络互联互通和报文的高速转发。Overlay 网络是由SDN 控制器根据VIM 传递的网络需求构建的虚拟网络，承载在Underlay 网络之上。Over⁃lay 网络通过VTEP 和VxLAN 网关之间建立VxLAN 隧道，来实现网络端到端打通，支持多租户、大二层以及按需配置和自动化部署。业务层网络是由路由型VNF 和DCGW 建立动态路由邻居，进行收发路由而形成的，由于主机型VNF 无需与外部网络建立路由邻居，因此业务层网络对其不可见。通信云网络架构解决方案如图3所示。

通信云Underlay 网络采用Spine-Leaf 架构提供无阻塞网络，通过IGP 协议打通物理层网络。DCGW 建议采用高端路由器，对于主机型VNF，DCGW 配置为VRRP，提供虚拟IP 地址；对于路由型VNF，DCGW 独立部署，分别与VNF 建立BGP 邻居。Spine 建议采用高性能交换机，成对独立部署，对上对下的接口配置IGP 协议进行三层报文转发，并作为BGP 路由反射器，负责转发DCGW 与Leaf 间的BGP 路由信息；Leaf 建议采用高端口密度的盒式交换机（典型TOR 设备端口为48×10GE+6×100GE/40GE），成对配置为一组VTEP group，上行接口配置IGP 协议与Spine 互通，下行与服务器侧的接口采用MC-LAG提高链路可靠性。

图3 通信云网络架构解决方案

Overlay 网络中根据VxLAN 网关（VTEP）选择设备不同以及控制面协议不同，可以分为硬件Overlay 方案和混合Overlay方案。

a）硬件Overlay 组网方案。选用硬件Leaf 交换机作为VTEP，DCGW 作为资源池的唯一出口，配置为VxLAN 网关，在Leaf 和DCGW 之间、Leaf 和Leaf 之间建立VxLAN 隧道。硬件Overlay 网络方案采用EVPN为控制面协议，SDN 控制器通过Netconf协议在相应交换机设备上配置。

b）混合Overlay 组网方案。选择硬件Leaf交换机或者vSwitch 作为VTEP。对于普通VM 采用vSwitch 作为VTEP，对于裸金属服务器或其他特殊诉求的VM（如SRIOV 虚机）采用硬件Leaf 交换机作为VTEP。DCGW 配置为VxLAN 网关，在Leaf/vSwitch 和DCGW之间、Leaf/vSwitch 和Leaf/vSwitch 之间建立VxLAN 隧道。对于vSwitch 做VTEP，SDN 控制器通过OVSDB 和OpenFlow协议对vSwitch进行配置下发和转发控制；对于硬件交换机做VTEP，控制面基于NetConf，控制器通过Netconf配置Leaf和DCGW。

业务层网络是为路由型VNF 配置的，VNF 使用BGP 协议与DCGW 建立路由邻居，进行收发路由，DC⁃GW 通过VRF 将不同业务平面的路由进行隔离，并通过eBGP/静态路由与外部网络互联。

4 通信云平台与SDN控制器对接方案

通信云中存在大量虚拟子网和业务路由，采用传统VLAN 方案部署时，内部网络需要手工配置，网络无法敏捷调整以适应新业务的部署需求。在通信云资源池引入SDN 控制器，是通过云平台VIM 北向REST接口向SDN 控制器下发配置需求，由SDN 控制器负责网络自动化编排。相较传统VLAN 方案，主要变化如表1所示。

a）逻辑网络配置。通信云平台通过Neutron 集成扩展插件SDN Driver向SDN控制器发送创建逻辑网络虚拟网络资源请求，云平台创建的逻辑网络为VLAN类型，SDN 控制器为逻辑网络分配VxLAN 资源，根据分层网络拓扑进行层次化绑定。具体流程见图4。

表1 传统VLAN与SDN方案的差异分析

图4 逻辑网络配置流程图

b）BGP 邻居配置。通信云平台通过Neutron 集成扩展插件SDN Plugin 向SDN 控制器发送创建BGP 邻居的请求，控制器获取DCGW 设备信息，并将请求转化为具体命令行配置到DCGW 上。通信云平台和SDN 控制器应支持VNF 和DCGW 之间BGP 邻居的增/删/查/改功能，实现路由型VNF 通过BGP 收发业务路由。具体流程如图5所示。

c）VPC 互通配置。VPC 互通用于设置2 个vRout⁃er 的指定CIDR（无类别域间路由）进行互通。通信云平台通过Neutron 集成扩展插件SDN Plugin，向SDN 控制器发送vpc_connection请求，控制器将请求转化为具体命令行配置到DCGW 上，完成不同VPC 间的网络互通。具体流程如图6所示。

通信云平台与SDN 控制器支持异构方式进行解耦化部署，异构方式对接时相关组件分工建议如表2所示。

5 结束语

目前通信云已在国内运营商大规模部署，支撑5GC、VoLTE 短信网关等业务的顺利开通。通信网络向云化演进过程中，网络自动化编排是不可或缺的一部分，只有实现云网协同，才能真正实现端到端的业务和资源统一编排，形成敏捷、弹性的智能化网络，为智慧城市、智能制造提供无处不在的云网业务，以此加快推动经济社会的数字化、网络化、智能化进程。

图5 BGP邻居配置流程图

图6 VPC互通配置流程图

表2 通信云平台与SDN控制器异构对接分工建议