基于5G承载的智能城域网部署研究及实现

刘倩　项朝君　吕艳娜等

关键词：5G承载；智能城域网；SR；SDN；BGP-LS；MPLS BGP VPN；智能化

1 概述

在长期的业务网络发展演进过程中，联通构建了多张不同定位的IP 承载网络，主要分为IP 城域网和UTN城域承载传送网。其中，IP 城域网是互联网业务的承载网络，主要承载的有家庭固定宽带、固网语音、IPTV、政企专线等业务；UTN 城域承载传送网络则主要用于IP/MPLS技术的无线接入网（IP RAN）、政企专线等业务。不同城域网络的管理相对独立，并且在设备容量、协议使用、自治域划分以及业务功能支持上都各不相同，随着IP 业务融合演进发展的趋势，上述网络之间形成了复杂的业务联系，多张网络互联带来了背靠背资源浪费以及网络管理的高复杂度，同时导致业务承载的一致性差、业务转发效率低、网络扩展不灵活、创新业务支撑不足等一系列问题。

鉴于现有网络的复杂性以及5G承载、通信云化、城域网网络功能虚拟化等业务承载的迫切要求，中国联通城域网络重构势在必行。随着5G时代的到来，5G 基站建站速度及建站密度都远超4G 基站，4G 承载网的接入汇聚核心设备无论从容量还是功能性能等方面都无法满足5G 业务的发展，因此，以5G 建设及5G 承载网络构建为契机，打破烟囱式的组网架构，构建一张融合承载的智能城域网实现通信云、移动业务、政企客户接入以及固网宽带等业务的综合承载成为必要[1]。

2 联通智能城域网组网方案

智能城域网采用核心（MCR）+ 汇聚（MER）+ 接入（MAR）的简化架构实现5G 业务、专线业务、家客业务以及4G、5G 基站互操作等业务的综合承载目标。联通智能城域网总体架构如图1所示。

其中，核心设备（MCR）用于网内不同汇聚设备间流量转发以及与其他网络间流量转发；汇聚设备（MER）用于多业务综合承载接入，包括基站回传业务、大客户业务、通信云业务以及vBRAS 业务等，与MER 同局址的BBU 或少量周边基站直接接入MER；接入设备（MAR）用于基站接入以及部分节点的综合业务接入。

MCR 和169 网CR 对接，疏导vBRAS 家宽业务流量以及互联网专线类流量；MCR 和CUII/B 对接，疏导访问大区5GC 流量；MCR 和UPF 对接，疏导访问UPF流量。MCR 和IPRAN 对接，疏导互通流量和访问4G 核心网流量；MCR 和电信网络对接，疏导共建共享流量。

2.1 智能城域网IGP协议部署

2.1.1 IGP协议层次化部署

智能城域网IGP 协议层次化部署，MCR 与MER 之间、MER 与MAR 之间均部署ISIS 协议，都采用Level2 层级，MCR 与MER 设备共进程ISIS n。接入环采用ISIS 多进程，接入MAR 设备按环分进程，每个接入环（或接入链）部署1 个ISIS 进程，与核心汇聚层实现路由隔离，同一对汇聚设备下不同接入环分属不同进程，进程间的路由相互隔离[2]。如存在多级接入环，二级接入环/ 接入链与一级接入环采用同一进程。

MAR 将MAR-MAR 互联、MAR-MER 互联接口和自身环回口宣告进ISIS，ISIS 进程号与本设备所在的环号对应。MER-MER 互聯接口开启N+1 个子接口，面向接入侧的N 个子接口运行接入环ISIS 进程，第N+1 个子接口运行MER-MCR 之间的ISIS 进程。

2.1.2 IGP COST值设置原则

接入环MAR-MER 或MAR 之间的COST 设置为100，MER-MER 之间用于接入环ISIS 进程的互联子接口COST 值大于接入环所有链路COST 值之和设置为2 000，为接入环闭环，确保MAR 之间的互通不经过MER 绕行。

MCR 根据双平面设计原则，汇聚环MER 之间以及MER-MCR 之间COST 设置一致均为100。同时为保证横穿流量尽量靠近接入层，相同层级节点之间互联电路COST 值逐级减小，MCR-MCR 之间COST 设置为150大于MER-MER 的COST 值100。

2.1.3 IGP路由重分布

核心汇聚ISIS 进程和接入ISIS 进程进行按需路由引入。接入环汇聚设备将其loopback 路由引入接入环ISIS 进程。对于业务IP，按照业务分层部署方案，接入设备的路由没有必要引入到汇聚环中。

当汇聚MER 上进行接入环ISIS 进程和汇聚环ISIS进程的双点双向路由重分布时，为了防环，在相互重分布路由时需要注意在将汇聚ISIS 进程的路由发布给接入ISIS 进程之后不能再被重分布进汇聚ISIS 进程，同理，在将接入ISIS 进程的路由发布给汇聚ISIS 进程之后不能再被重分布进接入ISIS 进程。

路由引入可能引起环路问题，如图3 所示，接入进程为ISIS 2，汇聚进程为1000，汇聚环MER 间的COST值为100，对于A2 设备的环回地址在2 台MER 上查看COST 值均为200，在2 台MER 的ISIS 1000 进程分别引入ISIS 2，此时在MER1 上再次查看A2 的环回地址COST 值为100，下一跳为MER2，同理在MER2 上查看A2 的环回地址COST 值为100，下一跳为MER1，此时环路产生。为解决上述问题，在进行路由引入时需要打上更大的cost 值（现网配置为10000）。

2.1.4 智能城域网Segment Routing配置

智能城域网开启SR 功能，将loopback 环回地址作前缀通告Node-SID，在ISIS 协议下使能ISIS SegmentRouting 功能，使能ISIS 的BFD，以及ISIS TI-LFA，触发故障快速感知和重路由。

SRGB 域的空间大小设置原则为：大于SR 网络（本地网）域内网元数量，同时要保证SRGB 起始值加偏移值不大于SRGB 的结束值。

目前，每个本地网的SRGB 范围为24 000-43 999，每个本地网中所有设备的SRGB 范围及起始值均保持一致。单个本地网中每个网络节点的ISIS prefix-sid index值必须在SRGB 之内，目前SRGB 最大值和最小值之差为20 000，那么ISIS prefix-sid index 可用值是0-19 999。MER 设备的每个ISIS 进程的SRGB 范围必须一致。

每台设备的NODE SID 设置为每AS 域内唯一，为每台设备分配6 个NODE SID，其中，预留5 个标签用于满足后期硬切片等业务发展需求。

2.2 智能城域网BGP协议部署

在智能城域网内，BGP 协议除了作为跨网边界路由协议外，还主要用于传递业务路由，BGP 开启BGPVPNv4/VPNv6/EVPN 地址族用于传送相关业务路由。

2.2.1 智能城域网两级RR部署

智能城域网及5G 接入环部署两级RR，智能城域网核心设备MCR 兼做一级RR 并且cluster-id 设置一致，一级反射器MCR不设置下一跳为自己，智能城域网中MER 做RRclient；5G 接入环汇聚设备MER 兼做二級RR 不设置cluster-id， 二级RR 作为5G 接入环内的RR，对同环路由不修改下一跳，对于其他路由（跨环和回传）修改下一跳地址为自己，5G 接入环内的其他设备做RR client。

智能城域网边缘设备与路由反射器建立BGP-LS 邻居关系获取网络拓扑信息，路由反射器与SDN 控制器建立BGP-LS 邻居关系[3]，控制器根据获取的拓扑信息计算路径。

2.2.2 智能城域网RD/RT部署方案

智能城域网网络目前为口字型部署，结合业务需求及运维管理，智能城域网全网设备上同一个VRF 的RD 设置一致。汇聚核心设备部署单RT，其值与RD 值保持一致。接入设备目前对于5G_RAN、5G_RAN_VIP、4G_RAN 业务启用双RT 部署，因为这些业务存在Xn 流量，在实现S1 业务的同时保证Xn 同环业务的直接转发需求。

RT2 独立规划，其Assigned Number 采用7 位编号，即RT2 的标准格式为“AS：ABBBCCC”。第1 位“A”表示VPN 属性， 本期主要涉及3 类VPN（1 为5G_RAN，2 为5G_RAN_VIP，3 为4G_RAN）。第2-4位“BBB”表示汇聚设备的编号（取奇数）。第5-7 位“CCC”表示接入设备所属ISIS 进程的进程号。例如一对MER 设备编号为5 和6（即BBB=005），接入环ISIS 进程为3（即CCC=003），VPN 为5G_RAN（即A=1），此时RT2 应为AS：1005003。

双RT 规划路由策略为：接入设备启用双RT，RT1和RT2，同环业务使用RT2，其他业务使用RT1，MER针对不同环的MAR 设备分配到不同的peer group 组，MER 给MAR 下发缺省路由的同时再给同环MAR 发布携带对应RT2 的路由。

MER 本地配置缺省路由， 并将缺省路由通过network 方式在bgp 的VPN 实例下引入，MER 针对不同环的MAR 设备分配到不同的peer group 组，针对不同的group 使用不同的export 策略，主要区别在于node20 设置，MER 针对不同的接入环邻居发布对应RT2 的路由。

2.2.3 智能城域网MCR/MER优选同平面路由

智能城域网网络目前为口字型结构，BGP 选路遵循同侧优先的原则，将MCR 和MER 分为2 个平面，其中MCR1 和MER1 在同一平面A，MCR2 和MER2 在同一平面B。

MCR 将下联所有MER 放至1 个bgp 组中，MCR1发出的所有路由打上团体属性A，MCR2 发出的所有路由打上团体属性B。A 平面MER 收到属性A 的路由配置local-preference 100，属性B 的路由配置local-preference50；B 平面MER 收到属性A 的路由配置local-preference50，属性B 的路由配置local-preference 100。

A 平面MER1 发路由给MCR 时，打上团体属性A，B 平面MER2 发路由给MCR 时，打上团体属性B。A 平面MCR1 收到属性A 的路由配置local-preference100， 属性B 的路由配置local-preference 50；B 平面MCR2 类似。

通过上述配置实现MCR/MER 流量优选同平面路由。

2.3 SDN控制器与业务系统建设方案

智能城域网SDN 控制器和业务系统实现智能城域网的协同控制及配置自动下发等，满足云网一体及5G、大客户、家宽等业务综合承载、自动开通、弹性调整和线上控制目标[4]。网络架构如图5示意。

1）业务系统分为统一业务系统和省内业务系统。统一业务系统和省内业务系统分别负责全国统一业务及省内特色业务的自动开通、弹性调整和线上控制，同时北向开放网络能力和业务能力，供其他系统调用。

2）智能城域网能力平台实现不同省智能城域网的编排协同以及分发，统一对外提供接口，开放网络能力；

3）SDN 控制器具备对所管辖的省内智能城域网接入（MAR）、汇聚（MER）及核心设备（MCR）的集中控制能力，并控制网络完成必要的业务以及智能运维相关的配置，实现配置的自动下发。

4）智能城域网SDN 控制器和能力平台之间间采用统一的YANG 模型对接。

5）智能城域网SDN 控制器采用南向配置模板与南向网络设备对接。

6）智能城域网SDN 控制器与业务系统和跨网协同层、通信云之间接口采用标准接口对接。

7）智能城域网统一业务系统，能力平台及SDN 控制器采用全国集中的方式进行部署，省内定制业务系统根据省内需求进行部署。

3 智能城域网跨网对接实现

智能城域网涉及与多个系统及网络进行对接，目前省内智能城域网与异网互通现状如图6 所示。

5GC 控制面全国大区集中设置，通过接入骨干IP承载B 网实现与各本地智能城域网联通，5GC 用户面分重点城市部署。郑州、洛阳大区MCR 通过n×100G链路和郑州、洛阳大区5GC-U 出口设备对接为大区地市提供5GC 用户面出口。地市MCR 通过100G 链路上联郑州、洛阳大区MCR 疏导地市5G 用户面出口，目前与电信共建共享流量也是通过大区MCR 疏导的。智能城域网MCR 与B 网对接用于疏导本地市C 面到大区C 面流量以及基站管理流量；与A 网对接用于实现SDN 自动下发以及MAR 自动上线等功能。智能城域网MCR 与联通IPRAN 对接用于疏导4G、5G 基站互通流量。

3.1 地市MCR与大区MCR互通

目前地市MCR 与郑州、洛阳大区MCR 互通的VPN 有5G_RAN、5G_RAN_VIP 和4G_RAN 的VPN，地市MCR 与大区MCR 建立eBGP 邻居，采用Option A 方式进行跨域VPN 业务互通。目前河南省内仅郑州和洛阳大区MCR 与电信网络互通，其他地市的MCR 还未与电信网络互通。

地市MCR 与大区MCR 间5G_RAN VPN 的互通实现为：地市MCR 发送本地市联通和电信5G 基站地址段给大区MCR，大区MCR 发送全省联通、电信5G 基站地址段以及联通电信UPF 地址段给地市MCR 实现业务互通。

地市MCR 与大区MCR 间5G_RAN_VIP VPN 的互通实现为：地市MCR 发送本地市VIP 地址段给大区MCR，大区MCR 发送本大区VIP 地址段以及大区C 面网段给地市MCR 实现业务互通。

地市MCR 与大区MCR 间4G_RAN VPN 的互通实现为：地市MCR 发送本地市4G 基站地址段以及智能城域网新开4G 基站地址段、NSA 基站地址段给大区MCR，大区MCR发送UPF 地址段给地市MCR实现互通。

3.2 MCR与承载B网互通

目前智能城域网MCR 与承载B 网AR 互通承载的业务VPN 有5G_RAN、5G_RAN_VIP、5G_OAM 和设备管理public VPN（对应B 网IPRAN VPN），采用BGP MPLS VPN 跨域Option A 方式进行对接，实现跨域VPN 业务互通，主要用于疏通5G 相关控制面信令流量以及少量跨本地回传流量等。

MCR 与B 网AR 间5G_RAN VPN/5G_RAN_VIP的互通实现为：MCR 发布本地市5G 基站业务地址段给B 网，B 网发布5GC 业务地址段给MCR，实现基站到5GC 的互通。

MCR 与B 网AR 间5G_OAM 的互通实现为：MCR 发布本地市5G 基站管理地址段给B 网，B 网发布省中心5G 网管服务器地址段给MCR，实现基站到基站网管的互通。

MCR 与B 网AR 间设备管理public VPN 的互通实现为：MCR 发布本地市智能城域网网元管理地址段给B 网的IPRAN VPN，B 网通过IPRAN_JT VPN 接收集团网管服务器地址段发布给IPRAN VPN，实现MCR/MER/MAR 网元到集团网管服务器的互通。

3.3 MCR与CUII网互通

目前智能城域网MCR 与CUII 网（承载A 网）AR互通承载的业务VPN 有设备管理public VPN（对应CUII 网SMAN_NMS_JT VPN）、SmartMAN_AUTO_ONLINE（对应CUII 网SMAN_NMS_CJ VPN），采用BGP MPLS VPN 跨域Option A 方式進行对接，实现跨域VPN 业务互通。主要用于疏通SDN 控制器、业务平台以及其他智能城域网相关的物理位置集中部署的系统与智能城域网设备间的流量等。

MCR 与CUII 网AR 间设备管理public VPN 的互通实现为：MCR 发布本地市智能城域网网元管理地址段给CUII 网的SMAN_NMS_JT VPN，CUII 网将集团SDN 控制器地址段发布给MCR，实现SDN 控制器对网元的数据自动下发[5]。

MCR 与CUII 网AR 间SmartMAN_AUTO_ONLINE 的互通实现为：MCR 发布本地市新增MAR网元的DCN 地址段、现网MAR 网元的管理地址段给CUII 网的SMAN_NMS_CJ VPN，CUII 网将集团部署的自动下发网管的地址段发布给MCR，实现自动下发网管对新增MAR 网元进行设备上线数据下发、对现网MAR 网元进行数据下发。

3.4 MCR与UPF网络互通

目前省内UPF 分为人网UPF 和物网UPF，仅在郑州、洛阳重点城市部署，分为郑州大区和洛阳大区，郑州、洛阳两地市MCR 对接UPF 网络EOR 设备，对接业务VPN 主要有5G_RAN、5GC_WAP、4G_RAN、VoLTE_SGi、GPRS_Gn_C、5GC_MGMN、5G_MEC，采用BGP MPLS VPN 跨域Option A 方式进行对接，实现跨域VPN 业务互通。

MCR 与UPF 网络各业务互通实现为：MCR 向UPF EOR 下发各业务的缺省路由，UPF EOR 向MCR发送人网UPF 业务地址、物网UPF 业务地址、UPF 管理地址、MEC 业务地址以及相关C 面信令地址等，实现用户访问UPF、网管管理UPF 以及相关信令交互业务的互通。

3.5 MCR与联通IPRAN互通

目前MCR 与IPRAN 互通的VPN 有4G_RAN 和4G_OAM 的VPN， 采用fake-as 号进行BGP MPLSVPN 跨域Option A 方式对接。主要解决智能城域网新开SA 基站，回落到IPRAN 上的4G 基站时的语音和数据业务问题，实现IPRAN 上的4G 基站与5G 的UPF互通问题，智能城域网新开4G 基站与原4G 的EPC 互通问题。

MCR 与IPRAN 间4G_RAN 的互通实现为：MCR发送本地市智能城域网下挂的联通/ 电信4G 基站业务地址段、智能城域网下挂的联通/ 电信5G NSA 基站业务地址段和5G UPF 业务地址段给IPRAN，IPRAN 发送本地市IPRAN 下挂的联通/ 电信4G 基站业务地址段、IPRAN 下挂的联通/ 电信5G NSA 基站业务地址段和4G EPC 业务地址段给地市MCR 实现业务互通。

MCR 与IPRAN 间4G_OAM 的互通实现为：MCR发布本地市智能城域网下挂的4G 基站管理地址段、智能城域网下挂的5G NSA 基站管理地址段给IPRAN，IPRAN 发送省中心4G 网管服务器地址段给MCR，实现基站到网管的互通。

3.6 MCR与电信承载网互通

智能城域网MCR 与电信承载网互通的业务VPN 有5G_RAN，采用BGP MPLS VPN 跨域Option A 方式进行对接，实现跨域VPN 业务互通。目前河南省内仅郑州、洛阳与电信网络进行互通。

MCR 与电信承载网间5G_RAN 的互通实现为：MCR 发送联通5GC 地址段，UPF 地址段以及电信分配给联通地市的地址段给电信承载网，电信承载网发送电信5GC 地址段，UPF 地址段以及联通分配给电信地市的地址段给MCR 实现共建共享基站到对应核心网的业务互通。

4 智能城域网倒换方案

4.1 正常流量转发及倒换检测机制

当网络无故障时，正常流量转发场景如图7 所示。

MAR 的S1 业务，上行选择就近MER 转发，下行方向MER1 和MER2 均可转发，实现单发双收功能，见红色曲线；

Xn 业务，同环直接转发，同汇聚跨环时，两台MAR 选择就近的MER 中转，跨MER 场景，与S1 业务类似，可以参考上面的S1 转发过程。

为保证网络故障时业务的快速切换，现网针对不同故障场景部署了相应的快速检测机制[6]。可能发生的主要典型故障点如图8 所示：

当前网络部署了多种检测机制适应不同故障场景[7]。

4.2 场景1：中间链路故障

当汇聚接入链路故障时，流量转发如图9 所示。

A2 设备TI-LFA 生效，A2 设备业务路由下一跳仍然是MER1，因为启用防微环功能，防微环时间5s，A2 到MER1 的SR LSP 将是节点标签和邻接标签组合；

一段时间后，IGP 路由完成收敛，业务路由下一跳变为MER2；

MER 上联方向网络无变化，MER1和MER2 均能收到回程报文，MER1 需要绕行MER2 到A2；

整个过程中，从链路down 开始到防微环生效才有丢包。

4.3 场景2：MER/MCR横连链路故障

当6/7节点故障，即MER/MCR 横连链路故障时，流量转发如图10 所示。

MER 之间链路正常情况下，没有业务流量，链路down 对业务流量转发不影响；

MCR 之间链路正常情况下，没有业务流量，链路down 对业务流量转发不影响。

4.4 场景3：MER整机故障

当MER 设备整机故障时，流量转发如图11 所示。

A2 设备bfd for srtunnel 会检测到失效，启用vpnfrr 切换路由，缺省路由下一跳切换为MER2；

MCR 设备bfd for srtunnel 也会检测到失效，启用vpnfrr 切换路由，弃用MER1 发的路由，启用MER2 发的路由。

4.5 场景4：MCR整机故障

当MCR 设备整机故障时，流量转发如图12所示。

MER1 设备bfd for srtunnel 会检测到失效，启用vpnfrr 切换路由，弃用MCR1 发的路由，启用MCR2 发的路由；

AR 设备BGP 邻居因为bfd for bgp会down，路由会收敛，收敛完成前，AR 发给MCR1 的数据包会被丢弃。

4.6 场景5：网间链路故障

当网间链路故障时，流量转发如图13所示。

MCR1 的bfd for bgp 生效，ebgp 邻居断开，撤销AR1 发送的路由，启用MCR2 转发的ebgp 路由；

MAR、MER1 设备转发路径不变。

4.7 场景6：MER上连和横连同时故障

当MER 上连和横连同时故障时，流量转发如图14所示。

MER1 检测到MCR 虚拟下一跳不可达，撤销发给MAR 的缺省路由，MAR 切换路由下一跳为MER2；

MCR1 设备bfd for srtunnel 生效， 弃用MER1 发来的路由，启用MER2 发来的路由，回程报文转发给MER2。

4.8 场景7：MCR下连和横连同时故障

当MCR 下连和横连同时故障时，流量转发如图15所示。

过程一：MER1 和MCR1 之间的主备SR LSP 均失效；

1）MER1 设备bfd for srtunnel 生效，启用vpnfrr，原先下一跳为MCR1 的路由都切换为MCR2；

2）MCR1 设备bfd for srtunnel 生效， 下一跳为MER1 和MER2 路由均失效，因为MCR 向AR 设备发送的是聚合路由，若非按成对MER 做汇聚，发给AR的路由就无法失效，在AR向MCR1转发流量时，会丢包；

过程二：IGP 路由收敛，MER1 和MCR1 之间的SR LSP 可正常建立，由于LP 设置同侧优选的原因，MER1 和MCR1 会优选对方成为转发下一跳，转发路径需要从其他MER 绕行，见红色实体曲线；

丢包包含两部分，一个是MER1 设备从bfd 检测到vpnfrr 切换过程，一个是由于IGP 收敛MCR1 到MER1的SR LSP 形成之前。

4.9 场景8：MER下连和横連同时故障

当MER 下连和横连同时故障时，流量转发如图16所示。

对于S1 业务，A2 设备上bfd for srtunnel 生效，启用vpnfrr，缺省路由切换下一跳为MER2；

对于X2业务，同环无影响，跨汇聚场景跟S1 类似，同汇聚跨环部分场景需要绕行MCR 转发，见实体红色曲线流量；

MER 向MCR 发路由撤销，撤销本环的业务路由，MCR 业务路由收敛之前，MCR1 转发给MER1 的数据包会被丢弃。

5 结束语

智能城域网的建设部署实现了多业务的1 张本地网统一承载，解决了现有城域网网络复杂、跨网互通成本高、业务转发效率偏低、业务承载一致性差、网络扩展不够灵活、创新业务支撑不足等一系列问题。

结合SDN 以及智能化应用的部署，更好地实现了云网协同、业务自动开通，促进了通信DC 的云化演进，同时构建智能化、自动化、开放化的网络管控系统，开创了全新的业务开通模式，提升了网络配置的规范性、准确性、可靠性，支撑智能化运维和互联网化运营，大大降低了运维成本，迎接5G 时代的挑战。