运营商IP 网络时延优化技术探讨与实践

［陈迅 陈智 邓丽洁］

1 引言

网络时延决定了应用的使用体验，是评估网络性能的关键指标之一。随着业务全IP 化承载的推进，IP 网络时延是所以业务时延关键的一环。AR/VR、高清视频、云游戏、物联网等业务的发展使用户获得了便捷快速的服务，同时也对时延提出了更高的要求。而SDN、SRv6 等新技术亦为IP 网络时延优化带来新的手段。本文分析了IP 网络现网时延影响因素，拟就运营商IP 网络架构，IP-传输协同组网，SRv6 技术部署三方面对IP 网络时延优化技术进行探讨并进行相应的试验。

2 互联网业务发展趋势

5G、云计算、大数据等新技术的发展，进一步加速企业上云以及数字化转型。云作为数字化经济的主要载体，对网络敏捷程度提出了更高要求。分布式数据中心广泛部署，低时延成为各个数据中心之间协同工作的重要基础。低时延驱动的网络转型将推动运营商网络进一步转型。

5G 带来的新型业务包括增强型MBB、IoT 等业务对时延性能提出了新的挑战：①车联网需要提供超级时延保障业务可靠性。譬如对突发情况的提前预知和响应等。②云游戏需要一部简单配置终端就可以玩对性能要求较高的大型游戏，对网络时延提出了严苛的要求。若画面延迟，影响游戏结果和体验。③AR/VR 沉浸式体验，延迟不满足将导致体验缺失。如表1 所示。

表1 5G 业务时延性能要求

边缘计算覆盖了政府、工业、家庭、个人等多场景，新型城域网作为连通边缘和用户的新通道，协同边缘计算在城域不同位置的部署，可以提供低时延和极低时延等高品质的链接服务，将传统的南北向流量转换为东西向流量，极大满足了计算能力下沉的需求。

3 运营商IP 网络时延分析

影响IP 骨干网络时延的主要因素多样，IP 层架构，传输层路由以及光缆网格密度都对时延有重要影响。对某电信运营商IP 骨干网447 个方向对进行分析，其中，传输路由非最优共影响474 个方向对，是最主要的影响因素；IP 路由非直达共影响84 个方向对，主要影响北方和西部；IP 路由策略非最优共影响20 个方向对，主要影响宁夏、海南等大城域网省，以及蒙贵园区等；光缆/传输网格密度不足共影响15 个方向对。如图1 所示。

图1 IP 骨干网络时延影响因素分析

不同省对间时延影响因素差异大，需差异化制定优化方案。例如，新疆-河北主要受IP 非直达影响，IP 路由需从西安绕转，绕转程度超10%；贵州-云南主要受传输路由非最优影响，一二路由差超200%；部分省同时受多个因素影响。

影响IP城域网时延的因素主要是资源到用户的距离，随着边缘计算的发展，资源下沉会提升用户的访问感知，但也带来了东西向流量的增加，架构是否适应这种变化。其次，城域网内由于通过带宽冗余的方式满足可靠性要求，业务流量承载在不同的光缆路由上，城域内的光缆路由绕转也会带来时延的增加。

4 IP 网络时延优化思路

4.1 IP 网络架构优化

4.1.1 IP 骨干网架构优化

结合业务规模和地理位置，统筹规划节点和局向总体布局，兼并投资效益及时延体验。

（l）IDC 跨省上联

结合区域一体化设计理念，打破行踪区划，推动重点IDC 跨省上联区域内重点省，提升区域内用户体验。如图2所示，全国设置四大重点区域，各省上联区域内核心节点，以及周边重点局向。原则上每省均设置到四大区域的直达局向。尽量减少长距离局向。区域内实施多核心架构，提升节点间协同组网，重点IDC 跨省上联多区域核心，区域内邻近省加密直达。相比旧平面，区域内重点IDC 时延下降30%，有力支撑了IDC 等重点业务的可持续发展。

图2 区域一体化架构

针对跨省上联的重点园区及大城域网，按目的省所在区域针对性设置BGP 策略，减少路由绕转。

（2）优化节点设置

针对西北省份（新疆、青海、宁夏）出省局向少、路由长、可靠性不足的问题，将兰州提升为西北辅助核心。如图3 所示，增加西北省到兰州直达局向，可增加西北小省IP 网络的安全性。同时，甘肃作为西北重要的内容来源，增加直达局向有利于提升流量承载效率。

图3 西北区域架构

（3）根据地理形态进行架构优化

以内蒙古为例，内蒙古地形狭长，呼和浩特、通辽负载分担的模式导致时延性能不佳。从流量特征上看，内蒙古出省流量分布较均匀；省内东西部发展不平衡，西大东小，通辽节点考级东北，从流量疏导效率上看无突出地理优势。

呼和浩特和通辽拆分成为两个独立逻辑节点，通辽节点在机房及省际传输条件成熟前只承担部分省内互访流量。省际流量全部由呼和浩特节点转发，围绕呼和浩特节点配置带宽；所有城域网至通辽节点的局向不再扩容，全部上联呼和浩特节点。经测算，内蒙古省际（内蒙古只全国其他省份）流量加权距离可降低10%，从2 900 km 下降至2 600 km；蒙西城域网省内加权距离可降低50%，可减少超过500 km；蒙东城市基本不变。

4.1.2 城域网架构优化

新型城域网架构是为应对5G、边缘计算等带来的固移融合、云基础设施下沉挑战，借鉴DC Spine/Leaf 架构而实现的网络架构，如图4 所示。适应城域网流量流向变化，实现以“云为中心”组网，满足用户就近访问需求。

图4 城域Spine-Leaf 组网架构

（1）POD 内部基于Spine/Leaf 架构（3-stage CLOS）构建固移云融合承载的网络架构

①每个POD 设置一对Spine 设备（通常部署于边缘云所在汇聚机楼/一般机楼）；

② A-Leaf（Access Leaf）设备通常部署于一般机楼，负责OLT/STN-A 设备接入；

③S-Leaf（Service Leaf）设备负责边缘云/极度边缘的接入；

④ B-Leaf（Border Leaf）通常部署于核心机楼，负责与CN2 PE 对接。

A/B/S-Leaf 成对部署，原则上所有Leaf 设备之间均不互联。但是，为避免用户访问边缘云时的流量绕转，在部分边缘云接入场景，需要OLT、A-Leaf、S-Leaf 设备直连（即partial-mesh 连接）。

（2）POD 之间基于Super Spine 互联实现横向扩展

以40～80 万光宽用户为单元设置城域POD，每个POD 均覆盖其辖内所有光宽、移动、政企用户。成对部署Super Spine（通常位于核心机楼），以实现POD 之间互联。此外，Super Spine 需连接5GC CE、城域CR 设备（即Super Spine、5GC CE以及CR之间存在partial-mesh连接）。Super Spine 与CR 分设的目的在于减少对CR 容量与端口的需求，进一步降低IP 设备投资。此时，城域CR 设备连接ChinaNet/CN2-DCI 网络，接收全球路由表，用于承载政企业务与国际互联网业务流量。

4.2 IP-传输协同组网

传输网络组网结构是IP 网络组网的基础，两者协同可显著提升IP 网络的基础能力，否则多少选路策略都是空中楼阁。IP-传输协同组网主要从3 个层面推动。

4.2.1 IP 网络metric 设计与传输协同

打破层级化Metric 设计传统，强化就近转发和多路径转发的能力。将传输/光缆距离纳入metric 设计中，以接近最有转发路径。

以中国电信精品网新平面metric 设计为例，根据传输距离，以一定的步长设置metric 值，在全网fulllmesh 需要465 个局向的情况下，只需132 个局向即可接近fullmesh的时延性能。以500 km 为步长设置metric 值，需设计10个等级的metric 值，以1 000 km 为步长设计metric 值，需设计5 个等级的metric 值。经仿真，5 个等级的metric值与10 个等级metric 值结果相近。Fullmesh、5 个等级设置metric 值和10 个等级设置metric 值的仿真结果如表2所示。

表2 IP 网络metric 设计

4.2.2 单传输路由组网

结合ROADM 快速重路由技术，选取重点局向，采用单传输路由架构组网，降低重点业务端到端访问时延，如图5 所示。

图5 单传输路由组网示意

采用单传输路由组网，可使业务在短路径上承载，但也带来了一定的业务性能影响，当传输路由故障导致中断后，将会有秒级的业务IP 链路中断。

4.2.3 传输路由优化

从现网取样的已开长途局向194 个，其中长短路由差距大的局向137 个（长短路由最大相对比120%以上，或最大绝对差1 000 km 以上；一路由与光缆最短距离差距大8 个（一路由是光缆最短的1.5 倍以上）；光缆与球面距离差距大16 个（光缆最短是球面距离的2 倍以上），如图6 所示。

图6 传输路由优化分析

随新光缆和系统投产，开展存量电路优化，效果显著，预计全国平均时延将缩短1～2 ms。定期筛查现网电路传输路由部署情况，结合新光缆投产制定响应优化计划，可有效提升IP 网络的时延性能。

4.3 SRv6 技术部署

随着5G、云计算、物联网等新业务的开展，对网络的差异化能力提出了更高的要求。SRv6 作为构建新一代智能IP 网络的核心协议，统一并简化了传统复杂的网络协议，实现网络运营的简化和应用级的SLA 保障。

SRv6（IPv6 Segment Routing）是基于源路由理念而设计的在网络上转发IPv6 数据包的一种协议。基于IPv6转发面的SRv6，通过在IPv6 报文中插入一个路由拓展头SRH，在SRH 中压入一个显式的IPV6 地址栈，通告中间节点不断的更新目的地址和偏移地址栈来完成逐跳转发，如图7 所示。SRv6 将一些IPv6 地址定义成实例化的SID（Segment ID），每个SID 都有自己显式的作用的功能，通过不同的SID 操作，实现简化的VPN 以及灵活的路径规划。

图7 SRv6 路由扩展

SRH（Segment Routing Header）是为了基于IPv6 转发平面实现SRv6，新增加的一种IPv6 拓展头。SID 是一种网络指令（Instruction），它由Locator 和Function 两部分组成，Locator 主要承担路由功能，所以要在SR 域内唯一，Function可以标示设备的任何功能，比如某个转发行为，或者某种业务等。

在石家庄和北京之间进行了基于SRv6 Policy 进行遗留的低时延路径调度试验，如图8 所示。控制器在北京C、石家庄C 间创建低时延SRv6 Policy 隧道，下发L3VPN至北京C、石家庄C，绑定SRv6 隧道，北京城域网CR/石家庄城域网CR 分别指定静态路由到北京C、石家庄C。控制器下发染色策略到尾节点PE，通过RR 广播到网内，将目标地址公网路由引入VPN，北京C5、石家庄C1 设置复杂流重定向，引流入VPN。

图8 SRv6 Policy 部署试验

时延优化效果显著，调优前北京-石家庄探针双向时延为11.6 ms，叠加静态路由+SRv6 后，时延降到10 ms左右，时延优化13.8%，如图9 所示。

图9 SRv6 Policy 低时延试验结果

5 结束语

IP 网络时延优化是个系统性工程，需从IP 网络架构、跨专业协同、新技术引入等方面综合考虑。本文从时延性能分析入手，推动IP 骨干网、城域网架构的统筹优化，从多个维度研究IP 与传输的跨专业协同组网，并通过部署SDN+SRv6 技术实现低时延路径引流，实现了从物理层路由资源优化到逻辑层的路由定制，多项技术已在中国电信IP 骨干网中得到应用，取得良好的成效。