CERNET主干网流量优化探索

2013-10-25李锁钢孙富

中国教育网络 2013年1期

文/李锁钢孙富

CERNOC主要负责CERNET主干网线路和设备的正常运行。主干网线路的流量拥堵情况通常使用带宽利用率来衡量。CERNET主干网各条线路带宽利用率不均衡，并且一些线路的带宽利用率比较高。一般情况下，我们通过线路扩容改善线路的拥堵情况，但是线路扩容受限于经费等客观条件，同时也不能充分利用线路资源，不够绿色节约。因此我们需要通过流量优化的技术方式降低带宽利用率，提高网络性能质量。

我们的目标是探索低成本、高效率的流量优化方法，调整不同线路间的流量，使得线路的容量和实际的需求相符合。

CERNET是一个比较纯的，基于IP的主干传输网络。CERNET主干网路由策略如下：全网启用了OSPF协议，同时启用了BGP协议；骨干网与地区网的路由使用静态路由协议，并将静态路由重发布到BGP中；用户路由需要递归路由查找；在接入用户的所有设备上启动NetFlow。

流量优化方法

主干网流量优化的难点有两个，一是需要在主干线路上进行调整，二是要在运行着的网络中进行操作。这意味着一些微小的调整都可能产生巨大影响，甚至稍有疏忽就会导致线路流量锐减或瞬间拥塞，以至于设备远程访问中断。

我们首先通过网络拓扑分析出相关流量的大小，或者根据每个地区IP地址分配准确测量出该地区的流量分布，然后根据主干线路的流量负载情况进行流量调整，如图1所示。流量调整的方法依照客观情况，包括修改OSPF链路成本、路由协议叠加和其他可行的方法。我们在以前的工作中总结了前两种方法，本文着重介绍其他的思路。

流量优化实例

2012年上半年，我们对主干线路进行了一些扩容，总带宽比上一年有了显著增长，缓解了部分节点的拥堵情况。但是用户访问网络需求在不断增加，同时受限于经费和物理线路的客观条件，我们需要通过流量优化来充分利用带宽利用率低的线路资源，改善带宽利用率高的线路问题。青岛新开线路的流量调整

长期以来，青岛节点上联线路接到济南节点，为1条2.5G线路，济南上联至北京有3条2.5G线路。济南至青岛的2.5G线路最近几个月线路利用率一直在90%左右。

1. 新线路开通

为了解决青岛节点流量拥堵情况，在2012年6月7日，开通一条北京至青岛2.5G线路。按照一般的连接习惯，新开线路与北京至济南的线路都接在北京1设备上，同时设置线路的OSPF，使得北京和青岛之间的线路都为负载均衡，参见图2左图中线路旁边标注的数字。

从图3可以看出，新开通的北京至青岛2.5G线路达到了400M，同时济南至青岛的流量降低了400M。

图2 青岛节点线路拓扑

图3 青岛节点流量变化情况

但是这个流量分担得比我们期望的要少很多。由于OSPF在选路过程中是负载均衡的，从北京方面看，去青岛方向有4条（3条经过济南到青岛，1条北京直接到青岛），所以新开通的北京至青岛2.5G只分担了1/4北京到青岛流量，而济南至青岛2.5G却分担了3/4的北京到青岛流量。照此推算，当青岛流量需求达到3.2G的时候，济南至青岛线路流量将达到2.4G。

2. 第一次优化

鉴于以上情况，我们需要摒弃传统的接入方法，探索新的接入方式。首先，我们发现北京节点有两个主干设备：北京1为主用，连接了大部分节点；北京2连接了少部分节点，如清华和石家庄等节点。

图4 CERNET主干网拓扑

我们尝试将北京至青岛2.5G的北京端从北京1切换到北京2的路由器上，并设置OSPF成本，参见图2右图。这样北京互联、清华、石家庄等节点到青岛的流量就会从北京至青岛2.5G走。图3的流量显示，这次调整使得北京至青岛线路的流量增加了接近200M。不过此时正值青岛节点一个接入用户扩容，济南至青岛线路流量不仅没有降低，还增加了一些。

3. 第二次优化

第一次优化效果不明显的根本原因在于北京至济南3条2.5G和北京至青岛2.5G线路的流量分配问题。于是我们从两方面考虑，第一种方案是将北京至济南3条2.5G做一个Bundle-POS，捆绑成一条线路；另一种方案是将北京至青岛2.5G通过子接口变为3个接口。可是经过试验，济南的2.5G POS板卡不支持接口绑定，而北京1设备的POS接口也不支持划分子接口。这些客观的实际情况增加了我们流量优化工作的难度。

虽然第一优化效果不明显，但是却给后面的优化打下了基础。因为我们可以充分利用北京2设备，等到6月23日北京至武汉2.5G×2线路开通时，将其也接在北京2设备上，使得武汉到达青岛的流量跑在北京至青岛线路上。从图3可见，第二次优化使得济南至青岛流量明显降低，降到1G，同时北京至青岛的流量增加到1.2G。

经过以上调整，青岛上联两个方向线路的流量得到合理分配，改善了青岛地区用户的访问质量，提高了青岛节点的接入能力。北京至武汉2.5G线路的使用

北京至武汉的主干线路是10G×2线路，随着用户访问需求的增加，这两条线路的带宽利用率连续几个月超过90%。但是我们短期没有10G传输线路的资源，只有两条2.5G线路的资源可供开通。如何利用好这两条2.5G线路是一个难点。这2条2.5G线路与已有的10G线路在OSPF协议内不能做负载均衡，因为OSPF不支持非等价负载均衡。我们考虑过在OSPF协议之上启用一个新的路由协议来控制流量，但这样增加了全网协议的复杂度，先将该方案作为候选。

1. 结合青岛新开线路优化流量

北京至武汉10G线路接在北京1路由器上，我们考虑把这两条2.5G线路接到北京2路由器上，这样可以分担一部分北京互联的流量（包括北京互联部分去武汉和南京的流量），参见图4所示。

我们需要设置线路的OSPF成本来控制流量。首先我们将这两条2.5G的OSPF成本值设为7，这样可以全部承担北京互联去往武汉、广州、南京、上海的全部流量，测试发现两条2.5G承载不了这些流量。然后我们将北京至武汉2.5G的OSPF成本值改为8，这样可以分担北京互联去往武汉、南京和上海的1/3流量。测试发现这些流量将近2个G。进而，我们设想把北京1上的节点线路迁移一些到北京2上，这样既可以降低北京1设备的CPU负载，同时也将北京至武汉的部分流量转移到2.5G线路上。青岛节点就是直接受益者，如前所述。

测试发现，挪动前济南至青岛2.5G的进出方向流量分别是450M和2G，而挪动之后的进出方向流量是300M和1.2G；北京至青岛2.5G的进出方向流量分别是450M和500M，而挪动之后的进出方向流量是600M和1.3G。北京至武汉2.5G×2的出流量也从2G涨到2.4G左右，北京至武汉10G×2线路流量也得到了缓解。由原来的18.4G降到15.4G左右。见表1所示。

表1

图5 杭州流量优化前后流量变化情况

2. 优化北京至广州流量

为了进一步利用北京至武汉2.5G×2线路资源，缓解北京至广州10G×2的流量压力，我们将北京至广州10G×2的OSPF成本值由17改为18，这样北京至广州的流量就可以和北京-武汉-广州负载均衡，而且北京互联到广州的1/3流量也可以分到北京至武汉2.5G×2上。这样修改后，北京至武汉2.5G×2线路的进、出方向流量由涨到进一步增加。相关线路流量变化参见表2。