基于Radware链路负载均衡的高可靠性电力企业外网网络设计

刘之滨 赵任方

摘要：随着电力企业越来越依赖外网网络传输重要业务数据，传统的基于单运营商专线的网络架构已不能满足业务高可靠性传输需求。為解决该问题，基于双运营商专线和Radware链路负载均衡，提出了相关拓扑设计、负载均衡设计以及路由交换设计内容。通过本设计，使电力企业外网网络具备了动态冗余能力并均衡利用了昂贵的运营商专线，有效保障了业务的可靠性。

关键词：Radware;链路负载均衡;运营商专线;拓扑设计;路由交换设计

中图分类号：TP393.1    文献标识码：A    文章编号：1007-9416（2020）10-0000-00

0 引言

电力企业外网网络通过运营商专线与Internet网络互连，承载着外网办公终端和各类对外业务服务器，是电力企业自有网络的重要组成部分。近年来，随着业务创新发展，部门之间、专业之间的数据壁垒不断被打破，越来越多高实时性的生产业务数据需要通过外网承载，这些数据要求7×24小时不间断通信，对电力企业外网网络提出了高可靠性的需求。在这种背景下，以单运营商专线为基础的网络架构已不能满足业务需求，为了避免运营商侧故障导致业务中断，势必要引入双运营商专线。运营商专线价格昂贵，为了充分利用双运营商专线带宽资源，应使用专用链路负载均衡设备保障较好的负载均衡度。此外由于链路负载均衡设备特有的工作机制，路由交换设备也要做出针对性的设计。网络系统具有分布式、耦合性、整体性的特点，因此设计工作需建立在对相关设备运行机制、协议原理深入研究的基础上进行。本文首先从整体角度给出了拓扑设计，然后分别论述了Radware链路负载均衡以及路由交换设计，最后给出了测试结果。

1 拓扑设计

1.1 基本原则

（1）N-1可靠性原则。在组成网络的全部N个元件中，任“1”元件故障均不应影响网络结构连通性，“1”包括双绞线、跳纤、光缆等物理链路层元件，主控板、线卡、子卡、交换板等板卡类元件，电源、风扇等保障类元件以及整机设备。（2）简易性原则。在保证结构可靠性前提下，不宜采用全连接等过度冗余方式，网络结构复杂度提升将增加设备负载和排错难度。（3）经济性原则。在保证结构可靠性前提下，应从降低能耗、节约机柜空间、节省投资等角度，考虑组网经济性问题，同时兼顾不断增长的业务需求，从设备选型、链路带宽等角度，确保络具备良好的扩展能力。

1.2 拓扑结构设计

（1）总体结构。总体结构以双运营商专线和Radware链路负载均衡为基础进行设计，为提高可靠性，所有设备均采用双机配置方式。拓扑结构示意如图1所示。Radware链路负载均衡实现NAT功能，将网络从逻辑上划分为为公网和私网两部分。在公网部分，每台链路负载均衡分别通过两台公网出口交换机与运营商路由器互联。在私网部分，链路负载均衡和私网路由器通过私网交换机构建可靠的二层环境，用于双机协议可靠通信，此外私网路由器承担着内部网络和外部网络交互路由的功能。

（2）设备选型。公网出口交换机作为连接运营商路由器的关键设备，宜使用可靠性较高的框式设备，采用分布式体系，对设备中的关键部件（如主控板、线卡、业务子卡、风扇、电源）进行冗余配置。链路负载均衡、私网路由器和私网交换机单点故障不会导致与运营商路由器终端，从经济性考虑，宜使用小型设备，电源和风扇冗余配置，路由器可多板卡冗余配置。设备互联宜选用万兆接口，以增强扩展性。

上述网络拓扑设计在各种N-1方式下，均有较高的可靠性，同时了兼顾简易性、经济型和扩展性。

2 链路负载均衡设计

2.1 SWITCH HA机制

SWITCH HA是保障链路负载均衡双机可靠运行的私有机制。在正常运行方式下，双设备处于主备运行模式，同属一个VLAN的接口地址对外表现为统一的虚拟IP，所有业务流量经过主设备，备设备处于监听状态，两台设备间实时比较直连接口的存活数量，当发生设备或链路故障导致主设备存活接口数小于备设备时，则进行主备设备切换。

2.2 出入站策略设计

（1）出站策略。该类策略控制由私网向公网发起访问的数据流量路径选择，比如外网办公终端访问Internet的数据。由于Internet服务器一般架设在运营商骨干网或城域网核心汇聚层，网络资源丰富、带宽充裕，因此对于不同运营商服务器的访问流量经由该服务器所属的运营商出口链路是较好的选择[1]。对于境外服务器等不属于购买运营商网络范围内的访问对象，宜采用就近性算法，通过链路带宽、链路成本、端到端延时、路由条数等参数加权计算出最优运营商出口链路。

综上，出站策略宜按如下原则设计，并按顺序匹配：第一，访问目的地址在运营商1地址池内的数据包主走ISP1链路;第二，访问目的地址在运营商2地址池内的数据包主走ISP2链路;第三，不在上述地址池内的数据包根据就近性算法在ISP1和ISP2链路中选择最优路径。

（2）入站策略。该类策略控制由公网向私网发起访问的数据流量路径选择，按照Internet用户访问私网对外服务器的方式不同分为B/S和C/S两类。在B/S架构访问方式下，将链路负载均衡设备设置为授权域名服务器，记录域名与内网服务器IP地址的映射关系，形成A记录，一个域名分别映射ISP1和IPS2的公网IP地址。当Internet用户通过域名方式访问网站服务器时，用户的本地DNS服务器通过迭代查询从链路负载均衡请求地址解析，负载均衡根据就近性算法返回最优ISP解析IP地址，达到均衡的目的。在C/S架构访问方式下，为节省宝贵的运营商公网地址，不同的私网服务器宜采用不同的TCP端口号，使链路负载均衡进行目的NAT转换时可以复用公网IP。链路负载均衡为每个私网服务器配置两个ISP的地址，通过用户客户端程序进行均衡访问。

2.3 DNS代理设计

私网办公终端向公网发起访问的出站数据流量占总流量比例较大，为提高出口流量均衡程度，除了做好前述出站策略設计，还需要做好DNS代理设计。整体设计实现流程是：首先在链路负载均衡上设置DNS代理私网IP，本地DHCP服务器将该IP作为终端自动获取的DNS服务器地址;然后，不同终端申请域名解析时访问DNS代理IP，链路负载均衡宜采用轮询算法，均匀访问不同运营商DNS服务器;最后，如果目的业务服务器规模较大，且ISP1和ISP2属于三大电信运营商，那么DNS服务器将为相应终端返回属于本ISP的解析IP，结合出站策略，从而实现出站数据均衡访问。DNS代理流程示意如图2所示。

3 路由交换设计

3.1 二层设计

（1）VLAN设计。基于SWITCH HA机制，为实现二层广播域有效隔离，将网络划分为3个独立VLAN，分别是：R-ISP1、SW1_Pub1、LLB1和LLB2互联接口组成的运营商1出口VLAN;R-ISP2、SW2_Pub2、LLB1和LLB2互联接口组成的运营商2出口VLAN;LLB1、LLB2、SW1_Pri1、SW2_Pri2、R1和R2互联接口组成的私网VLAN。路由器接口为三层路由口，LLB接口为三层交换口，LLB和交换机使用Access类型接口纳入相应VLAN。（2）生成树设计。如图1所示，网络中存在物理环路，MSTP生成树协议默认开启，将会阻塞相关接口，生成无环拓扑。实际上，因为没有一个物理环路对应在同一个VLAN中，即使存在物理环路也不会形成广播风暴危害网络运行，所以宜关闭链路负载均衡和交换机相关接口的生成树协议，避免正常运行接口被阻塞，提高网络健壮性和收敛速度。

3.2 静态路由设计

鉴于Radware链路负载均衡自身机制，其与运营商路由器和私网路由器间通过静态路由实现网络互联互通，在每一个广播域中规划同网段的IP地址，静态路由相关设计如表1。

3.3 高可靠性设计

（1）VRRP设计。为使链路负载均衡静态路由下一跳IP地址保持稳定，不因设备单点故障而失效，宜使用VRRP（虚拟路由器冗余协议）进行保障。VRRP能将多个三层网络设备在网关层面整合起来形成一个虚拟三层设备，在这些设备间通过选举机制选出一个Master设备来担任实际三层网关，而其余设备监听主设备工作状态，主设备一旦故障，将重新选举产生新的主设备确保网关不间断服务[2]。R1和R2通过上联接口构成VRRP路由器，其虚拟IP作为链路负载均衡静态路由下一跳地址，同时为减少流量绕行，Matster设备与链路负载均衡SWITCH HA主设备保持同侧设置。（2）NQA设计。静态路由无法感知网络拓扑变化并作出动态调整，使得在特定运行方式下数据转发出现问题，比如在LLB1作为SWITCH HA主设备运行时，如果两台私网交换机间链路发生中断，R2路由器静态路由下一跳将不可达，同时由于R2上联口并未中断，所以该静态路由不会失效，这将导致按此路由转发的数据丢失。为解决该问题，引入NQA机制，通过ICMP-echo报文探测下一跳地址可达性，并将可达性与静态路由存活性关联，当探测不可达时自动撤销静态路由避免数据转发错误，提高网络在特定故障运行方式下的可靠性。

3.4 动态路由设计

电力企业外网一般至少为中型规模，宜采用OSPF动态路由协议进行组网，以有效解决网段多、拓扑复杂、拓扑变更动态响应等问题[3]。在进行OSPF组网设计时要点如下：

（1）私网路由器与内部网络运行OSPF协议，内部网络根据规模、安全性等因素采用二层架构或三层架构，私网路由器至少与内部网络核心层运行于OSPF骨干区，是否划分非骨干区由内部网络结构决定，有关内部网络设计不是本文研究重点;（2）将网络未来扩展的最大带宽作为OSPF COST参考带宽值，所有参与OSPF计算的接口自动按实际带宽等比例计算出OSPF COST值，使所有数据包按最短路径进行转发;（3）在局域网中互联接口均为以太网口，接口缺省OSPF 网络类型为Broadcast，由于网络从逻辑角度看均为以太网点到点互联，完全没有必要进行DR和BDR选举，所以将OSPF接口网络类型改为P2P，以达到加速OSPF邻居建立，优化网络性能的目的[4];（4）在私网路由器上将默认静态路由引入到OSPF路由中，确保内部网络顺利学习到去往公网方向的路由。

4 测试结果

4.1 N-1故障测试

网络在N-1故障运行方式下，即任一链路、板卡、设备、运营商故障时，链路负载均衡和路由器冗余切换机制正常工作，路由跟随拓扑变化动态更新，网络可在秒级收敛，所有业务均可正常运行，验证了整体网络设计具有较高的可靠性。

4.2 负载均衡度测试

以两个运营商最大瞬时流量差值占总出口带宽百分比来衡量均衡程度，同时区分不同时段和进出方向，测试情况如表2所示。总体均衡度较好，同时随着流量增大，均衡度也相应提高。

5 结语

电力企业外网与Internet网络互连，承载着外网办公终端和各类业务服务器，是电力企业自有网络的重要组成部分。本文详细论述了一种基于Radware链路负载均衡的电力企业外网网络设计方法，经过实践检验，可有效满足重要业务数据高可靠传输需求，同时高效利用昂贵的运营商专线，节约了企业成本。

参考文献

[1] 苏开宇.多出口网络链路负载均衡系统的研究[J].中国计量学院学报，2009，20（01）：65-70.

[2] 赵治东.路由交换技术 第二卷[M].北京：清华大学出版社，2012.

[3] Russ White. Optimal Routing Design [M].北京：人民邮电出版社，2013.

[4] Thonas M. Thomas II.OSPF Network Design Solutions Second Edition [M].北京：人民郵电出版社，2014.

收稿日期：2020-08-24

作者简介：刘之滨（1985—），男，北京人，硕士研究生，高级工程师，研究方向：计算机网络技术。

Design of High Reliability Power Enterprise External Network Based on Radware Link Load Balancing

LIU Zhi-bin， ZHAO Ren-fang

（North China branch of State Grid Corporation of China， Beijing 100053）

Abstract： With the power enterprises increasingly rely on the external network to transmit important business data， the traditional network architecture based on single operator dedicated line can not meet the demand of high reliability transmission. To solve this problem， based on the dual operator dedicated line and Radware link load balancing， the related topology design， load balancing design and routing switching design are proposed. Through this design， the external network of electric power enterprises has the dynamic redundancy capability， and the expensive operator's dedicated line is utilized in a balanced way， it effectively ensures the reliability of the business.

Keywords： radware; link load balancing; operator dedicated line; topology design; routing switching design