多系统协同的网络负载均衡方法研究

吴家顺，高 静

（南京理工大学信息化建设与管理处，江苏南京210094）

多系统协同的网络负载均衡方法研究

吴家顺，高 静

（南京理工大学信息化建设与管理处，江苏南京210094）

校园网有多个出口时，均衡使用各出口带宽是高校网络信息部门关注的问题，而由于网络的互联互通，高校在采用均衡线路方法的同时往往会降低用户上网体验。针对这种情况，作者提出多系统协同的网络负载均衡方法，通过分析校园网体系结构、用户群体分布以及网络流量构成，调整核心设备配置、规划策略路由实现目的地址选址和应用选址相结合的链路负载均衡，并设计基于用户行为的DNS资源调度算法引导HTTP流量，解决负载均衡下带来的网络抖动问题，通过具体高校校园网环境测试，实验结果表明，原流量低的出口线路得到了有效提升，整体线路得到均衡，并拥有良好的用户体验。

网络负载均衡；应用协议识别；用户行为分析；流量控制；DNS

随着无线校园网的迅速普及，师生员工对网络的依赖性越来越高，对高速、稳定的网络需求越发迫切，为了解决校内外带宽瓶颈问题，高校也逐渐将校园网主干线路升级到万兆，并接入不同运营商的线路来实现网络出口的扩容。

在实际应用中，多网络出口高校的各条线路流量并不能达到预期中的效果，往往流量集中于一条线路，造成过载，而其余线路处于空闲状态，使用网络负载均衡设备虽然可以解决过载与空闲的问题［1-7］，让线路看上去均衡，但很容易失去多出口线路带来的最大优势，发往归属于某运营商的数据包受负载均衡影响，需要从其他运营商的线路出去，经过绕行，才能到达目的地，用户的上网体验感会明显下降。

本文提出了一种基于多系统协同的网络负载均衡方法，在解决线路负载均衡的同时，保障网络质量不受影响。

一、问题描述与分析

多出口是高校普遍采用的网络策略，此策略具备优点的同时，集中性的问题也较多，在绝大多数高校校园网中比较普遍。现以某高校为例进行典型性分析。某高校目前校园网有电信（1G）、联通（100M+200M）、教育网（1G）、移动（1G）以及长城宽带（1G，只提供视频镜像服务）出口，总可用带宽为4.3G，校园网采用扁平化三层架构部署［8-9］，有线用户使用PPPOE拨号认证，无线用户使用802.1x准入认证和Portal准出认证。

这是一个典型且复杂的多出口网络，涵盖了大多数的高校出口模型。从网管系统中获取到各线路的负载情况，如表 1所示，优质带宽的快速消耗导致校园网不仅在晚高峰期近乎无法使用，白天工作时间也不断出现网页打开缓慢的问题。

表1 线路负载表

显而易见，电信、联通线路已经满负载在运行，而其他线路，在不同的时间段，流量都较小且变化小，做出的贡献值也偏低。

为了缓解校园网目前所遇到的问题，高校会采用智能流控设备对流量进行控制，保障Web应用流量，限制单用户并发数和带宽，策略实施后，线路负载如表 2所示。

从数据上看，电信、联通线路负载得到了明显的降低，其他线路未见明显变化，虽然在一定程度改善了网络拥堵情况，在高峰期能保障网页的正常浏览，但仍有大量线路资源处于空闲状态。

对于校园网用户，体验网络的质量可以从两个角度分析：①上网、游戏、视频流畅不卡，即带宽有保障，链路稳定；②下载速度快，即能充分享受带宽，当这两个需求叠加在一起时，对带宽有限的校园网而言，形成矛盾关系。分析并总结各个运营商提供的线路以及目前状态，如表3所示。

表2 应用流控策略后线路负载表

表3 网络出口分析表

从表3中可见，大量的带宽并没有被有效利用起来，进一步检查校内权威DNS的配置信息，当前校内DNS配置为向教育网递归，这是高校一般的配置，而教育网返回的域名对应的地址以属于联通、电信居多，从而也得出降低拥塞线路需要解决DNS递归解析问题［11-13］。

表4 应用流量排名表

从流控设备中取得应用排名信息，如表 4所示，可以发现P2P流量在网络流量中占比最大，结合表1数据，正是这部分流量消耗了优质线路的宝贵带宽，造成用户不仅上网不稳定，而且下载缓慢，互相争抢有限的优质带宽，恶性循环越发严重。

表 4也表明，稳妥的处理好P2P下载流量，才能恢复网络的畅通，是负载均衡实现的先要条件，基于以上分析，本文提出了基于多系统协同的负载均衡方法。

二、多系统协同的负载均衡方法

通过上述分析研究，并考虑到现有核心架构，通过三种途径共同作用来实现网络负载均衡，并解决负载均衡中遇到的网络抖动问题。

1.校园网核心重新部署

核心链路升级改造是为了给负载均衡的实现提供必要的硬件支撑。

改造后的核心拓扑如图1所示，部署方案如下：

（1）部署2台万兆防火墙并作为出口路由设备，防火墙以主备模式部署，在最前端配置一台交换机，划分VLAN，将各出口线路一分为二，分别接到防火墙，解决网络出口稳定性问题。

（2）核心设备之间的链路由千兆捆绑升级到万兆互联，解决物理层次的瓶颈以及因捆绑而造成的设备部分功能受限问题。

图1 网络核心拓扑图

2.系统协同配置方法

在负载均衡方法上，整体思路为实时应用采用目的地址路由，数据包不跨运营商线路；p2p下载、p2p影音采用应用协议路由，指定具体出口线路；DNS划分不同转发区，引导网络流量，并解决网络抖动问题。具体配置方法如下所述:

（1）在出口防火墙上面写入静态路由，根据IP目的地址选择合适的运营商线路；依据应用识别的结果，制定策略路由，将P2P下载、P2P影音的数据包按线路负载引流到教育网出口和移动出口。

策略路由配置命令如下：

配置命令生效后，查询配置结果如图2高亮行所示。

图2 策略路由配置图

（2）校内DNS服务器的递归请求默认通过移动线路发送到移动的DNS服务器进行解析；定义多个DNS转发区，教育网域名以通配符识别方式发送到教育网DNS解析；视频站点域名发送到长城宽带DNS服务器解析；因DNS默认递归由教育网变更为移动造成网络抖动的域名地址发送到电信DNS解析，出口线路选择由防火墙配置的静态路由进行支持，对应关系如表5所示。

表5 DNS转发列表

（3）修改缓存设备配置参数，改进主动和被动缓存触发因子，优化资源淘汰调度算法以及服务对象，并进行集群部署。

（4）流控设备透明接入到防火墙和核心设备之间，配置限制单用户会话数总量和新建速率，预防DDOS攻击等可能对网络设备造成的性能影响，并根据需求在设备上做临时性的保障限制策略。

3.DNS资源调度优化算法

当DNS返回的IP地址在移动地址段中，由于线路质量问题，访问部分站点会不稳定，即上文所述的网络抖动，可以通过用户反馈手工搜集这些站点，写入到电信转发区，但工作量不仅大而且用户评价不好。本文提出了基于用户行为的DNS资源优化调度算法来解决这个问题。结合站点请求解析次数、在Alexa网站中的排名以及是否拥有运营商镜像等因子进行分析计算，将满足要求需要保障的域名解析写入到电信转发区中。

算法描述：

定义网站域名集合D，移动地址段M，被解析站点域名d，d∈D，域名被请求解析次数m，在移动DNS中解析出来的地址p。

当p∈M，则统计校园网到地址p的时延数据，并计算平均时延t。

定义Δ，表示每一个域名在当前线路需要被调整的系数，由网络稳定性、时延性以及由归一化后的请求次数α计算所得，Δ值越大，表明越需要进行调整，其中

在p∈M的条件下，将域名d发送到电信DNS进行解析，并计算Δ'，得到电信线路的调整系数。

定义λ=Δ-Δ'，λ为二者距离，定义调整阙值β，β＞0，当λ＞β时，参考Δ初始值并结合实际访问感受，将对应域名迁移到电信保障转发域中。

三、实验分析

选取了某个时刻的域名请求排行，收集时延信息，并分别予以计算Δ和Δ'，如表6所示。

表6 站点访问时延分析表

由实验数据结合实际访问网站感受进行分类，经验数据表明，当网页打开速度有明显变化时，即可考虑将该域名解析进行迁移。

通过多系统间的协同调整，在没有限速的情况下，目前各出口线路使用状况与调整之前对比如图3所示，各线路都在较高负荷中运行，视频服务出口线路因提供有限服务，从而流量不会很高。通过对百度贴吧、学校BBS论坛等信息的观测，校园网用户普遍反应目前使用校园网进行页面浏览、游戏的质量以及下载速度得到了很大的提升，达到了预期的网络负载均衡效果。

图3 线路负载图

经过调整后，校园网下行带宽利用率得到了明显提升，如图 4所示，非高峰期流量已经突破调整前的晚高峰流量。

图4 调整前后校园网下行流量对比图

在出口防火墙上面观察，P2P应用已经从教育网、移动线路上分流；电信、联通线路上以Http应用和其他TCP协议为主，如表7所示。

为了验证每个用户在电信、联通线路中带宽占用情况，在流控设备上进行单用户带宽限制测试，当非P2P应用的带宽限制依次设置为10Mbps、6Mbps、4Mbps时，发现电信、联通线路下行流量变化不明显，即单个用户在优质线路上的带宽占用率不显著，而3万多校园网用户决定此线路会在高负荷下运行。

表7 应用流量分布

在负载均衡方法中，将缓存设备也作为一个重要的因素予以考虑，策略调整后缓存设备也发挥了明显的作用。在缓存磁盘全部格式化清空后，设备用了约7天左右的时间进行高速缓存，如图 5所示；稳定后，为校园网用户提供约300Mbps的流量服务，进一步降低了出口压力，如图6所示。图5和图6中实心区域为回源流量，线条为服务流量。

图5 稳定工作期间回源/服务流量图

图6 设备缓存期间服务/回源流量图

实现高校多出口网络的负载均衡，首先需要知道各学校网络的流量构成，比如总体而言，文科院校视频流量会相对较高，而理工科院校点对点下载的流量会很高，一般负载均衡设备从线路的角度出发，前提也基于线路质量是等价，在高校特殊的网络中直接应用可能带来相反的效果。本文针对特定的网络场景，不但平衡了线路流量，还提升了线路利用率，并提出一种解决网络抖动的方法，经实验验证，达到了预期的效果。

［1］张焕杰，夏玉良.用户自主选择的校园网出口策略路由实现［J］.通信学报，2013（S2）：14-22.

［2］郭秉礼，黄善国，罗沛等.基于负载均衡的联合路由策略［J］.北京邮电大学学报，2009，32（4）：1-5.

［3］王云岚，李增智，薛军等.基于DNS的负载均衡算法研究［J］.计算机工程与应用，2002（4）：11-13.

［4］吴璇，隋红建.负载均衡技术在防火墙系统中的应用［J］.计算机应用，2003，23（S2）：22-24.

［5］常潘，沈富可.使用域名负载均衡技术实现校园网对外服务器的高速访问［J］.计算机应用，2007，27（7）：1585-1586.

［6］申健.校园网路由策略分析及应用［J］.实验技术与管理，2013，30（11）：122-125.

［7］Su Bing，Yu Haiyang，Lu Jieru.Traffic optim izationon the dynamic sw itching of ABR for OSPF networks ［C］.2009 International Conference on Information Technology and Computer Science，2009：429-432.

［8］谢胜军.有线无线一体化的扁平校园网设计［J］.通信学报，2013，34（Z2）：79-83.

［9］张志成，邹仁明，张晓.基于冗余架构的校园网多出口系统的设计与实现［J］.计算机科学，2012，39（10）：219-222.

［10］彭隽，劳凤丹，邹仁明.万兆全冗余校园网出口升级改造方案［J］.武汉大学学报（理学版），2012，58（S1）：120-124.

［11］杜跃进，张兆心，王克等.基于用户感知的DNS解析网络性能测量技术［J］.南京航空航天大学学报，2013，45（1）：110-115.

［12］王艳歌.一种基于智能DNS解析及静态地址映射的快速访问策略［J］.科技通报，2012，28（12）：146-148.

［13］秦臻，周帆，李乐民.DNS对CDN流媒体服务质量的影响［J］.电子科技大学学报，2013，42（4）：577-580.

（编辑：鲁利瑞）

TP393.1

A

1673-8454（2016）04-0085-05