深圳大学：缓存技术优化出口带宽

文/江魁

使用缓存技术后，下载同一资源的速度从部署前的约112KB/s最大提升到11.3MB/s，提升了约103倍。观看在线视频的速度从部署前的约56KB/s提升到约1MB/s, 提升了约18倍。

校园网出口带宽的提升速度远远比不上出口带宽需求的增长速度，并且由于校园网运行经费有限，出口带宽也不能无限制地进行扩容。因此，如何管理和优化现有的网络出口带宽，成为各学校亟待解决的问题。本文结合我们在校园网中的实践，对校园网出口带宽的管理和优化进行探讨。

出口带宽的现状

早期深圳大学的校园网仅有CERNET一个出口，由于不同运营商之间的互联互通存在一定瓶颈，我校根据实际情况，先后引入了中国电信和中国联通两家运营商的互联网出口。当前，CERNET、中国电信和中国联通的出口带宽分别为800Mbps、800Mbps和600Mbps。

我们采取了多种优化措施，对校园网的三个网络出口进行合理的分配和使用。首先，在出口路由设备H3C 9512上通过策略路由配置，保证访问各运营商资源时从对应的网络出口出去。其次，在出口路由设备上部署了4块H3C链路负载均衡LB板卡，如图1所示。缺省流量通过动态负载均衡算法分配至最佳的出口链路，当某一出口中断时，链路负载均衡板卡还能将该出口的流量自动切换到工作正常的出口，链路负载均衡板卡极大地提升了用户上网效率和可靠性。此外，通过流量监控软件Cacti对网络出口的分析，我们发现网络运行高峰期三个网络出口的使用仍然有不平衡情况。最后，我们在出口路由设备上采用基于流量的路由策略，将网络视频流量引入到利用率相对较低的出口，达到缓解利用率较高出口负载的效果。

带宽管理

常用的网络流量监控工具如Cacti、MRTG等，只能看到网络出口的整体流量情况，并不能做到对出口流量的精细化管理，需要在网络出口处部署流控设备，才能对应用层流量进行统计分析和带宽限制，实现对校园网出口流量的有效管理。

常见的流控设备厂商有Packeteer、H3C、Panabit等。我们在出口位置部署了H3C的应用控制网关SecPath ACG 8800，ACG 8800采用了全分布式处理架构与多核、多线程技术，拥有突出的性能和更高的可靠性，放在网络出口处不会引起新的网络瓶颈。通过该设备对出口流量中的各种应用、协议和端口组成进行检测识别与控制，全面了解网络应用构成和流量趋势，在此基础上进一步基于不同的分段、不同的用户/用户组、不同的时间、不同的区域等组合，应用不同的带宽策略，对网络内用户的流量与应用进行精细化控制和审计。

图1 多出口链路负载均衡示意

在应用ACG 8800之前，网络出口的带宽主要是BitTorrent、Thunder(迅雷)等P2P应用和优酷、快播等流媒体占用，如图2所示。这两类流量占据网络总体出口带宽的70%以上。网络高峰期，我校的出口带宽达到了2.1Gbps，各出口线路基本处于饱和状态，网络设备负荷非常大，经常出现不稳定等问题，严重影响了正常应用。

为合理利用网络资源，通过应用H3C SecPath ACG 8800，我们对网络流量采取了以下控制策略：

1. 12:00～14:00、20:00-24:00（网络使用高峰期）：禁止P2P和流媒体（但教育网出口放行土豆和优酷视频）；

2. 凌晨1:00～7:00：P2P和流媒体带宽分别为600Mbps；

3.其他时段：P2P带宽限制为300Mbps，流媒体带宽仍维持600Mbps；

4. 对网内占用带宽多的用户分时段限制带宽。

由于流控设备是通过数据包深层扫描的技术对报文所属的应用协议进行检测，但实际网络上的TCP/UDP应用层协议繁多，即使是最优秀的流控设备也难免会有无法识别的应用。例如图2中占全部带宽10.55%的TCP/UDP应用中就存在某些未能识别的TCP/UDP应用。对于这类应用，无法通过流控设备对其进行控制。因此，我们在网络出口处的四台认证计费网关上将用户上网的下行带宽限制为1.5Mbps，上行带宽限制为768Kbps，实现了对这部分应用的总体限制。

通过以上多层次、精细化的带宽控制策略，我们有效解决了网络出口带宽滥用的情形，出口峰值降低到了1.6Gbps，下降了25%，腾出了更多的带宽给http、邮件等正常的教学和科研应用。此外，我们还通过安全管理平台ACG Manager，对应用控制网关检测出的网络出口流量进行深入分析，更全面地了解用户行为和流量趋势。

基于缓存的优化

虽然使用流控设备能够对占用出口带宽较多的P2P和流媒体等应用进行控制，解决了出口带宽被无限制占用的问题，但在某种程度上也会降低用户使用网络的质量和体验，而引入缓存技术则能圆满解决这一问题。

缓存的工作原理是将校园网用户访问或下载的热点内容缓存到本地的存储上，当其他用户访问相同资源时，会从本地缓存上直接获取资源，不需要再次从互联网中获取资源，从而节约网络出口带宽，缓解了网络出口的压力。由于缓存的内容是在本地提供给用户的，用户的访问和下载的速度也能得到大幅提升，用户的上网体验也会随之改善。

缓存其实不是一种新的技术，早期在校园网中普遍使用的代理服务器（如Linux平台上的Squid)也能向用户提供基本的缓存功能，只是现在的缓存产品功能更为强大，缓存的对象不仅包括http网页，还包括流媒体、P2P等下载内容。近年来，中国移动、中国电信等各大运营商开始在自己的网络中部署缓存服务器，并进一步基于缓存技术构建CDN（Content Delivery Network，内容分发网络）。CDN是由分布在不同区域的缓存服务器群组成的分布式网络，由GSLB（Global Server Load Balancing）进行负载均衡，在其统一调配下，用户的请求会导向到CDN网络中的最佳节点，就近取得所需资源，提高了用户访问资源的速度，减少了互联网上的拥塞。目前国内市场上主流的CDN厂商有蓝讯的ChinaCache和网宿的CDN平台。随着校园网出口流量的增长，缓存技术也逐渐开始在校园中应用。当前常见的缓存厂家有锐捷、华为、MARA SYSTEM、广信友联等。同时网宿等老牌CDN平台也开始与高校进行合作。

缓存产品有硬件和软件两种。硬件即由厂家提供软硬一体的设备，软件则需要用户自己提供服务器安装。须要注意的是，除了对服务器性能有较高要求，对存储也有更高的要求。其部署方式主要有以下三种：

WCCP方式：通过在三层设备上启用WCCP（ Web Cache Communication Protocol，网页缓存通信协议)或策略路由，将http端口的数据重定向到缓存服务器。如果缓存服务上存在用户需要的资源会直接提供给用户。如果不存在则由缓存服务器从外网下载后再提供给用户。这种方式会给三层设备带来一定的负荷。采用该方式部署的缓存设备厂家有Cisco、Bluecoat、MARA System等。值得一提的是，MARA System公司创始人就是被学校广泛用于代理软件Squid的原创作者。

图3 WCCP方式部署的缓存运行情况

图4 缓存部署前后文件下载速度对比

镜像或分光方式：以旁路的方式部署在校园网核心交换机或出口路由器上，主要是将用户上行的流量镜像到缓存设备，缓存设备会利用DNS 重定向技术直接将缓存设备的IP地址返回给用户。如果缓存命中则直接回应客户，不命中则从互联网上取回数据回应客户，同时将数据保存在缓存上以备下次使用。这种部署方式对现有网络没有影响，也不存在单点故障。采用该方式部署的缓存设备厂家有锐捷、广信友联等。

透明方式：缓存设备串接在核心交换机和出口路由器之间，透明地提供缓存服务。这种方式无须改变原有网络结构，但容易引入新的故障点，并且对缓存设备的性能要求很高，对于网络出口流量较大的学校不宜使用。采用该方式部署的缓存设备厂家主要有深信服等。

考虑到我校出口带宽的流量较大，我们主要对采用第一和第二种方式部署的缓存设备进行了试用。在第一种方式下部署了MARA SYSTEM的CACHEMARA 2000C/M-500，为http访问和下载提供缓存。由于试用产品的性能限制，我们暂时只将网络出口的三分之一流量定向到该设备缓存，该缓存设备平均从互联网下载400Mbps数据带宽的同时，向校内用户提供约700Mbps数据带宽。如图3所示，设备上线期间，我们监测到网络出口带宽与没部署该设备前相比下降了100多Mbps。

第二种方式下部署了PowerCache X10。该设备旁挂在核心交换机H3C 9508上，通过端口镜像将到出口路由设备的两条千兆链路上行流量镜像到该设备上，同时为http、流媒体和P2P下载提供缓存。该设备上线，使用缓存技术后，下载同一资源的速度从部署前的约112KB/s最大提升到11.3MB/s，提升了约103倍，如图4所示。观看在线视频的速度从部署前的约56KB/s提升到约1MB/s, 提升了约18倍。部署该设备当月，高峰期回吐带宽与吸入带宽差值为300Mbps，下载流量约8T，提供给内网用户流量约38T，约为获取资源的4.75倍。须要说明的是，由于该设备刚上线时我们只将一半的流量镜像到该设备，同时P2P缓存功能有半月左右处于关闭状态，当前测试结果还有进一步提升的空间。

由此可见，部署缓存产品确实能够降低学校出口带宽，改善用户上网体验，提升用户满意度，各学校可以根据自身的实际情况进行选择。

建设校内资源平台

部署缓存的另一个好处是可以通过对缓存内容的统计分析，了解用户感兴趣的内容，随后在校内主动向用户提供相关资源，减少用户访问外网资源的需求。通过对缓存的统计，我们发现用户访问的大部分是热门的电影、音乐和电视节目。这一结果也与出口应用网关的统计结果相同。于是，我们在校园内开设了视频点播平台和网上电视平台，视频点播平台包含大约16000多个节目，容量近4TB，分为教学、新闻、讲座、培训以及综合等几大类。每天新增十多个节目，网上电视平台提供多达20套的电视节目，覆盖新闻、娱乐、英语学习、地理旅游等各种类别。另外，还由学生社团架设了基于校园网的P2P在线视频点播及下载平台，为校园网用户提供免费的高清电影、热门美剧、日剧、科教片、音乐的在线点播及高速分享服务。

通过架设以上平台，我们将用户对外网资源的需求逐渐转移到校内资源平台，节约了宝贵的出口带宽，对缓解校园网出口压力起到了一定作用。

当前，越来越多学校的网络出口带宽面临着资源不足的问题，仅仅依靠传统的以堵为主的管理模式已经不能适应新环境下的用户需求。我们需要从整体考虑，结合多种出口带宽管理和优化方法，疏堵结合，既要开源又要节流，尽可能达到用户上网体验与网络出口带宽消耗的平衡。