Web Cache系统部署方案研究

于绍晨

（中国移动通信集团设计院有限公司，北京 100080）

1 引言

随着3G业务和宽带接入的高速发展，某国内电信运营商的移动和固网用户的数量及带宽增长迅速。如此庞大的用户需求强烈刺激各类信息业务的发展，从而对IP网络的结构和容量都提出了很大的挑战。目前，由于国内的源站服务器（如新浪、网易、腾讯等）大都部署在其他运营商的IDC数据中心机房内，对于国内某运营商来说，这势必带来了以下问题：

某通信运营商和其他通信运营商的互联互通上存在带宽瓶颈问题，网间内容访问带宽受限，内网用户访问外网内容质量差，以及外网用户访问本网内容质量差，导致用户体验下降。

由于国内Internet资源，主要在其他运营商网内，某运营商必须依赖与其他运营商的网间链路带宽，网间链路带宽的扩容需要与其他运营商进行协商，有可能赶不上业务发展的需求。

为了解决以上问题，某运营商引入了Web Cache技术，从而有效减少网间出入流量，降低结算成本，提高用户上网体验。本文对某运营商Web Cache系统的全网部署方案进行论述。

2 Web Cache技术方案选择

2.1 Web Cache技术原理

Web Cache系统是在网络中部署缓存系统，存储互联网中的热点或特定内容，并引导用户的访问请求转发到Web Cache系统中，当请求内容访问命中，Web Cache系统直接将缓存Web数据返回给用户，从而降低客户访问互联网的时延，有效提升用户访问速度和业务质量、解决互联网出口的拥挤问题，从技术上解决由于网络带宽小、用户访问量大、网点分布不均等原因所造成的用户访问网站响应速度慢的问题。

目前业界传统的Web Cache系统技术实现方式主要包括策略路由、HTTP重定向和DNS重定向3种方式。

2.1.1 策略路由

策略路由方式指Web Cache系统旁挂在骨干网网间出口路由器上，当用户请求的数据到达出口路由器时，路由器通过策略路由将用户请求转发到Web Cache系统。如果用户请求的数据已经在Web Cache系统中缓存，即命中，Web Cache系统直接将数据返回给用户。如果用户请求的数据未在Web Cache系统中缓存，即未命中，Web Cache系统将主动到互联网请求数据，将响应数据发送给用户，同时在Web Cache系统中保留一份数据，从而达到一次缓存多次服务的目的。

2.1.2 HTTP重定向

HTTP重定向方式（HTTP 302重定向）主要针对HTTP GET应用层请求进行解析，在网间出口链路处部署深度分组解析（DPI）设备，DPI深度分析旁路复制的数据流量并把HTTP请求报文复制给全局负载均衡（GSLB）设备，全局负载均衡设备对HTTP请求进行判断。若用户请求的内容命中，即已经缓存在指定的Web Cache系统中，则将Web Cache系统相应服务器的IP地址返给用户，用户重新发起至Web Cache 的HTTP请求，并丢弃正常HTPP请求返回结果（网内速度快于外网返回的正常HTTP请求）。若用户请求的内容没有命中，则不对用户请求进行任何操作，用户等待正常HTTP请求并按照原来的路径向外网获取内容。

2.1.3 DNS重定向

DNS重定向方式指Web Cache系统主动或被动缓存网站的内容，通过配置相关策略劫持DNS解析请求，如果用户访问某网站（Web Cache已缓存），直接返回Web Cache系统的IP地址，由Web Cache系统响应客户请求。DNS重定向的配置策略主要包括两种途径：

第一种是在DNS服务器上配置，由DNS服务器判断用户的DNS解析请求是否是访问某网站。若是，则DNS服务器向用户直接返回Web Cache系统的IP地址；若不是，则返回源服务器的地址。

第二种是通过在网间出口路由器上旁路部署DNS重定向系统，通过DPI设备复制用户的DNS解析请求，由全局负载均衡（GSLB）设备判断用户是不是访问某网站。如果是，则向用户返回Web Cache系统的IP地址，如果不是，则不处理，由外网DNS服务器返回源站地址。

2.2 运营商对Web Cache技术的选择

综合考虑到以上几种Web Cache技术，其中策略路由方式和HTTP重定向方式有以下不足之处：

策略路由方式为静态路由，不能根据网络状态变化动态改变路由策略，将在网络出现链路故障或设备故障时出现路由环路，引起整个网络的震荡，导致业务产生故障。

HTTP重定向方式大部分采用对HTTP大文件或HTTP下载进行重定向，很少对Web页面的小文件（小于1Mbit/s）进行HTTP重定向，且用户IE浏览器地址栏显示的为Cache系统的IP地址，不为源服务器的域名，有可能会引起用户投诉。

综上所述，运营商一般均会采用DNS重定向方式进行Web Cache系统的部署。而对于两种DNS重定向方式，由于修改全国31省的DNS配置，需要对省DNS进行统一管理和维护，会增加工程的复杂度。所以，运营商一般在全网部署Web Cache系统时，一般会采用在网间出口路由器上旁路部署DNS重定向系统的方式，此种方式对省DNS无改造需求，能够更快速的部署。

3 某运营商Web Cache系统部署方案

3.1 Web Cache系统架构

采用DNS重定向方式建设Web Cache系统，根据其功能系统主要由3个部分组成，包括重定向系统（Redirector）、Web Cache系统和管理系统。具体系统架构如图1所示。

（1）重定向系统：包括深度分组解析模块和全局负载均衡模块。

—深度分组解析（DPI）模块：通过在网间出口链路进行无源分光，实现对网间数据流量的精确识别与解析。在识别出报文协议或会话类型后，支持按照指定的配置策略将满足匹配条件的DNS请求流量转发至全局负载均衡功能。DPI设备能够支持配置转发规则，规则可以是为指定协议类型、IP地址、端口号、流量方向、应用层特征等组合，处理时仅匹配满足设定规则的IP报文,将满足匹配条件的原始IP报文从指定接口转发到全局负载设备。

图1 具体系统架构图

全局负载均衡（GSLB）模块：处理由深度分组解析功能转发的用户DNS请求报文，根据资源分布情况、Web Cache系统状态和IP地址配置，生成用户的DNS请求响应消息。如果监测到Web Cache系统不可用，则不对用户DNS请求做出响应；如果Web Cache系统运行正常，则将WebCache系统的IP地址作为DNS响应消息内容发送至最终用户；

（2）Web Cache系统：包括负载均衡功能和Web Cache服务功能。

负载均衡模块：对互联网流量和缓存内容进行管理分配，提供多种负载均衡算法将数据流有效分发至Web Cache服务功能。

Web Cache服务模块：通过缓存策略存储互联网资源，对于命中内容则直接向用户提供服务，对未命中内容代理用户向源站请求获取相关内容，支持对缓存内容进行策略管理。

（3）管理系统：管理系统采用全网统一建设和部署的方式，提供Web Cache系统各功能实体的性能监测和系统配置等功能。

性能监测功能：支持对重定向系统和Web Cache系统的可用性、设备性能、网络性能等指标进行实时监测。

系统配置功能：支持对需要实施DNS重定向的URL进行配置，例如TOP 100或者重点集团客户的站点资源，提供热点管理相关策略等参数的配置，要求配置的策略能够自动在全网重定向系统和Web Cache系统上生效。

3.2 全网部署方案评估

目前某运营商主要通过北京、上海、广州3个骨干出口节点与其他国内或国外运营商进行互联。对于Web Cache系统的部署，有两种设置方式：集中放置和分散放置。

集中放置：在某运营商全网设置一套Web Cache系统，为全网用户提供服务。

分散设置：在全网设置多套Web Cache系统，每套Web Cache系统分区域或分省为用户提供服务。

综合考虑两种方案，集中建设全网一套系统，会导致全网用户集中向一点进行访问，增加Web Cache节点至全国各省的骨干网的带宽，对现网路由器板卡影响大。而且单点系统故障，会影响全网用户感知，造成访问速度慢、质量差的问题。Web Cache系统分散方案系统设置更加靠近用户，用户体验比集中设置较好，且对现网数据流量流向影响较小，若Web Cache系统故障，还可将访问引流至其他Cache系统。

另外考虑到今后随着Web Cache系统由独立建设、独立调度，向多点建设、跨域调度发展，会逐步形成分布式Cache系统。该系统的分布式理念和CDN是一致的，采用的都是将热度最高的内容向最靠近用户的位置存储，并可跨域向其他节点调度所需资源。和传统CDN的主要区别在于，Web Cache系统的内容是互联网内容，通过用户和第三方不感知的重定向方式将其缓存于系统中，而传统CDN则是缓存和分发合作方的签约内容，使用的是直接由第三方的DNS调度方式进行资源定向。

未来，通过对Web Cache的分布式系统建设，可以搭建出和CDN系统框架一致的分布式Cache系统，利用该系统可以支持被动缓存和主动内容分发两种模式的服务。

所以， Web Cache系统采用分散设置方案，考虑Web Cache为初期建设，可在北京、上海、广州3个骨干网出口节点设置3套Web Cache系统，在北京、上海和广州的骨干网出口设置DPI和全局负载均衡设备，将热点内容重定向到北京、上海和广州的Web Cache系统中。

4 Web Cache系统今后的部署探讨

对于Web Cache系统，当业务发展迅速、出网流量更快增加时，可以在各省的省网出口部署Web Cache系统，将全网Web Cache系统升级为一级Web Cache系统，形成一级Cache和省级Cache两级架构。两级Web Cache系统均由一套全网管控中心进行内容的调度。

一级Cache为省网Cache提供缓存服务，减少省网Cache出网次数，降低出网流量。一级Cache网络位置高于省网Cache，因此，一级Cache可截获省网Cache的出网请求，并为其提供服务。同一个一级Cache对应多个省网Cache，因此，一级Cache将热点内容存储于本地，可避免多次出网。

对于全网的热点内容，将TOP N热点域名分成3组，北京、上海、广州分别负责第一组、第二组和第三组的出网访问，也称为该组域名的出网访问点。对于第一组的内容，只能由北京一级Cache出网访问，上海、广州如果需要访问第一组的内容，直接向北京一级Cache请求。第二组/第三组的内容类似处理。通过Cache内容管理平台对TOP N热点域名进行分组，并以白名单形式下发给各一级Cache。

5 结束语

Web Cache系统在某运营商的部署，有效缓解了某运营商出网拥塞现状，提高了服务质量，增加用户满意度，减少网间结算费用。随着Web Cache系统的部署和技术的演进，运营商也可以慢慢将Web Cache系统作为CDN系统一部分，所以Web Cache 系统在运营商的部署是相当有意义的。

[1] 中国移动通信集团有限公司. 中国移动Web Cache系统总体技术要求1.0[S]. 2011.

[2] 中国移动通信集团有限公司. 中国移动Web Cache系统设备规范1.0[S]. 2011.