互联网流量监控疏堵技术的研究与应用

2010-08-09盖玲

电信科学 2010年11期

盖玲

(江汉大学政法学院公共管理系武汉430056)

1 引言

海量数字内容已经引发互联网流量出现10倍甚至百倍的急速增长——互联网数字洪水时代正式来临！

未来5年，互联网每年的流量增速将高达56%～80%，即相当5年的带宽需求将增加10～20倍，通过对流量增长原因进行深入分析发现，P2P是占主导地位的增长因素，网络视频类业务也正在成为另一个非常重要的增长因素，而网络视频类业务又多是基于P2P及相关技术进行提供的，因此，深入剖析P2P相关技术及管控手段是解决数字洪水挑战的关键。

P2P具有去中心化、叠加式网络模型和对等性功能模型的特点，这使得P2P技术与传统的C/S模式之间有本质的区别，也正是在这些优点让P2P应用迅速普及，应用涉及的领域越来越广，已经从单一的大文件下载转变为更多的新型多媒体应用，例如P2P直播和P2P语音通信。但是，P2P快速发展所带来的负面效应也正在显现，最突出的矛盾就是对网络资源的滥用。不管运营商的网络带宽如何增加，P2P应用总是会尽力抢占所有可用的带宽，这种“黑洞效应”直接影响到运营商网络建设的投资积极性，同时也会导致其他用户满意度下降，引起用户投诉或转网，进而间接导致运营商的商业利益受损。

对P2P进行控制和管理已经变得非常必要和紧迫，目前主要采用的手段是部署流量分析及控制设备，通过对P2P应用进行分析和识别，采取阻断或限速等措施。这种方案优点是可以控制、管理、识别P2P应用，以此来保证带宽和其他业务的QoS；局限性也十分明显，通过阻止用户使用来缓解带宽的拥挤，会导致用户的使用体验和满意度下降。显而易见，这种采取简单“封堵”思路的解决方案并不是最佳选择。

“疏堵结合，为我所用，一方面对非法的能够想办法疏堵的还是要堵一堵，否则电信的投资都白投了，另一方面争取化害为利，为我们所用。”这是中国电信集团的总工程师韦乐平先生对于管理P2P所给出的策略和建议。“疏堵结合”符合运营商、内容提供商和最终用户三方利益的“3Win”原则，是目前缓解数字洪水的最适合手段。“疏”是指实现流量的高度本地化，减轻骨干网络的压力和提升用户使用体验；“堵”是指对带宽进行必要限制，保护运营商网络投资的商业价值。

2 互联网流量监控疏堵技术的研究

2.1 互联网流量监控

对互联网流量进行疏导或者封堵，首先需要对互联网流量进行分析和识别，目前主流方式为采用DPI＋DFI检测技术，通过7层特征检测结合行为特征检测技术保证流量识别的准确性，主要涉及的检测方式包括端口检测、应用层特征分析、高速协议解析、关联识别和基于行为特征的检测。

（1）特征识别

特征识别可以分为单包匹配、多包匹配、多流匹配以及动态解密。

·单包匹配：对于大部分协议，通过一个报文的特征就能识别出该流协议类型。传统方法需要在构建完协议识别规则树后，遍历规则树，将报文与每个规则进行逐一匹配。通过建立多模式匹配状态机，对单个报文的一次扫描即可找到报文中的所有特征，大大提高了协议识别的性能。另外，华为公司通过专利技术对普通多模式匹配算法进行了优化，进一步提高了协议识别的性能。

·多包匹配：对部分协议仅靠检测单个报文无法准确识别该流的协议类型，这时需要分析一条流的多个报文才能准确识别出其协议类型。通过建立多包匹配规则，根据多个报文中的特征来综合判断某条流的协议类型。例如，对某VoIP软件，如果符合连续3个包在几个相应位置的值满足等差关系，即可识别该流的协议类型。

·多流匹配：对部分协议仅靠检测单个流的特征无法准确识别该流的协议类型，这时需要分析多条流的多个报文才能准确识别出其协议类型。通过建立多流匹配规则，根据多个流中多个报文中的特征来综合判断多条流的协议类型。

·动态解密：对一些采用简单加密技术的协议不能通过常规特征识别方式检测出其协议类型，此时便可以采用动态解密技术帮助进行识别。例如，对于某网络电视软件的检测，通过在报文中用动态解密算法取出一个字段用作动态密钥，然后用此密钥与该报文中的另一字段进行解密运算，根据运算结果便

可知道该流是否符合相关的协议类型。

（2）关联识别

对部分协议，在信令流中动态协商其数据流通道，先通过特征识别识别出其信令流，然后通过解析其信令流得到其数据流的五元组信息。通过对数据流的关联识别可准确地识别出该协议的数据流。例如，通过特征识别识别出FTP的信令流并加以解析，得到该FTP数据流的五元组信息，这样就可以直接根据该流的五元组信息准确识别出该FTP的数据流。

（3）行为识别

对某些采用加密技术的协议，无法解密检测其报文内容，采用别的识别技术也无法识别其协议类型，这时可以根据流的行为特征识别其协议类型。例如，在一定的时间段，可以根据一条流的若干报文长度和发报频率是否满足一定规律来识别“电驴”协议。

由于互联网发展日新月异，对互联网应用协议特征字的分析需要大量的人力投入和不断的技术跟踪，才能保证互联网流量检测的有效性和高效性。

2.2 互联网流量缓存技术

互联网缓存系统是“疏堵结合”中的“疏”，是对HTTP、P2P、在线视频等主要流量进行网内缓存。

互联网缓存系统的基本工作原理是用户请求进行过滤与分析，通过重定向、策略路由等方式将用户的请求转移到缓存系统。如果用户请求的内容属于已经缓存的热点内容，通过调度和缓存模块的协同工作为用户提供对应资源。热点内容的生成基于对用户行为的实时统计，相关判断条件可以自定义。如果用户的访问请求无法由现有热点内容满足，且访问请求已累计至可缓存的阈值，则可以获取、缓存相应的热点内容，并为后续的用户请求提供服务，最终达到将热点内容流量留在运营商网内，消除相同热点重复下载的目的。

该系统针对当前运营商优化网络流量、缓解出口带宽压力和提高用户体验的需求而设计，通常部署在运营商网络出口处。互联网缓存系统通常采用了以下技术。

（1）内网P4P调度

以BT协议为例，BT协议的Tracker服务器在返回Peerlist时，并不能判断哪些peer属于内网应该优先互相传输，而是随机地将列表发送给客户端，列表中既包含外网的用户，也包含内网的用户。

部署采用P4P技术的缓存系统后，系统就会将内网中保存有相同内容的peer地址优先传输给请求用户，而不需要向外网peer进行请求。通过优先调度内网用户之间进行数据传输，可以降低骨干网的传输压力，提高改良文件传输的性能。

（2）动态URL解析

基于安全性等因素的考虑，目前大部分在线视频网站采用了动态URL技术，一些网站使用了一次性或者具有时间限制的URL，另外一些网站甚至把用户的IP地址作为URL的一部分，所以不同用户或者同一用户在不同的时间访问同一个资源，看到的URL是不一样的。传统的基于URL的缓存技术将无法正常地发挥作用，互联网缓存系统采用智能缓存技术，通过分析资源的内容或者特定网站的URL变化规律，采用正则表达式进行匹配，实现精确的缓存能力。

（3）缓存内容防重复缓存

互联网上内容相同的资源经常会出现在不同的网站上，而且文件名也不一样。如果按照文件名和URL等信息来定位资源，将会造成内容相同资源的重复下载，浪费宝贵的互联网出口带宽。互联网缓存系统能够准确地判断互联网资源的惟一性，避免重复缓存带来的带宽和缓存空间的浪费，其实现原理如图1所示。系统自动将文件进行分片并预读取每片的前面几个字节，然后用Hash算法获得一个惟一标识该资源的Hash值，确保缓存资源的惟一性，举例如图2所示。

（4）缓存内容快速检索

缓存系统运行一定的时间后，系统中会保存大量的缓存文件，对文件查找速度造成影响。缓存系统使用文件HASH值惟一地标识某一缓存文件，并根据该HASH值建立对应的目录结构来存放缓存文件。

另外，缓存系统通过数据表映射、内存查找等方式，进一步提高缓存文件的查找速度，加快缓存系统的响应时间，更快捷地为用户提供缓存服务。

（5）缓存内容过期探测

在互联网中，被缓存对象一段时间后会发生变化(如删除、修改等)，缓存设备必须在它发生变化时更换过时的对象。缓存系统通过对不同类型的文件设定过期探测时间，超过此时间用户再次访问资源时，系统会启动对发生变化资源的探测，如果发现资源变化，立即删除过期资源并等待用户再次访问新资源，触发缓存系统进行缓存。

2.3 互联网流量干扰技术

互联网流量干扰技术是“疏堵结合”中的“堵”，可以根据策略对某些特定流量进行灵活控制，如限速或者阻断等。此功能通常集成在DPI设备上。

HTTP流量是与客户感知度最密切的流量，通常被认为是被保护的流量，无需进行流量控制。对于P2P流量的控制通常采用发送控制报文的方式实现。实际P2P流量阈值超过策略设定的流量阈值时，即启动P2P控制。当有新的P2P应用建立时，DPI设备模拟P2P会话链路报文，向会话中插入模拟报文来达到拆除会话或降低会话带宽的目的；同时对于已经建立的P2P会话，DPI设备也会选择性地插入控制报文进行控制，直到P2P流量低于控制阈值为止。

目前，P2P应用的流量传输基本上分为两类会话：控制会话和数据会话。控制会话完成相互认证以及数据会话的建立和维持；数据会话完成真正的数据传输。P2P应用的传输采用TCP协议或UDP协议作为载体。

对于采用TCP方式传输的P2P应用，系统可以通过拆TCP连接达到控制P2P流量的目的，当需要进行控制时，SPS模拟P2P会话链路报文，向P2P会话两端发送有RST标志的TCP报文来拆除TCP连接。

对于采用UDP方式传输的P2P应用，系统将根据具体的P2P协议构造报文达到减缓或终止P2P会话的目的。系统采用分析P2P控制会话的方法，模拟诸如终止、取消、降低速率等关键字来干扰数据会话的正常通信，从而达到控制P2P流量的目的。例如对于BT的控制，系统通过在控制会话中插入Chock消息限制流量，插入Cancel消息限制连接数。

3 互联网流量监控与疏堵技术应用

3.1 应用情况简介

国内某运营商面临互联网数字洪水时代所带来问题，而且由于历史原因，网间互联的问题制约着用户体验：其网内资源较少，需要通过其他运营商网络获取资源，网间结算费用很高；出口带宽出现瓶颈，且关口局的扩容是短期内无法解决的问题。因此，即使用户接入带宽充足，用户也不能得到很好的上网体验，造成用户下载文件慢、页面打开缓慢或失败、视频播放卡等现象。

面对这样的现状，运营商部署了互联网缓存系统以及专门面向电信级运营商和宽带运营商的流量缓存加速解决方案，用于对P2P、HTTP、在线视频等大流量应用的网内缓存，大幅提高了用户上网体验，并减少了出口流量。

3.2 系统架构

互联网缓存系统包含以下几个模块：流量监控模块、重定向子模块、调度模块、缓存模块、管理模块。

（1）流量监控模块

流量监控模块能支持主流的120多种协议的分析和识别。全网流量流向分析采用多种检测分析技术对IP网络的流量判定其数据包的协议类型、流向、流速和占用带宽，能够提供字节数、当前带宽、峰值流量、新增连接数、最大并发连接数、当前并发连接数等一系列网络流量实际测量的参数，并将其记录到数据库中。

（2）重定向模块

采用分析重定向技术，完成内网用户HTTP下载、P2P下载、在线视频播放请求的本地化。分析重定向技术是通过深度分析用户行为和对用户所请求的内容进行解析，得出用户行为分析结果，从而将用户的请求定向控制在指定范围内，实现对流量的管理和控制。

该模块包含流量采集分析模块和重定向模块两个子模块：流量采集分析模块采集互联网出口的流量，从中解析出用户请求(P2P、HTTP、FLV等)，为重定向提供数据支持；重定向模块进行用户下载请求的重定向处理，引导用户优先获得本地流量。

（3）调度模块

调度模块运用了负载均衡、缓存记录搜索、热点内容管理调度等技术。作为整个缓存系统的调度控制中心，实现了标准BTTracker服务器的功能，接收内网用户所有的Get Announce的请求，调度模块获得用户请求后，将含有内网用户IP和缓存模块IP的地址列表返回给用户。

除此之外，调度模块还对部署的多台缓存设备进行有效的负载管理，引导用户和已经存在缓存数据的缓存设备进行数据交互，增加缓存设备的命中率。调度模块在向用户发送peerlist时，优先分发内网的其他用户节点，引导内网用户之间互连，降低网络资源占用率，提高内网资源的利用率。

（4）缓存模块

缓存模块是整个系统的重要部分，运用智能缓存技术，将互联网热点资源缓存下来，其具体功能如下：调度系统将用户需要的BT、eMule/eDonkey、HTTP、在线视频等资源请求送到缓存模块，用户在下载时可优先从缓存模块里获取想要的资源，而不用连接到外部网络。缓存模块最大限度地节省了出口流量，让内网用户在本地下载资源，极大地减少了网络之间的流量，为运营商节约了带宽，减少了网间结算费用。

（5）管理模块

通过设置各种参数，提供多种管理策略，保证系统按照既定策略工作，同时可对运行状态和各种数据进行监控。当与流控设备进行对接时，实现统一入口、集中管理功能。管理模块具体功能如下。

·状态监控：对调度模块、缓存模块、重定向模块提供全面监控，实时监测各个系统的健康状态，保障整个系统能处在一个正常的运行环境中。

·统计报表：管理模块能够记录和分析系统产生的各种数据，生成日报、周报、季报等常规报表，支持数据的统计分析并生成曲线图，能够形象、真实地分析整个互联网缓存系统的运营状况，满足管理的需要。

·告警管理：对系统中产生的告警进行统一收集、统计，根据告警的级别调用相应的策略进行处理。