基于SDN的流量监控研究

江苏省未来网络创新研究院 南京 211100

引言

随着大数据相关业务的激增和网络威胁的增长，对网络流量的安全性、可监控性、可分析性需求日益增长。网络基础设施的规模、类型和速度的高速发展，迫切需要部署更多的安全、监控分析工具，也促进了人们对安全、监控工具性能可视化与网络智能化的需求[1-3]。

目前的大多数工具都无法访问网络真正的物理层和连接层，主要原因是它们完全依赖于交换机端口分析器(SPAN)端口、传统的聚合器以及NetFlow。这些技术提供了一定程度的数据聚合，但是忽视了连接层可视性这一关键因素，无法有效感知其发展态势。行业需要的是智能化水平更高的网络安全和监控解决方案，其能够为察看连接层提供颗粒级的可视性。集成了安全、优化与可视性的系统解决方案NPB代表了一种新型的提供可视性和中转网络数据包方案，其优化和升级了网络交换机的连接，以及整个网络的性能与安全分析能力，让IT和安全管理部门能够有效感知态势，使得企业对事件响应速度得到了大幅提升。

NPB作为一种新型数据包中转方案，固然有上述优点，但其价格昂贵，扩展性、灵活性不强，那么有没有更好的流量监控方式呢？SDN(Software-defined networking)作为未来网络的一种发展方向一经提出倍受业界关注。它将网络设备的控制平面与数据平面分离，并将控制平面统一到独立的控制器中，并且能够通过网络编程动态改变网络状态和结构[1-2]。这种集中控制方式可以让网络管理员轻松地管理、规划网络，由此带来的灵活性、开放性、经济性是不言而喻的。基于SDN上述特性而设计的新一代网络大数据流量监控分析系统应运而生。本系统由江苏省未来网络创新研究院联合北京邮电大学、戴尔公司、Big Switch等研发而成。

1 基于SDN的流量监控研究

依据SDN集中管控流量调度灵活特点，提出了以SDN网络体系代替单一NPB设备，以经济通用的硬件平台代替价格昂贵、按端口收费的专业设备，从而达到降低专有硬件投资，适应快速增长的流量监控需求。大数据流量监控分析系统的基于SDN理念决定了它灵活性强、兼容扩展性好、能很好整合现有的设施以及未来可能新增设施[4-6]。它可以将流量复制到使用SDN软件和现成交换机的监控工具上，这样一来，同样的投入可以满足传统情况下三、四倍的流量监控。

基于SDN的网络大数据流量监控分析系统除了控制器外主要由以下几部分组成：策略管理、数据分析。

策略管理分析系统可以分为基于SDN的Tap分流和基于服务链的数据流控制两部分[5]。基于SDN的Tap分流能将离线流量中转投递、合理分发至监控、分析等数据处理工具，基于服务链的数据流控制可以将服务设备以服务链形式嵌入到生产网络中，减少对生产网络端口占用并实时动态的对服务链进行编排调配。各部分功能特性如下。

1.1 基于SDN的Tap分流

随着数据中心网络改而采用现代10G/40G/100G设计来满足云计算、数据分析、4G/LTE移动服务需求，对应的流量监控网络也需要改而采用新一代设计。数据中心规模、带宽和流量呈现指数级增长，这些一直在考验着传统监控监视/监控设计方案的极限，传统的采用基于专有网络数据包代理(NPB)逐设备监控的方法，不但成本高昂，而且在运营上也极其复杂[3]。

而基于SDN的Tap分流采用横向扩展体系结构，根据需求可以设计一系列网络拓扑结构(从单交换机连接结构到横向扩展的多交换机/多层连接结构)[2,4]。典型的多层连接结构设计包含一个标记为过滤交换机的开放式以太网交换机层，一个标记为传送交换机的开放式以太网交换机层，以及中间的标记为核心交换机的开放式以太网交换机层，如图1所示。

过滤(Filter)接口：过滤交换机层的交换机接口都连接到生产网络中的分路器接头或者交换机/路由器/防火墙SPAN端口，并且在控制器软件中可配置为过滤接口，过滤接口的数据包经由这类接口传入连接结构。传送(Delivery)接口：传送交换机层中交换机接口则连接到各种工具(如性能分析、安全分析)，并且在控制器软件中可配置为传送接口。服务(Serivce)接口：核心交换机层中的交换机聚合来自各个过滤交换机的流量，然后将他们发送至传送交换机前，可以通过这类接口发送到一个或多个NPB提供特定的数据包修改服务(例如重复数据删除或数据模糊处理等)进行修改。

基于SDN的Tap分流具备SDN集中管控优势，在控制器软件中可以配置灵活的策略实现指定流的监控分析。以配置一条流监控策略为例，配置步骤包括配置过滤接口、传送接口、服务接口、流操作动作、流量匹配规则等。匹配规则可以根据Ethertype、IP Protocal、IP DSCP、VLAN(s)、源地址范围、目标地址范围、深度包偏移等特征来提取数据流量。基于SDN的Tap分流拥有策略冲突检测[4,6]功能，并在允许范围内(冲突指数4)自动解决冲突，大大简化了多租户[7]场景下的冲突策略解析，减少用户运维负担[4]。如图2所示场景，检测到冲突策略时，默认情况下Big Tap会动态创建优先级更高的新策略以覆盖冲突策略[4]。

图1 基于SDN的Tap分流网络结构

图2 策略冲突自动检测与解决

图3 基于SDN的Tap分流的多层次流量匹配

图4 基于SDN的Tap分流远程位置流量监控

Tap分流正常运行后自动采集生产网络信息，将数据流选择性的投递到策略指定接口或服务接口进行监控分析，它还集成了主机、DHCP、DNS、子网追踪功能[7-9]。主机追踪能根据流经过滤接口的生产网络流追踪主机信息，可视化显示主机的MAC、IP、VLAN等信息；DHCP追踪能发现DHCP服务地址、客户端数、租期、子网信息；DNS追踪能方便管理员清晰了解生产网络中的DNS服务器、域名及子网；子网追踪能发现每个VLAN域的2层字段[7,10]。

Tap分流可以基于硬件实现数据包分层匹配功能，从而可以识别应用程序协议及其属性。对于每个数据包，Tap分流能以线速匹配最多128个字节，因此，可以编写更为复杂的监控策略。对于诸如MPLS、VXLAN和GRE等封装数据包以及GTP和SCTP等移动4G/LTE协议数据包[8,11-12]，监控策略可以按内部表头字段进行匹配，如图3所示。

基于SDN的Tap分流不仅局限于本地流量监控，它也可以通过GRE隧道跨越广域网监控异地流量，这意味着可以跨越多数据中心或分支机构监控[11-12]，促进监控工具共享，如图4所示。

基于SDN的Tap分流具体特点可以归纳如下。1)操作简单：配置简单，管理方便，诊断便捷，集中化控制。2)扩展性好：可以在任何机架、甚至任何位置监控，1/10/40G接口可混合监控，支持3G/4G/LTE 等移动协议流监控，对于多监控工具能做负载均衡，监控设施可根据流量增长及业务需求变化弹性扩展。3)经济性好：可以节省60%以上的前期设备投入和后期运行维护费用。

1.2 基于服务链的数据流控制

由于网络攻击层出不穷，企业生产网络的安全变得前所未有的重要。此外，随着网络需要提供更多服务(如云计算[10]、大数据和个人便携终端)，监控、保护网络的安全手段也在快速变更。

因此，设计具有高性能和适障能力的网络并保持这些特性，同时确保这种网络合规且可防范入侵/攻击至关重要。为了化解这些难题，企业在其DMZ环境中偏向于使用在线式监控和安全保护机制[7-8]。安全工具如果采用在线式部署方式，就可以访问每一个数据包，并主动防范或阻止检测到的入侵行为，使入侵行为在未发生或发生早期即被阻止。但是，在线式安全体系结构在高可用性、连续维护和可扩展性方面带来了新的难题。

基于服务链的数据流控制可以在DMZ内实现无所不在的安全保护，解决传统解决方案所面临的难题，同时还可降低成本并以SDN为中心实现轻松运营。

基于服务链的数据流控制包括一个SDN控制器和多台以高可用性配置部署的开放式以太网交换机。在线式安全保护工具直接连接(也可以选择通过链路聚合进行连接)到生产网络中的以太交换机。基于服务链的数据流控制使用SDN 控制器作为集中管理点，并配置相关策略为在线式工具创建虚拟路径。这种解决方案支持同一资源池的多个实例之间的负载均衡，以及根据策略来将一组工具(服务)关联成服务链。

实现基于服务链的数据流控制，需要在控制器上配置如下的网络元素。1)服务链：提供在单一或所有方向上应用服务的双向连接。2)服务：定义策略，根据策略匹配规则将流量投递到指定工具。3)SPAN(可选)：定义策略，复制匹配策略规则的流量投递到SDN交换机上指定的端口上，然后转发到被动式分析工具进行进一步分析。

如图5左侧所示，在Internet路由器和生产网络交换机间插入一个对称式服务链，它应用了防病毒软件和IPS服务。图5中的数字表示在正向和逆向应用对称式服务链时发生的事件。流量被生产设备转发到SDN交换机端口上，然后转发与配置策略匹配成功的流量。在服务处理完成后，服务链传输处理的流量到另一个生产设备。

在对称式服务链中，同样的服务链应用在所有方向。如果服务链中定义的的服务为必须的，一旦服务链中的某一个服务出于某些原因变得不可得，整个服务链都将会失效。如果服务定义为可选的，这样当服务不可用时就会跳过，应用下一服务。在非对称链中，不同的服务会应用在正向和反向。如图5右侧所示，两个服务分别应用在正向和反向的一个服务链，反向流量(生产网络到外部网络)跳过IPS服务，并且从防病毒软件服务直接到达外部路由器[7]。

基于服务链的数据流控制中最佳的拓扑形式是配置SDN交换机高可用性的对称冗余服务链。在这种情况下，如果一个服务链出于某种原因(如服务链中的某个服务不可用)失败时，SDN交换机会禁用生产设备入接口。而生产设备检测到入接口关闭时，它会引导流量到其他聚合链路，实现高可用[8]。

图5 基于服务链的数据流控制网络结构及流程

在高可用性部署中，SDN交换机配置相同的服务链、策略和服务配置。同时，系统的IP健康检查可以对每个服务节点的ARP广播的进行响应。如果服务节点没有对ARP包响应，则该服务节点会被标记为不可用并且流量会被转移到其他服务链上从而避免由于工具不可得或者过载而导致的流量中断。也可以配置生产设备冗余对，即传统的设备高可用。在这种情况下，每个SDN交换机加入多交换机LAG(mLAG)以消除单点故障[7-8]带来的影响。

综上所述，基于服务链的数据流控制主要的功能亮点。

1)高可用性体系结构

实现基于网络层面的高可用，降低设备成本。

对于网络工具或控制器故障具备很高的适障能力。

支持对在线式工具进行健康状态检查。

2)将工具关联成链

支持将多个工具(服务)关联成链，并依次应用。

支持传入/传出DMZ的流量的多服务链匹配。

3)工具超额认购/负载均衡

在带宽较低(1G/10G)的工具的多个实例之间对较高的数据带宽(10G/40G)进行负载均衡，避免过载造成的故障。

4)提高工具效率

匹配即所得，即仅发送匹配成功的流量，减少贷款冗余占用。

支持动态、程序化(基于REST API)的配置，控制交换机丢弃某些流量(例如DDos)。交换机会在本交换机出口处丢弃所标记的流量，而不是将流量发送至工具加以丢弃。

5)简化涉及多个团队的运营工作流

采用单一平台管理/配置机制：不需要使用容易出错的复杂PBR；可以轻松地进行负载均衡或将工具关联成链。

通过基于匹配规则的SPAN复制匹配成功流量(以线速)，并发送到离线工具做进一步处理。

SDN控制器是用来进行在线/离线监控的统一管理点。

1.3 基于ELK的流量大数据分析

基于SDN的网络大数据流量监控分析系统不仅具有基于SDN的Tap分流和基于服务链的数据流控制功能，还提供生产网络流量可视化监控工具Analytics。Analytics与控制器交互获取流量数据，并将其存储为历史数据用以统计分析。Analytics带有预定义的统计分析面板，可以对生产网络流量进行可视化统计分析。用户也可自定义面板，满足个性化需要。Analytics系统对于运行环境系统资源要求较高，一般单独运行，防止影响其他系统性能。

Analytics系统是以ELK(Elasticsearch+Kibana)开源项目为基础开发而来。Elasticsearch是一款高效的全文检索工具，它对全文检索大体分两个过程，索引创建(Indexing) 和搜索索引 (Search) 。索引创建：从现实世界中所有的结构化和非结构化数据中提取信息，创建索引的过程。搜索索引：接受用户的查询请求，搜索创建的索引，然后返回结果的过程。其创建和搜索程如图6所示。

Analytics预定制的统计分析功能包括： DHCP、DNS、Host、ICMP、sFlow等流分析，还可监控分析系统本身运行状态，如系统状态、策略状态、策略端口状态、端口状态。Analytics对上述网络流量特征已经预定义了多种组合统计面板，如果需要自定义自己的统计风格，可以通过Analytics系统提供的面板自定义功能创建。

图6 Elasticsearch索引、搜索流程

Analytics系统获取数据的流程图如图7所示。

Analytics系统的数据直接来源是控制器，而这些数据分为三类。

1)sFlow协议数据：Tap分流网络中的每台交换机都安装有sFlow的流量采集器，采集到的流量上传到控制器，并由控制器统一转发到Analytics系统。

2)控制器封装TCP数据：控制器向交换机下发流表将ARP、DHCP、ICMP和DNS等数据包封装到PacketIn包中上报到控制器，控制器再解封将数据取出并封装到TCP确认帧中传到Analytics系统。

3)syslog协议数据：syslog协议数据中存放了系统事件状态(例如失败)、配置更改(REST、CLI或GUI)、租户/网段/设备终端链接或分离等信息，控制器将syslog协议数据直接传到Analytics系统。

Analytics将以上数据流量按照关键信息创建索引存储。当用户进行统计分析时，Analytics利用高效的检索能力快速生成统计数据，让用户可以实时对网络进行量化分析监控。

2 实践验证

2.1 基于SDN的Tap分流实践

图7 Analytics数据处理流程

图8 Tap分流部署

为了在实践中验证系统相关功能，以内部网络流量作为生产网络流，部署一套监控验证系统，其组网结构如图8所示。由图8可见，生产网络中的流量被镜像到10.33交换机端口中，其中10.33、10.35为监控网络中的分流交换机，负责网络流量的接入、处理、传送。

以抓取ICMP包为例，来演示如何通过策略配置自定义抓去关注数据包。首先在新建策略中，在抓取规则中选择数据包类型IPv4、IP协议选择ICMP，而后选择流入口(过滤端口)以及流的出口(传送端口)，创建采集过滤规则。

此时我们通过wireshark传递端口抓取数据包，可以看到ICMP被精确提取并投递到了指定端口处，如图9所示。

如果希望抓去ARP包，可修改上述策略将以太网类型改为ARP，此时再抓包，发现只有ARP数据包，如图10所示。

如果删除策略，再次抓包将不会抓到相关数据包，这表明此监控系统可以通过策略配置精准提取生产网络流量，并可根据设定端口灵活、智能投递流量。

2.2 基于服务链的数据流控制实践

服务链部署环境与Tap分流一致，如图11。当外部流量进入内部网络时先经过由服务链交换机(10.34)构建的服务链，对流量进行处理后再进入到内部网络中。通过灵活配置服务链策略可以精确控制服务链的流入流量，并引导流量按照预定义的服务链顺序流经不同服务，如IPS等。

由于服务链入口引入的是生产网络的流量，因此，流类型较多，在服务链入口处抓包可以看到多种类型流量，如图12所示。

配置一个过滤策略只过滤出UDP包，此时在策略定义的出口处抓取数据包，只能看到UDP包，如图13所示。

如果换成提取其他类型数据包，如ARP抓包观察同样如此。

2.3 ELK的流量分析

ELK预定制了一批流分析面板，例如DHCP、DNS、Host、ICMP、sFlow等，还可根据实际需要自定义统计方式。以sFlow为例，可以定制的统计方式有：按源IP、目标IP对数据包排名，按源端口、目标端口、以太网类型等特征对数据包统计，也可以绘制数据包时间曲线，甚至制作IP区域分布图等。

图9 ICMP数据抓包

图10 ARP数据抓包

图11 服务链部署图

图12 混杂数据包

图13 UDP数据抓包

3 总结

基于SDN的网络大数据流量监控分析系统灵活性强、兼容扩展性好、能很好整合现有的设施以及未来可能的新增设施。该系统既实现了离线流量的自由调度、智能监控、分析，极大提升了流量监控、分析的效率和效果；又实现了网络服务的自由定制、实时编排调配以及网络层面的高可用，极大减少了在网络设备、网络维护人员方面的成本。本系统兼具了传统NPB的网络监控、数据分析的高性能、可视性以及SDN的可编程集中管控的便捷性、灵活性。其具有可扩展的架构、简化的操作和裸机经济、性能高等优势，正在迅速成为替代NPB的诱人方案[8]。

参考文献

[1] 黄韬,刘江,魏亮,等.软件定义网络核心原理与应用[M].北京:人民邮电出版社,2014

[2] Software-Defined Networking:The New Norm for Networks[2015-11-20].[EB/OL].Open Networking Fundation,2012.https://www.opennetworking.org/

[3] 移动互联网白皮书[R].工业信息化电信研究院,2014

[4] Thomas Nadeau,Ken Gray.SDN: Software Defined Networks[M].USA:O'Reilly Media,2013

[5] 王鹃,王江,焦虹阳,等.一种基于OpenFlow的SDN访问控制策略实时冲突检测与解决方法[J].计算机学报,2015(4):872-883

[6] 孙鑫.面向云环境数据中心的高效资源调度机制研究[D].北京邮电大学,2012

[7] Thomas D. Nadeau,Ken Gray.软件定义网络:SDN与OpenFlow解析[M].USA:O'Reilly Media,2013

[8] 汪洋.软件定义集中式数据中心组网架构及关键技术研究[D].中国电力科学研究院,2014

[9] 魏祥麟,陈鸣,范建华,等.数据中心网络的体系结构[J].软件学报,2013(2):295-316

[10] 朱明明,夏寅贲,徐小飞.基于SDN的数据中心网络研究[J].邮电设计技术,2014(3):23-29

[11] 李呈.网络功能虚拟化[2015-11-20].[EB/OL]http://www.sdnlab.com/

[12] sherkyoung.大二层环境下下多租户网络研究[2015-11-20].[EB/OL]http://sherkyoung.github.com/