基于网络异常流量监测和溯源方案的研究

唐　逊（中国移动通信集团辽宁有限公司，沈阳 110179）

基于网络异常流量监测和溯源方案的研究

唐逊
（中国移动通信集团辽宁有限公司，沈阳 110179）

随着通信产业的发展，网络质量和稳定性显得愈发重要。DNS、SYN flood等网络攻击会占用现有的带宽，影响网络质量，而传统的防火墙又很难有效解决这类网络攻击，因此，对网络异常流量进行监测和溯源有着重要的意义。本文通过介绍网络异常流量监测和溯源分析系统的建设方案，阐述了系统的工作原理和实施方法，并结合当前现网数据对系统的实施效果进行了总结和展望。

网络攻击；流量监测；溯源

近日发现某运营商在骨干互联互通出口统计去往异网运营商方向上存在着大量的异常流量。这种网络异常的行为，大量地消耗了网络带宽和系统资源，网络拥塞使用户无法正常访问互联网资源，造成网络瘫痪，同时也大大增加了互联链路的结算成本。

因此运营商构建异常流量的自动监测、溯源及清洗体系势在必行。异常监测和溯源分析系统即针对这个问题，利用DPI（Deep Packet Inspection）手段能够自动发现由于流量突增而引发的网络异常，定位出异常攻击源IP，将信息发送给流控系统进行流量封堵，同时根据溯源结果，协调相应设备维护部门进行整改，从根本上解决问题，提升用户体验。

1　异常判断方式

1.1异常业务说明

1.1.1DNS攻击

DNS域名系统是因特网的一项核心服务，它将便于记忆的域名和IP地址相互映射，使人们更方便的访问互联网，而省去了记忆那些被机器直接读取的IP数串。但是由于DNS具有稳定性和公开性，加上缓存影响导致地址不能经常变化，并且，DNS服务器都会为多个网站或者用户提供服务，攻破一个服务器影响范围非常大，因此常成为黑客攻击的首选目标。

1.1.2SYN flood攻击

SYN flood攻击也是目前使用最为广泛的攻击方式之一，它充分利用了TCP协议3次握手机制的特点，伪造大量的源IP和端口的SYN报文，每个IP在向服务器端发送第一个SYN报文后，不再继续发送响应报文，导致服务器端在发送SYN+ACK的响应报文后，因为迟迟收不到响应报文而长时间的保持TCP连接，最终导致服务器因为存在大量的不完整连接而资源耗尽，最终导致拒绝服务。

1.1.3ICMP flood攻击

ICMP flood攻击是典型的无状态协议报文攻击。UDP协议是无连接状态不可靠的通道传输协议，本身不提供收消息反馈等机制，其通信的可靠性需要依靠其承载的应用程序来进行保证。黑客只需要伪造大量IP地址和小字节的UDP报文，针对特定的应用服务器及其端口号，大量分组发送冲击诸如DNS域名解析服务器、Radius认证服务器、部分网络游戏服务器及流媒体视频服务器等。这些攻击报文将导致目标服务器始终处在繁忙状态，从而影响正常UDP消息的处理。

收稿日期：2015-11-16

1.2异常业务识别技术原理

对于这些网络攻击，首先是能够正确的识别。通过利用DPI（深度分组检测技术），它是通过基于应用层的流量检测和控制技术。当IP数据分组、TCP或者UDP数据流通过DPI设备时，它会深度解析IP分组载荷的内容来对OSI 7层协议中的应用层信息进行重组，通过不同业务所携带的特征指纹进行识别，从而得到整个业务的内容。

以SYN攻击为例，正常的SYN报文是没有净荷的，而当发现SYN报文中携带了净荷内容，则视为异常攻击报文。

1.3异常流量判断方法

在日常中，我们认为流量是呈现一定周期性和规律性的，但当发现流量出现突增或突降时，即视为流量异常，可能出现疑似攻击行为，需要结合对应的业务特征来确定是属于具体哪类异常。

对于异常流量的判断，需要通过两步完成。首先获取流量的规律性，即基线，之后找出与规律不相符的异常值。获取规律性，主要查看随着时间的变化，各类可能存在异常的业务，如DNS等流量的变化情况，即时间和流量之间的关系。对于这种二维变量之间关系的研究，采用LOESS（局部加权回归散点平滑法）是查看二维变量之间关系的一种比较好的方法。

LOSESS算法： Data=Seasonal（周期）+Trend（趋势）+Remainder（噪声），其中Seasonal即有规律曲线。

1.3.1LOESS算法介绍

LOESS主要思想是选取一定比例的局部数据，在这部分数据中拟合多项式回归曲线，这样，便能观察到数据在局部所展现出的规律以及趋势。接下来，我们将局部范围从左往右依次推进，就能够计算出一条连续的曲线。曲线的光滑程度与所选取数据比例相关，比例越少，拟合越不光滑，反之越光滑。

算法数学模型：

其中，O（t）是时间序列，β表示趋势，αt是周期因素，p为周期。

算法最终返回的结果包括周期、趋势和噪声3个部分的分解值，参数含义如表1所示。即Data=Seasonal+ Trend+Remainder。

表1　参数含义示意图

1.3.2流量与时间关系研究

总流量趋势：选取6月10～24日数据进行分析，以1min时间间隔粒度来查看网络出口总流量和时间关系，获取3部分分解值，如图1所示。其中横坐标为时间，纵坐标分别为出入境总流量、季节变动、长期趋势、不规则变动。

图1　网络出口流量示意图

从图1中获知，以一天为周期，总流量呈现明显的周期性。并且，总流量的总体趋势趋于平稳。

2　系统实施方案

2.1攻击溯源流程

攻击溯源主要由以下8个过程（如图2所示）：数据输入、生成基线、流量监测、发现异常、异常告警、多维分析、异常处理和效果跟踪。

（1）数据输入：输入日常流量数据，通过业务识别，获取如SYN flood，NTP业务的流量。

（2）生成基线：通过前面介绍的异常流量判断方法，先由输入数据获取各类业务流量与时间的关系序列，发现其规律性，从而生成各类业务的自有基线，也可人为进行设置或调整。

（3）流量监测：对所关注的病毒、攻击类业务进行实时监测。

（4）发现异常：利用大数据系统，存储逐IP级的流量原始话单数据，当检测到流量突增突降时，可以定位到具体哪个IP异常。

（5）异常告警：系统可以将这个异常IP、异常业务通过邮件，告知相关人员，及时获知流量异常信息。

（6）多维分析：通过查看异常IP的历史情况、所属用户群，所属业务、目的IP等情况，来精准的判断此IP是否为异常IP。

图2　攻击溯源流程示意图

（7）异常处理：将异常流量监测系统与流控系统对接，确认为异常IP后，将异常IP信息下发给流控系统，进行异常流量封堵。

（8）效果跟踪：设备整改后进行流量持续监测与跟踪，查看异常问题是否解决。

通过以上8个步骤，完成异常IP的发现、分析、解决过程，从而达到异常流量监测与攻击溯源分析的目的。具体的实施方案如下。

2.2数据处理方案

系统使用Hadoop框架对存入HDFS中的原始话单数据进行分析，生成本地报表，导入数据库，通过Tomcat实现在Web页面上呈现。用户通过Web页面获得异常分析系统的分析结果。

系统的底层数据处理分析模块包括控制模块，预处理模块，攻击检测模块，攻击行为分析模块，后处理模块。

（1）控制模块：实现对另外几个模块的调用与异常处理。控制模块当检测到有新的数据到来时，调用预处理模块进行资源文件的更新与攻击检测模块检测攻击行为。当发现了攻击行为以后，调用攻击行为分析模块，对攻击行为进行分析。

（2）预处理模块：主要负责资源文件的转换与上传，资源文件用于原始数据中部分字段的转换，与攻击检测模块工作设置。

（3）攻击检测模块：攻击检测模块读取HDFS中的原始数据，检测是否有网络攻击行为发生。攻击检测模块检测的网络攻击类型为可插拔模式实现，可以通过修改资源文件，来实现不同攻击行为的检测。

图3　控制模块流程图

（4）攻击行为分析模块：攻击行为分析模块实现了在攻击行为发生的时候，对网络攻击行为进行分析。目前实现了攻击记录的过滤与攻击源的发现。

（5）后处理模块：后处理模块实现了更新下一次需要分析的文件名，并在本地创建Marker，用于将数据导入数据库。

各个模块间协作方式如图3所示。

2.3系统功能设计

首先，输入某出口流量数据，通过LOESS模型，获取对应出口流量模型，自动生成流量基线。对各个流量基线，可以设定一定比例作为上限值，也可设定固定基线，形成流量阀值，当某时刻流量触发阀值即会发生告警。

用户通过攻击溯源系统对网络提供实时监测，通过业务识别，对话单中涉及SYN flood等攻击业务字段的源IP，进行话单整合，通过一定的算法统计出这些具有攻击行为的TOPN源IP及流量进行呈现，网络正常时，源IP流量分布形成均匀圆环，同时，网络状态显示为“良好”；当发生网络异常时，某IP流量突增，实时监测圆环能及捕捉到这个信息，这时发现圆环某区占比增大，如图4所示，同时，网络状态显示为“异常”，并呈现报警信息，根据告警设置情况将异常信息邮件下发。

当网络中有告警发生时，系统会将异常IP加入黑名单，并对黑名单内的IP进行流量控制，用户可以在告警日志页面中通过时间、告警级别、IP、用户群等维度进行筛选，完成对告警信息的精确定位。对于异常IP，能够进一步详细分析，网内异常IP，能够查看它所属用户群，历史流量情况，都访问哪些目的IP，通过哪些链路，访问哪些资源；对于网外的异常IP，能够查看它所属的运营商，都有哪些源IP访问，哪些用户群，从而帮助查找出这个异常IP的具体行为、流量特征。

2.4实施效果

攻击溯源系统可以从接入侧将攻击过滤或引流，协助客户在远端完成控制，实现主动预警，通过IP溯源和异常流量控制，查出原因以及避免攻击给现网带来影响。系统实现了实时监测、自动溯源、主动预警、流量控制四大功能。

图4　不同状态下源IP流量分布

图5　实时监测效果图

（1）实时监测效果：溯源系统通过大数据系统分析原始话单，得到源IP等信息，以5min为时间粒度，实时显示源IP流量排名，目的IP流量排名，用户群流量排名，业务流量构成及分布。如图5所示。

（2）自动溯源效果：系统根据日常情况自学习形成流量异常判定模型，生成网络流量基线和流控门限，当网络发生攻击时，突增流量超过基线阈值，系统从用户群、链路、流向、业务等多维度进行分析，实时监控圆环能及时捕捉到异常IP信息。

（3）主动告警效果：当某IP的实时流量超过阈值时，系统自动生成告警信息，添加到告警日志，并及时发布告警邮件。截至目前，已发现共34次异常告警，12次未知TCP告警，10次未知UDP告警，6次DNS业务告警，6次SYN flood业务告警，系统对异常流量的告警准确率为100%。

（4）流量控制效果：利用大数据系统分析模块，对海量话单进行智能关联分析，系统对异常流量进行溯源。定位到异常IP后，系统将溯源信息下发给DPI硬件设备，对攻击源IP流量进行流量限制，起到远程自动控制的作用。如图6所示。

通过攻击溯源系统的部署，真正达到了实时监测、自动溯源、主动预警、流量控制的作用，能够对异常攻击源进行精准的定位，有效的解决了攻击对现网的影响。

图6　控制前后对比图

3　结束语

本文通过对互联网异常流量监测与溯源方案的研究，通过DPI业务识别技术对攻击流量的特征和类型进行准确识别，同时结合Hadoop大数据系统分析模块，对海量DPI话单进行智能关联分析，快速定位出网络中的攻击源，下发给流控系统进行双向异常流量控制和清洗，同时具备实时发布异常流量预警功能。通过上述方案的实施，大大降低了运营商网络互联出口带宽被攻击流量消耗，同时解决了现网清洗系统能力不足的瓶颈，与传统的基于IP五元组的NetFlow攻击溯源方式相比，此方案具有更高的业务识别准确率，更能确保网内业务质量的稳定运行。截至目前，异常攻击流量已由实施前的2 043 Mbit/s下降到3 Mbit/s，环比降低99.8%，效果显著。

［1］ 戴斌. 基于移动数据业务的DPI系统的研究及应用［J］. 北京邮电大学，2014.

［2］ 乔媛媛. 基于Hadoop的网络流量分析系统的研究与应用［J］. 北京邮电大学，2014.

［3］ 潘鹏志，胡勇. 一种SYN Flood攻击工具的实现［J］. 通信技术，2014，01.

Dialog斩获三星智能手机AC/DC适配器订单

12月3日， Dialog半导体公司宣布，其一款先进电源管理芯片组已被三星最新自适应快速充电（AFC）AC/DC适配器所采用。该定制芯片组包含三星专有的AFC技术。据估计，Dialog目前在用于智能手机、平板电脑和其它移动设备的快速充电适配器市场的占有率为70%，而三星智能手机适配器的设计赢单将使该份额进一步上升。

Dialog半导体公司电源转换事业部高级副总裁Davin Lee表示：“Dialog的快速充电解决方案在移动市场上越来越受欢迎，我们与三星的最新合作成功扩大了我们的领先优势。我们的解决方案提供一流的效率，全系列的尺寸、性能与成本，同时为三星这样的创新领导者提供有利的竞争优势。”

适配器中使用了3个互补的Dialog电源管理器件。iW1780一次侧数字控制器包含Dialog获得专利的SmartDefender先进打嗝技术，可防止当充电器线缆或连接器中发生软短路时造成过多热量聚集和损坏，从而实现更安全、更可靠的快速充电。iW627二次侧稳压器与iW1780 AC/DC控制器通信，以确定充电周期中每个时刻的最佳电压/电流。最后，iW671同步整流器用一个MOSFET取代了传统设计的二次侧肖特基二极管，并使用专有的自适应关断技术将效率提升至88%以上，从而减少适配器中产生的热量，为使用尺寸更小的外壳创造了条件。 （乔治）

Research on the detection of abnormal traffic and traceability

TANG Xun
（China Mobile Group Liaoning Co.， Ltd.， Shenyang 110179， China）

With the development of communication， the quality and stability of network is more and more important. When DNS， SYN flood attacks network， it will occupy existing bandwidth， the impact of network quality， and traditional fi rewall is very diffi cult to effectively address such attacks， therefore， the network abnormal traffi c monitoring and traceability of great signifi cance. This paper describes the construction of abnormal network traffic analysis systems for program monitoring and traceability， described the working principle and implementation methods， combined with network data on the implementation of the existing network effect of the system are summarized and discussed.

network attack； traffi c monitoring； tracing

TN918

A

1008-5599（2015）12-0037-06