APP下载

网络行为特性分析的网络管理预测研究

2019-10-23刘蔚

微型电脑应用 2019年10期
关键词:数据包流量监测

刘蔚

(陕西财经职业技术学院 会计二系, 咸阳 712000)

0 引言

快速发展完善的计算机网络技术使互联网得以大规模普及,进入了信息化时代对互联网络提出了更高的要求,网络设备的处理能力不断增强,网络行为特征受到不断出现的各类新应用及不断提高的链路速度的影响也发生了显著的变化,面临着提升服务质量的巨大挑战,为有效满足互联网的发展需求,最大程度降低人为因素造成的损失、确保网络稳定运行是互联网领域研究的重点之一。网络行为学随之逐渐发展和完善起来,在发现网络中各种行为模式的基础上,研究运行的网络行为特征,寻找关键因素和相变点,对网络状态做出预测和控制。本文主要对网络行为特征分析的网络监测过程进行了研究和设计,及时了解各类网络行为,使实时监测网络行为的各项要求得以有效满足。

1 现状分析

目前研究网络行为的常用方法主要包括:(1) 测量分析,对实际网络的性能进行测试,实现对定量的网络及测量数据的精确捕捉,课据此对发展趋势进行预测。(2) 仿真模拟,针对网络设备和网络链路通过统计模型的建立(使用模拟软件),完成对网络流量传输过程的模拟及网络行为数据的获取,为网络设计或优化提供依据。(3) 模型分析,网络模型通过使用数学方法完成构建(如自相似流量模型、吞吐量模型等)。但随着网络复杂程度的不断提升,需考虑的因素不断增加,增加了建立网络模型的难度,网络测量成为研究的主要途径,目前已发展出较多的方法,在网络监测过程中,反映网络状态的数据通过网络管理设备进行收集,但同数据采集技术相比其分析采集数据的能力较差,难以从数据中获取网络的运行规律,导致大量网络行为的理论模型得出的结论的说服力不足。本文主要对网络行为特征分析的网络监测过程进行了研究,并完成了网络监测系统的设计,有机结合了网络监测技术和数据分析技术,以各类行为(流量、端到端、路由、业务)为依据完成了评价指标及测量方法的设计,在筛选统计指标数据的基础上实现网络行为基本特征的提取及网络行为的数学模型的构造[1]。

2 系统设计

2.1 测量和分析指标

为规范对网络行为特性的认识过程需对网络行为测量指标进行定义,完成分析行为指标所需原始数据的获取,在此基础上对指标性质及网络行为规律进行归纳后完成网络行为数学模型的建立,网络行为的研究对象主要包括:(1) 流量行为,将包捕获工具布置于网络关键点实现网络流量分析指标(包括数据包级和业务流级)的获取。(2) 端到端行为,发送特定探测数据包后(从测量源端到被测目的端),根据网络的响应情况获取该段路径的服务质量。 (3) 路由行为,通过模拟器对路由数据信息进行搜集。(4) 业务行为,对主流业务状况通过主动测试法完成测量,对用户业务操作方式进行模拟,从客户端发起请求,根据服务器的响应情况掌握相关业务的性能状况。(5) 网元行为,各种网络控制信息通过SNMP 协议的使用获取。

实时获取和处理网络行为数据是网络行为监测的重点所在,这也是本文设计网络监测系统的重点,系统的功能划分如图1所示。

图1 系统的功能划分

可长期对网络行为进行数据收集,完成实时测试过程,将通俗易懂的网络实际行为指标提供给用户[2]。

2.2 系统整体架构设计

以使对各种网络行为测量需求得以有效满足,本文所设计基于网络行为特性分析的监测系统主要由测量平台、控制平台、分析平台构成,系统总体架构如图2所示。

图2 系统整体架构

(1) 测量平台,主要负责放置采集网络行为数据的工具(包括端到端测量、业务仿真、SNMP代理等工具),将探针(专门的计算机系统)布置于网络的各测量点中,完成各种数据的测量或导入,再向控制平台发送测量结果(本地探针会保存未完成顺利发送的结果)。(2) 控制平台,负责收集调配采集到的数据及发送测量命令,数据采集、分析及数据可视化通过控制平台的控制共同完成测量任务,对数据量旁大的网络行为监测采集数据进行精简后存入数据库。(3) 分析平台,主要负责对数据进行全面分析、整体分析与抽象处理,对原始性能数据进行整理,去掉其中无关于网络行为测量的大量数据,形成完备的可视化指标数据,最终实现行为指标数据集的构造,在此基础上完成对包括网络性能、应用行为、流量、路由、故障等在内的综合分析过程,此外还能够查询、告警和可视化各类数据,提供网络告警[3]。

通过集中控制和分布式测量方式的使用显著提升了系统的开放性和可扩展性,适用于大规模部署,对于多种网络行为通过拓展探针上的测量工具结合使用插件方式(在分析引擎上插入分析工具)即可实现灵活监测分析过程,再通过分析引擎对数据进行综合分析实现综合评估网络的整体性能。此外该体系结构还能够以插件方式灵活导入相关数据,实现对多种数据的全面分析。

2.3 系统功能架构设计

本文系统功能架构具体如图3所示。

图3 系统功能框图

(1) 分析平台的功能在于配置测量任务参数(包括分析、显示测量结果),向系统控制测量程序下达已由用户配置好测量参数的测量任务,该程序通过相应底层测量工具的调用(以参数为依据)完成测量的执行过程,再向数据分析引擎通过使用相应管道传回测量结果(以图形的形式显示分析结果),准备下一次测量。(2) 控制平台的功能在于控制和管理测量任务,控制模块(能够管理和调度多个测量任务)完成测量任务参数的接收后会解析传入的参数,接下来通过测量工具线程的创建(以相应测量类型和测量参数为依据)向底层测量工具传送测量所需参数以供其完成测量过程,将测量结果进行统计和分析并存入数据库后返回给分析平台。(3) 测量平台主要负责测量工作,由系统控制模块创建的测线程会启动相应的测量工具,系统会切换到网络行为测量过程,测量工具会向系统控制模块传输测量结果(通过结果汇报函数)以供其完成回收和分析过程[4]。

系统内部消息数据流程具体如图4所示。

图4 系统消息与数据流图

系统程序主要由管理控制、测量、分析与可视化三个进程构成,进程间通过管道通信,用于控制测量工具和任务及管理测量任务的两个线程由管理控制进程完成创建,可向测量进程发布任务以及对测量数据进行保存和分析等;测量进程在完成测量任务(来自管理控制进程)的接收后通过测量线程的创建启动测量工具,并向分析与可视化进程传送测量结果,最终向用户提供图形化的测量结果[5]。

3 系统实现的关键技术

3.1 包捕获技术

为提升系统的准确性,采用捕获效率高、系统资源占用少的数据包采集方法,实现了高速链路数据包捕获方式(基于多空间内存共享),数据包缓存采用的共享内存不受内核空间和用户空间界限的限制,实现数据包内存零拷贝,使系统调用次数得以显著降低,从而缩短了数据包的传输路径。网络链路数据包捕获方法的数据包处理流程为:底层驱动模块完成数据包捕获后,需对数据包缓存空间进行检查,并负责写入数据包到共享内存,共享内存管理模块检查到有可用的缓存空间后 在共享内存中写入数据包并返回(通过DMA通道),调用上层应用API接口对缓存的数据包进行访问并完成数据包处理和分析工作。在共享内存数据信息域中通过底层驱动模块直接完成数据的顺序循环写入,通过应用程序调用API接口对共享内存进行访问,实现数据包内存零拷贝,降低调用开销。

3.2 自适应数据包采样技术

目前网络数据流量采样技术以应用静态采样为主,以预先期望的网络特征为依据对采样策略和参数进行事先配置,缺乏根据网络状态进行实时动态调整的能力,对于网络速率和流量突发较小时能够在误差范围内使用,但网络行为受到突发特征的影响呈现出重尾分布、自相似的特征,增加了传统流量采样的难度,导致难以有效测量高速网络,降低了指标分析结果的可靠性。因此本文使用了基于集合时间序列变化规律的自适应网络数据采样方法,以已采取样本作为分析对象实现网络流量变化缓急程度的获取,在此基础上估计流量的变化趋势,并对采样间隔进行自动调整,从而能够更加细致准确的反映流量指标。

由Y={Yt:t=1, 2, …,n}表示网络流量变化的时间序列(在一段时间区域内),记作全集I,Y的期望值由EI[Y]表示,则网络流量变化的缓急程度(即绝对变化率)的表达式如式(1)[6]。

(1)

从时间序列Y={Yt:t=1, 2, …,n}构成的该集合中抽取部分元素构成的子集合YSUB(本文选取最后m个连续元素),其期望值由E[YSUB]表示,相对于Y的相对变化率表达式如下(表示网络流量变化的缓急程度)如式(2)。

(2)

由ΔTii=1, 2, …表示第i次采样间隔时间,如式(3)。

(3)

自适应采样的估计过程以在Δt内被测流量的变化程度及相对于当前流量总体的变化为依据,对流量总体的准确监测通过对不同变化程度下的采样速率进行调整实现,并通过式(3)对下一次采样的频率进行调节,即使被测流量的变化不大时仍能够有效监测较少的样本,实现对被测行为以较少的样本数进行有效刻画,降低了采样成本;通过增加样本数量即可对变化较大的被测流量实现网络行为的精确反映。

4 实验分析

为检测本文所设计的网络监测系统的设计的实用性和稳定性,通过对用户访问网络服务的方式进行模拟,对被测服务器由采集探针发送连接请求,根据服务器响应情况,对特定站点的信息采用主动测量方式进行收集,网络带宽、吞吐量等行为指标的测量以高精度的时延测量技术为依据,本文采用的端到端时延测量方法具备较高的精度,系统调用计时采用TSC寄存器计数,根据位置误差的产生机理,利用NTP协议对测量对象的CPU频率进行准确估计,使时钟误差得以消除。将时间戳记录位置通过对系统内核记录发包、收包时间戳进行修改实现从应用程序到网卡驱动的转移,从而消除了位置误差,并使时延测量精度得以显著提升。通过监测工具TCPP(基于TCP层)精确获取包的延迟时间。同时对网络可用率、稳定性进行评测(转移包括包括业务响应时间、总处理时间、吞吐速率),然后分析返回的测试结果(在分析平台),测试结果证明了该网络监测系统的可行性,有效降低了信息收集的时钟和位置误差,提升了业务的处理效率,并且能够对端到端网络业务的实时性能进行监控,结合历史数据做出趋势分析[7]。

5 总结

互联网规划设计及管理工作离不开网络行为特征分析的支撑,快速发展的互联网在带来便利的同时使网络规模快速扩大,为网络行为特性测量与分析工作提出了更高的要求,为满足对网络行为的监测需求,本文主要对网络行为特征分析的网络监测过程进行了研究和设计,在分析了网络行为特性分析现状的基础上,以网络行为特性分析的要求为依据,完成了网络监测系统的设计及网络行为评价指标体系的构建,有机结合了网络监测技术和数据分析技术,详细介绍了系统的功能架构和实现路径,具有良好的可扩展性,使实时监测网络行为的各项要求得以有效满足,为网络的运营管理提供参考。

猜你喜欢

数据包流量监测
直播助农冲流量 勿忘质量
二维隐蔽时间信道构建的研究*
特色“三四五六”返贫监测帮扶做实做细
张晓明:流量决定胜负!三大流量高地裂变无限可能!
民用飞机飞行模拟机数据包试飞任务优化结合方法研究
寻找书业新流量
过去的一年开启了“流量”明星的凛冬时代?
C#串口高效可靠的接收方案设计
网络安全监测数据分析——2015年12月
网络安全监测数据分析——2015年11月