电力综合数据网流量监测技术分析

◆杨志华 杨成涛 李坤 廖仲钦 杨振明

（云南电网有限公司瑞丽供电局云南 678600）

电网内部综合数据网网络覆盖面广，信息点多，承载着公司日常办公管理、电力生产监测系统等等诸多各种业务。网络的可靠性和安全性直接决定着企业的信息安全，也决定着站内设备监控、数据采集传输等各个方面的安全稳定[1]。电力综合数据网涉及较广范围的数据业务，为了实现不同业务对数据网络不同的要求，需要通过流量监测分析不同的方面，例如：丢包率、抖动、宽带、时延等[2]。电力综合数据网的流量监测是指通过一些技术或方法，以软硬件结合的方式，在特定的实际的物理网络链路或某个节点中，对能够反映网络后继变化趋势的网络性能指标进行采集测量与计算分析。

1 流量采集技术

采集技术目前主要分为两类：主动测量与被动测量。主动测量是指自己主动向网络中的链路或节点发送数据包用于监测数据流的性能指标，最基础的应用实例为计算机ping本地网关，通过本地主机主动向网关发送 ICMP数据包来判断本地网络连接状态以及计算路径之间的往返时延、丢包率，但主动测量占用了一部分的网络资源，给网络系统带来了额外的负担，影响了网络性能，对测量结果的准确性带来了一定的误差。被动测量技术不会主动向外发送报文，是通过在网络链路或待测点中串联上分流设备来监测网络上的数据流信息，但这种方法虽然不会给网络带来额外的负担，但由于复杂性高，成本高，所以普遍性较低不利于广泛使用。目前，国内外采用的采集技术从方法上分类，主要包括以下三种：

1.1 SNMP采集技术

简单网络管理协议（SNMP）是网络中使用最广泛、最为普及的采集技术。该技术基于TCP/IP协议层内的各种互联网络元件之间的管理协议，提供了从网络设备收集网络信息的途径，并为设备预留了向网络管理站反馈故障和错误的渠道[3]。该方法的优点是具备普遍性、通用性、相对成熟、使用方便，但该技术目前只能做到对单个网络设备接口级别的流量统计，无法做到网络层端到端之间的流量统计、业务统计，同时对于一些特殊异常流量可能无法发现。

1.2 内置sFlow采集技术

sFlow是由InMon、HP等公司开发的一种基于采样的网络监测技术，通过设置一定的采样率对交换机或者路由器里的数据包进行捕获，再通过嵌入到网络设备里的代理将数据包转发给流量分析服务器进行处理，从中取得该网络所传输数据包的源地址、目的地址、IP地址、字节数等信息。主要优势在于整个网络监测成本低，采样的速率可自行设置，网络性能、带宽基本不受影响；其缺点在于抽样间隔较大时可能错失关键数据包，损失流量的部分信息，准确性下降，对新的业务也缺乏辨识度[4]。

1.3 硬件探针采集技术

数据采集探针是专门用于获取网络链路流量数据的硬件设备。使用时将它串联在待监测流量的链路中，通过分流网络路线上的数字信号的方式获取信息[5]。由于一个探针只能完成监测一条链路中的流量信息的任务，所以想完成全网流量的监测需要采用多点分布，在每条待测链路放置一个探针。再将所有探针收集到的流量数据通过后台服务器以及数据库进行汇总保存，用于全网的流量分析和长期报告，为故障分析、网络优化、网络规划提供实时的、历史的重要数据。基于硬件探针的采集技术最大特点就是能够提供详细地从物理层到应用层的流量信息，但是成本较高，使用起来较复杂。

2 特征检测技术

2.1 规则特征分析

网络流量数据在不同网络业务中常表现出有规律的相互作用和影响，从中可总结出属于它的各类不同特性。目前网络流量数据存在以下几种主要的特性：

（1）长相关性与自相似性

长相关性反映了自相似过程中的持续现象，是指利用过去的数据变化趋势来预测流量系统下一步的变化趋势。实际的网络流量在时间轴上呈现长相关性，自相似是指当前网络流量的波动情况可在历史变化中寻找到相似情况，在历史数据基础上可对目前网络流量的变化趋势进行精准度较高的预测。结合历史数据，这种预测既包括空间维度上的，也包括时间维度上的。从流量分析的角度看，自相似性的直观解释是在不同时间尺度上，网络流量对时间的分布看起来是相似的。

（2）周期性

周期性表述了网络流量的变化特性随时间变化而表现出来的一种周而复始的变化规律[6]，通常以一天到一年为观测区间，若采样周期跨度太大，就会使得该周期内的流量特性被淹没在大量的数据信息中不被发现；而采样周期太短，没有足够的数据积累无法得出准确的周期变化趋势。这种变化特性可能是因为网络系统的客观原因，也可能是因为人们的使用习惯造成。

（3）多分形性

一个图形的部分在某种方式下与图形整体相似，这该图像可称为分形。多个单一分形在空间上相互缠结、镶嵌得到的就是多分形[7]。行业的前辈通过多种测试和推导确认了网络流量具备多分形的特征。大多数的现实流量具有长相关性，但它在不同尺度、不同维度下还存在着短相关性，为了精确得出流量在小尺度上的局部特性，引入局部尺度的概念，来研究在极限短的时间间隔下网络流量的一些特性。

2.2 大数据分析技术

针对网络流量的大数据分析技术主要有聚类、关联分析、统计描述等。

（1）聚类分析

首先聚类的作用主要就是将物理或抽象对象的集合分成相似的对象类。

例：means聚类算法：

a.任意选择k个对象作为初始的簇中心；

b. repeat；

c. 根据簇中对象的平均值，重新将每个对象赋予最类似的簇；

d. 更新簇的平均值，即计算每个簇中对象的平均值；

e. until不再发生变化。优点：容易实现，易于理解在低维度这一块应用广泛。优点：容易实现，易于理解在低维度这一块应用广泛。

缺点：对于高维度这块涉及很少，计算速度很慢，特别是计算距离需要好久才能计算成功。另一个缺点就是他还需要设置一个K值，而这个K值是一个假设值，具有不稳定性，因此可能会造成误差。

（2）关联分析

关联分析是数据中发现各个项集之间的某些相似关联和相关联系。关联分析的核心为利用Apriori算法进行分析。

Apriori算法：主体为一种被称为逐层搜索的迭代方法。利用频繁的项集特性产生的先验知识来进行工作。

具体操作如下：第一步：找出频繁1—项集的集合．记做L1

第二步：用L1找出频繁2出项集的集合L2

第三步：用L2找出频繁3出项集的集合L3

.....

直到找不到频繁k+1项集时得出最大频繁项集LK。（每次找LK都需要去扫描一次数据库）。

优点：可以与多种算法相融合并且算法容易实现。适合所有稀疏类的事务分析。

缺点：会产生许多不需要的集合，需要多次扫描数据库产生大量冗余数据、耗费大量时间，导致它的效率会很低

（3）统计描述

统计描述是对大量数据资料进行整理、分析之后做成图表或者表格形式。然后对数据的分布的状态、随机产生的变量和数字特征之间有何关系进行估计和描述。统计描述主要有集中趋势分析、离中趋势分析以及相关分析。

集中趋势：通过研究数据当中的平均数、众数、中数等指标并进行统计描述。

离中趋势：通过研究数据当中的四分差、平均差、方差和标准差等指标并进行统计描述。

相关分析；通过查找两个或多个数据之间在统计学上是否存在关联性，进行分析。

2.3 预测分析技术

（1）SVM（支持向量机模型）：它可以与聚类分析相结合组成一个网络流量预测模型。首先采集某一段时间的流量数据对其聚类分析，选择每一个与预测样本相关的训练样本集合，然后设置支持向量机的参数取值范围，初始化核宽度和惩罚参数，接着让支持向量机对训练样本集合进行学习，之后统计训练误差是否满足网络管理的实际要求，如果满足就得出最优核宽度及惩罚参数，以此创建网络流量预测模型举例。若不满足，有文献提出了利用一种布谷鸟搜索算法[8]进行优化让支持向量机再次学习。直到满足网络流量管理的实际要求。

图1 预测模型建立流程图

（2）流量模型预测法：在一定规模的流量历史数据积累下，选定流量的主要特性为出发点，选用合适的流量模型总结出网络流量在特定情形下的变化趋势。这种方法利用了网络流量具有自相似的性质，可以用来理解和预测网络流量行为，分析和评价网络性能，为网络结构的组建提供理论基础。目前主流的传统网络流量模型有，泊松模型，马尔科夫模型，自回归模型等。

（3）神经网络

神经网络预测模型：采集历史流量数据将其整理为神经网络所能识别的训练集，然后神经网络通过训练对其进行建模。根据模型来预测未来某一段时间的流量情况。

优点：可以用于高度非线性系统的处理。

缺点：预测需要大量的训练样本来进行修正模型[9]。

3 应用

（1）在网络安全防御系统中：应用流量分析中的采集及分析功能。

首先对所有接收过来的流量进行采集初步过滤后发生给数据挖掘与分析模块。然后利用卷积神经网络构建一个网络流量挖掘与分析系统，该系统可以从发生过来的流量中发现潜在的病毒或木马，针对这些网络安全威胁进行识别、评估和判断。在流量挖掘与分析系统得出结果后，就可以判断出这些流量是否含有病毒或木马，如果存在就可以启动杀毒软件将其灭杀，如果不存在就将其放行。例如华为防火墙及部分杀毒软件。

（2）应用在校园网络之中：应用流量管理可以及时响应和异常检测功能。

例：在某个庞大的校园网中网速突然卡顿，如果不及时处理，将会导致大量重要的教学数据无法传输，但是留给网络安全管理者的反应时间很短暂，当时没有排查出原因是什么，没有拦截到这段带有网络病毒的流量，这个网络病毒对网络的影响很是严重，导致了整个校园网络出现瘫痪。而在引进流量管理系统之后，每次发生卡顿或其他异常后系统都能快速反应并进行监测，找出问题及时处理

（3）应用在医院内网流量管理之中：应用流量管理的关联分析及可视化展示功能。

例：某三甲医院患者流量大，医院信息系统中收到大量流量信息数据，这些信息中会在医院常规工作中起到重大作用，而且都是重要资源。流量管理系统可以根据关联分析对其数据进行挖掘分析，从中发现某些关联关系，利用可视化分析，能够将抽象的数据变换成更易理解和观测的图形，能够形象地观察出数据内在的关系，发现隐藏在数据中重要的关联性关系，从而更清晰、有效地展示数据分析结果[10]。

（4）在电力综合数据网管理中的应用：业务识别、异常检测及主动被动测量功能。

目前，质量监测与评估是电力综合数据网管理的主要手段，在运维中数据流预警和调度手段越发重要，实际运行中依托人工进行问题和故障检查成为主要手段，所以，在这种情况下就需要引进流量管理系统，业务识别技术通过辨别、分类等方法分散不同流量的去向，大大减轻了网络堵塞的状况。对网络传输的流量进行主动测量，掌控其动态数据，实现宽带流量的精细化管理。该方案不仅保证了数据网的正常运行还能节约运行成本。文献[11]提出了汲取 F-ARIMA与 SARIMA两种模型的优点，建立全业务综合流量预测模型，提高了预测的准确率的方法，但仅处于研究阶段，模型全面性和实用性都有待考证，因此，电力综合数据网方面类似复杂智能的高级应用还需要时间考验。

4 总结

本文介绍电力综合数据网流量监测与分析所需的关键技术，对比了平行技术之间的优缺点。通过对网络流量特性的分析和大数据建模预测的推论，可以快速定位网络故障，更好的控制流量和提高网络的性能，同时为网络建设与规划提供运行数据依据。从应用分析来看，目前的应用还主要集中在可视化管理流量和故障发现方面，采用人工监屏与软件自动采集相结合的运行管理模式，随着大数据与人工智能技术的快速发展与不断应用发展，相信在未来可以不断减少人工监屏的工作量，进行智能诊断和自动推送建议，乃至自动派单给维护人员，网络流量自愈和自我管理能力将得到较大提升，使综合数据网运行更为稳定，从而保障电网各项数字化业务的正常开展。