基于机器学习的分组交换电力光网络流量异常检测
2021-10-13原军,张凯,药炜,张源
原 军,张 凯,药 炜,张 源
(国网山西省电力公司太原供电公司,山西 太原 030012)
0 引言
电网技术的发展要求通信系统不断满足其发展要求,在通信网络更加复杂的同时,通信网络所面临的危险也更加严峻,容易遭到网络攻击。当前的网络防御是保证电网以及通信网络安全运行的关键。流量异常检测作为网络内防的重要手段,能够及时发现网络中的异常流量,并采取相应措施,阻断攻击的进程,对网络的安全运行有着十分重要的意义。
目前,针对电力系统通信流量异常检测的文献主要集中在检测方法上,文献[1]提出了一种基于时-频域混合特征的变电站通信网异常流量检测方法;文献[2]研究了大数据背景的光纤通信流量异常辨识;文献[3]提出了一种基于随机矩阵谱偏离度的微网状态感知方法;文献[4]针对基于隐蔽异常流量的网络通信传输安全检测进行了研究;文献[5]设计了基于特征库识别法的移动通信网络异常流量监测系统;文献[6]研究了配电通信网流量异常检测方法。上述文献提出的流量异常检测技术大多利用了大数据等信息技术,能够在流量异常检测的具体方面有针对性地实现检测,但是在流量特征分析方面还有待继续深入研究。
目前,针对机器学习等方法在电力系统中应用逐渐增多,有网损分析[7]、输电系统监控系统[8-9]、故障诊断[10-11]等。机器学习如果应用于流量检测则可以提升检测的效果。
为此,本文提出了电力分组交换光网络流量检测方法。通过对传统流量特征以及检测方法的归纳总结,提出了基于机器学习的优先级调度算法,能够利用队列优先、数据包优先和空间路由等信息实现流量异常检测。
1 电力通信网络及其流量特征
1.1 电力通信网络特征
电力通信网络与电力系统的发电、输电、变电、配电等过程相对应,是电力系统基础物理设施与高层服务对象的紧密连接,能够传输电力系统相关的数据以及各类业务。现阶段,在智能电网背景下,电力通信网络的智能化水平逐渐提高,引入了同步数字序列SDH、多业务传输平台MSTP、光传输网OTN和波分复用WDM等技术。
电力系统通信网络按照功能分类分为骨干通信网、配电通信网和用电通信网,3种网络的组网通信方式略有差别,但网架结构相似,其网络结构如图1所示。
图1 电力通信网络结构
1.2 流量特征获取方式
网络流量特征需要进行相应的获取方式,通过挖掘数据特征,对网络流数据进行分析和处理,其流程如图2所示,通过网络数据流的获取得到数据分析特征,通过特征进一步选择相应的数据流,将不同的数据流进行融合之后达到异常识别的目的。
图2 网络流异常识别流程
1.3 网络流量特征
在传统资源调度算法中,所有流量都无差别视为相等。但是,针对电力分组交换光网络,内部数据中心的流量包括老鼠流和大象流,大象流和老鼠流具有不同的特征。
有学者研究指出,数据包在内部数据中心的长度以及流量可能服从相应的分布。因此,在这种情况下,需要匹配以太网最小或最大的网络环境长度进行进一步分析。由此可见,有效的调度算法能够区分流量的差异,并且实现流量资源的高效配置。因此,流量异常检测在资源配置算法中起到关键作用。
2 电力分组交换光网络
2.1 流量检测方法
本文提出了电力分组交换光网络的架构。电力分组交换光网络架构的核心为阵列波导光栅路由(AWGR),可以实现波长范围内冲突的高速光解决方案。在分组交换光网络中,若干服务器与假定交换机相连接,这类架顶(ToR)交换机之间是通过基于阵列波导光栅的交换网络进行连接的。每一个ToR交换机都与入口和出口模块相连,能够实现帧操作。入口模块包括若干虚拟输出序列,其目标为ToR交换机。帧操作能够对以太数据包进行包装,从而形成光帧。光交换机能够利用快速波长光源对来自入口模块的光帧进行传输。每个光帧进入包块拥有1×m维度的空间交换机,能够与m个AWGR相连,每个AWGR能够具有针对性地传输光光帧值为n/m的出口单元,其中n为光帧数目。
通过对ToR配置1×m维的路由来扩大路由端口的数量,如图3所示。分组光交换网络能够通过中心控制解耦结构控制平面和数据,从而实现控制器专属工作方式,能够简化ToR的工作方式,实现其针对数据交换包的单独执行。另一方面,控制器可以实现资源的高效利用,从而更好地调度光帧路由资源。由于ToR并不需要将信号包发送至其他路由,因此,可以通过高效的调度决策减小路由延时。
图3 电力分组光交换网络
在入口侧,服务器生成原始电力以太网IP数据包,该数据包由ToR路由器进行收集,并发送至相应的集成入口模块。电力通信数据包会被放置于虚拟输出队列(VoQ),能够以出口模块为目的地,并对数据包进行打包。对于入口模块,中央控制器可以决定VoQ是否需要打包为光帧。当入口模块从控制平面分配了传输任务时,将会发送此光帧至下一个时间窗口。同时,空间路由将会根据相应的AWGR进行配置,从而实现数据包的成功传送,最终到达出口模块。当数据包到达出口模块时,进行下一步操作,使得数据包到达目标服务器。
数据包的传输在服务器之间是直接进行的,因此,需要对数据服务器集群进行调度。其中考虑到时隙,入口模块需要决定可以传输数据包的VoQ,并且出口模块需要确定其对应的入口模块,从而实现光帧的接收。如果对这类资源不加以调度,将会发生入口模块和出口模块的冲突,从而不能够同时传输数据。考虑到这类冲突,在此时隙不会有任何传输行为,因此,将会浪费带宽资源。为了解决这一问题,需要对电力分组光交换网络进行有效的调度。
2.2 光网络流量异常检测与态势感知
流量异常检测能够分析电力系统通信网络中的数据参数、信道参数、时延参数和网络吞吐量参数等。能够有效分析通信网络的拓扑结构,将孤立分散的静态拓扑网络,形成动态关联的数据网络。
流量异常检测是通信网络拓扑态势感知中的一种手段,能够通过相应的数据处理技术,形成对通信网络重要指征的评判和量测。通过这类数据的演变关系,能够提前预测通信网络拓扑结构变化趋势。由于目前通信网络的安全态势,感知发展还不成熟,通信网络的安全性能、网络系统的脆弱性和外部威胁均可以通过异常流量检测进行识别,能够提升全网安全防御的性能,并且构建安全防御体系。
通过网络的流量数据异常检测能够实现数据和模型的进一步丰富,通过训练得到的数据可以实现网络安全态势的预测。在电力系统态势感知不断发展的同时,通信网络也不断演化,感知成为了辅助电力系统通信的重要手段。需要结合目前不同层次、不同属性的流量数据实现这一目标。
3 电力分组交换光网络流量特征
3.1 流量检测方法
传统流量检测方法主要基于网络内监测和采样,这种方法是考虑到网络流量行为受到端点应用生成数据的影响,并且与网络内部的拥塞无关。在现代通信控制系统中,对端主机运行系统针对应用的行为具有更好的可视性。因此,在这种情况下可以替代网内监测器。目前,已有学者提出Mahout的对端服务器检测方法[12]。这种算法具有良好的缓冲性能,但是高度依赖阈值的选择。因此,针对流量较为丰富的数据中心则适用性不高。
本文提出利用机器学习的流量监测方法,实现对分组交换光网络模块进行流量监测。首先,考虑到大象流在实际捕捉过程中,具有更多可观测的特性,如大量数据包、大量字节和长时限等;其次,基于机器学习的方法具有更强的操作性,通过相应的结构算法能够应用于数据分析中。
目前,监督[13]和无监督机器学习是主流的2种流量分类方法。无监督机器学习主要利用数据的自然特性,从而实现算法的内部优化[14]。无监督的机器学习主要有k均值法,这类方法能够善于发现输入数据的主要特点。这类方法能够通过对某类距离进行相应的特性分析,将欧几里得空间分为若干组。无监督的机器学习还能够模拟数据的分布以及结构。因此,算法在求解和发展过程中能够发现数据的关键信息。
相比之下,监督的机器学习能够创造支持相应预定类的数据结构,这样的机器学习方法能够有效针对收集到的样本信息进行分析。在实际过程中,监督机器学习主要关注输入和输出关系的建模,其主要目的是发现输入和输出特性的映射关系。这2类是机器学习重要的过程,即训练和测试。训练阶段主要对已提供的数据进行检测,构建分类模型。测试阶段主要利用该模型进行分类操作。测试过程还能够利用数据集合进行标签操作。主流的监督学习算法包括朴素贝叶斯树、朴素贝叶斯离散和朴素贝叶斯核密度估计等。
3.2 优先级调度算法
提出利用优先级调度算法,将最长队列优先、最大数量数据包优先、最旧数据包优先、最小空间路由优先这4种优先形式指定至VoQ。
首先,入口模块得到n个VoQ状态信息的优先指标,计算式为
Wij=lijwl+pijwp+dijwd+sijws
(1)
Wij为第j个出口模块对应的入口模块i的VoQ的优先级;lij为VoQ长度;pij为VoQ数据包数量;dij为VoQ最早数据包延时;wl、wp、wd、ws为权重因数;sij为布尔变量。
然后,入口模块选择第1个非空VoQ作为最高的优先级,并且将相应的需求发送至相对应的出口模块。之后,出口模块将不同的入口模块发送的数据进行收集,选择优先级最高的请求发送至入口调度端。最终入口模块选择出口模块给出请求的排序。如果有多个排序选择,则最高优先级的首先执行。在整个调度过程中,执行过程在中央控制器是独立进行的,考虑到计算的时间,执行每一个时隙过程是不实际的。因此,需要以周期进行操作。每个模块仅仅将第n个VoQ的状态、统计信息发送至中心服务器,并且将数据包进行传输。
如前所述,本文将大象流和老鼠流处理为不同的对象。因此,应当根据流量的种类进行权重划分。例如,在VoQ中,主要是以老鼠流为主要的情况下,权重wp将会比wl更大。因此,算法能够周期性、动态性地更新权重,从而反映流量的具体特征。
3.3 流量检测仿真分析
根据本文所提的优先级调度算法,流量异常检测方法流程如图4所示。
图4 流量异常检测流程
利用本文的优先级调度方法,以典型通信网络架构为仿真平台,研究不同系数下平均时延的结果,得到结果如图5所示。图5中PA阈值即为优先级调度算法得到的下限值。可以看出,随着负载的增长,改变wl、wp对平均时延的影响是不一样的,其中wl的影响更大,二者均比本文优先级调度方法的延时大。
图5 流量异常检测平均时延
与Mahout方法进行丢包率的对比分析,得到结果如图6所示。
图6 流量异常检测丢包率对比
可以看出,随着负载的增加,本文优先级调度方法的丢包率要低于Mahout方法,并且增长速率较Mahout方法更低。说明了本文方法能够在电力分组交换光网络检测中起到更好的效果。
4 结束语
流量异常检测对于电力系统通信网络十分关键。基于机器学习的通信网络异常流量检测方法能够有效提升异常数据的检测效率。本文针对分组交换的光网络进行了分析,所提的方法能够有效提升电力系统态势感知和异常检测的能力。优先级调度算法能够根据数据包的类型进行优先排序,通过不同的权重对流量进行处理,从而实现异常流量的检测。本文方法能够在实际工程中提升流量检测的效果。