APP下载

基于多源融合的网络安全态势层次感知

2016-02-24张淑雯刘效武孙雪岩

计算机技术与发展 2016年10期
关键词:层次化特征选择维数

张淑雯,刘效武,孙雪岩

(曲阜师范大学 信息科学与工程学院,山东 日照 276826)

基于多源融合的网络安全态势层次感知

张淑雯,刘效武,孙雪岩

(曲阜师范大学 信息科学与工程学院,山东 日照 276826)

网络安全态势感知是近年来的一种新型安全技术,因其可以解决传统安全技术难以解决的数据源单一、虚警率高等问题,提升对全局安全状况的动态理解能力而备受关注。针对现有的研究,提出一种基于多源融合的网络安全态势层次感知模型,利用蚁群D-S证据组合规则处理多源融合问题,从而减少态势参数赋予主观性强的问题。同时,利用神经网络搜索安全事件的关键特征,降低数据维数,避免维数爆炸,提高实时性。最后采用层次化感知算法,将离散报警映射为动态威胁趋势,提升对网络安全的定量分析能力。仿真结果表明,提出的算法能够提高检测率,降低误警率,可以动态监控网络安全威胁的演化状态。

网络安全态势感知;数据融合;蚁群算法;神经网络;特征选择

1 概 述

态势感知(Situation Awareness,SA)起源于自动化领域中人因元素的研究,Bass于1999年提出了计算机空间态势感知(Cyberspace Situation Awareness,CSA)[1]的概念,使其成为了网络安全管理的研究方向,从而得到了越来越多的研究和认可。在这种背景下,网络安全态势感知(Network Security Situation Awareness,NSSA)逐步成为一种新型的安全技术而备受关注。它能够动态地感知网络的全局安全状况,从而解决数据源单一、虚警率高等传统安全技术难以解决的问题。

陈秀真等[2]依据其层次化网络安全态势感知模型,提出利用服务-主机-网络三层结构处理态势感知问题,对NSSA的研究具有重要的借鉴意义,但其研究仍较依赖主观因素,环境适变性有限,且局限于安全传感器的非融合网络环境。Zhang Haoliang等[3]利用历史战争事件介绍了态势感知的关键要素,指出了态势评估与态势感知之间的关系,提出了态势评估方法,但该方法只是定性的描述,未涉及定量的分析表达,无直观的网络安全状态显示。Chanchal Sharma等[4]提出一个提高网络安全态势感知的新型框架,将监控器收集到的数据进行融合处理,用于漏洞检测和评估机制的建立,同时提出改进的安全检测机制,并及时进行响应。但是该框架仅关注理论研究探讨,未涉及实际应用。冯登国等[5]根据其提出的NSSA信息融合模型,通过改进D-S证据理论的合成公式,解决多检测设备的日志融合问题。该模型未考虑到检测设备的检测程度及检测力度不同,融合时可能存在的数据量大、计算复杂度高的问题。Zhang Yan等[6]提出了一种新的基于多异质传感器的网络安全态势评估模型,利用传统的D-S证据融合理论,融合来自多传感器的安全数据,而对于不同传感器的重要权重未加以考虑,当低置信度高冲突时,易导致悖论现象,影响态势感知准确度。Wang Chundong等[7]提出基于D-S证据理论的层次化网络安全态势评估模型,利用D-S理论融合多源数据,再结合脆弱性和威胁信息确定各因素的相对权重,最后进行网络安全态势评估。该方法融合时,若存在证据高度冲突的情况,易出现悖论情况。唐成华等[8]通过建立网络安全态势指标的识别空间和评估准则,提出基于D-S融合的网络安全态势评估方法。该方法将D-S融合规则应用于专家知识评估,提高了专家知识评估的准确性,但评估方式具有主观性和局限性。现有的研究表明,融合是网络安全态势感知的必要过程和关键技术,但目前仍存在态势感知的内容不完整,未考虑不同数据源融合权重的问题,同时还存在参数维度过高及主观依赖性较强的问题。

对于NSSA而言,研究过程中必须面对的基本问题是多源融合和实时性处理。冯学伟[9]等提出了一种安全态势评估模型,对属于同一类的攻击事件的危害度进行求和,得到当前网络中该类攻击对网络的危害程度,但未考虑不同攻击事件对网络的攻击能力及影响权重问题。Sung W T[10]将BPN应用到多源传感器数据融合,利用加权分类确定证据特征之间的距离,从而得到证据之间的支持度,并根据特征提取大大降低特征维度。但该方法存在BPN训练时间较长、实时性较差的问题。Li Xinde等[11]利用证据支持贴近度过滤器选择一致性证据,减少证据源的数目,从而达到减少信息融合复杂度的目的。该方法采用DSm理论,可以有效处理低置信度高冲突的问题,而高置信度低冲突的情况下不宜采用DSm理论融合规则。刘效武等[12]提出了基于粒子群寻优方法的D-S证据融合,通过对不同信度的数据源赋予不同融合权重实现多源数据融合。但粒子群算法易陷入局部最优问题,易产生早熟现象,不能有效处理复杂性数据。

在最新研究的基础上,文中提出了一种基于数据融合的网络安全态势感知模型。首先利用蚁群D-S证据组合规则处理多源融合问题,从而减少态势参数赋予主观性强的问题。然后利用神经网络搜索关键特征,降低数据维数,避免维数爆炸,提高实时性。最后,利用层次化感知,将离散报警映射为动态威胁趋势,提升对网络安全的定量分析能力,为监控和管理网络提供了新的技术手段。

2 网络安全态势层次感知模型

现有的研究表明,对于NSSA模型的研究尚不完善,存在着模型不统一的问题。基于NSSA的主要研究内容包括数据采集、数据处理及态势感知等部分,文中提出了一个网络安全态势层次感知模型,见图1。

图1 网络安全态势层次感知模型

模型采取由局部到整体的分析方法,自底向上依次为攻击、数据采集、数据融合、特征选择、服务态势感知、主机态势感知和网络态势感知。多个异构传感器采集来自网络中的各类攻击数据,并进行数据融合和特征选择,根据特征选择的攻击数据确定服务态势,再根据服务态势分析出服务所在主机的态势,最后根据主机态势得出主机所在网络的威胁态势。同时,文中将神经网络和D-S融合规则引入到模型的层次化分析过程中,后续部分将对其进行详细讨论。

3 多源数据融合

在数据融合的方法中,D-S证据融合方法应用较为广泛,其可以对多个数据源中的相同事件进行组合处理,从而得到事件整体的发生概率。但真实的网络环境中,不同安全传感器具有不同的检测程度和检测力度,对于相同的安全事件可能会有不同的检测可信程度,直接对数据进行D-S证据融合有悖常理。对此,文中利用蚁群算法与D-S融合规则结合的方式处理多源数据融合问题,核心是通过蚁群算法的寻优能力,确定对不同数据的融合可信度权值。

(1)

数据集的选择具有一次性的约束,不能重复性使用。为了防止过早死和局部最优解的情况,利用式(2)进行随机选择。

(2)

每只蚂蚁以一定频率θ随机选择这两个概率函数,即选择第一个概率函数的频率是θ,选择第二个概率函数的频率是1-θ。该策略有助于实现搜索的多样性,提高算法获得全局最优解的可能性,从而确定数据集的选择次序问题及相应的权值问题。

通过迭代处理,求解出最优解,这个最优解中包含了数据源的选择概率,据此可确定数据源的重要程度为表达式(w1,w2,…,wn)。

根据上述求解,将D-S证据组合规则进行改进:

(3)

4 网络安全态势感知

利用D-S理论和蚁群算法相结合的融合规则进行数据预处理,达到降低不同的数据源采集相同的数据时出现悖论的情况。但采集到的数据量巨大,还需对融合后的数据进行特征选择,以降低特征空间维数,删除无用的、冗余的以及最少使用的特征,从而降低数据维度,减少计算复杂性。

4.1 特征选择

特征选择是根据给定的准则从融合检测的报警的多个特征中挑选出一些最有效的特征以降低特征空间维数,将输入空间的高维特征映射到新的低维特征空间中,且不影响对安全事件的检测效率,从而提升数据处理的实时性。由于神经网络具有良好的非线性映射能力和对任意函数的准确逼近能力[14],因此经常应用到特征选择领域。基于BP神经网络的特征选择方法,通过分析测试集中输入数据的特征对最终输出结果的支持度,对各类数据特征进行相关性度量,删除那些冗余的、不重要的特征,从而得到一个最优化的特征子集。

当确定了输入特征数目和输入类别时,BP神经网络的结构主要由隐层的节点数目决定。而对隐层的节点数目的最优化选择,目前还没有权威理论研究,仍是依据专家知识确定。Robert Hecht Nielson[15]证明了只包含一个隐含层的BP网络可以逼近闭区间内的任一连续函数,即一个三层的BP网络能够实现任意的n维到m维的映射。鉴于此,文中选择三层网络结构。

神经网络中的节点对于最终结果的作用是通过与之相连的权值来表现的。将神经网络运用在特征选择中,在神经网络训练过程中使得与输出结果相关性大的输入节点的权值保持较大,而那些相关性小的节点的权值较小,根据权值变化,删除冗余的、不重要的节点,同时删除了节点连接的数据特征,降低了数据维度,避免维数爆炸,提高了数据处理实时性。

BP网络算法由数据流的前向计算和误差的反向传播两个过程构成。前向传播时,传播方向为输入层→隐层→输出层,每层节点的状态只影响下一层节点。若在输出层得不到期望的输出结果,则转向误差函数的反向传播流程。通过这两个过程的交替进行,动态迭代搜索出一组权向量,使得误差函数达到最小值,从而完成特征提取过程。

设神经网络的输入层有n个节点,隐层有q个节点,输出层有m个节点,输入层与隐层之间的权值为vki,隐层与输出层之间的权值wjk,隐层的传递函数为f1(),输出层的传递函数为f2()。

隐层节点的输出为:

(4)

输出层节点的输出为:

(5)

(6)

对于P个样本,全局误差为:

输出层各神经元的权值调整公式为:

(9)

其中,kij表示神经元i与神经元j之间的连接强度,即权值;xi表示神经元i的输入。

隐层各神经元的权值调整公式为:

其中,Sk表示节点j的输入。

4.2 层次化量化感知

4.2.1 服务安全态势

依据多源融合和特征选择,按照模型的感知层次,首先处理服务安全态势的感知问题。服务安全态势感知是由攻击强度、攻击权重、攻击数目等因素组成,由此可以将服务安全态势进行量化,表示为由攻击威胁权重wi和对应的攻击数目Ni得到,如式(11)所示。

(11)

4.2.2 主机安全态势

主机安全态势是由运行在主机上的各类服务的态势和各类服务的数目决定,同时也要考虑服务在主机中占的比重系数。主机安全态势可用式(12)表示。

(12)

(13)

若SHi值越大,表示主机正处在威胁状态,否则表示主机的状态较为安全。

4.2.3 网络安全态势

网络安全态势感知是由网络上各类主机的态势感知和各类主机在网络中所占的比重决定。网络安全态势可以用式(14)表示。

(14)

(15)

根据上述的分析处理,若SNi的值越大表示网络现在正处在威胁的状态中,否则,网络的状态较为安全。

5 仿真实验

5.1 数据融合实验

为验证文中提出的融合算法和感知方法,设计如图2所示的拓扑结构,利用Snort、Suricata、NetFlow等传感器采集数据,并以KDD99数据集为测试集和训练集选取关键特征,同时使用重放工具对采集的数据集进行重放。数据重放工具部署在内网入口处。蚁群算法和D-S证据融合训练的规模为100,根据蚁群算法得到数据源的选择顺序,然后对该选择顺序进行量化处理,结果即D-S证据融合中的数据源权重。

图2 网络拓扑结构

KDD99数据集包含DoS(拒绝服务攻击)、R2L(远程非法访问攻击)、U2R(超级用户特权非法访问攻击)、Probe(探测攻击)四种攻击类型,根据文中所述,采用蚁群算法确定不同数据源对事件的检测可信程度,取值范围为[0,1]。

(Snort,Suricata,NetFlow)DoS=(0.256,0.219,0.525)

(Snort,Suricata,NetFlow)R2L=(0.414,0.408,0.178)

(Snort,Suricata,NetFlow)U2L=(0.437,0.411,0.152)

(Snort,Suricata,NetFlow)Probe=(0.317,0.337,0.346)

同时,文中将蚁群D-S的证据融合规则与传统的D-S融合规则、专家加权D-S融合规则在融合率(FusionRate,FR)、检测率(DetectionRate,DR)和误警率(FalseDetectionRate,FDR)方面进行了比较,如表1所示。其中:

表1 融合能力比较 %

从表1中可以看出,检测率相对于传统的D-S和专家加权D-S有一定幅度的提高,虽然在误警率上没有太大改善,但是从环境适应能力和多源融合等方面考虑,蚁群算法结合D-S的证据融合仍然具有较大的优势。

5.2 特征选择实验

实验中,需要对KDD99数据集进行特征选择预处理,利用神经网络搜索出关键特征,从而降低数据维数,避免维数爆炸,提高实时性。KDD99数据集中的每条记录包含34个数值型字段和7个非数值型字段,并带有DoS、Probe、R2L、U2R及Normal类型五类标签。将每条记录的41个字段设置为神经网络的输入数据,输出数据设置为五类标签,同时在训练过程中,判断字段的权值大小,从而确定哪些字段特征为关键特征。

根据神经网络结构及输入数据、输出数据,选择KDD99数据集中的8个主要特征(src_bytes,dst_host_rerror_rate,dst_byte,dst_host_srv_serror_rate,hot,num_compromised, srv_count,count)作为关键特征,对于数据的其他字段特征属性进行删除处理。

使用特征选择之前和之后,在维数和实时处理方面有一定的差距。使用特征选择之前,输入维数为41,每维数据实时处理时间为4.86 s;使用之后,输入维数为8,每维数据实时处理时间为3.09 s。由此可得出特征选择减少了输入维数,同时减少了数据处理时间,提高了神经网络的实时性。

5.3 层次化量化感知实验

(1)服务安全态势。

由上文叙述可知,服务安全态势感知的获取是根据威胁权重和威胁数量确定的。威胁权重是通过蚁群D-S证据融合规则得到,再在根据单位时间内发生的威胁数量,最终确定SNMP、WWW和FTP三个服务的安全态势,如图3所示。这里选取训练时间为24小时,时间窗口为1小时。

图3 服务安全态势

从上述三个服务的安全态势可以得出,SNMP服务在2、6、23这三个时间点时,安全态势值较高,出现异常,应该提高警惕处理;FTP服务在1、9、11、23这四个时间点时,安全态势值较高,应该提高警惕处理;WWW服务在0、11、15、23这四个时间点时,安全态势值较高,应该提高警惕处理。同时,从这三个趋势中可以看出,出现较高安全态势值之前的时间点的态势值大致是上升趋势,因此当出现态势值急剧上升趋势时,应提高安全警惕。

(2)主机安全态势。

由于主机中的威胁是由服务中的漏洞造成的,因此主机安全态势值是由服务安全态势及其服务权重得到,服务权重的确定可以分为高、中、低三个层次,然后量化层次。由专家知识和历史经验得出,SNMP、FTP与WWW三个服务在主机中占的权重分别为0.15、0.01、0.84,最后根据对应的服务安全态势得出主机的安全态势值。此处选取Host1、Host2、Host3三台主机,求解不同时间点主机的安全态势值,如图4所示。

图4 主机安全态势

从图中可以看出,三台主机同时在2、6、11、23这四个时间点的态势值较高,应该加以调控。

(3)网络安全态势。

网络中包含的主机的安全漏洞造成了整个网络安全威胁,而主机在网络中所占的权重可以用服务数和服务权重决定,如式(16)所示。求解网络中所有主机的权重,再根据式(15)进行归一化处理。图5表示一天之内的网络的安全态势值。图中表示网络在2、6、11、23这四个时间点时,安全态势值较高,遭受了较为严重的攻击。

(16)

图5 网络安全态势

文中利用层次化感知算法,将离散报警映射为动态威胁趋势,并且从不同层次进行定量分析,提升对网络安全的定量分析能力。

6 结束语

文中在对国内外融合感知模型和方法分析的基础上,提出基于多源融合的网络安全态势层次感知模型,使用蚁群D-S算法进行多源数据融合,同时使用神经网络进行了特征选择,最后采用层次化量化方法进行态势感知,对网络的安全态势值进行分析。蚁群算法结合D-S的融合方法能够融合具有不同权重的多源数据,并且融合实时性好,适应环境能力较强。利用神经网络搜索关键特征,降低了数据维数,避免维数爆炸,提高了实时性。最后结合层次化分析方法,得出层次化的安全态势值,动态显示网络攻击状态。

文中有效分析了网络安全态势的变化趋势,但仍存在诸多需要完善的研究内容。使用蚁群算法结合D-S进行数据融合,虽然可以有效解决态势参数赋予主观性强的问题,但还需要考虑蚁群算法的收敛速度慢,并且当参数选取不恰当时,寻找最优值花费时间过长且易出现局部最优的情况。对于感知方法,层次量化感知属于态势感知研究方法中的一种,多粒度、多维度的态势感知机制仍有待研究。

[1]TimB.Intrusiondetectionsystemsandmultisensordatafu-sion:creatingcyberspacesituationalawareness[J].CommunicationsoftheACM,2000,43(4):99-105.

[2] 陈秀真,郑庆华,管晓宏,等.层次化网络安全威胁态势量化评估方法[J].软件学报,2006,17(4):885-897.

[3]ZhangHaoliang,ShiJinqiao,ChenXiaojun.Amulti-levelanalysisframeworkinnetworksecuritysituationawareness[J].ProcediaComputerScience,2013,17:530-536.

[4]SharmaC,KateV.ICARFAD:anovelframeworkforimprovednetworksecuritysituationawareness[J].InternationalJournalofComputerApplications,2014,87(19):26-31.

[5] 韦 勇,连一峰,冯登国.基于信息融合的网络安全态势评估模型[J].计算机研究与发展,2009,46(3):353-362.

[6]ZhangYan,HuangShuguang.Multi-sensordatafusionforcybersecuritysituationawareness[J].ProcediaEnvironmentalSciences,2011,10:1029-1034.

[7]WangChundong,YuZhang.SituationevaluateonhierarchicalnetworksecuritybasedonDSevidencetheory[J].InternationalJournalofCommunicationNetworksandDistributedSystems,2014,13(3):245-256.

[8] 唐成华,汤申生,强保华.DS融合知识的网络安全态势评估及验证[J].计算机科学,2014,41(4):107-110.

[9] 冯学伟,王东霞,马国庆,等.网络安全态势感知中态势评估关键技术研究[J].计算机工程与应用,2011,47(19):88-92.

[10]SungWT.Multi-sensorsdatafusionsystemforwirelesssensorsnetworksoffactorymonitoringviaBPNtechnology[J].ExpertSystemswithApplications,2010,37(3):2124-2131.

[11]LiXinde,DezertJ,SmarandacheF,etal.Evidencesupportingmeasureofsimilarityforreducingthecomplexityininformationfusion[J].InformationSciences,2011,181(10):1818-1835.

[12] 刘效武,王慧强,吕宏武,等.基于融合的网络安全态势量化感知[J].吉林大学学报:工学版,2013,43(6):1650-1657.

[13]FardES,MonfarediK,NadimiMH.Applicationmethodsofantcolonyalgorithm[J].AmericanJournalofSoftwareEngineeringandApplications,2014,3(2):12-20.

[14]DuCuifeng,XuQiang,LiJihua.Assessmentandmonitoringqualityofcommunicationsnetworkbasedonfeatureselectionandprobabilisticneuralnetwork[J].AdvancedMaterialsResearch,2014,846:836-839.

[15]NielsenRH.Theoryofthebackpropagationneuralnetwork[C]//Procofinternationaljointconferenceonneuralnetworks.[s.l.]:IEEE,1989:593-605.

Hierarchical Awareness of Network Security Situation Based on Multi-source Fusion

ZHANG Shu-wen,LIU Xiao-wu,SUN Xue-yan

(School of Information Science and Engineering,Qufu Normal University, Rizhao 276826,China)

In recent year,network security situation awareness is an emerging security technology and garners widespread attentions because it can solve the issues that the traditional security technology difficult to deal with,such as a single data source and the high false alarm rate,and enhance the dynamic understanding abilities for the overall security situation.For the current research,a network security situation awareness model is proposed based on multi-source fusion which utilizes ant colony D-S evidence combination rule to deal with the multi-source data fusion problem with aim of reducing the subjective dependence of situation parameters.Meanwhile,the neural network is applied for searching key characteristics of security events to reduce data dimension,avoid dimension explosion and improve the real-time performance.It also discusses a hierarchical awareness algorithm and can map the discrete alarms to the dynamic threats tendency in order to improve the capacity of quantitative analysis for network security.The simulation shows that the proposed model and algorithm can improve the detection rate and decrease false alarm rate,and dynamically monitor the evolution of the network security threats.

network security situation awareness;data fusion;ant colony optimization;neural network;feature selection

2015-12-21

2016-04-05

时间:2016-09-19

山东省高校科技计划项目(J11LG09)

张淑雯(1991-),女,硕士生,CCF会员,研究方向为网络安全、数据融合;刘效武,博士,副教授,CCF会员,研究方向为网络安全、数据融合、认知计算。

http://www.cnki.net/kcms/detail/61.1450.TP.20160919.0839.006.html

TP393

A

1673-629X(2016)10-0077-06

10.3969/j.issn.1673-629X.2016.10.017

猜你喜欢

层次化特征选择维数
面向量化分块压缩感知的区域层次化预测编码
β-变换中一致丢番图逼近问题的维数理论
一类齐次Moran集的上盒维数
Kmeans 应用与特征选择
铁路传送网OTN设备互联互通开销层次化处理研究
联合互信息水下目标特征选择算法
基于特征选择聚类方法的稀疏TSK模糊系统
舰船系统间电磁兼容性的层次化优化方法
基于层次化分类器的遥感图像飞机目标检测
基于特征选择和RRVPMCD的滚动轴承故障诊断方法