基于大数据视角下的网络安全态势感知研究

张小林 罗汉云 鲁雷

摘 要：随着网络技术的不断发展，给信息化社会带来了很大的便捷，但是网络安全风险与日俱增.本文主要研究了来自网络入侵、防御、安全审计等安全威胁事件，通过大数据和数据挖掘技术进行分析，得到网络安全态势感知趋势.通过分解独立安全风险域和网络中的安全风险事件以及信息系统的安全等级进行量化，得到网络安全风险评估的量化风险值，给决策者提供网络风险管理依据.

关键词：安全风险;安全威胁评估;态势感知;日志分析

中图分类号：TP393.09  文献标识码：A  文章编号：1673-260X（2020）07-0020-04

1 引言

随着通信技术的不断发展，5G技术的普及应用促进了物联网大规模的建设，带动了整个工业互联网的不断扩张和发展，也伴随带来了网络安全问题.信息化是推动经济社会发展转型的一个历史性过程，伴随着Web技术的发展，H5技术的出现，基于智能终端的应用、App出现爆发式增长，给人们的工作、生活带来了极大的便利，但这种野蛮式的增长同时也带来了极大的网络安全风险.

目前，各级人民政府、高校、企事业单位都拥有自己的局域网，建设有各种各样的应用系统，业务平台，有的用于办公，有的是对外提供服务、查询，在各个系统中含有海量的数据，其中也有很多涉及到隐私的信息，在2017年6月1日《中华人民共和国网络安全法》正式颁布，信息系统安全等级保护也写入了网络安全法，网络安全建设已经成为信息系统建设中的一个重要组成部分.网络安全涉及到很多方面，不仅仅是技术层面，很大程度上体现在管理层面.网络安全从技术角度，根据各个系统的边界、网络的边界部署相关的网络安全设备，配置相应的安全策略进行主动和被动性防御;从管理层面，主要是完善各种规章制度，严格按照要求进行日常的管理、维护、安全加固等.本文主要研究通过安全设备、网络设备产生的海量安全威胁事件、安全审计事件以及主机的安全风险数据进行分析，对其中的安全风险、安全威胁等进行量化处理，从而分析出当前网络的安全风险值以及得到网络安全态势.

2 相关工作

态势感知[1]最早源自军事对抗中.1988年，Endsley首次明确提出态势感知的定义，态势感知是指“在一定的时空范围内，认知、理解环境因素，并且对未来的发展趋势进行预测”[1].态势感知的思维方式和方法，在战斗指挥、医疗应急调度等应用范围很广，但是这个概念并没有引入到网络安全领域中.直到1999年，Bass提出了网络态势感知这个概念，提出“多传感器数据融合技术为下一代入侵检测系统和网络态势感知系统提供了一个重要的功能框架，它可以融合多源异构IDS的数据，识别出入侵者身份、攻击频率及威胁程度等”[2].

当网络态势感知被引入到网络安全领域后，国内外很多专家针对这个概念提出了概念模型和功能模型，Endsley[3]和Bass[4]为网络安全态势感知的研究奠定了基础，给出了网络安全态势感知的概念，“在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及预测未来的发展趋势”.网络安全态势感知首先需要获取安全要素，这些安全要素可以理解为与网络安全相关的信息，这些信息可能来源于网络传感器、嗅探器所采集的数据、网络安全设备等.当这些安全信息收集完成后，需要对它们进行理解，对这些安全要素进行分析、关联等技术，最终能够将这些安全要素能展现出过去某个时刻网络的状态，并且能够为决策者提供预测未来的发展趋势.

很多文献对网络安全态势感知都没有给出一个完整的概念定义，只是对网络态势感知进行了定义，文献[1]明确地定义了网络安全态势感知的概念，以及提出了网络安全态势感知的现状以及问题.根据不同角度、对安全要素观测点不同，建立的模型以及研究方法也有很多，文献[2]提出了一种基于神经网络的网络安全态势感知方法，文献[5]提出了基于知识发现的网络安全态势感知研究.也有很多学者通过网络的脆弱性信息来评估网络的脆弱性态势，也有通过采集网络的报警信息来评估网络的威胁性态势.

3 安全要素获取

3.1 网络安全风险评估

在网络安全风险评估领域，我们起步较国外晚很多，重试程度也不高.到2002年，颁布了国家标准《信息技术、安全技术、信息技术安全评估准则》（GB 18366-2002）[6]，2009年颁布了《信息安全技术 信息安全风险评估规范》GB/T 20984-2009，在2012年发布了《信息安全技术 信息安全风险管理指南》GB/Z 24364-2012[7]，这些国标的出台，对我国的网络安全风险评估等安全方面的建设带来了依据，同时也表明国家对网络安全风险也越来越重视.一般认为在对安全风险进行评估时，需要从三个方面进行，主要是资产、威胁、脆弱性.通过基于这三个方面的安全風险评估，获取网络的整体安全风险.在一个大型网络中，首先取得网络的拓扑结构图，划分网络域.可以通过信息系统为核心，针对信息系统在等级保护定级、边界防护设备的分类，可以将网络分解为合适的独立的网络域，形成独自的安全风险域，通过对各个子安全风险域进行以上三个层面的风险评估，最终网络安全风险将由各个子网络域的安全风险汇总而成.定义NSR表示网络安全风险值，则NSR=■NSRK，n为网络中独立安全风险域的个数.

网络安全威胁是一个动态的过程，它不是一蹴而就的，安全风险也总是客观存在的.在实践过程中，存在着风险与成本的关联关系，也存在着安全风险与可用性的关系，所以在客观实践中，就存在着如何去合理地评价、分析网络安全风险.安全风险评估是通过科学的分析，通过量化确定风险的过程.通过风险评估可以让管理者更好地预防风险，通过管理和技术进行风险控制，以及减少安全风险.

在网络系统中，各个设备、服务器、主机、应用系统的重要程度不一样，依据所承载的信息系统的等级保护级别给他们分配不同的权值.信息系统的安全保护等级分为以下五级，一至五级等级逐级增高，在大部分网络中，二级和三级的信息系统占大多数，为了更好地体现风险价值，在[0，1]区间定义权值，级别越高，权值越高.

3.2 安全要素的来源及处理

各个应用系统的运行、访问、操作等行为，每时每刻都会有大量的数据在传输.其中涉及安全要素的数据，可以从网络中的传感器中直接获取，也需要从网络安全设备如入侵检测、入侵防御、漏洞扫描系统、堡垒机、数据库审计等，另外还有部分从服务器、网络设备等获取，如服务器、交换机、路由器等产生的日志数据.这些数据有的是安全日志，对于安全日志只需要提取那些受到威胁或攻击等日志，正常日志不需要进行收集;对于网络底层的数据流量，采用NetFlow v5格式，利用SILK收集和分析数据流，并将异常的数据以一定的格式传输到安全威胁数据库中.

对这些海量的日志数据、威胁数据、风险警报数据、漏洞风险等数据的存储，需要整合到混合式数据仓库中，利用大数据技术，在Hadoop框架下的分布式文件系统HDFS和分布式計算MapReduce对海量数据进行运算.

3.3 安全要素的分析

根据收集的安全要素进行分类，入侵检测、防御类，主要有IDS（入侵检测系统）、IPS（入侵防御）、Web应用防火墙等，这类设备主要是提供网络中攻击威胁事件，也是威胁量化中的一个重要的数据来源.还有如数据库审计系统、运维审计系统类，能够提供一些非法的操作、异常行为事件等重要信息.

入侵检测设备（IDS）是一种主动防护的安全技术，对外网传入内网的数据流进行即时监视，在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备.根据不同的信息来源和不同的检测方法也有不同分类.在IDS中，会产生大量的入侵事件，系统根据相关的规则库对事件也进行了分类，同时也会有很多类型的日志信息.

Web应用防火墙，也称为WAF设备，部署方式有多种形式，可以通过云部署方式，也可以通过本地部署方式，两种部署方式从结构上有所不同.它的主要用途是针对网站入侵进行防护，随着Web技术的不断发展，很多新技术不断涌现，但是同时也带来了大量的安全漏洞，这也成为很多黑客组织攻击的主要目标，OWASP组织提供权威的十项最严重的Web应用程序安全风险列表，总结了Web应用程序最可能、最常见、最危险的十大漏洞，同时也给开发、测试、服务、咨询人员应知应会的知识.根据OWASP组织提出的十大风险漏洞，给与风险值较高的威胁分配权值高的量化值，同时结合其他安全要素定义每个风险安全域的量化安全风险值.Web防火墙记录有Web站点入侵事件记录，同时也有其他的日志事件，如Web安全日志、Web防篡改日志、网络层访问控制日志等.

漏洞扫描系统，根据漏洞知识库从操作系统、服务、应用程序和漏洞严重程度多个视角进行分类，需要给出具体的分类信息.可以针对操作系统、数据库、中间件、通信协议进行漏洞扫描，也可以对常用软件、应用系统、虚拟化系统等进行漏洞扫描.漏洞扫描系统可以从弱口令的猜测到主机系统的安全配置，以及部分应用系统、应用软件的漏洞扫描，提出风险点，依据各个风险点的级别，重要程度进行量化.同时可以在漏洞扫描系统中，将资产纳入统一管理，同时建立资产风险评估.

根据不同的网络环境，所采取的安全防御措施和网络安全设备的部署情况以及策略设置、安全管理等不尽相同.根据客观实际情况，对不同的资产重要程度、事件安全风险级别、信息系统的安全级别进行量化.本文采用文献[9]的量化标准，对网络、服务器进行分类，按照重要程度进行分配权值.目前一些主流的安全产品，其主要的漏洞风险库都是参考CVE、CNCVE、CNVD、CNNVD等数据库，每一种风险漏洞都有其编号以及其威胁程度.在漏洞扫描时，根据漏洞的威胁程度，给出安全风险级别，根据风险级别高、中、低，进行量化.

3.4 安全要素的融合

借助大数据技术，通过对安全事件、安全威胁日志等海量的数据信息进行处理，为下一步进行关联规则分析、态势感知提供最可靠的数据源.预处理过程中的第一步数据质量的把控非常重要，涉及到数据的误报、数据的聚合等.在数据融合根据关联规则分析需要的特定的数据格式，在数据预处理阶段进行转换.

在事务识别和聚合以及在后面分析过程中，源地址和目的地址都是一个主要的特征表示，同时事件的时间字段是各个安全要素统一的连接点.当某个系统在遭受攻击时，可以对之前的数据进行梳理，通过关联规则找到攻击的时间点以及攻击路径.通常在攻击行为实施前，攻击者都会通过信息收集、扫描，获取大量的信息，然后通过漏洞挖掘、查找相关软件的漏洞等，最后通过漏洞利用，进入系统，提权等操作.那么在所收集到的安全要素中，一些常见的扫描、爬虫等安全事件是不能随意忽略的，通过多个安全事件以及建立本地的知识库，将这些看似平淡无奇的安全事件反应在网络安全态势中.

在海量异构数据处理过程中，数据融合是一个非常重要的环节，涉及到数据的提取、理解、分析等，数据融合是一个多级、多层面的数据处理过程.网络安全态势感知的数据融合有很多算法，有的是基于逻辑关系，有的是基于数学模型，有的是基于概率统计等.基于逻辑关系的数据融合是根据信息内在的逻辑关系进行的融合，采取的融合方法是警报关联[10].这种数据融合的方法很好理解，它可以快速直观地在海量数据信息之中分析出网络的安全态势.

4 网络安全态势感知量化

通过网络安全风险评估，基于网络中的大量的安全要素，以及通过大数据技术、数据挖掘技术对这些安全信息进行研究分析，最终将这些数据理解、量化，通过可视化技术显示出来.

通过采集、分析Web防火墙、IPS、数据库审计等安全要素，得到某Web站点的攻击趋势图，如图1所示.

根据文献[11]，并根据信息系统的安全等级保护的级别、漏洞等要素，将网络安全态势的安全等级进行分级，用[0，1]区间进行量化描述，分为安全、轻度危险、一般危险、中度危险、高度危险几个级别，通过将网络安全风险进行量化，结合可视化技术，给管理者提供更直观的安全感知.

5 结束语

通过大数据技术对网络中的安全要素进行处理，将单个的网络安全事件、安全漏洞、安全威胁、安全日志等，通过量化每个风险指标，形成网络安全态势.将整个网络通过分解成多个独立安全域进行安全风险评估，根据等级保护级别，依据量化的风险值，从而形成了整个网络的安全风险值.安全威胁是一个动态的过程，虽然所采集的是历史的数据，但是通过安全风险评估和关联规则分析，能够形成网络安全态势的趋势预测.通过网络安全风险评估，能够给管理者提供更全面的当前网络安全态势，更好地有针对性地做好安全保障工作.

——————————

参考文献：

〔1〕龚俭，臧小东，苏琪，胡晓艳，徐杰.网络安全态势感知综述[J].软件学报，2017，28（04）：1011-1026.

〔2〕谢丽霞，王亚超.网络安全态势感知新方法[J].北京邮电大学学报，2014，37（05）：31-35.

〔3〕Trusted Computing Group.TCG Specification architecture overview specification revision 1.2[EB/OL].[2011-04-15].http：//www.trustedcomputinggroup.org /.

〔4〕BASS T，ARBOR A.Multisensor data fusion for next generation distributed intrusion detection systems[C]// Proceeding of IRIS National Symposium on Sensor and Data Fusion.Laurel， MD：：[s.n.]，1999： 24 - 27.

〔5〕王春雷，方蘭，王东霞，戴一奇.基于知识发现的网络安全态势感知系统[J].计算机科学，2012，39（07）：11-17，24.

〔6〕中国国家标准化管理委员会.信息技术、安全技术、信息技术安全评估准则：GB 18366-2002[S].北京：中国标准出版社，2002.

〔7〕中国国家标准化管理委员会.信息安全风险管理指南：GB/Z 24364-2012[S].北京：中国标准出版社，2012.

〔8〕中国国家标准化管理委员会.网络安全等级保护测试评估技术指南：GB/T 36627-2018[S]，北京：中国标准出版社，2018.

〔9〕司加全，张冰，荷大鹏，等.基于攻击图的网络安全性增强策略制定方法[J].通信学报，2009，30（02）：123-128.

〔10〕单宇锋.网络安全态势感知系统的关键技术研究与实现[D].北京邮电大学，2012.

〔11〕谢丽霞，王亚超.网络安全态势感知新方法[J].北京邮电大学学报，2014，37（05）：31-35.