基于大数据的网络安全态势感知关键技术研究

王以伍 张牧

摘要：随着大数据、人工智能、云计算等信息化技术的发展，以及“网络空间安全”上升到国家战略层面的高度，网络安全态势感知也成为网络安全领域的新热点。利用大数据相关技术对网络运行相关海量数据进行分析、过滤、融合、识别已知和未知的安全威胁，建立完善可靠的安全体系，指导网络安全运维工作，从而有效保障网络安全。

关键词：态势感知;网络安全;关联分析;复杂事件;日志;告警

中图分类号：TP393.08 文献标识码：A

文章编号：1009-3044（2020）15-0043-04

1引言

随着互联网的快速发展，各种网络安全事件层出不穷，从简单的网页篡改、挂马到威胁国家安全的网络攻击行为屡见不鲜。网络攻击逐渐呈组织化、规模化发展。近年来，像“震网病毒”“BlackEnergy"“委内瑞拉大规模停电”等网络安全事件影响巨大，甚至威胁到国家稳定。

2017年6月1日，《网络安全法》的颁布实施，各机构、单位对网络安全越发重视，落实等级保护制度，部署相应的安全设施。传统的网络安全管理方式注重安全功能的叠加，通过建设防火墙、漏洞扫描、WAF、IPS等安全设备查漏补缺，完成各方面的安全防护。但网络攻击日渐精进，黑客正在全球布局，高明的攻击手段一般长期潜伏、持续渗透，隐蔽性极强。

1999年，网络态势感知（Cyberspace situational Awareness，CSA）的概念首次被提出。近年来，网络安全态势感知的概念逐渐引起研究人员的兴趣，希望通过大数据、人工智能等技术从大量且存在噪声的数据中提取隐藏的安全事件，方便管理人员宏观地把握整个网络的安全状况。这对于提高网络系统的监控能力和应急响应能力具有积极的作用。态势感知不仅在2016年“419”讲话中被提及，《“十三五”国家信息化规划》也明确提出，“建立政府和企业网络安全信息共享机制，加强网络安全大数据挖掘分析，更好感知网络安全态势，做好风险防范工作。”

2网络安全态势感知架构

采集和分析各种异构的传感器安全事件，进行汇总、分析、处理，以直观的方式呈现，方便管理者把握复杂、多变的安全态势是态势感知的核心工作。但是，目前实现网络安全态势感知还存在一些困难，主要体现在以下几个方面：

（1）精简复杂事件，提炼出有效信息，降低误报率是网络安全态势建模的主要问题。

（2）不同传感器对攻击活动定义的呈现方式存在差异，在琐碎的告警信息中将同类信息进行相互的关联是个重要问题。

（3）传感器产生的告警数据繁多，但是针对告警的处理知识却很少，主要通过专家库规则来进行，通常无法满足需求。

本文通过开源分布式技术架构建立的一套以大数据技术为基础的态势感知平台，全方位整合孤立的防护孤岛和信息孤岛，对网络设备、安全设备、应用系统、终端、数据库等各种日志等海量安全数据进行集中采集、存储和分析，打破了原有安全防护措施的烟囱式防护方式，将所有安全防护措施打通，利用其对海量数据的高效计算能力，结合复杂事件处理技术，建立可靠的威胁检测模型，从整体上提升对安全威胁的发现识别、理解分析、响应处置能力的一种方式，实现网络防御从被动到主动的转变，建立起全网安全态势感知能力。网络安全态势感知架构如图1所示。

如图所示，态势感知主要涉及四个环节的内容，在数据采集阶段通过对海量数据的采集，汇入到数据库中，数据源搜集的信息包括以下方面：

（1）日志数据：包括网络设备、主机、应用、安全设备记录的日志和告警信息。

（2）流量数据：网络流量数据。

（3）支持数据：整个网络中所有的资产信息、相关的人员信息、账号信息以及与资产相关的漏洞信息和威胁情报信息等。

数据采集和预处理是对数据源收集的信息进行解析、标准化和丰富化处理，从而为数据分析提供高质量的数据。主要工作包括以下几方面：

（1）数据解析：通过Syslog、SNMP和文件共享等方式进行数据的解析。

（2）标准化：对数据进行标准化，便于事件检索和实时关联分析。

（3）丰富化：对数据进行丰富化，从而提高事件分析的可信度，降低误报率。

数据存储是指全量存储网络中原始的网络数据，使数据结果分析更加全面可信。对所有网络行为数据建立索引，便于陕速查询、管理分析和举证。

数据分析是在安全数据搜索引擎的基础上，充分利用大数据分析的模型算法和处理能力，从海量数据中自动挖掘出有价值的信息。

数据应用是依据数据分析结果，实现网络安全态势感知、告警管理、追踪溯源等应用。

3关键技术分析

3.1关联分析

关联分析又称关联挖掘，是一种用于发现存在于海量数据集的关联性或相关陛的分析技术。通过关联分析，查找存在于项目集合或对象集合之间的频繁模式、关联规则、相关性或者因果结构。

例如网络中的防火墙、WAF、入侵检测行为审计等安全设备（探针）都会对进入网络的安全事件进行日志记录，当出现某一特定的安全事件，各安全探针均会产生大量的告警日志，而这些日志之间存在着很多的冗余和关联。因此关联分析的任务就是将这些分散的原始日志转换为直观的、易于理解的事件。

對提取的事件基于规则、统计、资产等属性进行分析，通过逻辑符号and、and、not来表示属性的逻辑关系。当符合相应的限制条件时，则激活相应的规则进行误报排除、事件源推论、安全事件级别重新定义、阈值关联、黑名单等动作。

通过关联、融合，减少事件复杂度，更准确地生成安全态势。

3.2事件统计分析

事件统计分析是指采用统计学方法，对各类事件的状态、频次、发生周期等数据量化特征进行计算、得出事件数据的分布状况、主要特征、时间序列的趋势性、是否存在异常值、事件汇总结果等内容，事件统计分析结果可直接用于事件性质的判定、解释和决策。

3.3复杂事件处理技术

复杂事件处理（CEP）是目前针对事实事件流进行检测、分析、处理的最佳技术。其主要应用于事件驱动系统架构中，以便开发出更复杂的逻辑架构，实现系统智能化处理。

基于复杂事件处理的概念，针对单位内部的各种安全设备用户预先在系统中定义需要检测的复杂事件模式，具体的一种案例模式来说就是对日志数据进行以源ip、目的ip、类型等维度进行复杂的关联分析处理、包含去重、合并等对原始日志数据进行筛选、统计、关联分析出具有威胁的日志数据。

4主要工作

因此，网络安全态势感知形成的过程主要是对网络中各安全探针采集的日志进行过滤、融合、关联等一系列的复杂事件处理，对网络中的各种类型网络攻击行为即时发现，并对安全趋势、危害程度提供评估参考。建立安全态势的主要工作包括：

4.1数据标准化

数据标准化是从原始数据信息中解析出各个不同的属性信息，将原始数据转换为统一的标准化的数据，为后续分析处理提供统一的标准化数据结构，标准化数据参考格式如表1所示：

4.2数据丰富化

对采集到的数据进行字段补全，使入库数据结构尽量完整，为后期的安全分析提供更多的分析维度。主要补全的内容如下：

（1）补全源IP、目的IP二元组。

（2）补全源IP、源端口、协议、目的IP、目的端口五元组。

（3）根据源IP，关联geo库中对应ip信息，补全源IP对应国家、省份、城市、经纬度等。

（4）根据源IP（目的IP）关联资产库补全源IP（目的IP）对应资产ID、资产类型、资产所属组织机构、资产所属业务系统、安全域、地理位置等。

（5）根据设备IP，关联资产库，补全设备资产ID，补全设备资产类型ID等。

4.3事件处理

利用复杂事件处理引擎，采用关联分析、统计分析等复杂事件处理技术，对输入的标准化事件进行合并、去重，得到简单事件，同时对事件进行启发式学习，降低漏报率，提高系统精确度。

5应用场景

通过安全态势体系的建立，集中了网络内各种安全设备及系统的告警日志，丰富的事件日志能对安全威胁做出更精准、有效的响应。安全事件应用场景举例如下：

5.1密码猜测攻击

密码猜测攻击的态势感知过程是通过对系统登录日志、IDS、IPS、WAF告警进行检测分析，识别和发现疑似密码猜测或撞库攻击行为的检测结果，从中抽取密码猜测或暴力破解攻击为事件源。例如，在△t内，对同一destIP，不同的devNO，如果登录行为特征为密码暴力破解攻击，则全部归并为同一事件e。被归并事件的原始日志需要保留。对于相同检测结果，将获得同一结果的来源设备和来源索引合并为输出。

5.2 WEB攻击

Web攻击的态势感知过程是通过对安全设备告警日志、WEB中间件访问日志、服务器日志和流量日志进行检测分析，对识别的CC攻击、SQL注人攻击、WebShell攻击、跨站攻击等攻击行为进行关联分析处理的过程。根据访问时间、IP、端口、访问请求内容，将上述检测结果中属于同一攻击事件的结果进行归并，确保同一事件只输出一个结果，被归并事件的原始日志需要保留。对于相同检测结果，将获得同一结果的来源设备和来源索引合并为输出。

6結束语

态势感知的部署，对于机构内部网络安全统一管理，掌握网络安全状况，为网络安全优化提供决策依据具有重要意义。虽然当前伴随大数据、人工智能、机器学习、云计算等信息化技术的发展，网络安全态势感知基于此取得了一些突破，但总的来说，对于网络安全态势感知的研究还处于初级阶段，如何进一步提高感知的精确度、对安全事件做出自动的响应等问题有待进一步研究和完善。