数据仓库在网络安全态势感知中的设计与实现

◆王 进 姜新超 孙佳伟

（战略支援部队信息工程大学教研保障中心 河南 450001）

0 引言

计算机网络和操作系统漏洞越来越频繁地暴露于人们的眼前，不仅给人们造成了无法弥补的财产损失，更严重威胁到国家的整体信息安全。及时了解网络的现状，预测其趋势，成为保障网络服务安全的首要任务，综合监测和分析网络安全形势是防范网络安全事件的关键，建立合理的高性能数据仓库，能使决策者在数据量极大、数据来源相当复杂的情况下从网络中提取到关键信息，对当前网络状况进行正确的判断和预测至关重要。

1 网络安全态势评估模型

1.1 网络安全态势评估

对网络安全态势的评估，需要抽取网络事件，提取其中相关的部分，判断其能否反映当前网络状况，多次提取得到一个概率值。评估出来的结果能帮助网络管理者更好地对网络进行掌控，更为简单、直观地看出网络当前存在的问题，方便决策者解决网络问题，国内研究存在的主要问题是：

（1）态势感知系统模型标准不一；

（2）数据源单一，态势感知并不能达到完全精确，以致预测不能完全准确；

（3）面对海量网络数据时，将其快速分类处理的能力明显不足；

（4）在衡量大规格的网络安全态势时，没有一个全面且标准的指标；

（5）历史数据存在不可用网络来分析和比较优点和缺点的情况，不能提供最好的来源对未来趋势进行分析预测。

1.2 网络安全态势评估过程模型

态势评估是有层次性的，大致可以分为三级，通过数据融合完成态势觉察，可以提出态势元素，根据态势元素进行理解然后预测敌方意图，如图1所示。

图1 网络安全态势评估过程模型

一级态势觉察，使用分类采集技术，采集不同格式的数据，将其按照规律融合后提取出关键的态势元素，并把它分类，以便下一阶段理解。

二级态势理解，根据一级得出的态势分类，发现网络当前态势的特点，结合以往经验，推断出当前态势状况，了解敌方的意图，洞悉其入侵计划。

三级态势预测，在确定未来的网络安全状况预测的情况下准确地了解结果的情况可以在多个级别，由一个或多个，从一个单一的实体行为演变到顶端的趋势预测的全局趋势。

1.3 数据仓库技术

就目前的网络态势感知研究来说，数据仓库将作为优于传统数据库的数据分析平台，其特点如下：

（1）面向主题。数据是以一个系统的研究对象为处理的主题，其所有的数据都是围绕着一个或多个主题组织展开的。例如在网络安全系统中，这样的主体可能包括网络流量、网络病毒、关键网元等等。

（2）集成性。由于一般的信息系统表示方式存在着编码、命名解析、度量属性这些不一致的数据可能对数据挖掘结果产生影响。

（3）随时间变化性：数据仓库中的数据要定时更新，将还有作用的历史数据予以保存，在不断地抽取、转换后，彻底失去使用效力的数据将被删除。

（4）稳定性。传统数据库的数据处理形式是操作型，面向对象是事物，只是针对具体的常规业务操作。这点不同于数据仓库，数据仓库能帮助决策者分析数据，是一个分析型数据处理系统，针对主题，提取分析数据，再重新组织，最后建立决策支持系统，传统数据库与数据仓库的比较。

2 建立网络态势感知的数据仓库

2.1 概念模型设计

现实世界的概念模型是抽象对象的客观过程的结果，数据仓库的分析对象，都是现实世界中客观存在的事物，经过逐步地抽象处理，最终在数据仓库中被恰当地描述出来。

（1）主题域的确定。分析主体可以确定主体范围的界限，在确定主题领域之后，也要对其进行分析，以进一步确定将主题装入数据仓库的过程。网络安全态势感知系统可以再进行划分成三类分析，三类分析还可以各分为两项主题分析，如图2所示。

图2 网络安全态势主题划分图

（2）建立概念模型。建立数据模型最常见的方法绘图法具有简明直观的优点，在传统的图中引入真正的事实实体、维度实体和引用实体。

事实实体：用于在一系列相互关联的事实是现实的，它是中央数据仓库的体系结构、数据仓库中的相应的事实表，为用户提供一定数量的点数据分析。

维度实体：用于细化描述实体的各项属性，是事实实体更加详细的属性，主要作用是进行筛选查询结果。

引用实体：对应于某一特定个体或对象的现实，在交易数据查询时提供详细的、准确的数据。

（3）数据仓库设计。设计传统的关系型数据库系统需要经常注意规范性数据库之间的关系，关系划分一个明确的规范系统，实现快速响应和更好的存储。数据仓库的作用是支持实现决策，这就需要频繁的查询操作，这些操作往往细小繁杂，为了提高数据仓库的运行效率，要结合实际情况来设计一个合理的数据仓库。

2.2 逻辑模型设计

在对数据仓库系统初始研究和分析的基础上创建一个逻辑数据模型，为数据仓库系统构架提供较为规范的基础构造。逻辑模型构架包括以下个四个基本阶段：

（1）确定数据粒度。合理地选择数据仓库的粒度，得以满足最终用户的分析需求，还可以提高数据仓库的储存量及运行效率。因此，在设计数据仓库时要满足分析需要注意粒度的大小，还要考虑提高存储容量和查询数据仓库的效率。根据原则，选择相对合适的数据粒度。

（2）维度表设计。数据仓库维度表是每个角度数据分析和用户代表维度的表，维度表包含事实表记录中的详细信息，如时间维通常可以将时间划分为年、月、日等数个层次，从而方便在特定分析时，可以将不同时间段的数据汇总，做出不同层次的对比分析。

（3）事实表设计。事实表是一个数据仓库的体系结构，在表的中心，事实表和维度表与其中包含的数字密钥和措施相关。

（4）确定逻辑模型。在确定了模型粒度、维度表、事实表之后，链接维表和事实表确定逻辑模型。

2.3 物理模型设计

设计物理数据模型，充分考虑实际的数据存储格式，在逻辑模型的基础上，对数据仓库的物理模型进行物理模型的确定，以确定事实和维度表的存储结构。

（1）建立不同的表空间。表空间在数据库与表中，存储在数据库中，表空间中的数据库文件属于物理层，它被存储在一个单独的单元，同一个源、类似的类型，在同一区域使用一致的数据，使不同的数据分布在不同的表空间里，这有利于统一存储和优化。

（2）设置索引。索引作为数据库中最常用的、工作效率高的查询方式，主要用于数据量巨大、访问频繁数据表的情况，可以设置多个索引以提高其处理访问数据的速度，满足各样查询要求。

（3）对数据表进行分区。为了加快读写和查询速度，系统对流量相关的表和索引进行再分区，增强数据表的可用性，改善查询能力，方便维护数据，可以按时间将不同时段写入的数据聚合汇集到不同的时间分区中，按数据处理的关键字段不同建立分区键，辨别数据存储的位置，这样在处理同一时期或分区键的数据时，可以访问只满足分区条件的数据，当与索引设置配合使用时，应根据分区号筛选出相应的周期内的数据。

2.4 生成数据仓库

网络态势感知的来源数据量海量，所以需要进行两次ETL过程：第一次ETL过程中所进行的工作是粗略地删选最初的日志、流量、网络报警等操作型数据，表结构基本与原始数据来源构成的表结构相同，主要目的是要屏蔽数据源对数据平台建立的复杂性，为下一步建设分析性数据仓库做准备；再进行第二次ETL过程，以主题为导向的方式来重新整合数据，转换、收集和全面的数据仓库来分析数据存储。

3 结束语

网络安全态势感知主要是针对当前网络安全现状，运用新的技术评估和预测网络，面对各种新兴的入侵工具，网络安全态势感知系统对于保障系统安全具有重要的实际意义，本文在网络安全态势感知的基础上，引进了数据仓库的概念，重点分析了如何构建网络安全态势感知数据仓库系统，要想建立完善的网络安全感知的数据仓储，还要对数据仓库的 ETL（抽取、转换和装载）处理系统和 OLAP（联机分析处理）分析系统，进行分析设计，使用和维护数据仓库，使得网络管理员能从不同的角度综合分析去找出网络中潜在的各种风险和发生各种风险的原因，进一步落实有针对性的网络安全措施。