浅谈大数据分析的应用安全态势系统设计与应用研究

◆何姗姗 谌婧娇 陈佳

浅谈大数据分析的应用安全态势系统设计与应用研究

◆何姗姗1谌婧娇1陈佳2

（1.安徽三联学院 安徽 246000；2.池州学院 安徽 247000）

互联网技术的发展为人们带来了丰富的信息资源，为各行业提供了发展的便利，但是黑客、病毒等各种安全问题，导致用户的信息泄露、丢失或被篡改。本文对大数据时代互联网安全的发展情况进行了分析，从安全指标量化、感知模型架构两方面论述了安全态势系统模型的具体建立方式，提出了采集服务器、分析平台等安全态势系统应用，以期为行业相关人员提供系统设计和应用的具体思路。

大数据分析；安全态势；系统设计；系统应用

当前社会各行业的发展以及普通人的工作和生活均离不开互联网信息化技术的支持，随着用户的增加、信息传播效率的增加，当前的网络信息正处于极速膨胀的阶段，各种黑客、病毒等也充斥其中，这导致各行业的发展均因为安全问题受到威胁。为此，行业技术人员需要加强对网络安全威胁的关注，通过相应的技术进行感知，以此来规避安全风险。考虑到当前庞大的信息数据量，行业技术人员需要积极将大数据分析技术与安全态势系统相互结合，为互联网活动提供安全保障。

1 大数据时代基于应用日志分析的安全态势研究现状

在分析应用安全态势的过程中，应用日志是一个重要的分析点位，能够辅助技术人员充分掌握用户的相关行为。当前互联网用户急剧增加，应用使用人数呈指数暴增，所产生的日志文件也随之增多，安全态势系统研究人员需要充分考虑日志的应用方法，从而更好地对应用日志进行管理和分析，进而实现对安全风险的有效规避[1]。例如，伊朗核电站在21世纪前期因蠕虫病毒而出现丢失日志文件的情况，导致日志相关联的上千台离心机设备出现结构损伤；法国电视台在黑客的影响下出现黑屏问题；棱镜门中大量互联网巨头公司对用户隐私进行监控记录。应用安全问题的存在不仅对普通人的生活产生负面影响，甚至对一个国家的重要活动产生阻碍作用。

当前应用日志主要有两种处理措施，分别为规范化和未规范化的处理方式。未规范化的应用日志处理措施在应用过程中直接将系统上传的数据进行审计分析，这一措施常用的系统为SPlunk引擎，可以TB级别的原始日志进行实时监控和分析；规范化的应用日志处理措施则是在上传之前先进行相应的标准化处理，避免出现大量的重复部分，同步做好分类、聚合等工作，在此基础上进行规范处理。相对而言，国内在这方面的研究时间较短，而国际上已经出现了较多成果，也构建了相应的大数据生态系统，如MapReduce、HDFS等[2]。应用态势感知系统设计初期，设计人员充分考虑了数据挖掘所面临的大数据分析问题，提出了从网络应用所蕴含的大量数据中找出安全问题的思路，明确了安全要素收集、提出以及分析等工作思路，以此实现对安全态势的预估和分析，从而规避安全风险。刘效武（哈尔滨工程大学）在研究中将传感器与安全态势系统相互融合，设计了相应的模型；陈秀真（西安交通大学）对安全态势模型进行了量化处理，提出了层次化的评估模型和具体的计算手段。当前，国内在安全态势系统设计应用方面依然存在较长的路要走，需要相关人员进行更深入的研究和探索。

2 大数据分析的应用安全态势感知系统模型

2.1 对安全指标进行量化处理

安全态势系统模型的构建前提是对当前的安全指标进行量化处理，形成相应的体系结构，以此来确保系统模型的可行性和科学性。其中，系统模型主要从应用运行安全情况、用户行为情况以及数据威胁情况这几个方面进行指标量化。其中，应用运行安全情况主要涉及系统资源、用户连接、应用服务等内容；用户行为情况主要涉及应用受到的攻击、应用内部资源下载、应用访问等内容；数据威胁情况主要涉及威胁度较高的数据操作频率、数据访问频率等内容，相关指数大小与非法攻击频次以及应用面临的安全风险存在直接联系。

2.2 模型具体架构

安全态势模型的系统架构的重要基础，模型的构建需要结合当前的网络数据情况开展。相关数据结果表明，现阶段网络信息种类和数量正处于快速增加的阶段，数据安全风险感知所包含的种类极多，涉及用户请求、数据库操作、系统管理行为以及应用日志等大量信息数据，为了避免模型的应用效果受到影响，技术人员需要综合考虑不同类型数据存在的粒度及格式差别，在应用与用户之间以及应用与数据库之间进行数据的采集汇总工作，通过数据分析对其中有问题的数据进行预警和过滤，实现异常数据阻断的同时结合相关的关联规则进行分析，获取相应的态势分析报告，下面进行详细介绍。

数据采集汇总是安全态势模型的基础环节，关系到后续的分析、预警工作能否正常开展，主要工作内容是收集融合用户行为数据、异常信息数据以及数据库中的应用日志，并按照相关要求进行处理[3]。其中，用户行为数据主要由用户对应用的操作过程产生，模型通过处理将日志中没有意义的内容剔除，为后续的分析通过数据基础；数据库应用日志主要包含了各自操作行为，通过记录操作相关的用户名、操作对象和时间、用户地址等用于后续的分析处理。

数据过滤和预警阶段主要对各种来源不同的安全事件进行数据汇总处理，确保各种数据具备规范的组织格式。一般而言，数据处理的工作目标在于为安全态势感知工作提供数据基础，系统模型需要对冗余的数据进行降噪和去重，通过归一化处理的方式将关键信息从安全事件中选出来，确保后续的分析模块可以对关键信息进行快速处理，这种处理方式在处理相似性较高数据的过程中可以取得良好的成效，能够减少系统运行占用率，减少不必要计算成本。

关联分析的前提是技术人员结合实际需求制定准确的关联规则，通过逐级关联匹配的方式将存在安全风险的事件从海量的信息数据中筛选处理，避免出现误报等影响效率和问题，确保能够及时做出相关预警，将异常的事件与正常的数据相互隔离，避免对应急响应工作造成影响。在具体进行关联分析的过程中，系统需要先结合大数据相关技术从海量的信息数据中提取所需数据，确保信息数据获取的高效性和准确性[4]；其次，系统需要对采集的信息数据进行汇总和分类，主要信息类型包含用户行为、用户识别、业务类型等几个方面，从而为安全管控措施的改进优化提供用户行为相关的数据基础；再次，为了避免用户异常的行为操作对系统应用的运行产生负面影响，引发不必要的安全事件，系统需要对用户行为进行风险分级，通过构建专家知识库等对用户行为进行评估，进而提升异常行为的阻断准确性与阻断效率；最后，为了合理应对大数据时代数据变化快、种类繁多的情况，系统需要结合应用运行实际情况对相关知识库、标准库进行更新升级，综合考虑用户行为的变化趋势，提升安全态势的预估准确性；这就要求技术人员利用挖掘算法对数据进行趋势分析，综合考虑IP、行为、时间等方面的异常因素建立更符合当前情况以及后续应用的规则数据库，提升安全风险的预测准确性。此外，在安全指标体系的辅助下，系统可以将安全态势量化，对用户行为等进行预测分析。

关联分析是整个安全态势模型的关键组成部分，系统模型能够对网络中获取的访问数据、行为数据等进行采集，进而从数据、用户、应用等各个方面进行分析，实现对应用威胁情况的准确预估，实现对应用与用户以及数据库之间的有效审计和防控。在具体条理性的指标体系辅助下，系统可以及时向管理员发出异常行为预警，进而我们能够准确记录非法访问等情况，为追踪、追责等提供基础，具有大数据环境下的良好应用效果。

3 大数据分析的应用安全态势系统设计

在基于大数据分析对应用安全态势系统进行设计时，可以通过Hadoop架构模式，利用MapReduce以及HDFS进行大数据的分析运算，系统主要包含日志数据采集、安全态势分析以及可视化图表输出三个部分，下面进行详细介绍。

3.1 日志数据采集

安全态势系统的基础运行环节为数据采集环节，系统需要通过专门的服务器对应用日志进行采集，确保分析平台能够对安全态势进行评估审计。正如上文提及的日志数据处理类型，采集服务器可以分为规范化和非规范化两种。其中，非规范化服务器主要通过Splunk对操作日志等进行采集；规范化服务器主要针对用户操作日志，需要对复杂多样的数据进行去重、降噪处理，将关键词段在HDFS中以文本格式保存。

3.2 应用安全态势分析

在采集服务器将各种应用日志数据采集完毕后，作为系统第二环节的安全态势分析平台需要对日志信息进行处理。这一平台是Hadoop架构形成的，是系统的最关键部分，内部模块主要有态势感知模块、专家知识库、数据挖掘预测引擎等，实现对数据的关联分析、融合处理以及风险预估。数据挖掘引擎可以结合关联规则、风险特征以及数据库中的事件标准对日志数据中的各种行为、事件进行关联分析，对判定存在威胁的事件进行记录并存储。态势感知模块是用于分析潜在威胁的模块，可以实时对当前的应用行为进行感知评估，避免潜在风险发展成事实。专家知识库这一模块可以定期将采集服务器中的数据汇总存储，避免大量数据在采集服务器中堆积，产生不必要的运行压力。

3.3 可视化图表输出

在安全态势分析平台确认具体结果的情况下，安全态势系统的最终环节可以结合用户需求将数据结果以可视化图表的形式输出，即为可视化服务器。管理员可以通过可视化图表快速掌握潜在风险因素，提供相应的处理决定。同时，可视化服务器输出的图表具有Excel、Html等通用格式，具有较强的实用性。

4 结语

大数据时代相关技术人员需要充分认识到当前数据规模大、种类多、更新变换速率快等特点，在安全态势模型的构建过程中需要做好指标量化工作，从数据采集、数据过滤处理、关联处理等方面建立适用于大规模数据网络的安全态势系统模型。系统实际架构的过程中，可以将其分为采集服务器、安全态势分析平台以及可视化服务器三个模块，实现对大数据应用安全态势进行准确评估。

[1]王帅，金华敏，沈军，等.大数据应用安全方案及对策研究[J].广东通信技术，2017，37（08）：2-5.

[2]肖霞.基于大数据时代计算机网络安全技术应用研究[J].辽宁高职学报，2018，20（01）：78-80.

[3]巴志超.国家安全大数据综合信息集成：应用架构与实现路径[J].中国软科学，2018（07）：9-20.

[4]卢炳芳.数据挖掘算法在大数据安全防御中的应用与研究[J].通讯世界，2018（07）：3-4.

基于大数据的医疗数据分析平台的设计与实现（PTZD2021024）