网络安全分析中的大数据技术应用

2019-01-13姜莉

魅力中国 2019年15期

姜莉

（国网河南省电力公司罗山县供电公司，河南罗山 464200）

一、网络安全分析中大数据的应用要点

（一）用于数据采集

数据采集是大数据技术的基本功能之一，通过对海量数据信息的搜集、筛选、整合，结合用户的需求指令，形成特定的信息报告，再以合理的方式进行数据呈现，完成所有信息处理程序后，将所采集的数据信息输送至接收方。在实际工作中，利用Kafka分布式可对信息流进行二次加工，将流动数据转变为特定的均匀分布状态，便于数据需求方对信息的提取和更新。

（二）用于数据存储

与一般的网络技术相比，大数据技术具有容量大、计算速度快、精确查找的优势，能够在短时间内完成历史数据的保存，利用Hshoop分布式进行节点计算和脚本分析，建立庞大的数据库系统，完成数据存储的过程，为各项工作的开展提供数据支撑。在数据计算存储的同时，安全系统可以自动为信息流进行安全分析，如不符合要求，将会出现安全预警提示，增强信息存储的安全性。

（三）用于数据安全检索

利用大数据技术，能够根据用户的实际需求对信息进行查询、检索和分析，通过MapReduce对选定范围内的信息进行重新计算，第一时间捕获系统中的异常信息，并加以分析处理，检测出具有安全隐患的信息模块，及时从源头排除故障，从根本上提高系统的安全性，以确保网络安全。

（四）多元信息组合联动分析

在网络技术的推动下，信息更新换代的速度越来越快，结构日益复杂化，各项信息之间的内部关联性日益紧密化，由单一的信息单元转变为多阶的信息网络，增加了信息分析的难度。利用大数据分析技术能够有效解决该问题，通过对多源异构信息的安全分析，结合DNS访问和流量变化状况，对数据源进行追溯，发现安全攻击痕迹及漏洞，提高系统安全保护等级。

二、基于大数据技术的网络安全分析平台搭建

（一）安全信息采集层

一般来说，搭建安全系统的首要环节是设计和建立基本框架，信息采集层是最为基础的层级。在实际应用中，往往利用Storm或Kafka分布式计算来实现此层级功能，用于采集系统参与方的相关信息和访问记录，并对数据进行安全整合，根据数据定制命令，进行数据的发送和传递。利用大数据技术进行安全信息采集，保证了信息来源的可靠性，为信息分析提供了有效的可用数据。

（二）安全信息存储层

通过大数据技术，采集信息后，需要实现信息的长期性保存，选择适用的缓存格式，保证云端接入数据的有效性和安全性。具体来说，通过HDFS命令对数据进行读取和记忆，以实现安全系统的信息存储功能，与一般的存储文件相比，HDFS具有吞吐量大、容错性高的独特优势，能够最大限度地保持信息的完整性，建立安全的信息存储数据库。HDFS节点设置完毕后，运行HBase列式存储命令，能够容纳大量的数据信息，并对其进行存储管理，与数据分析结果一一映射，形成关系型存储模式，通过Sqoop命令实现与非关系型存储模型的关联，完成二者之间相互的数据输入和数据输出过程，最大限度地保持安全信息存储的无损性，避免出现信息失真的情况。

（三）安全信息呈现层

本层级的主要功能：根据用户对信息提取的实际要求，以适当的形式展示信息数据，实现多维度的信息结果呈现。由于信息的种类繁多，不同用户之间对信息呈现的要求各不相同，利用大数据检索技术，能够根据用户的检索记录、指令和日志资料等，自动配对相应的信息报表，快速响应用户的信息需求，将数据分析的结果进行格式整理，向用户呈现出完整的安全信息报告，体现大数据技术的用户导向性。

（四）安全信息分析层

在大数据技术的实际应用过程中，一般利用Hive运算模型完成多元化、复杂化、多阶级数据的检索、计算和判断，实现数据的异常检索和联动分析，及时检测系统的异常情况，并做出安全预警提示。在布局结构上，该计算节点往往和HDFS节点并排设立，当接收到数据分析的指令时，系统自动完成查询和计算任务的分配，各自完成本节点的指令任务，HDFS主要负责信息的快速检索和查询，Hive节点则负责完成各项信息的统计分析。为对流动数据进行准确判断，还可将在安全系统中融入CPE技术，基于多维度分析，形成多项事件间的关系网，通过对其进行聚合、筛选分析，在庞大的数据流中发掘异常行为和安全事件，达到安全信息分析的目的。