网络安全分析中的大数据技术应用探讨

万明秀，宋秋莲

（新余学院，江西 新余 338000）

网络安全分析中的大数据技术应用探讨

万明秀，宋秋莲

（新余学院，江西 新余 338000）

新时期网络技术在各个领域得到了广泛的运用，极大促进了社会发展的现代化，方便了人们的生活。文章就新形势下的网络安全问题进行剖析，探究了网络安全环境下大数据技术的价值，对基于大数据技术的网络安全平台建设进行探讨，进而分析了大数据技术在网络安全技术中的运用。

网络安全；大数据技术；互联网

网络技术的发展使信息时代到来，计算机网络可以在一定程度上满足我们的精神生活，也为我们的学习工作带来了便捷，使一些原本复杂的工作变得简单，与此同时，网络安全成了我们生活中需要面对的一个问题。随着网络技术越来越广泛的应用，计算机网络的漏洞也变得更加突出，不仅仅是电脑系统的损毁或者计算机病毒的扩散，电脑黑客的网络国际以及不法分子的网络诈骗都在不同程度上困扰着我们的工作生活，严重时还会造成人民群众的经济损失。因此对计算机网络工程的安全问题以及解决策略进行研究是十分有必要的。针对这种情况，大数据技术应运而生，所谓大数据指的是信息量的增大，同时大数据也有着较快的更新速度以及非结构化的特点，近年来对大数据的研究不断增加，人们对大数据技术也在不断改进，利用该技术能够有效地提高网络的安全性，在网络安全分析中占有十分重要的地位[1]。本文就对网络安全分析中的大数据技术应用问题进行一定的分析。

1 网络安全分析中应用大数据技术的价值

与其说21世纪是科技的时代，不如说21世纪是大数据的时代，在互联网快速发展的同时，流动的数据量也在不断地增加，数据量的增加给人们的生活带来了方便，但是也给网络安全分析工作增加了困难，这种压力主要来自于两个方面：（1）由于网络安全分析中的数据增大，所有在进行处理的时候应该按照分类的形式，但是数据越多数据的种类也就越多，因此还需要采用更为先进的技术进行处理。（2）数据增多的情况下，如果还是采用之前的速度进行数据信息传递，那么工作效率会很低，为了能够达到高速度、高效率的数据采集与处理就要确保信息安全方面的有效性，如果不能达到高速度的标准就会给网络安全的维护带来更大的难度。在传统的网络安全分析过程中，都是利用结构化的方式完成对数据的存储，这种方式效率较低，同时存储的成本也会比较高，如果想要达到更高的水平就要降低成本，还要降低数据的大小，数据存储的容量小了，这样一来数据很容易出现丢失的情况，反而对数据的存储以及处理产生不好的影响，传统的网络安全分析系统在对各种数据进行处理的时候，不能发挥出更好的效果，在分析方面以及查询方面的效率都不太好，针对这种情况必须要找到更好的解决方法，才能达到更好的效果。利用大数据技术就能够达到更好的效果，大数据技术能够将网络的数据存储量提高，也能在结构化的数据处理中确保有效性，还能确保数据信息的完整性。另外，大数据技术能够降低网络安全分析系统的成本，可以利用分布式数据库提高对软件的要求，降低对硬件方面的要求，从而实现系统的构建与维护。对于大数据技术的应用来说，能够准确地完成对数据的处理，而且还能确保高速度[2]。最后应用了大数据技术可以对网络安全问题进行精细的检测，从多维度、多层次的方面进行分析，有效提升数据的处理效果。

2 大数据技术在网络安全平台建设的体现

2.1 网络安全平台架构

网络安全平台由多个层次构成，分别是数据采集层、数据挖掘层、数据呈现层等，在数据采集层中可以对用户的信息及各种情报等进行存储，将大数据技术应用到分布式的文件中，就能实现结构化以及半结构化的数据存储，还能将均衡的算法分布在分布式文件上，这对提高数据检索的速度有很大的帮助，利用数据挖掘层可以对数据进行一定的分析，从中提取出相应的特征，从而实现对安全事件的挖掘，还可以根据网络中出现的各种问题，发现并进行查询与定位，让数据真正呈现出可视化以及多维度的状态，这才是真正的网络安全的状态。

2.2 平台实现的技术支持

除了要网络安全平台的架构，还需要有多方面技术的支持，例如：（1）数据采集技术。在网络安全平台中可以利用Flume，stom的形式进行数据采集，还可以将这些数据进行整合与传输，实现其可靠性高、可用性高，利用特定的方法能够接收来自不同数据源的数据，对于比较活跃的数据进行处理，可以发现数据采集与存储之间的缓存部分，使其成为一个高效率的分布式系统，才能更好地为人们所服务，也实现了对负载的均衡。（2）数据存储技术。利用分布式文件系统（Hadoop Distributed File System，HDFS）进行数据存储，这种数据通常具有高容错性，也可以对这些数据系统进行命名，将64 M的数据块作为存储单位，如果访问的文件多的情况下就会造成系统效率的下降，利用HDFS来进行数据存储就是将数据归纳以后，确保每一个文件都能够满足64M字节。（3）数据分析技术。通过网络安全分析平台来完成对数据的统计，可以采用结构化查询语言（Structured Query Language，SQL）的结构化方式，利用HDFS也可以满足一些非结构化的数据检索，将定制好的插件进行开发实现对各种数据的处理[3]。

3 网络安全分析中的大数据技术应用

3.1 应用大数据技术的作用

在网络安全分析的过程中，可以将需要分析的数据分为两个方面，分别是日志与流量。除了这两个方面，需要进行处理的数据还有访问、业务行为等。将大数据技术应用到网络安全分析中，能够实现对数据的优化与处理，还能对日志与数据进行分散性的处理，从而有效降低处理的时间，只有不断地分析找出其中存在的问题，才能进一步提高安全分析的有效性。大数据技术在网络安全分析的效果可以从下面几个方面来体现。

（1）数据采集问题。如果应用了大数据技术就可以对数据进行分布式的采集，这种采集能够在一秒内实现几百兆的数据采集，可以大大提高工作效率。

（2）在网络安全分析系统中，对数据的存储是必须的，应用大数据技术能够对不同的数据类型进行不同的数据采集，还能利用不同的方式来提高数据查询的效率，例如：在对日志信息进行查询的时候可以采用列式的存储，如果是分析与处理标准化的数据，就可以利用分布式的模式进行处理，在数据处理过后可以将结果存放在列式存储中。

（3）在数据查询的时候也可以利用大数据技术进行，在系统中建立起MapReduce的查询模块，进行查询的时候直接将指令放在指定的节点，完成了相应处理之后再对各个节点进行整理，这种方式能够保证查询的速度与反应速度。

（4）网络安全分析系统中对数据的分析可以体现在两个方面：（1）对实时数据的分析，可以采用关联分析算法以及圆概率误差（Circular Error Probable，CEP）技术进行分析，还能实现对数据的分析、监控以及处理的过程，实现高效率、高速度的处理。（2）对统计结果以及数据的处理，这种处理对时效性的要求并不高，可以应用各种数据处理技术，也可以利用离线处理的方式，从而更好地完成风险以及攻击方面的分析。

3.2 基于大数据技术构建网络安全系统

将大数据技术引入到网络安全系统中，主要包括有下面几个模块：（1）数据源模块。网络安全系统能够通过分布式采集器的形式，对系统中的软硬件进行信息采集，并将这些数据进行存储。科学技术在不断地发展，网络安全系统中的数据源更多了，除了防火墙、检测系统等软件，对硬件的检测也更加严格，例如对服务器、存储器的检查与维护工作。（2）数据采集模块。利用了大数据技术可以对数据进行分立，从而构建起分布式的数据基础，将这些数据从出现到删除进行一定的说明，真正实现对数据的访问功能，在数据量不断增大的今天，分布式的数据存储也越来越重要，能够更好地提高数据库的稳定性。（3）数据分析模块。通过大数据技术可以让网络安全平台发挥出一定的数据处理功能，也能让人们在一定时间内对数据进行分析，最后的模块是数据展示部分，这主要是针对用户来说，从用户的服务与体验来分析，让用户得到更好的服务，这样用户才会对网络技术以及大数据技术更加的信任，也能更好地使用网络安全系统，将自己的信息存储在网络中也会更加放心[4]。

4 结语

综上所述，随着科学技术的不断提高，网络技术在人们的生活、工作以及学习中有着更加广泛的应用，互联网数据的数量也在不断地加大，这给网络安全分析工作带来了一定的难度与压力。如果在网络安全系统中应用大数据技术，那么在对数据进行处理、分析的时候就能够更加快速与方便，也能更快地建立起网络安全系统，这对维护网络安全有着很好的作用，希望今后大数据技术能够得到更多的推广与应用。

[1]张国强.浅析大数据时代下的计算机网络安全防范[J].经营管理者，2015（12）：367.

[2]姜斌，刘靖，刘福强.探析大数据时代下的网络安全问题[J].信息安全与技术，2015（6）：6-7，22.

[3]林旭川，吴开来，陈祎安.以大数据视角看地震工程研究[J].地震工程与工程振动，2017（3）：120-126.

[4]王丹宁，柴旭超，王文青.Hadoop平台下的地震波形数据存储与应用规划[J].软件工程，2016（1）：48-49.

Discussion on application of big data technology in network security analysis

Wan Mingxiu, Song Qiulian
(Xinyu University, Xinyu 338000, China)

The network technology in the new era has been widely used in various fields, which greatly promoted the modernization of social development, to facilitate people’s lives. This article analyzes the problem of network security in the new situation, explores the value of big data technology in the network security environment, discusses the construction of network security platform based on big data technology, and then analyzes the application of big data technology in network security technology.

network security; big data technology; Internet

万明秀（1969— ），女，江西南昌人，教授，硕士；研究方向：多媒体技术，大数据应用。