大数据技术在网络安全分析中的应用研究

摘  要：随着网络时代和数字经济时代的到来，互联网已经深入各行各业和普通人的日常生活中，给人民生活、工作带来了很多便利，也保证了企业各项工作的高效进行，促进了企业的进步与发展。但是，网络的安全性是我们必须要面对的一个问题。目前，网络安全越来越受到国家和人民的重视，其不仅关系到人民的隐私安全，更关系到国家安全，所以为了避免发生网络安全事故，做好网络安全分析工作显得非常重要。过去我们在网络安全方面做了很多工作，但效果不理想。而将大数据技术应用于网络安全分析工作中就能很好地解决网络安全问题，该技术主要是依据大量数据信息来进行云计算，从而为网络安全分析工作提供准确、全面的资料，以促进网络安全分析工作的进一步发展。

关键词：大数据技术;网络安全;应用研究

中图分类号：TP393.08      文献标识码：A 文章编号：2096-4706（2019）23-0158-03

Application of Big Data Technology in Network Security Analysis

ZHENG Yujuan

（Shandong Huayu University of Technology，Dezhou  253034，China）

Abstract：With the advent of the network era and the digital economy era，the internet has penetrated into the daily life of all walks of life and ordinary people，bringing a lot of convenience to people’s life and work，also ensuring the efficient progress of all work of the enterprise，and promoting the progress and development of the enterprise. However，network security is a problem we must face. At present，network security has been paid more and more attention by the state and the people. It is not only related to the privacy security of the people，but also related to the national security. So in order to avoid network security accidents，it is very important to do a good job in network security analysis. In the past， we have done a lot of work in network security，but the effect is not ideal. The application of big data technology in network security analysis can solve the problem of network security well. This technology is mainly based on a large number of data information to carry out cloud computing，so as to provide accurate and comprehensive information for network security analysis，so as to promote the further development of network security analysis.

Keywords：big data technology;network security;application research

0  引  言

当前，我国的网络安全状况非常严峻，经常发生安全攻击、信息泄露、木马侵害等现象，对国家的发展产生非常不利的影响。在这一背景下，只依靠防范措施并不能很好地应对网络安全攻击，因此，准确、全面的安全分析成为关键。将大数据技术应用于网络安全分析工作中，就能够有效地提升其分析能力，降低分析成本，扩大信息容量，從而使网络安全分析工作更加快速、更加稳定地发展下去。本文先是从数据采集、查询、存储、分析以及复杂数据处理等方面具体分析了大数据技术在网络安全分析中的具体应用，后又具体阐述了基于大数据的网络安全平台构建内容，希望本文的言论能够帮助提升大数据技术在网络安全分析工作中的应用效率和质量，同时也能提升网络安全分析工作的准确性，更好地保障我国的网络信息安全。

1  大数据技术在网络安全分析中的应用

1.1  数据采集方面

网络安全分析工作主要针对流量、日志这两种数据类型进行分析，大数据技术主要运用Chukwa等工具进行数据采集，依据流量、日志数据的特点、容量等，通过分布采集的方式来对数据信息进行每秒百兆的采集，使得数据采集工作能够高效、准确地进行。并且大数据技术的应用也可以使网络安全分析工作摆脱掉传统技术的限制，对于所采集到的数据信息的准确性、全面性起到了保障作用，从而为之后的数据存储、分析等工作打好基础，有利于网络安全分析工作的进一步发展。

1.2  数据查询方面

大数据技术的引入可以使网络安全分析中的数据查询工作更加高效地运行。首先，大数据技术可以对数据检索的结构进行更新，然后将所需要查询的数据发送到分节点。其次，分节点会根据数据类型、特点等来进行计算，从而判断出需求数据信息是否存在于自身。当数据信息存在时，分节点就会将所查询到的数据显示出来，从而很好地满足查询人员的需求。这就可以看出，大数据技术的应用可以保证数据查询的速度、准确性、全面性，给网络安全分析工作人员带来了极大的便利，很好地减轻了他们的压力，并能够使数据查询效果达到理想目标。

1.3  数据存储方面

由于数据的高速传输和种类的多样性，使得数据存储工作的难度加大，不利于网络安全分析工作的正常进行。而大数据技术的引入便可以降低数据存储工作的难度，主要是提供不同的存储方式，使得网络安全分析工作能够高效地开展下去。大数据技术主要是通过发挥HBase列式储存方法的快速检索优势而满足数据查询需求，从而进行流量、日志等数据的分类存储。分类存储的主要流程是：大数据技术首先要对数据按照数据类型、特点等进行分析处理，利用Hadoop分布式方法进行计算，其次会根据每个节点的特征来对数据进行分类、分析，最后通过对数据的处理而制成统计分析报告。大数据技术应用在网络安全实际分析工作中后，当节点获取到数据信息时，该节点就会自动对数据进行计算、数据分析等工作，同时将分析结果存放于日志、流量等的数据存储内部。

1.4  数据分析方面

当大数据技术在对数据信息进行分析时，要根据数据信息的特征、类型等来选择合适的分析方法，这样才能使得网络安全分析工作正常有序地开展下去。当进行实时数据的分析处理时，主要运用流式计算方式、CEP技术等来开展分析工作，从而及时发现数据信息中存在的问题及隐患，并及时解决，这样就能保证数据信息的全面性、安全性、准确性。当进行历史安全数据的分析处理工作时，可以采取离线处理的方式，分析处理方法为分布式存储和计算，从而对历史数据进行全面、精准的分析，这不仅能够及时发现其中存在的问题，找到原因，并提出应对措施，还能够节省很多成本，使网络安全分析工作获得更多的经济效益和社会效益。

1.5  复杂数据处理

面对数据类型的多样化、复杂化，将大数据技术应用于网络安全分析工作中，便可以高效、全面地对这些数据进行深入处理，如对多源异构数据进行的处理。当出现僵尸网络时，会大大影响到网络信息的安全，而将大数据技术应用于其中就能很好地解决这一问题，该技术从流量数据的特点出发，通过结合多方面的数据信息，进行发散性关联分析，从而对数据开展更加全面的分析，以保证复杂数据能够得到正确、深入的处理，有利于网络安全分析工作的高效、快速进行。

2  基于大数据技术的网络安全平台构建

2.1  网络安全平台的架构实现

如图1所示，基于大数据技术的网络安全平台架构主要通过以下四个要素实现：第一，数据采集层。该层的主要任务是对网络中用户行为产生的交互数据、日志数据等开展信息采集工作，基于大数据技术的采集工作效率更高。第二，数据存储层。该主要是对网络中各种类型的数据进行有效储存，为后面的数据分析提供数据源，从而大大提升了网络安全分析工作的效率和质量。第三，数据分析层。该层的主要功能是需要对原始数据进行分类分析、关联分析等处理，以此挖掘出网络中的数据特征、攻击来源等，为后面的网络安全分析工作提供准确、有效的参考数据。第四，数据表现层。它的主要功能是将数据信息更加直观地表现出来，其使用的技术主要有安全度量技术、预警技术和可视化引擎等，使得历史数据和实时数据能够得到正确的分析处理。

2.2  平台实现的技术支持

2.2.1  数据采集技术

针对不同类型的数据信息，应采取不同的数据采集方式。当采集实时数据时，可以采取在线统计的方式，通过Storm技术来进行采集;当采集原始安全数据时，可以采取离线分析的方式，通过Hive技术进行采集。而Flume技术可以将在线统计、离线分析方法结合起来，实现数据采集的系统化、规范化。Flume技术主要是由采集、存储等模块组成，工作效率和质量比较高，从而能为网络安全平台提供技术支持，如图2所示。

2.2.2  数据存储技术

当数据采集完成后，其需要存储于HDFS系统中，该系统具有大容量和高吞吐量数据访问的特点，它的数据节点用来存储文件，存储单位一般为64MB。数据文件越小，节点的数据记录块位置越多，从而对系统的运行产生不利的影响，所以本系统的存储单位为64MB。HBase作为运行于HDFS上的分布式非结构化数据库，主要采取的是列式存储的方式，将处理后的数据结果或者报告成果存储于该数据库中，就能够保证其安全性，有利于网络安全分析工作的正常进行。

2.2.3  数据分析技术

本平台的数据分析工作主要是依靠MapReduce技术来支持，该技术能够对数据进行分类、计算，从而完成数据的分析和处理工作，并整合数据信息，使其能够为网络安全分析工作提供依据。平台也可以采用CPE技术来进行事件流分析，通过聚合、关联等环节，将简单事件加工为高级事件，从而能够在大量信息中挖掘出有用的信息，以推进网络安全平台的正常运行。

2.3  实施安全分析

2.3.1  DDoS攻击路径准实时监测

DDoS攻击路径准实时监测过程一般分为四个步骤：首先，新建一个队列A，队列中各节点为空，同时也创建一个空的攻击路径链表B;其次，围绕攻击点展开有针对性的分析，提取攻击源的相关位置信息，以此来进行查询，以获取准确的攻击信息;再次，根据所获取的攻击信息进行安全处理、分析;最后，以攻击对象路由器C为起点开展访问工作，每个节点访问完成后要对该节点进行拓展，将与其相连的节点都一一访问到，从而完成对所有节点的访问和分析。

2.3.2  主机入侵检测

主机入侵的检测流程一般为：首先深入挖掘DDoS攻击历史数据，识别攻击源的相关位置信息，同时将其列入疑似被入侵主机名单中。然后从已有的日志数据库中查询相关的被入侵主机的信息，将查询到的结果与恶意URL库进行比对，若信息库中没有可比对信息，则将该主机认为是新的攻击源。

3  结  论

综上所述，大数据技术具有高效、精準、低成本的网络安全分析能力，能够满足大容量数据的处理和存储需求，并为网络安全分析工作提供科学、准确、全面的数据资料，从而使得网络安全分析工作更快更好地进行下去。目前，网络安全分析工作如何更加有效、更加成熟地应用大数据技术成为国家和社会关注的热点。大数据技术主要应用于网络安全中的数据查询、存储、分析、处理等工作中，它能够有效地提升数据处理的准确性，并保证这些工作的高效进行。并且为了使数据传输、存储工作能够安全进行下去，还应该将大数据技术作为基础，构建完善的网络安全平台，利用平台的综合分析和关联分析能力来有效监测攻击情况，以保证数据信息传输工作的顺利进行。

参考文献：

[1] 张萌.网络安全分析中的大数据技术运用 [J].电子技术与软件工程，2019（14）：201-202.

[2] 潘巍.网络安全分析中的大数据技术研究 [J].黑龙江科学，2018，9（24）：92-93.

[3] 唐四化.网络安全分析中的大数据技术应用与实践 [J].电脑知识与技术，2018，14（26）：20-21+25.

[4] 林幼文.浅谈网络安全分析中的大数据技术应用 [J].网络安全技术与应用，2018（2）：71+78.

[5] 佟瑶.试论网络安全分析中大数据技术的应用 [J].网络安全技术与应用，2017（12）：74+87.

作者简介：郑玉娟（1979-），女，汉族，山东德州人，副教授，硕士，研究方向：网络技术。