网络安全分析中的大数据技术应用探讨

2016-02-07◆贾卫

网络安全技术与应用 2016年11期

关键词：结构化架构网络安全

◆贾卫

（太原理工大学邮电中心山西 030024）

网络安全分析中的大数据技术应用探讨

◆贾卫

（太原理工大学邮电中心山西 030024）

随着计算机网络技术在各个行业中的应用与发展的不断广泛化，网络安全也越来越受到企业和个人的重视。网络安全不仅会影响国家重要信息的安全性也会影响私人信息的安全，而现阶段大数据技术的不断引进与应用使得信息网络进入到了一个新的发展阶段。现在全球数据存有量正在每年超过40%的速度在增长，然而信息网络所承载的信息数据正在向分散化、多样化，复杂化的趋势发展从而增加了网络信息数据管理的难度，更冲击了传统的网络安全管理技术，介于网络信息数据增长速度之快，影响网络安全的因素也在不断地增加，所以网络安全迫切的需要引进大数据技术来进行网络安全分析，满足高科技环境下信息网络安全的需求。

网络安全分析；大数据技术；应用

0 引言

随着网络技术应用的普遍性，网络安全分析的数据也在呈指数曲线的速度增加，而且数据来源的广泛性和内容的细致性也使得网络安全分析的架构也越来越复杂，分析维度也越来越大，再加上4G时代的到来和智能化设备的不断更新换代使得信息数据的发送和接收速度也越来越快，数据分析的速度跟不上使网络安全漏洞增加，影响力增大，造成此现象严重的主要原因就是网络安全传统分析架构已经不能满足现在网络信息数据分析的要求了，所以要引进新的技术。

1 大数据技术在网络安全分析中的应用

1.1 大数据技术分析

大数据安全分析主要是为了完善网络安全分析中传统安全分析能力的不足，大数据技术的核心技术分别是分布式采集处理、自然语言理解、流量计算引擎、关联分析、大规模机器学习和可视化人机交互等多种分析方法[1]，实现在规模不断扩大的海量异构数据信息中快速发现安全攻击和安全威胁的一种工具。在大数据技术安全分析中该技术主要从分布式计算框架、流式计算引擎、分布式存储技术来分析的。分布式计算框架不依赖高端硬件、扩展性强的优点提高了大数据技术应用的适应性，使得一些低端配置的设备都能引用该技术；流式计算引擎主要通过解决大数据历史分析系统交互式计算，给网络信息数据的快速查找提供了便利条件；分布式存储技术能够利用多台存储设备来分担大量数据的存储负荷，从而扩大了大数据技术存储的能力，也降低了存储管理成本，在一定程度上也提高了整个网络安全系统的可靠性和安全性。

1.2 网络安全分析引入大数据技术的必要性

随着网络信息数据量的大量增加，数据来源越来越广泛细致，分析维度也越来越大的特点下，利用传统的技术架构和结构化数据库进行数据的存储的和分析，不仅会增大网络信息数据的存储成本，也会导致一部分信息数据被丢失，并且随着时间的延长有些时间较长的数据不能很好地被保存起来，这样就会给日后信息数据的追踪和查找带来了困难，并且数据广泛的来源也给异构数据的关联分析和融合带来了很大的困难，而对于传统的网络安全分析的技术已经很难满足现在庞大的、迥异的网络信息数据分析的需求了。

早在2013年的调查资料中显示，大数据技术在未来信息架构的分析发展中有着很大的优势，并且近年来已经有不少领域开始引进大数据技术。大数据技术之所以被各个领域重视，是因为它能够支持海量的且迥异的数据的存储和计算，相对于传统网络安全分析技术来说，大数据技术使大量原始网络信息数据的存储和分析成为了可能；大数据技术对于传统技术来说对网络信息数据的存储成本较低，并且大数据技术在普通硬件水平上的应用没有局限性，在信息数据的查询过程中查询速度又快、精度又高，从而提升了网络安全分析中一些数据的挖掘能力，提升了网络安全分析的深度和广度[2]，并为大数据技术在网络安全分析中的应用奠定了坚实的基础。

1.3 网络安全分析中大数据技术应用分析

在我们的日常生活中，我们每天都在和数据打交道，不是创造数据就是利用分析数据。比如在我们有手机电脑上的聊天软件聊天时就是在创造信息数据，聊天过程中流量的消耗就是在应用数据（对近年来网络流量使用数据调查如表1），设想一下如果我们的聊天数据被窃取，是多们可怕危险的事情，再往大了去想就是国家机密数据，如果这些数据的丢失将会给整个国家带来危险，所以网络安全分析是当前网络数据分析中相当重要的一方面。目前网络安全分析的主要数据就是流量和日志，但是由于这些数据的分散性和存储有限性使得网络安全预测存在漏洞，而大数据技术的引进则可以将分散的流量数据和日志数据集中到一起，利用大数据高效的采集和挖掘能力将采集到的数据存储起来，然后再利用大数据技术对采集挖掘到的数据进行分析和检索，对网络安全中存在安全隐患的数据进行处理，不仅提高了网络安全分析，也缩短了数据分析的时间，降低了信息丢失和泄露事件发生频率，由传统的被动防御变为大数据背景下主动地防御。

表1 近年来网络流量使用数据调查表

2 大数据技术背景下网络安全平台的建设

2.1 大数据背景下网络安全分析架构建设

在网络安全分析架构建设中主要是由下向上建立数据采集层、数据存储层、数据挖掘分析层、数据呈现层[3]等，由它们共同组成大数据技术的网络安全分析架构。基本组成结构如图1。

图1 基本组成结构

网络安全分析架构中的数据采集层能够分布式的采集基于流、用户身份信息、事件和威胁情报等多源异构信息的收集；而大数据技术中的存储层则能够利用分布式文件系统长期大量的存储庞大的信息数据，并能将数据的结构化、半结构化、非结构化的方式的信息数同意存储，并未将来数据的检索提供了便利条件，而且还能保障所存储数据的安全性和完整性；数据挖掘分析层能够将数据进行关联分析，提取数据的特征，通过这种方式可以实现安全事件的挖掘，并能够很快地发现网络异常的安全行为，并对存在安全隐患的数据进行追溯，然后将其定位，等待安全处理；数据呈现层能够将大数据技术分析的结构进行可视化处理，通过多种维度展现网络安全的状态。

2.2 网络安全平台实现的技术支持阐述

大数据采集技术。安全平台主要利用大数据技术中的采集技术对海量的安全数据进行采集、整合、传输，该过程能够使使用方在安全性较高，可靠性也较高的状态下接收到源自不同范围的数据，然后在对收集到的信息数据进行处理。

大数据存储技术。该技术主要是对采集过程中采集到的数据进行存储，借助该技术的高吞吐量和高容错性将采集到的大量数据存储起来，以保障数据的安全性和完整性。

大数据分析技术。在安全平台中，该技术主要是完成数据的统计与分析工作，根据数据的结构化、半结构化、非结构化进行数据分析，然后建立分门别类的事件关系序列库，将数据由简单化转向复杂化，然后在大量的信息数据中查找网络安全的隐患，进而对安全隐患进行处理，保障网络安全。