网络安全分析中的大数据技术应用

郭健

（山东省滨海公安局网安支队 山东省东营市 257000）

随着我国的信息科学技术不断发展，网络信息技术也得到了快速的普及，人们更多地关注网络安全问题的重要性。网络安全对于个人隐私有着直接的联系，同时会对国家的机密信息形成影响，由于大数据技术的不断成熟和发展，使得信息数量在不断呈现爆炸式的增长，这在很大程度上加大了计算机网络安全的管理难度，与此同时，这也对当前的网络安全模式提出了更多的发展空间。只有不断地加强对大数据的管理，才能更多地保证大数据网络信息的安全稳定发展。

1 大数据时代背景下网络安全分析

1.1 网络信息安全管理现状分析

在科学技术不断发展的今天，各种IT 行业之间的构架越来越复杂，由此延伸出更多的信息工具，无形中使得网络数据相应的业务正在不断的增多。在这个数据时代的背景下，网络的运用过程中，复杂性在增加，传统的网络设备已经不能满足信息化技术发展的步伐，并且通过对网络运行的安全性进行分析，这个过程能保留大量的网站信息，但是要花费很大的成本，因此，为了有效的提升网络安全的有效性，可以借助云计算平台进行相关数据的分析，获取更多的数据包漏洞以及网络信息的数据分析，然而，在这个数据的整理过程当中，包括了各种各样的结构。其中有非结构化和半结构化的数据，这些数据是发展非常迅速的，相比较传统的网络数据而言，这种数据整理已经不能满足网络安全的正常运行，为此，只有借助大数据技术对网络安全信息开展分析工作[1]。

1.2 大数据技术概述

在这个网络发展快速的阶段，大数据技术呈现多样化的特点，在以往的数据体系结构下，对于大数据进行有效的处理，就当前的数据信息来看，大数据是一种新的资源。然而，通过技术角度进行大数据分析和处理。其中对于大数据技术的分析概念如下：大数据是通过对网络信息的搜集和整理，再结合相应的数据处理技术，展示出大数据独特的技术和方法等[2]。

2 网络安全分析中大数据技术应用的意义

随着互联网的迅速发展，给人们提供了更多的生活便利，同时也给网络安全分析带来了更大的负担，具体表现在以下两方面：

（1）网络安全需要处理的数据量在不断地增多，并且数据的种类也呈现多种多样的趋势，这就需要结合多维分析法，才能产生更好的效果。

（2）随着数据量的增加和传输速度的加快，要完成对数据的有效分析，就必须提高对信息采集的速度，这无疑增加了网络安全分析的难度。

相比较传统网络安全分析系统而言，应用结构化的数据库，通过对数据储存，这种方式使得网络安全的运营成本增加，为了降低成本，通过对数据进行应对处理，降低数据的大小，提高储存的容量，但是这种方式一般会导致数据在处理过程当中出现丢失的情况，并且长时间储存信息也会造成数据的丢失，相比较传统的网络安全分析而言，在面对复杂的数据处理过程当中，不能充分的发挥好具体的作用，这种分析的速度和访问的效率都满足不了，当下的网络发展的需求[3]。

相比较而言，大数据技术对于当今的网络安全分析取得了较为明显的效果：

（1）大数据技术能够提升网络安全分析的数据储存量，对于复杂的非结构化的数据，大数据源能够保证效率的前提下进行有效的分析，这就需要保证数据的完整性。

（2）在大数据技术的使用背景下，可以降低网络安全分析的运营成本。在这过程当中，会使用分布式的数据库，相比较传统的机构化的数据库而言，它相对经济实惠，并且对于硬件的要求比较低，在低要求的设备中进行数据分析，也能保证平稳运行，从而大大的降低网络安全分析系统的成本。

（3）在大数据技术下，最为显著的特点是能够保证网络安全分析系统的工作效率，在大数据技术下能够完成对非结构数据的储存以及处理这种数据储存以及访问的速度是非常快的，使得系统数据分析处理要求较高。

（4）大数据技术运用到网络安全分析之中，可以提升数据处理的速度和精确度。大数据技术能够从多维度多层次，对数据进行分析，这样提高网络安全系统的数据处理有效性[4]。

3 大数据技术在网络安全分析中的应用

就目前的发展情况来看，通过对日志的流量和数量进行处理。在进行数据信息的管理过程中，能将数据整合在一起，并且结合大数据的信息技术管理方式，能对数据进行分析和整理，一旦发生了数据存在隐患，那么就会采取预警，那么大数据技术就会根据安全隐患的层级进行有效的处理。在网络安全分析的基础上，使用大数据能减少网络安全分析的时间，提升网络安全的运营，通过传统的被动防御方式转化为主动防御的方式，大数据技术在网络安全分析中的运用，具体包括了以下几方面：

3.1 关于大数据信息的采集和存储

运用大数据技术，通过Flume Scribe 等相关工具对网络系统中所有数据进行分布式的采集，在每秒内可以完成百兆以上的数据采集工作，特别是针对一些用户的日志数据处理起着良好的作用，在此之外，可以利用传统模式对数据信息进行采集，将全系统进行方位流量数据采集，比如通过大数据技术对门户网站中每天产生的信息进行收集，采集甚至可以对指定网站的数据内容以及媒体报道的信息进行采集，要想看什么信息及时搜索就能获取，不少用户在进行双11 过程当中会进行淘宝抢购，这就是利用大数据技术，每天自动采集网上的价格以及更新情况，甚至产品的说明图片就能一目了然[5]。

对于信息储存技术是使用HDFS 开展数据采集后的存储，如果在一段时间内文件数据过大，想要保证数据的处理，以及分析率在储存过程当中可以使用。例如新闻媒体都要自动采集成千上万个指定网站上的新闻内容，并且对于这些内容进行整理储存。随后，根据相关工作人员对这个区域的情况整合，按照专题编写，当日的新闻内容，每天发布的内容要进行一定的储存，才方便日后的总结和检索，由于这种大数据技术用户在该网站进行新闻信息查询，可以轻松的进行操作[6]。

3.2 信息的检索与数据分析

对于信息的检索，可以采用Map Reduce 作为架构形式，在这个环节，通过进行检索的方式，对内容进行分析和归类，大幅度提升信息的检索能力，由此可见，大数据技术在信息检索方面有着很大的推动作用，比如企业要想在开会之前寻找相关的内容，作为参考，就可以利用大数据技术进行信息检索，在这个过程当中，可以根据国内外相应的检索技术和参考文献进行对比分析，从而寻找出竞争对手。与此同时，大数据技术能够对同行业的论坛信息进行收集整理，并且及时了解出消费者的潜在消费意识和需求，通过数据分析得出消费者的消费意向，通过准确的对网络公共信息的采集和整理，甚至在这种大数据的检索功能，挖掘出潜在客户的一些信息和资料。

数据分析也是数据解析的一种，该技术利用HIVE 方法对数据进行展开分析，使用SQL 中HIVEQL 语言使HDFS 和HBASE 可以对不能构成结构式的数据进行检索。此外，大数据技术下还能够利用Mahout 达到以Hadoop 为前提的机械研究所有数据能够进行深度挖掘与整理解析。例如，政府机关以及军队可以对信息进行实时跟踪，了解国内外的新闻数据，并且通过这个数据整理出这个地方的政策法规，以及经济产业的信息。通过利用大数据技术解决与因特网隔离重要部门对于因特网的信息问题进行实时的解决，针对政府网站的各地址，网站的信息进行采集和整理。

3.3 多源数据与多阶段组合的关联分析

多元数据和多阶段组合的关联性分析是十分复杂，并且这个过程中确定好相应的采集任务，随后，针对不同的目标数据进行整理，从而保证收集的数据有效性，针对不同的数据目标进行采集，通过配置更好的信息管理方式。对信息进行梯度分析办法，从而达到与目标站点信息同步的方式，对于采集的结果完成数据重构的方式，最后通过发布任务服务器的方式，将数据发布到应用平台。大数据技术能够不断地增强数据的分析以及解析效率，及时发现解析的多元数据，从而防止安全隐患，并阻止网络攻击产生。如果一个计算机存在安全隐患，甚至还有攻击现象，通过大数据可以查看计算机系统中是否存在同样相似的情况，这样在最短的时间内找到问题，产生的原因，并且采取相应的措施，保证所有的机械处于正常运行的状态。例如，美国国家卫生研究院的生物科技信息中心(NCBI)公布的大量基因相关数据，这些数据的来源可以实时跟踪、采集相关的国内外科技信息与新闻，对科研数据在各个网站网页中进行整合，再通过本地文本数据抽取最后整合出完整且有实际作用的最终数据。

4 网络安全平台实现的技术支持

随着我国的信息技术不断的发展和普及，大数据技术更多的参与到网络平台的建设之中，通过对网络安全平台的构建，为用户提供一个网络安全使用环境。

（1）通过积极的构建大数据技术安全平台，首先要对大数据的储存曾进行数据分析，通过积极的构建平台框架，针对数据采集进行分布式的收集信息，在这个过程中，通过运用信息管理的方式，对于信息用户的方式能对安全信息和身份方式能更好地进行保密，使得信息进行永久的储存。在大数据技术的背景下，可以使用结构化的储存模式，再利用相应的文件层，进行数据分布收集，提升用户使用网络的速度和效率。

（2）大数据平台的建设，其中包含了信息储存、信息采集以及信息解析的方式，那么相对于其他的信息储存层而言，解析层的功能相对完善，有效把握信息的特征，对于出现网络信息安全问题漏洞，能够及时的进行解决。除此之外，大数据可以通过显示层对数据进行更好的呈现，通过利用多个维度的方式保证网络安全，处于正常运行的状态。

（3）通过数据的分析和挖掘，在网络平台的建设过程当中，主要是利用机械化的学习方式开展的，通过对试卷留的分析，能这样系统数据作为事件类型进行分类，再进行关联行的时间中，可以对试件进行分门别类，在针对海量信息的查询中，找出网络安全存在的各种问题。

（4）对于网络安全平台的安全性问题，这将直接影响到未来网络的使用体验，以及网络发展空间。在网络发展的过程当中，涉及到安全管理、密码学、移动代码指令、保护操作系统以及网络安全管理等相应的内容，通过将计算机和软件结合在一起，在互联网和内部网络建立一个安全运行的体系，这成为保护网络安全运行的关键，从而避免非法入侵的事件发生。

5 总结

总而言之，在当今大数据发展的背景下，网络信息数据在不断的普及，在这个过程中，人们的生活和工作更多地依赖与网络体现，因此，人们更多地关注网络信息安全系统建设。在大数据系统中能更好地优化配置，能够为人们提供安全上网的环境，不管是信息的收集整理，甚至是最后信息呈现方式，数据的应用对所有的使用者言都有着不可比拟的作用。在这个平台上为用户提供海量信息，同时为其生活工作带来更大的便利，只有不断提升网络安全的管理，增强网络安全抵御能力，才能为用户的使用解决后顾之忧。