网络安全分析中的大数据技术运用

文/张萌

互联网高速发展的今天，各行各业发展变化较大，面临新的机遇和挑战，在应用现代化的网络数据技术中出现一定技术问题。在网络安全上，保障信息安全是重中之重，政府高度重视网络数据安群问题，将网络信息安全列为国家战略，在数据安全分析技术背景下，注重对大数据技术的合理应用。

1 大数据技术在网络安全分析中的应用意义

在信息化时代，互联网技术的创新发展，网络数据的大幅度增加，越来越多人倾向于西选择互联网，互联网的性能也越来越高，服务于大中众，网络安全分析的工作难度也逐渐加大，主要体现在以下几个方面：

（1）网络数据搜索数量增加信息的传播速度越来越快，加大了工作的难度，为了更加高效的处理数据信息，工作人员必须提高数据的采集与处理速度。

（2）网络分析处理的数据数量、种类越来越多，工作性质相对于之前也较为复杂，需用从多个维度进行处理。在科技发展的今天，复杂的信息处理，降低成本支出，提高经济效益，这些问题都是需要得到解决的。

2 大数据技术在网络安全分析中的作用

网络环境是复杂的，网络是现代化技术发展的必然趋势，在数据信息越来越多的背景下，TB级别的信息已经无法满足时代发展需求，信息向PB级别不断演进，数据分析越来越频繁、广泛。此外，网络硬件设备不断完善更新，数据处理速度和效率逐渐提高，对数据安全提出新的要求，需及时检测系统中存在的安全隐患，合理应对安全隐患及网络攻击。此外，网络 攻击方式五花八门，目的性和潜伏性更强，对网络威胁大，需采用大数据技术，高效处理网络信息，以模型提炼检测方式，完成技术整合，实现网络安全升级。

传统技术中，主要以数据库保障数据安全，具有一定功能性水平，但是收储存成本影响，信息丢失现象常有发生，且历史信息储存并不准确。此外，在此技术影响下，大量数据无法及时处理，时效性较差。

以此，需加强对大数据技术的开发，技术针对数据处理量、处理速率、类型、领域方面出发，发挥大数据技术明显优势，适应网络化数据技术持续发展需求，在原信息处理分析的基础上，确保对信息多维度、高精度的处理。

大数据技术在网络安全分析中的应用是必然的，大数据技术的突出优势是可以依据采集到的海量数据，通过云计算，依托互联网，获取准确信息，大数据技术的应用，使网络安全分析也获得了较为直接、丰富的资料。相对于传统的互联网模式，大数据技术拥有超高的分析效率和超广的服务范围，大数据技术的应用，利用云计算技术快速分析完数据，在网络安全分析中大数据技术应用也是优势所在。另一方面，大数据的数据来源是整个网络，依据互联网这个庞大的平台，达成资源共享，这也使大数据技术在网络安全分析中在更广的范围内有效的应用。

3 以大数据为支持的网络安全分析平台建设分析

3.1 数据平台框架确立

需在网络安全分析平台发挥大数据技术优势，明确整体技术落实结构框架，设计中，建立系统化信息平台，包含数据采集、储存、分析、呈现等多个模块，在使用中发挥大数据技术功能性优势，为网络安全分析提供海量信息支持，提供精准的服务内容，发挥自身功能价值。

（1）信息储存，数据信息存储在网络安全中的重要组成部分，在引入大数据技术的时候，依据实际情况选择储存方式，提升信息的储存和搜索查询速度。比如，在储存历史流量时，工作人员通过利用大数据技术，较快的搜索数据信息，相对与传统的网络技术非常高效。

（2）数据采集中，主要从流量数据、事件内容、用户信息等方面找到多种渠道，采用多元异构技术模型，建立分布式采集关系，对不同流量信息及用户行为科学管理，以实现多角度数据采集。

（3）数据储存上，云计算技术解决了现代实际情况中的信息猛增，同步更新数据，平台交互使用。结构设计上考虑对文件分别管理，整合不同技术，对信息落实长效管理机制，保障数据信息长久储存、统一管理。以多层运算技术支持，提高后期历史信息的检索速度和数据的完整显示，发挥数据信息更大的功能价值。

（4）数据挖掘和分析方面，可引入CEP引擎，结合MapReduce、Storm流计算框架，将不同数据信息关联起来，站在系统性的角度分析，针对信息特征提取相关联信息，追根溯源，根据检索系统关键词显示大量的有关内容。

3.2 平台核心技术

3.2.1 数据采集

以大数据技术支持，将其分为在线统计、离线分析。技术上，在线统计以Storm支持，通过Hive开展离线分析。此外，为确保实现在线和离线的一体管理，也可以Flume技术支持，整合技术，实现数据系统化收集。

实际应用中，Flume技术效率高、处理量大，可实现多分布信息整合传输，在逻辑结构角度分析，Flume技术为由采集、储存和总结三个板块组成，在不同模块影响下，形成通用文件，便于网络分析。此外，为确保在线和离线数据科学利用，可以将Kafka设计为数据缓存手段，群众通过消费、生产等，以主题发布、订阅接受方式，传递信息，保证系统负载均匀。

3.2.2 数据储存

数据储存方面，由HDFS支持，在该系统中，信息容错率较高，且吞吐量较大，可通过数据管理文件功能，将各种数据节点储存到数据空间源中，确保数据模块准确。数据储存中，文件总量和占用位置快多少呈反比关系，各节点存在活跃跳动规律，影响储存有效性。为确保数据信息价值稳定，需在系统中合并小文件，达到64MB模块，确保系统整体稳定。

3.2.3 数据分析

数据分析以MapReduce技术支持，将数据分类、计算、使用融为一体，完成数据整合管理。此外，在完善功能性建设的同时，需以HBase功能实现 数据并行处理，将HDFS中结构化信息查询分裂，以系统插件功能，实现大数据的网络安全分析。

为满足事件流分析，可采用CPE技术，找到系统数据的差异，通过过滤、聚合、关联等，将简单事件加工为高级事件，在海量信息中挖掘安全信息以供使用。

3.3 网络安全分析的实际应用分析

在主机检测上，需对网络安全分析，重视数据科学管理。在DNS记录、IP地质信息资料上，找到数据关联性，定期维护，找到病毒容易出现的主机位置，系统化分析，确保落实大数据下的网络安全分析，完善系统安全检测。

实际应用中，在DDoS供给历史中，整理IP，了解受威胁的主机系统；再者，以被威胁主机为基础，对DNS访问查询这个，联系数据资料的URL信息，比对后明确哪些主机设备存在安全问题；然后，在DPI数据中分析受威胁主机访问次数，调查URL记录，若和检测中病毒一致，则完成控制主机检测；最后，明确受威胁主机后，以系统关联性查询，检测单次供给细节，查询IP地址，定位和网络攻击对应的主机IP，确认恶意攻击记录。

通过杉树系统化大数据安全检测分析，实现对系统安全的分析，以大数据技术为支持，对资料数据高效管理，提高检测完整性，确保检测自身精确性，完善检测主机系统安全性管理。

4 结束语

综上所述，数据信息化不断发展背景下，网络应用数据越来越多，在先进科技支持下，短时间爆发式发展。应在确保网络环境安全基础上，重视网络安全分析技术的合理应用，利用大数据技术，发挥大数据实际价值，扩大应用范围，把大数据技术应用在网络安全中，确保网络系统的安全，进一步给革新信息技术的发展，保障网络的安全、高效。