大数据技术在网络安全分析中的应用初探

刘瑜 王洪艳

摘 要：当今社会，随着网络技术跨步式的发展，全球数据存有量呈现出急剧递增的趋势。网络中的数据正在向分散化、多样化，复杂化的方向发展，导致了数据分析在很多时候难以满足人们的要求，数据安全性问题也随之变得异常尖锐。将大数据技术应用于网络安全的分析，将会逐渐成为业界研究的热点。本文在阐述大数据技术及其优势的基础上，初步探讨了大数据技术在网络安全分析中的基本应用。

关键词：网络安全；大数据技术；应用

中图分类号：TP393.08 文献标识码：A 文章编号：2096-4706（2018）02-0158-03

Application of Big Data Technology in Network Security Analysis

LIU Yu，WANG Hongyan

（Dalian University of Finance and Economics，Dalian 116622，China）

Abstract：In today's society，with the rapid development of network technology，the amount of global data is increasing rapidly. Data in the network is developing towards decentralization，diversification and complexity，resulting in data analysis difficult to meet people's needs at many times，and data security problem has also become extraordinarily sharp. The application of large data technology to network security analysis will gradually become a hot topic in the field of research. Based on the introduction of large data technology and its advantages，the basic application of large data technology in network security analysis is preliminarily discussed.

Keywords：network security；big data technology；application

0 引 言

人類进入21世纪以来，信息数据量呈几何级趋势骤增，网络技术也随之加倍出现。网络中的数据量越来越大，这会在生活和工作中给我们带来便利，但是也暴露出一些安全问题，给生活和工作带来阻碍，甚至会危害人身。数据来源的多样性和内容的丰富性，加上传统的网络安全分析手段的落后和漏洞的增加，使其无法做到有效地分析和保护。而大数据技术可以用其自身的存储量大、处理速度快等优点来提高网络安全防护的力度，因此，研究大数据技术在网络安全分析中的应用具有非常重要的现实意义。

1 大数据技术在网络安全分析中的优势

如今，互联网发展的速度如百米冲刺般迅速，其数据量更如宇宙中的繁星那样浩大。信息的内容和来源变得更加丰富、也更加细化，对它们进行分析的维度也更加广泛，这就给网络安全分析带来了新的任务，即它必须更快，更精准地检验出安全漏洞和恶意攻击行为。将大数据技术应用到网络安全分析中具有以下优势：

1.1 容量大

大数据可以支持大量级不同数据的计算、存储，能够大幅提升数据存数量，在非程序化的多变复杂数据处理上，它可保持有效性和数据完整性。这使得储存和分析原始海量数据成为了现实。

1.2 成本低

对普通硬件环境来说，大数据技术在应用方面没有局限性。另外，分布式数据库是大数据的核心，分布式数据库相比于结构化数据库的价格大大降低，在性能较差的硬件优化上表现很好，运行稳定的同时也能够降低维护费用。

1.3 速度快

大数据技术可以对异构数据完成处理并进行存储，而且是更快地查询和存储，这使系统处理数据信息分析速度更快，更迅速地进行安全信息的收集，更及时地响应检测的时机。

1.4 精度高

大数据技术可提升挖掘数据的能力，支持存储大量的异构数据，并能从多维度、多阶段的基础数据中进行分析与处理，甚至可以基于更长时间数据与数据之间的关联关系来处理数据来提高分析的深度和广度。

2 大数据技术

目前，在网络安全分析中，日志和流量是需要处理的两大关键因素。除此之外，资产、配置、漏洞、访问、应用行为、用户行为、业务行为、外部报告等辅助类信息关联分析也有着较大的作用。将大数据技术的优势融入网络安全分析中，可以优化各类数据的分析处理，集中将一些杂乱的日志和流量数据整合，还利用大数据高效的采集、储存、检索、分析技术，来减少分析处理的时间，节约整体成本，有效改善处理效果。

2.1 数据采集

利用大数据技术，在工具方面使用Flume、Chukwa、Scribe等来采集数据信息，根据数据的类型，应用分布采集式高效完成流量和日志等数据的采集。凭借迅速的数据采集能力，它既可以保证数据的完整采集，也能够保障数据的准确性。还可以应用数据镜像的采集方式，采集相关的流量数据。

2.2 数据储存

应对数据种类的多元化和传输的高效性，是传统网络安全分析面临的主要困难。面对错综复杂的数据，要使分析与检索的速度逐步提高，必须需要存储数据的各式各样分析寻求，以不同的存储方式来存储不同类型的数据，可以提升处理信息效率。日志流量及历史痕迹的原始安全数据，可使用供检索作为存储方法，在此可发挥作用的是H base、G base等列式存储，它的好处在于索引高效，响应迅速，可分类化存储原始安全数据。用于构架计算的Hadoop分布式方法处理的数据是经标准化处理的原始安全数据，把放在计算节点的经分类的安全数据进行处理分析，运用脚本分析挖掘安全数据，最后将整理统计报告和分析预警的报告存放在列式存储。而采用storm、spark等流式计算，适用于需要实时分析的安全数据。在每个计算节点上有等待分析的原始数据，分析过程中，系统会在实时数据流经对应节点时自动进行分析数据工作，进而生成安全警告与统计数据转化成最后的成果分析，其成果最终显示在流式存储中。

2.3 数据检索

大数据技术应用的安全数据检索与查询以MapReduce为架构基础，相对应的节点分析指令处理其中请求主语查询，查询节点收到请求，使用分布式计算方法查询节点所需数据，满足上需请求查询的情况，信息数据将显示所需流量及日志。这极大地提高了数据查询和检索数据的速度，可以有效提升工作效率。

2.4 数据分析

网络安全分析中，最后的数据分析是重要的步骤，大数据技术处理数据时会使用不同的处理和分析技术。storm或spark等流式计算架构是对数据进行实时分析的基础，在此之上运用定制的电联分析计算方法及复杂事件处理技术，联合对数据进行实时内存分析、实时监控安全内容、实时捕捉异常和实时处理。这既使数据安全性得到提升，也能保证在最短时间内找出问题并进行有效地解决，及时地进行数据保存和数据转移，来保护用户的数据信息。使用Hadoop架构可对历史数据、统计结果等非实时数据进行分析，这些对时效性没有太高需求的部分可利用HDFS分布式存储和MapReduce分布式计算，并行应用数据聚合，数据挖掘，数据抽取等多种数据处理技术。另外它能对隐藏风险进行离线统计及对应特殊处理，及时分析风险事态，攻击起始源并阻断风险。

2.5 多源数据和多阶段组合的关联分析

系统借助大数据技术在存储、查询、分析上不断地提升效率。在复杂处理中，它能对多源异构数据进行挖掘，同时发现大规模网络系统的安全风险，且对攻击行为的特征进行不同阶段的分析处理。集合数据分组会攻击逆源数据和莫管数据，同时深度分析外界情报，从而获得全方位分析结果，来提升处理效率。若某网络系统或主机有漏洞甚至被攻击，关联局域网内或系统中的其他主机，便可实施综合检测，这样能以最快速度发现隐患的具体位置，及时解决问题，防范危险情况。

3 大数据技术在安全分析中的应用

网络中的个人账户包括网络应用账户、银行账户等，它们均是信息分析的重点对象。

3.1 大数据分析设置密码习惯

对于个人账户来说，密码至关重要。现在有很多报道提到账号被盗、失窃的问题，这首先是因为为了密码记忆方便，喜欢使用简单的组合或有关姓名、出生年月等个人信息，这样的密码极其容易被破解，还会暴露个人信息，这些个人信息还可能被不法分子用于非法活动，进而危害用户人身安全。解决该问题可以运用大数据技术在平台上分析数据，在注册账号的时候，平台上早先存储的个人信息被调出，设置密码时，平台检索相似内容，进行分析确认并向客户发出警告，要求更换，以此来提高第一道防线的安全性。

3.2 大數据分析管理异地登录

如果说密码是第一道防线，若这层防御被突破，且用户在未知情的状况下登录账号，就可能会造成损失。当前，新闻经常报道儿童在家长不知情的状况下，用家长的支付账号买东西或给某些主播刷礼物；还有陌生人窃取银行账号、游戏账号、微信账号等情况，并偷转钱财，破坏账号主体，甚至伪装成本人诈骗好友钱财，做出一些违法乱纪的事情，这不仅会给账号主体带来经济损失，还会造成极其不良的社会影响。针对该情况，可以通过大数据技术记忆并绑定常用设备，且关联手机号和邮箱等安全信息，当在不常用设备登录时，大数据技术会在平台检索账号安全信息，第一时间向用户发送短信和邮件，若为本人操作，即输入验证码登录。此外还可以限制异地登录次数，由客户设置次数，若超过上限，平台会发出警告并通知客户，由客户自己选择暂时封号，报警或其他处理方式。

3.3 大数据定位找回被盗账号

若陌生人使用非常手段盗取账号，找回账号就变得非常困难。即使找到了，还原数据也基本是不可能的了。使用大数据技术在平台上进行定位，检索被盗账号登陆地区，实施封锁IP及账号的办法，把账号先传输在平台上，并清空内容，将原数据存储在平台，仅需失主提供个人信息且验证符合要求后，就可以返还账号并还原数据。

3.4 检测被控主机与控制源

面对黑客攻击网络漏洞，木马僵尸网络、移动恶意程序等仅靠防范措施无法应付的威胁，就需要精确分析，早期预警。应用路由器配置数据、僵木蠕检测事件、僵木蠕特征库、DPI检测DDoS攻击事件，DNS访问日志、外部渠道获取的僵木蠕源IP地址，在平台中维护更新被入侵主机IP库，用大数据分析入侵主机并进行控制源检测。

（1）疑似被入侵主机IP地址，查询DNS日志记录，运用URL库对比，确认被控制主机；（2）信息DPI查找通信记录或恶意URL访问记录，若存在匹配记录，则确认被控主机；（3）通过僵木蠕系统，DPI检测等渠道获取木蠕信息，查询DNS访问记录是否有恶意URL记录，综合验证分散系统检测结果，提升检索准确性。

4 结 论

大数据技术在众多领域应用宽泛，效率提升明显，还大大地节约成本。其在网络安全分析方面的应用，有效地减缓了传统网络安全分析的压力。专家正在深入研究如何在更大范围内运用大数据技术，这是业界讨论的重中之重。未来，在网络安全分析中应用大数据技术必将成为网络领域中的焦点。

参考文献：

[1] 曾秋梅.网络安全分析中的大数据技术与实践探究 [J].信息系统工程，2017（4）：77.

[2] 贾孙玉.浅谈网络安全分析中的大数据技术应用 [J].网络安全技术与应用，2017（4）：102+106.

[3] 崔玉礼，黄丽君.网络安全分析中的大数据技术应用 [J].网络空间安全，2016，7（6）：75-77.

[4] 杜娟.大数据时代的信息安全问题浅议 [J].现代信息科技，2017，1（2）：78-80.