大数据环境下的网络异常行为检测与分析*

2020-08-13倪东

九江学院学报(自然科学版) 2020年2期

倪东

(合肥职业技术学院安徽合肥 238000)

随着大数据技术的快速发展，海量的网络数据这都会给网络安全造成比较大的异常影响。这种带有多种信息的攻击行为如API攻击，导致企业的信息安全造成了安全威胁，随之造成了很大的经济损失[1]。这也说明在当前的信息安全技术仍然存在以下的隐患：由于数据量大规模增长，传统的电信企业信息安全体制架构已经无法保障网络的安全性；新型的攻击方式叠出不穷，现有的网络安全体系无法检测到其变化特征，因而也没有办法及时的做出响应[2-4]。基于此，电信企业对于现有的网络安全体系进一步改造数据架构，以此来提升企业的信息安全控制。

1系统总体架构

电信企业行业发展过程中，随着网络中的数据量急速增长和网络信息价值的提升，针对电信行业的异常行为也在不断的变异，这些都给各种管理工作带了很大的挑战。因此电信企业要构建异常行为感知能力体系结构，精确地溯源攻击路径，并建立相关的防范措施，进而保障网络信息安全[5]。

网络异常行为检测系统的系统架构根据不同层次的区别，如图1所示。各层次之间均能使用标准接口、数据进行连接，因此就减少了层次之间数据组件问题而对其它构建造成影响。

图1 网络异常行为检测体系

(1)数据采集层。该层是将网络中的数据源进行采集，将记录的网络行为日志发送给kafka。

(2)数据处理层。将采集的网络行为日志进行解析处理，采集层、处理层、存储层之间的数据服务均使用kafka消息服务信息来进行解耦和。

(3)数据存储层。该层主要是kafka上的数据源日志和解析日志进行读取后，并将其存储在分布式数据库hdfs中、Hbase等，且系统配置数据存储在RMDB中。

(4)分析计算层。该层主要是对于数据的实现，可通过对数据源的来源或对其分析计算，并得出相关的分析报告。

2网络异常行为采集设计

2.1异常行为感知设计

当前，所有的网络异常行为感知都是基于分布式结构来完成部署，通过在分布式文件系统上集成HBase来确保数据的高效传输。此外，数据采集使用了专业的采集服务引擎，后台会存储历史、实时采集得到的数据，这些数据量非常大，因此为了提高数据存储效率，应用列模式存储。采集得到的海量数据之间的关联性较差，数据冗余性比较高，因此在分析数据之间的内在联系时可以使用聚类算法。在数据内在联系分析中，为了提升数据之间的内在关联效率，数据特征提取前预处理海量数据，因此应用数据维数约减算法来将其变换为标准数据，并找到数据之间的关联性。运用相关的特征提取算法获取得到内在隐含的数据特征，从中获取得到价值数据。Hive分析技术能够实现将价值数据以可视化形式呈现用户，其中离线关联分析使用了流行的数据挖掘算法，这就可以完成对价值数据的深入挖掘，提高了数据的内在联系。数据的规则关联和日志聚合等技术都应用在实时关联分析阶段，这就可以显著的提升数据风险防范效率[7]。

异常行为的感知、检测和设计阶段，不同的阶段会使用不同的方式，在整个周期中贯穿了安全风险及指标、风险评估与处置、告警管理三个阶段，如图2所示。

图2 风险识别关键因素

安全风险及指标是在整体的生命周期中都会进行的一个异常行为的鉴定和识别。因此，首先要确定各种指标安全行为，对各种指标安全行为进行风险识别。指标安全行为则主要包含了风险行为、风险关键库，这就在一定程度上能更好地提高网络攻击行为的识别[8-9]。

风险评估中则要按照采集到数据依据风险量化模型来实时得到风险评估值，然后根据评估值等级的高低来对风险排序，直接会有利于异常行为中的优先处理，风险评估值最大的会优先处理。

风险控制中，要对网络中的攻击行为进行具体的分析，然后根据网络攻击行为发生原理来应对该网络攻击行为，同时还需要注重应对措施的时间有效性或效益有效性，以此提高网络攻击行为发生的风险行为的处理效率。

2.2异常行为精确感知实现

为了更好的监控网络异常行为，在整个网站系统开发建设周期内，异常行为都可能会发生，因此这就要对信息化系统整体生命周期都进行精确感知。异常行为精确感知过程中，需要多个技术的融合提升网络行为检测的精确度。例如大数据框架技术、智能感知、交互式可视化技术、异常行为量化评估模型等，这些技术都可以在信息化过程中精确感知到异常行为，并在各个阶段中完成内在价值数据的挖掘。然后将其以可视化形式呈现给用户，使用户能够全方位的了解网站系统的开发流程，这就可以显著地提升异常行为的监控力度以及决策能力。

异常行为风险中的风险要素主要包括：威胁、设备、安全防护措施等，而在异常行为分析中则需要识别该类要素，并要分析各种要素之间的相互关系，这就能显著提高网络系统安全能力，如图3所示[10]。

图3 异常行为风险要素

各种网络异常行为风险要素要在网络中的防护措施中体现，系统安全承受力则是指企业网络能够遭受攻击的最大可能性，而在具体的行为中则要详细的对网络的弱点进行具体的防护措施。在系统的安全承受中要具体分析网络威胁以及设备的威胁，其中网络威胁直接会影响到安全防护措施的制定，而设备威胁直接对系统安全能力造成较大的影响，具体的网络异常行为如下：

(1)通过蓄意破坏当前设备或者信息，这就可以完成对所有的资产信息的使用以及资料的完整性，使得信息资产也会变得不完整。

(2)非法人员在没有通过管理员授权的情况下非法访问内部网络，非法读取设备上存储的数据或运行数据，造成资料的泄漏；有的甚至会篡改文件信息，破坏了文件信息的完整性；有的黑客通过病毒代码来恶意攻击，并留下木马后门供下次访问等行为，这就会造成设备的损坏。

(3)工作人员的工作失误也会导致数据出错，这种无意识的出错很难通过网络检测出来，造成的信息资产损失是最大的。

(4)为了获取得到更大的经济效益，有些人会通过非法窃听、爬虫抓取等方式得到商业利益信息；有的工作人员会因获取得到非法利益而故意泄露敏感的资产信息。

(5)由于设备的使用会受到使用时间的限制，性能会随着时间使用的增加而降低，甚至当设备老化或出现故障后，就无法提供任何的网络服务。

异常行为贯穿网络系统中的任一阶段，防护措施则是要对主要的网络异常行为防护措施。在具体网络异常行为则要根据行为发生的概率计算实际的网络攻击行为权值，并分析其主要的攻击行为危害后果。在具体的攻击行为中对主要的影响因素重点关注，这就能够最大化的提高攻击行为防护措施的效率。

网络异常行为的计算过程中，要对风险指标进行定义，要充分结合风险库、数据属性、风险评估对象等多个方面，在风险识别、分析等阶段来精确地定义、识别、分析、定位风险行为，能够显著提升网络异常行为的检测效率。网络异常行为分析过程中，首先需主动识别异常网络行为，并计算当前行为的风险值，风险值的计算采用风险量化模型自动求解。然后根据计算得到风险值大小完成升序操作，按照风险值的大小来定义不同的风险等级，再将该网络异常行为添加到相对应的风险行为中，例风险告警、漏洞告警等。验证风险控制有效时，根据识别出来的网络异常行为等级以及该网络异常行为特点，通过风险控制模型来模拟计算得到实施控制措施后的有效性，并通过分析模拟过程中出现的阶段性问题针对性的制定解决措施，这就可以提升风险处置的验证效率。风险动态管理机制的制定和执行，在该过程中应用剩余风险来逐步导出相关的风险管理措施，相关管理人员也要及时的提升执行效率。

3异常行为分析模块设计

3.1异常行为分析技术

黑客的攻击行为随着大数据的发展，已经由之前的非目标值、简单粗暴变换为精准攻击、精细化的DDOS，尤其是APT攻击。APT攻击具备非常大的危害，会给企业造成非常大的经济损失，因此若能在初始阶段就对其识别和分析，这就能够降低攻击产生的损失[11]。

网络异常行为在获取得到后，需要评估异常行为中的内容、关联性、风险级别，进而输出相关的防护措施，进而能够防范异常行为，其过程如图4所示。

图4 异常行为分析流程图

通常系统网站的关键功能模块为搜索等技术，由此要提升系统的搜索引擎功能查询效率，要使用户在网络中能快速地获得精确的信息。这不仅要提升网络搜索效率，结合机器学习等新型技术，网站系统能够获取各种复杂环境下的告警信息、异常行为安全分析、控制行为等报表，可显著地提升网站系统的安全性。

在分析数据前，用户要了解数据结构的组成以及功能作用等，在进行数据预处理过程中能够提升数据转换的效率，使得数据挖掘前的数据更加标准、多样化，就可以显著提升数据挖掘、建模分析等过程精确率，从而获取更加精确的内在价值数据。因此用户要提升自我的计算机应用知识，具备一定的专业技能。

用户在检索后，网站系统会呈现给用户可视化数据统计结果。可视化数据的展示方式多样化，用户可以根据需求定义视图展示指标，直观的呈现安全数据，提升用户对数据采集、挖掘、分析等过程的认知，此外直观的统计分析图也能快速反应异常行为的各个阶段。

(1)合并分析。网络攻击行为源来源于不同的黑客，而不同的设备可能会对同一攻击行为有不同的网络日志的记录或检测。若能够在一开始就能够针对整体来对同一网络攻击行为进行重复的删除，这就能够显著的降低网络中攻击检测，而在直接的网络攻击行为都会有统一的命名。

(2)相关性分析。相关性分析则主要通过判断攻击行为、攻击者、攻击目标之间是否存在一定的关系，并对这种相关性进行等级的划分。一般是以攻击目标、攻击行为在漏洞、行业相关性之间的重叠，要判断信息之间的相似度来确定攻击算法。因此首先必须标签化信息，标签化信息则代表了两者之间的相似度，然后通过比较两者之间的相似度，并根据相似度来判断整体的相似性。

(3)风险危险等级分析。风险危险等级则是当前网络异常行为中攻击人对攻击目标造成的损害，这种损害则时按照漏洞、攻击后果、组织行为等信息综合考虑得出的。

(4)防护规则分析。防护规则是提取出有意义的网络节点，然后在一定时间进行防护规则的实施。网络异常行为的防护规则如下：①控制已知的恶意IP地址的访问，可以隔离非法个人的访问，可直接避免非法访问行为，保护资产信息安全。②拒绝恶意域名的访问请求。通常网络系统会通过配置防火墙，防火墙会过滤掉一些恶意IP地址，当这些恶意IP地址在请求访问信息时，要拒绝这些信息的访问，并将这类域名定义为不可解析。③防护恶意文件的读取。文件恶意攻击过程中一般都是以哈希值直接指向文件地址，这些恶意文件通常都会包含大量的钓鱼代码或病毒，这有利于远程控制或启动木马程序，防护这些恶意文件，有利于资产信息的安全性。④控制邮件发布人的访问控制权限，恶意邮件的洪泛攻击或访问都会给系统网站产生非常大的损失，恶意邮件是可以通过检查其邮件后缀等检测出来的，通过加强邮件访问就可以提升系统安全性。

防护规则的使用功效和攻击行为发生的位置与部署防护措施相关，通常是就近规则方式来进行防护措施，即最靠近攻击行为的防护设备对攻击行为进行组织。

3.2异常行为检测分析设计

异常行为检测包括各个采集、处理、分析、库、门户等功能信息，并通过分析规则来升级系统的安全，并以此来获取得到安全子系统下发。

(1)安全异常行为门户。该门户中包含了各种异常行为中的搜索、信息展示设计。其中仪表板展示所有异常行为，且对重点的攻击行为、手段、对象等重点展示。同时还能对异常行为的外部行为重点搜索，包含了漏洞、邮箱、已知黑客代码、IP地址等各个方面，在获取到信息后就会发出相对应的告警信息、数据的下载打印功能、自动状态的展示等。

(2)网络异常行为采集。网络异常行为则是对原始网络日志的获取，这就包括对当前的各种不同级别的信息获取，例战略攻击异常行为、安全通告漏洞、补丁信息、接口信息采集等这些公共网络异常行为。还包括了攻击目标本身的资产信息数据采集，例如企业本身的网络设备、企业个人资产信息、企业内部员工情况、终端信息采集、网络拓扑结构等各种有价值的信息。

(3)安全异常行为分析。异常行为的安全分析主要对采集到的外部网络、企业内部信息内容，根据通常发生的问题来进行预警发布，这就需要包含了当前的预警对象、终端等，以及该预警要达到的防护效果。而在一些包含了威胁IP地址的预警发布中主要目标是，实现禁止网络内部设备和危险IP地址的数据交换。

(4)安全异常行为库。安全异常行为库则包含了已知的异常行为库，并对这些库中的异常行为都已经进行了分析，并给出了相关的防护措施。例如黑名单库包含了已经造成过威胁的异常IP、网址、链接等，当用户在访问到这些黑名单库中的信息时，则会启动相关的防护规则，如防火墙隔断、禁止运行、删除危险文件和注册表的清除等。较为常见的是钓鱼网站，这种网站包含的所有内容都是很危险的，因此在实际过程中必须要禁止企业内部资产连接。