基于大数据的网络异常监测系统设计

郭 惠

（1中科院成都计算所 四川 成都 610000）

（2山西旅游职业学院 山西 太原 030031）

0 引言

在网络发展呈现普及化趋势的社会背景下，终端计算机设备与移动电子设备受到外界影响较大。据移动电子市场统计的不完全数据可知，近3年以来，无论是系统前端硬件或系统后台运行的软件程序，均受到过不同程度的影响，一些隐蔽性较高的病毒或程序，甚至会对终端设备中的核心程序运行造成影响，在这一趋势下，网络稳定与企业信息稳定传输均面临着巨大的挑战。当前，网络深入到人们生活、工作的各个角落，网络稳定性直接影响了人们的生活和工作，因此，我国对网络监管十分重视。为了提高网络的稳定性，市场监管部门纷纷响应市场的号召，建立了完善的网络数据分析机制，通过实时采集网络数据并对其进行深入分析的方式，掌握网络在运行过程中的问题，并根据不稳定程序的指向，进行前端设备运行的预警与应急处理[1]。但由于网络数据量在前端呈现一种衍生趋势，仅按照常规的数据处理方式进行数据处理，已无法满足应急预警需求。因此，在本文的研究中，尝试将大数据技术作为数据处理的核心技术，通过集中处理数据，掌握网络中存在的不稳定因素，以此实现对网络异常的监控。

1 硬件设计

为了提高本文系统在实际应用中的综合性能，应在设计前，进行系统运行的需求分析，并结合需求分析结果，进行系统硬件结构的设计。在此过程中应明确此系统是为了时刻监控网络状态而开发的，因此常规的监控设备与传感设备是构成系统的核心硬件，前端获取的数据需要在网络支撑下传输，因此对应的数据接口、数据探测装置也应当作为系统的主要构成。系统硬件结构见图1。

按照图1所示的硬件结构，本文主要对网络数据传输设备和智能检索数据库服务器进行优化选型设计。针对本文监测系统当中的网络数据传输设备，本文选用PCM HJA2030型号综合复用数据传输设备作为系统硬件核心结构。该型号综合复用网络数据传输设备在运行过程中的功耗为155 W，带宽为2 Mbps，接口为E1类型，传输距离为40 km，电源为220 V。利用该型号网络数据传输设备可实现对网络运行过程中各类数据资源的有线和无线传输。根据数据传输之间的距离，可通过改变数据接口的方式或结合传输协议的方式实现对数据的就地和远程传输。考虑到网络环境当中数据量十分庞大，因此需要引入一种存储能力更强的服务器作为本文系统的数据库服务器[2]。基于这一需要，本文选用ThinkSystem SR658型号IBM服务器作为系统的数据库服务器。ThinkSystemSR658型号IBM服务器的技术指标包括：硬盘接口类型为SAS、标配硬盘容量超过5 000 GB、内部包含两块250 GB 15 KRPM热插拔磁盘、内部配备12个小型SFF或8个SFF（可选）硬盘架数配置。该型号服务器采用2U双路机架式结构，适用于网络应用平台的搭建，可实现数据库搭建、虚拟化应用、文件存储等更多功能。在实际运行过程中，该型号服务器内部引入了ECC技术，可以确保本文异常监测系统在运行过程中上位机不会出现蓝屏死机现象，以此确保系统整体运行的稳定。同时，该型号服务器最高可扩展至6个PCle插槽，能够根据未来网络环境不断扩大，为其提供更大容量的数据存储空间，并进一步提高本文监测系统的运行性能。除上述应用优势以外，该型号IBM服务器内部每个处理器模块当中都包含了两个CAPI适配器，可实现与更多外界设备的连接，从而为本文监测系统运行需要提供更方便的设备支撑条件。

2 软件设计

2.1 基于大数据技术的网络数据获取与处理

为了确保获取的数据满足支持格式，可按照镜像抓包的方式，进行数据格式的转换，其中包括FTP数据的转换、Trap数据的转换等[3]。在此过程中，每执行一次数据抓取，便可将抓取的数据整理成一个数据文件包，识别数据文件包在网络中的节点位置，提取在一个独立节点中抓取行为超过n次的行为数据，将此数据作为节点异常数据。综合上述分析，对基于大数据的网络数据抓取过程进行描述，如下计算公式所示：

公式（1）中：n表示网络数据抓取次数；N表示网络稳定区域；i表示网络节点；λ表示数据占用的网络流量；β表示数据字节长度。通过上述计算公式，可以完成对网络数据的抓取，在此基础上，使用ELT处理工具，进行抓取数据处理。处理的主要过程包括清洗与过滤，在清洗环节，需要根据数据字段空值的约束，进行抓取数据结构的分析，包括数据是否存在结构缺失、是否存在均值校验差异、是否存在稳定性异常等。对于其中存在结构缺失的数据，可以使用“1”或“0”，对数据结构进行填充[4]，并收集重复的日志内容，进行数据聚合与归并，减少冗余日志量。同时，通过上述方式采集到的数据源为网络环境当中的全量数据，其中包含网络流量数据、日志数据、资产信息数据等。

完成上述相关工作后，在数据获取端集成一个流量探针，负责进行数据抓取过程中镜像文件与数据的采集，采集后对抓取的数据进行还原。其中流量探针可支持网络中的特定传输协议，并在探测流量异常后定位异常端口的IP地址，可以将其作为网络异常监测过程中域名或UPL定位的工具。为了进一步提高本文异常监测系统的深度感知能力，在系统软件部分，引入深度智能感知引擎。通过该引擎实现对网络环境中多维度信息以及多元数据的整合、关联和智能分析，以此帮助系统管理用户完成对网络异常问题更加精准的推断和调查，从而进一步提高系统对网络威胁攻击行为的发展和调查能力。

2.2 基于数据挖掘技术的网络异常态势感知

在完成网络数据的抓取后，结合数据挖掘技术的应用，进行网络安全态势的实时感知，并通过此种方式，实现对网络安全风险的实时监测。通过统计学原理，进行抓取数据集合中数据结构与数据关系的分析，根据数据节点的分布，进行IP访问规律的识别，定位到一个指定网络空间内的重点监测对象[5-6]。提取数据集合中的相似节点，人为模拟一个已知的攻击序列，检索在网络传输节点中是否存在与已知序列相同的网络数据序列，识别此序列，按照序列中字段的排序，构建一个攻击树推进模型。此模型主要以“树结构”表示，其中根节点表示为网络前端攻击的目标；叶节点表示为攻击序列，从根到叶的整体过程可以表示为攻击的全过程。而要实现对网络安全态势的感知，只需要在此过程中对根节点到叶节点的序列进行描述，即可实现对下一步骤可能发生攻击行为进行预测，从而可以掌握网络在不同运行状态下的潜在威胁。同时，为了能够在网络运行过程中找出其中存在非法异常的记性数据包报文，还需要结合数据挖掘技术，对网络运行流量进行分析。在流量数据当中，针对网络应用层当中的各项内容进行解析，并通过通用漏洞软件完成对应用层漏洞数据的检测。针对跨站点脚本攻击行为以及缓冲区域可能存在的溢出攻击、恶意浏览等问题，可通过利用常见检测方式完成对其相应特征的匹配识别。但上述提出的检测方式存在不全面的问题，针对部分特征不明显的异常数据无法进行准确识别，因此还需要在网络运行环境当中对流量数据进行抓取，并根据传输协议的类型完成对流量数据的分析。在这一过程中，基于HTTP报文，利用多种解码技术完成对协议报文的深层次分析，并通过对其中的Web地址、请求头、协议类型等信息进行获取，通过对所有报文信息以及内容的合规性检测，实现对各类非法畸形数据包报文到的检测。

挖掘异常行为的过程为：在抓取的批量网络数据中进行攻击类数据的标识，然后根据攻击数据的关系与秩序，进行数据的组合。例如，可将“流量异常集成数据”“频繁请求数据”“前端服务器应答响应异常数据”作为一个攻击数据的组合，根据3类数据的先后顺序，进行异常现象的识别，并将输出异常数据的先后序列作为网络异常的监测结果。针对通过数据挖掘技术实现的网络异常态势感知结果，为了实现本文监测系统对其存在威胁性的攻击进行预警，还需要对系统预警功能模块进行设计。在态势与预警模块当中引入并联分析技术，并以此发展网络环境在运行过程中存在的安全事件和安全风险点。针对安全事件以及安全风险点对网络安全运行的影响程度，对其进行分等级的预警，将网络安全事件威胁程度划分为4个不同等级，分别为安全运行等级、轻微风险等级、中度风险等级和重度风险等级。根据不同的安全事件威胁程度等级，确定不同的应急预案，以此可实现对网络运行针对性的预警。首先，针对安全运行等级，监测系统可不进行任何预警，网络环境仍然按照正常运行模式运行；其次，针对轻微风险等级，当网络运行过程中从某一区域A向区域B传输数据时，需要通过数字证书认证的方式对网络用户双方身份进行验证，待验证通过后，才能够实现数据传输；再次，针对中度风险等级，除了需要按照上述轻微风险等级采取相应的应急预案以外，还需要在网络环境当中完成对Web日志安全事件的挖掘，并在引入Hadoop技术的基础上，对Web日志数据进行集群和存储，从而避免网络环境当中的非法入侵人员对Web日志数据造成攻击，影响网络运行的安全；最后，针对重度风险等级下的网络运行环境，需要在上述基础上，再次对Web日志安全事件进行深层次挖掘，并找出其中存在的具体安全漏洞问题，或正在遭受非法入侵人员攻击的区域，针对特定区域采取隔离机制对该区域进行隔离，并及时将该区域传输通道关闭，从而避免安全事件威胁影响范围进一步扩大。通过预警方案的落实，实现威胁和安全事件的快速报警，以此实现对本文系统软件功能的开发[7-8]。

3 对比实验

结合上述硬件和软件设计，在完成对监测系统的理论设计后，为验证该监测系统的实际应用效果，选择将基于信息熵的监测系统作为对照组，通过设置对照条件的方式，实现对本文监测系统的应用设计以及性能验证。选择以某企业内部局域网作为需要监测的网络环境，在监测过程中分别由两种监测系统以线上监测和线下监测两种方式，实现对企业内部局域网环境中数据运行稳定及是否存在异常问题的动态监测。在监测过程中，设置两种系统的监测间隔均为5 min/次，系统在运行过程中的工作电压均为220 V，工作电流均在160～350 A范围内，将监测环境选择为企业内部局域网最大传输单元。在实验过程中，对比两种监测系统应用后，异常数据流入该网络环境中的字节量。利用文展科技提供的网络流量测试仪对异常数据流入字节量进行测定，并将该仪器显示的数据结果绘制成如表1所示的实验结果对比表。

表1 两种监测系统应用效果对比表

表1中，M-大数据表示为将本文监测系统应用到网络环境当中后异常数据流入字节量；M-信息熵表示为将基于信息熵的监测系统应用到网络环境当中后异常数据流入字节量。从表1得到的两组数据对比看出，基于信息熵的监测系统在应用中其异常数据流入字节量已经严重影响到网络的正常运行，容易出现网络运行不流畅，而本文监测系统应用后，该企业内部局域网环境当中异常数据流入字节量明显得到控制，网络环境的稳定性得到有效提升。

4 结语

本文基于硬件与软件两个方面，对网络异常监测系统展开设计，并在完成设计后，对设计的成果进行实践检验，检验后证明本文设计的监测系统在实际应用中，可有效控制企业内部局域网环境当中异常数据流入字节量，从而起到提高网络环境的稳定性的作用。