基于大数据的网络异常行为检测平台的设计与实现

一、引言

近几年，随着大数据和人工智能技术的不断发展，全球数据的交互活动变得越来越频繁，计算机已经成为人们生活中不可割舍的一部分。在全球网络信息高速发展的时代背景下，网络安全问题得到了广泛的关注；国家互联网应急中心每周都会发布国家信息安全流动共享平台（CNVD）周报，在2024年的第五期报告中，国家互联网应急中心收集整理了信息安全漏洞409个，其中高危漏洞177个、中危漏洞225个、低危漏洞7个。漏洞平均分值为6.60，国家信息安全流动共享平台（CNVD）接到的涉及党政机关和企事业单位的事件型漏洞总数13040个，与上期（12980个）环比增加0.5%。可以看出，在网络环境中，随着网络安全数据量越来越大，网络攻击的形势也变得越来越严峻，面对这种形势，如何加强对网络异常行为的检测成为控制保护网络安全的关键措施。基于此，本文针对网络异常行为检测平台的设计展开研究，详细分析如下。

二、大数据下网络异常行为检测平台的设计

大数据下网络异常行为的检测是一种综合性的活动内容，检测需要收集安全数据、做好数据处理、数据储存并挖掘有关异常数据，从而达到检测的目的。在使用大数据工作开展网络异常行为的检测过程中，必须明确清楚数据集成和数据高容量处理的问题，只有完善相关的问题，才能够更好地做好平台的设计和平台的应用。

（一）平台架构

1.平台简易架构

根据上文的研究分析，在网络异常行为检测平台的设计中，可以将平台的总体架构分为六个层面，分别为数据源层、数据收集层、数据管道层、实时计算层、数据储存层、数据分析层。

2.详细架构分析

（1）数据源层：数据源层是网络异常行为检测平台的重要层级，是数据处理的基础层级，包含有网络数据流数据以及防火墙系统日志数据等；在网络异常行为的检测平台中，数据源层主要是提供数据来源的层级，通过不同的数据源层进入系统的数据会有不同的作用；其中，网络数据流数据是数据源层中最为重要的数据内容。

（2）数据收集层：在数据收集层中，不同的数据应该采用不同的接入收集方案，从而更好地保障数据介入的可靠性。比如说，在网络设备上，通过网络数据流，可以使用网络抓包工具，实现对数据的收集以及对数据的处理。

（3）数据管道层：数据管道层是连接数据收集层和实时计算层的关键，数据管道实际的作用就是为在数据收集层所收集到的数据做一个缓冲，在这些数据进入到实时计算层之前，进行缓冲；因为数据内容一旦过大，就会导致系统平台出现一定的处理问题，很难确保数据的整体处理效果，所以就需要一个缓冲层，缓冲层可以有效地提高数据传输的可靠性，避免由于数据内容过大导致数据传输过程中丢失数据的问题发生。在系统中，数据管道层会应用“Kafka”（分布式消息系统）作为处理数据缓冲的工具，在数据收集层中收集到的数据会经过“Kafka”（分布式消息系统），写入“Kafka集群”中，汇总数据以后，就会经过“Filnk”（流式处理器）进行处理解读，更好地确保数据的安全与可靠。

（4）实时计算层：实时计算层在网络异常行为检测平台中起到了核心的作用。这一层主要依赖于高性能的流式处理器引擎"——Filnk。它具备高可靠性、高容错性的特性，确保了数据处理的稳定性和准确性。实时计算层的功能多样，涵盖了数据反序列化服务、特征处理服务、TCP会话重组服务、统计分析服务、数据入库服务以及告警服务等多个方面。

（5）数据储存层：数据储存层本质上是通过多个数据储存集群所组成的，数据储存层提供了大数据网络异常行为检测的重要服务功能，分别是：基于HDFS分布式文件系统服务、基于HBase的分布式数据库、基于Elasticsearch全文检索服务。在数据储存层中，利用这些大数据储存服务，可以构建一个高容量、高吞吐的海量数据储存体系，其中基于HDFS的分布式文件系统服务是数据储存层的重要组成部分。HDFS作为Hadoop生态系统中的核心组件，具有高可靠性、高扩展性和高效能的特点。它通过将数据分散存储在多个节点上，实现了数据的分布式存储和并行处理。这不仅提高了数据的存储容量和可靠性，还为后续的数据分析和处理提供了高效的数据访问接口。

（6）数据分析层：数据分析层是分析数据的关键层级，对于网络异常行为平台的检测有非常重要的作用。主要任务是构建高效的网络异常行为检测模型，这个模型能够实时地监控网络流量，识别异常行为，并及时发出警报，以防止潜在的网络攻击或数据泄露。

（二）平台系统的硬件设计

1.Hadoop的运用原理

Hadoop系统是一种广泛使用的云计算平台，它采用了map/reduce分布式计算模型，可以将大数据问题分解为多个小的任务，并在多个节点上并行处理，从而大大提高了数据处理效率。

本研究将针对Hadoop系统的作业原理进行优化设计，旨在进一步提高大数据处理的效率和精度。通过深入分析map/reduce分布式计算模式的工作原理，我们将探索如何更好地利用云计算资源，优化数据处理的流程，从而实现对大数据的高效、准确处理。

Hadoop系统会将大数据网络中的异常数据检测任务进行分类，分别分成不同的“子任务”，每一种不同的子任务，分别使用一个节点，最后会将检测的结果上传到数据库管理的节点中，将所有的子任务的节点汇集以后，就会最终形成整体的检测结果。

2.系统控制模块的设计

在本研究中，我们选择SDN控制器作为网络异常行为检测平台的主要控制设备。网络大数据平台则由“计算端”与“控制端”衔接组合形成，计算端与控制端的衔接接口就是网络大数据平台，在平台的整体工作中，计算端的主要作用是将系统的控制算法传递提供给总控制器，也就是“SDN控制器”，而控制端则可以与SDN控制器一起为网络大数据平台服务，形成控制点。

3.系统检测模块的设计

在大数据网络平台异常风险检测的系统中，检测模块的设计是非常重要的，在本研究设计中，检测模块由储存端和预处理端构成；储存端的主要功能是负责对大量数据进行存储和管理。它采用了先进的存储技术，确保数据的安全性和完整性。同时，储存端还具备强大的数据检索和分析能力，能够快速定位异常数据，为后续的异常风险检测提供有力支持。预处理端则负责对原始数据进行清洗、筛选和整合。通过这一环节，我们可以去除无效和冗余数据，提高数据的质量和准确性。此外，预处理端还具备数据分类和标签化功能，有助于不同类型的数据进行有针对性地分析和处理。

（三）网络异常风险的检测

1.最小二乘支持向量机

在传统的网络大数据平台异常风险检测活动中，一般采用支持向量机对这些异常风险进行检测和分析，这种方式的建模时间比较长，同时分析异常风险活动的效率比较低，存在较大的缺陷，因此需要加以优化。对此，本研究在相关理论的研究基础上，提出了在网络异常风险检测中应用“最小二乘支持向量机”的方式进行检测，并针对传统的网络异常风险检测技术进行了改进。具体来说，在研究中，我们将传统的网络异常检测向量机中的不等约束转化成为等式约束；通过这一改变，很好地将整个网络异常风险检测平台实现了简化，并很好地降低了计算中可能会出现的一些复杂情况，并有效的提高了网络异常风险的检测效率和质量。

2.网络大数据平台异常风险监测模型

本文所研究的平台是基于最小二乘向量机的平台模型，具体来说，异常风险检测的流程如下：

首先，我们实时收集网络中的大数据信息，并特别关注那些可能表明网络入侵的数据，这些数据就是网络数据平台中，可能会造成风险的相关标志数据。其次，在原始的网络数据中，我们也将一些风险异常的数据筛选了出来，缩小了数据的范围，从而可以很好地加快最小二乘支持向量机的学习速度。这一步的作用就是提高模型的效率和精度，使其更能够快速准确地检测出异常风险。再者，将异常风险相关的数据集划分为多个子样本集。这种分治策略使得我们可以对各个子集进行单独建模，提高了模型的适应性和泛化能力。继而，采集子样本，并利用最小二乘支持向量机建模，建模完成以后，设定合适的样本进行检测以获得最佳的模型性能。在每个节点上，我们将训练样本输入到最小二乘支持向量机中进行训练。

三、实验分析

上文笔者针对大数据网络异常行为检测的平台进行了设计，从平台的不同层面以及平台的硬件、模块设计等方面详细介绍了平台的设计思路。下文，笔者将对本文中的平台与WBT系统和网络仿真技术系统进行对比实验，从而验证本文研究的平台在大数据网络背景下检测异常行为的性能。

在实验中，笔者在同一网络的大数据库中实施异常风险的数据检测，检测到的异常风险数据与其系统的检测性能呈现正比，检测获取的三种系统检测性能对比结果统计如下图1所示：

图1"三种系统检测性能的对比统计图

从图1中，可以看出WBT系统的检测性能相对比较差，应用性能也比较低下，而网络仿真技术系统在检测时间为120s前的检测性能都比较优越。

四、结语

综上所述，本文主要研究提出设计了一个网络异常行为检测的平台，并详细介绍了该平台的架构组成，包括安全数据的数据源层、数据管道层、数据接入层等等。本研究活动所设计的平台提供了一个网络异常行为的有效检测和识别的功能，并针对系统的硬件设计以及网络异常风险的检测模型的建立进行了详细的介绍和分析，最后通过实验研究发现本文所研究设计的平台具有较好的性能，能够为安全人员提供一个较好的检测手段，是一种行之有效的网络异常行为检测的平台。

（作者单位：华能山东石岛湾核电有限公司）