大数据环境中基于分布式设计的网络入侵安全防御方案

于坤

【摘要】大数据环境中的入侵形式多样，传统防御方案由于技术限制，应对难度较大。因此本文围绕大数据环境的安全防御的主要难点，提出了基于分布式设计的网络入侵安全防御方案。通过构建分布式入侵检测系统、实现实时数据分析与智能响应机制，提升防御系统的可扩展性、灵活性和准确性，期望能为相关网络防御的设计提供学术参考和帮助。

【关键词】大数据；分布式设计；网络入侵；安全防御；实时数据分析

中图分类号：TN929                           文献标识码：A                             DOI：10.12246/j.issn.1673-0348.2024.11.014

在大数据环境下，数据规模的爆炸式增长、数据类型的多样化、网络攻击的复杂性和隐蔽性。传统的网络入侵防御系统通常采用集中式的架构，难以应对大规模数据的处理和分析。同时，由于网络攻击手段的不断翻新和复杂化，单一的防御手段已难以满足安全需求。为了应对上述挑战，本文提出采用分布式架构来构建网络防御方案的措施，以实现对大数据环境中网络入侵的有效应对。

1. 大数据环境中网络入侵安全防御的主要难点

1.1 数据量庞大

数据量的庞大为网络攻击者提供了更多的机会和可能性，尤其是针对DDoS（分布式拒绝服务）攻击的利用，DDoS攻击通过控制多个计算机或网络设备（通常称为“无魂人网络”），向目标系统发送大量的请求或流量，使得目标系统的资源（如带宽、处理器等）被耗尽，从而无法正常为合法用户提供服务，这种攻击方式的关键在于攻击者能够控制大量的设备发起攻击[1]。大数据环境也意味着复杂的网络结构和多样化的数据处理方式，使得网络中的安全漏洞和隐患也相应增多，攻击者可以利用这些漏洞，轻易地渗透进网络，控制更多的设备加入无魂人网络，从而发起更大规模的DDoS攻击。

1.2 数据流动快速

数据流动速度的加快，不仅意味着数据处理能力的提升，也意味着攻击者有了更多机会和方式实施网络入侵。快速的数据交换和处理使得传统的安全检测机制难以适应。传统的安全系统依赖于对数据的静态分析或周期性扫描，但在大数据环境下，这种方法的效率和准确性都大打折扣，数据的高速流动使得攻击者有机会在检测机制完成扫描之前，就完成攻击行为，导致安全漏洞被利用[2]。

在大数据环境中，由于数据量巨大、流动速度快，安全团队难以在有限的时间内完成这些工作，即使安全系统能够实时检测到异常行为，安全团队也来不及进行深入的调查和分析。他们需要在极短的时间内做出决策，否则攻击者就容易利用这段时间进行更深入的渗透或破坏。因此，大数据环境中数据的巨大量和快速流动，使得安全团队的工作变得异常艰难。

1.3 异构网络环境问题

异构网络环境，简而言之，就是一个大型网络环境中混杂了多种不同类型、性能以及操作系统的设备和系统。在这样的环境中，每一个组成部分都有其独特的工作方式和安全需求。大数据环境多是呈现出这种异构特性。它包含了从高性能服务器到低功耗传感器的各种设备，这些设备运行着不同的操作系统，如Linux、Windows或者嵌入式系统。此外，它们还服务于不同的任务场景，比如数据存储、数据处理、用户交互等[3]。

设备和系统的这种多样性带来了安全上的挑战。由于每个设备或系统采用不同的安全标准和协议，即使某个设备或系统采用了业界领先的安全技术，也因为与其他设备或系统的不兼容而难以充分发挥其效用。

2. 基于分布式设计的网络入侵安全防御方案

2.1 访问控制

在分布式环境中，访问控制策略需要跨多个节点和层面进行协调，因此不仅要考虑单个节点的安全，还要保证整个网络的连贯性和安全性。

访问控制策略在分布式系统中的一般形式可以表示为：

Access Control Policy

（主体，对象，环境）→权限决策      （1）

在式（1）中的主体指的是试图访问资源的用户或者进程。对象是指被请求访问的资源，可以是文件、数据库、设备等。环境包含了影响权限决策的其他上下文信息，如时间、地点、资源的使用状态等。

访问控制方案的设计还要考虑的因素包括用户身份、用户所在组织、文件的安全等级别、文件的物理位置等。基于这些因素，可以建立一个更为复杂的访问控制决策，用一个访问控制矩阵定义主体（例如用户、进程或设备）与客体（例如文件、数据库或网络资源）之间的访问权限，表示为一个二进制矩阵，其中的元素表示特定主体对特定客体的访问权限（读、写、执行等），如下：

（2）

在分布式系统中，访问控制列表定义了特定资源可以被哪些主体访问。ACL主体对资源的访问权限表示如下：

ACL（j）={i|ACM[i][j]|=1}         （3）

在分布式系统中，用户可能需要跨多个节点访问资源，这就需要权限在节点间传递。权限委派定义了权限如何在不同主体和资源之间转移，表述如下：

（4）

2.2 入侵检测

从分布式角度看，入侵检测技术可以被设计成在不同的节点上执行不同的任务，以构建一个多层次、全方位的检测体系。在分布式入侵检测系统中，主要包括两个部分：硬件防御和系统防御。硬件防御是指在网络设备（如交换机、路由器）和入侵检测系统（IDS）之间的数据交换，系统防御是指入侵检测系统与安全管理中心之间的数据交互。

在分布式系统中，每个网络节点都会收集其所在节点的流量数据和行为数据。假设有一个网络节点Di，其收集的数据可以表示为：

（5）

在公式（5）中，tj是数据包的到达时间，pj是数据包的内容，aj是数据包的源和目的地址，ni代表的是节点Di的网络接口编号或者是该节点在收集数据时的特定标识符，j表示数据包的编号从数字x（公式中为1）开始计数，是数据包集合的起始点。

对收集到的数据进行特征提取，以便于后续的分析和判断。假设用Fi表示从节点Ni提取的特征集合，那么可以表示为：

Fi=f（Di）                 （6）

公式（6）中的f属于一个映射函数，它将原始数据转化为可以用于分析的特征向量。

利用提取出的特征进行异常检测。假设Ai表示节点Ni的异常检测结果，那么异常检测可以表示为：

Ai=g（Fi，θi）              （7）

公式（7）中的g是一个分类函数，θi是该节点的模型参数。

在分布式系统中，需要对各个节点的检测结果进行汇总，以得到全局的决策。假设D是所有节点的检测结果集合，G是全局决策结果，那么全局决策可以表示为：

G=h（A1，A2，……An）               （8）

公式（8）中h属于一个全局决策函数，它根据所有节点的检测结果来做出最终决策。

通过上述方式可以构建一个分布式入侵检测框架，以提高安全性。

2.3 虚拟专网

在网络中，虚拟专网技术可以有效地实现大数据网络的安全承载，从分布式角度看，虚拟专网（VPN）策略的实施涉及多个网络节点和资源，其目的是优化网络性能、增强安全性并确保任务的连续性和高效性[4]。为了表述这种策略，可以使用网络分割和资源分配的方程式来展示如何在多个网络节点上分配资源以满足特定的服务质量（Quality of Service）要求。为了在分布式网络中实现任务隔离，可以使用分割矩阵来定义不同任务流在网络中的路径。设V为网络节点集合，E为网络边集合，A为分割矩阵，其中aij表示从节点i到节点j的任务流是否被分割，表示如下：

（9）

如果aij=1，则表示任务流i和j是被分割的，即它们在不同的虚拟专网中；如果aij=0，则表示任务流i和j没有被分割，它们可以共享相同的网络资源。

设R为网络资源矩阵，其中rij表示节点i到节点j的可用资源量，则资源分配可以通过以下方程进行：

（10）

对于每个任务流i，需要保证rij≧f（aij，sij），其中f是一个函数，表示为满足服务质量＼（s_{ij}＼）所需要的资源量。

通过建立网络分割、资源分配的方程式，可以有效地从分布式角度规划和实施虚拟专网策略，切片隔离技术是一种利用网络切片的特性，实现不同切片之间的资源和数据的隔离，防止切片间的干扰和攻击的技术。利用切片隔离技术防护网络安全的主要思路是，根据大数据网络的不同类型和安全等级，为每种任务分配一个合适的切片网络，实现任务之间的隔离和保护，避免资源竞争和故障影响，当需要高安全可靠的传输时，可以采用硬切片技术提供TDM硬隔离切片，通过切片隔离技术，可以实现网络的安全隔离和可靠传输，支撑专网的建设和运营。

2.4 网络准入认证

网络准入认证技术的核心目的在于确保只有那些经过验证的用户和终端能够合法地接入网络资源，从而有效阻止未授权访问以及潜在的恶意活动。从分布式网络架构的角度来看，网络准入认证策略的实施不仅涉及单一节点的安全控制，更是一个跨地域、跨平台、多层次的复杂安全体系构建过程[5]。

对于用户认证，分布式网络环境要求认证系统能够支持跨域认证，确保不同网络环境下的用户身份能够得到准确验证，可采用基于角色的访问控制（RBAC）模型，用户的权限和身份信息存储在中心服务器上，分布在不同网络段的用户在访问资源时，可以通过认证代理进行身份验证和权限查询。终端完整性检测在分布式网络中意味着需要实现中心化的监控与分布式执行的结合。网络准入系统可以采用agents或网关设备来定期收集终端的安全状态信息，并将其发送到中心监控系统进行分析。

对于非法终端的网络阻断，分布式网络准入认证策略需要具备动态适应性。在云端可以部署智能决策引擎，实时分析终端接入请求，对于不符合安全策略的终端，可以立即执行阻断或限制措施。此外，通过分布式入侵防御系统（IDS）和入侵检测系统（IPS），可以对网络进行全天候监控，快速发现并响应非法接入行为。

在强制访问控制方面，分布式网络准入认证策略需要能够跨域实施细粒度的访问控制，可采用attribute-based access control（ABAC）模型，可以根据用户、终端、资源等多维属性制定访问规则，实现更为灵活的权限管理。在网络安全的审计和取证方面，分布式网络准入认证技术要求实现日志的集中收集与分析。通过在网络各个节点部署日志收集器，并利用大数据分析和人工智能技术进行日志解析，可以有效记录网络事件，为网络安全的持续监控和管理提供强有力的支持。

2.5 网络态势感知

分布式网络态势感知技术需要对这些海量数据进行高效处理。由于数据来源广泛且格式多样，数据处理阶段需要对数据进行清洗、分类、标准化等操作，确保数据的准确性和一致性[6]。同时，通过关联分析和标签化技术，将分散在各个节点的数据关联起来，形成完整的网络态势图景。

在数据分析阶段，分布式网络态势感知技术充分利用数据挖掘和智能分析算法，提取出网络中的安全特征和风险指标。这些算法能够在海量数据中发现潜在的安全威胁和异常行为，并通过模式识别和机器学习技术，对网络安全态势进行预测和评估。

分布式网络态势感知技术的另一个重要特点是可视化展示。通过图形化界面和可视化工具，将分析结果以直观的方式呈现给管理人员和决策者。这不仅有助于快速了解网络的整体安全状况，还能帮助定位风险源头，指导安全响应和处置。分布式网络态势感知技术还具备强大的审计和取证功能。通过对网络事件的记录和分析，能够追溯攻击来源、分析攻击路径、评估攻击影响，为网络安全事件的应对和处置提供有力支持。

3. 应用实践

我司作为以信息业务为主的运营机构，面临网络安全风险隐患较大，为实施上述防御方案，投入3万元用于软件购置或开发，2万元用于服务器硬件和网络设备的采购，2万元用于购置或开发入侵检测软件，1万元用于部署在网络节点上的硬件设备，4万元用于购买或租用VPN服务，1万元用于网络节点的硬件升级以支持VPN，3万元用于认证系统的软件购置或开发，2万元用于认证代理和网关设备的采购，4万元用于数据处理和分析软件的开发或购置，1万元用于日志收集器的部署和维护。总计投入约17万元用于软硬件购置、开发和部署。实施防御方案后，平台每月异常访问次数从原来的300次降低至50次，减少了83%，有效提升了网络安全防护能力。分布式入侵检测系统使得威胁检测时间从原来的4小时缩短至15分钟，提高了安全响应速度。新方案的实施使得平台在安全性能、响应速度、稳定性和用户体验等方面都取得了显著的提升，降低了运维成本，提高了运维效率。实施新方案后，运维成本降低了30%。

4. 结束语

大数据环境下，网络数据呈现爆炸式增长，使得网络攻击变得更为复杂和隐蔽。传统的安全防御系统往往采用集中式的处理方式，无法有效应对大规模、高并发的网络攻击。因此，基于分布式设计的网络入侵安全防御方案应运而生，在大数据环境下，网络流量庞大、数据类型繁多，传统的网络入侵防御系统面临着处理性能瓶颈、误报率高等问题。因此，采用分布式架构成为必然选择。分布式入侵检测系统、实时数据分析与智能响应机制、虚拟专网技术、网络准入认证以及网络态势感知等策略的实施，可以有效提升大数据环境中的网络安全防护能力，实现对网络攻击的精准识别和快速响应。

参考文献：

[1]刘建兰.基于大数据的网络异常行为检测技术研究[D].绵阳：西南科技大学，2020.

[2]李新新.大数据技术在网络入侵检测的应用[J].信息技术与信息化，2021（05）：235-237.

[3]唐风扬.基于大数据的网络威胁感知技术研究[D].绵阳：西南科技大学，2022.

[4]黄涛.基于分布式实时数据分析的入侵检测方法研究[D].张家口：河北建筑工程学院，2023.

[5]樊田梅，张琪.大数据技术在计算机网络入侵检测中的应用[J].数字技术与应用，2023（12）：216-218.

[6]宋文超，王烨，黄勇等.大数据环境下的云计算网络安全入侵检测模型仿真[J].中国西部科技，2015（08）：86-88.