大数据下的网络安全态势感知系统研究

摘要：该研究旨在构建和完善大数据环境下的网络安全态势感知系统。通过分析系统平台架构和技术架构，研究了系统在安全防御、威胁情报获取与共享、资产状态持续监测等方面的设计与实现。研究结果表明，系统通过集成多种安全技术和大数据分析方法，显著提升了异常检测和攻击链分析的准确性和响应速度。研究成果对于提升企业网络安全防护能力，及时应对和处理潜在威胁具有重要意义，未来将继续优化系统功能，深化大数据与人工智能技术的融合。

关键词：大数据；网络安全；态势感知；系统平台

中图分类号：TN915.08" 文献标志码：A

作者简介：卢毅（2003— ），男，本科；研究方向：大数据。

0" 引言

在当前网络安全环境下，随着网络攻击的复杂性和频率不断增加，传统的安全防护措施已经难以应对新型威胁。大数据技术的迅猛发展为网络安全态势感知提供了新的解决方案。本研究旨在探索和构建基于大数据的网络安全态势感知系统，通过整合多种数据源和先进的分析技术，实现对网络安全态势的全面监控和及时响应。研究的主要目标是提高安全事件的检测准确率和响应速度，提供全面的安全态势分析，帮助企业有效防御各种网络威胁，为提升整体网络安全水平提供理论和实践支持。

1" 网络安全态势感知系统技术架构

1.1" 系统平台架构

在大数据网络安全态势感知系统平台架构如图1所示，该平台架构分为安全管理层、智能分析层、安全数据中心层、数据提取层和全网安全信息来源5个层次。安全管理层负责用户指挥、动态感知、安全洞察、态势分析、决策管理和系统运维管理等功能。智能分析层包括宏观态势分析、脆弱性分析、风险感知、入侵检测、行为分析、威胁情报分析、情境分析和数据挖掘。安全数据中心层提供日志存储计算、数据流处理、全量数据分析、离线计算、模型训练、标签挖掘、知识图谱等功能［1］。数据提取层负责日志与流量解析、数据清洗、日志存储、流量数据存储、脱敏和特征提取等工作。全网安全信息来源包括防火墙、入侵检测和防御系统（IDS/IPS）、Web应用防火墙（WAF）、邮件网关、终端防护平台（EPP）、数据泄露防护（DLP）、统一威胁管理（UTM）、安全信息与事件管理（SIEM）、威胁情报平台（TIP）等［2］。以上设备和系统提供网络流量、日志、行为数据等多种安全数据来源。

1.2" DBSCAN聚类算法研究

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法，适用于处理含噪声和形状不规则的数据集［3］。DBSCAN通过定义高密度区域中的数据点为簇，低密度区域中的数据点为噪声点，从而进行有效的聚类分析。DBSCAN通过ε（epsilon）和MinPts这2个关键参数来定义数据点的邻域。具体而言，DBSCAN聚类算法首先定义每个数据点的ε-邻域，然后识别核心点，即在其ε-邻域内至少包含MinPts个点；接着，从核心点开始，将在其ε-邻域内的所有点标记为同一个簇并递归处理这些邻域点，直至所有点被处理。其中，在某个核心点ε-邻域内的非核心点被标记为边界点，而不属于任何簇的点被标记为噪声点。

DBSCAN的核心计算公式包括距离计算公式，如式（1）所示。

dist（di，dj）=∑nk=1（dik-djk）2（1）

其中，dik和djk分别为数据点di和dj在第k维的坐标。

ε-邻域定义为：

N（di）={dj∈D｜dist（di，dj）≤}（2）

核心点条件为：

|N（di）|≥MinPts（3）

在网络安全态势感知系统中，DBSCAN被广泛应用于异常检测和入侵检测，通过对网络流量数据和日志数据进行聚类分析，识别异常行为和潜在威胁［4］。在应用过程中，首先采集网络数据包并提取相关属性，然后对数据进行标准化处理，应用DBSCAN进行聚类分析，识别出异常数据点，最后生成预警信息和安全报告，辅助安全管理人员决策。通过应用DBSCAN算法，网络安全态势感知系统能够更精准地检测异常行为和潜在威胁，为企业提供更全面的安全防护能力。DBSCAN算法在处理带有噪声和形状不规则的数据集方面表现出色，能够自动识别簇的数量，适用于复杂多变的网络环境。在网络流量分析中，DBSCAN算法可以发现异常流量模式；在日志分析中，DBSCAN算法可以识别出异常登录行为和可疑活动轨迹，从而显著提升网络安全防护水平［5］。

2" 系统功能设计及实现

2.1" 威胁情报获取与共享功能设计及实现

通过整合系统多种数据源，包括外部威胁情报源（如开源情报、商业情报服务、社区共享情报等）和内部威胁情报源（如企业内部安全设备、应用系统、用户行为等），本文采取主动采集和被动接收2种方式，从各类数据源获取威胁情报并对其进行预处理，包括数据清洗、格式转换和去重等，以确保数据质量和一致性。系统利用大数据分析技术和机器学习算法，对采集的威胁情报进行深度分析，通过协议还原、沙箱行为分析、用户行为分析、动态域名分析和恶意程序特征匹配等技术，及时发现和识别安全威胁。威胁情报融合与共享平台支持不同安全设备和系统之间的情报共享，通过融合与关联分析，生成综合性的安全态势报告，帮助企业安全管理人员快速了解当前的安全状况［6］。威胁情报获取共享如图2所示。

2.2" 持续监测资产状态功能设计及实现

系统通过被动探测（如NetFlow、流量分析）和主动探测（如端口扫描、服务扫描）结合代理深度探测和第三方数据（如CMDB、日志等），实现对网络中所有资产的全面发现与识别。通过对采集的资产数据进行合并、去重、补全，生成完整的资产视图。系统将各类数据源的信息进行融合，分析资产组成、分类和标记化，确保资产信息的准确性和完整性。资产管理模块提供资产预备案管理、资产维护、安全配置管理、资产地图和资产报表等功能，能够对资产进行分组、分类和分域管理，支持多维度和多标准的资产视图展示。系统提供7×24h的实时监测，通过周期性扫描和实时感知技术，及时发现新增资产、变化资产和资产脆弱性，结合多种协议探测技术和丰富的资产指纹库，精确识别资产类型、版本和开放服务。

系统通过分布式数据采集引擎，实时收集来自不同探测手段和数据源的资产信息，采用Kafka和Flume等技术进行数据流处理，确保数据的高效传输和处理。利用Hadoop、NoSQL数据库和关系型数据库对海量资产数据进行存储和管理，确保数据的高可用性和安全性。系统集成多种智能分析模块，通过实时分析和批量分析，能够识别异常行为和潜在威胁并生成相应的预警信息。系统的持续监测资产状态功能实现的整体流程如图3所示。

3" 系统测试

3.1" 恶意域名及DNS隐蔽信道检测

DNS隐蔽信道是一种利用DNS协议进行数据传输的技术，攻击者将敏感数据编码到DNS查询请求中并将其传输到外部服务器，从而绕过传统的安全防护措施。为应对这种威胁，本系统采用了多种先进技术进行检测，包括短文本分类和特异度评分算法，同时还利用Hadoop和NoSQL数据库，对海量DNS日志数据进行存储和管理，确保数据的高可用性和安全性。智能分析模块通过机器学习算法和行为分析技术，对异常域名请求进行深度分析，识别潜在的恶意行为。UI与可视化层将检测结果转化为易于理解的图表和报告，帮助安全管理人员实时监控和分析DNS隐蔽信道活动。系统设计了自动化响应机制，一旦检测到恶意域名或DNS隐蔽信道，立即生成告警并通知相关安全人员，采取相应的阻断和防护措施。

在系统测试完成后，研究人员发现对恶意域名的检测率提升了35%，利用特异度评分算法，系统对DNS隐蔽信道的识别准确率达到90%以上，自动化响应机制将平均响应时间从10min缩短至3min，有效提升了安全事件的处理效率。系统检测恶意域名及DNS隐蔽信道的可视化如图4所示。

3.2" 攻击链分析检测

攻击链分析检测方法包括数据采集、数据预处理、攻击阶段划分、线索日志筛选和攻击链构建。在系统实施测试中，数据表明系统在攻击链分析检测方面表现优异。通过多种分析技术结合，系统对攻击链的识别率提升了40%，对复杂攻击行为的检测精度达到85%以上，自动化响应机制将平均响应时间从15min缩短至5min，有效提升了安全事件的处理效率。

4" 结语

本研究通过构建大数据网络安全态势感知系统，详细分析了其技术架构、功能设计及实际应用情况。系统技术架构包括数据摄取、存储、治理、监测分析、指挥调度以及可视化层，综合利用大数据分析和机器学习算法，实现了对网络安全态势的实时监测与深度分析。在功能设计方面，系统集成了安全防御、威胁

参考文献

［1］李泽慧，徐沛东，邬阳，等.基于大数据的网络安全态势感知平台应用研究［J］.计算机应用与软件，2023（7）：337-341.

［2］谢志奇.基于大数据分析的网络安全态势感知系统设计与应用［J］.网络安全和信息化，2023（10）：115-118.

［3］方一程.大数据环境下的网络安全态势感知与技术研究［J］.网络安全技术与应用，2023（8）：21-23.

［4］张人杰.大数据态势感知系统在网络安全管理中的应用［J］.电子技术，2023（5）：198-199.

［5］谢东刚，吕连.基于大数据的高职院校网络安全态势感知系统探析［J］.电脑知识与技术，2023（27）：77-79.

［6］王可阳.基于大数据技术的网络安全态势感知研究［J］.科学与信息化，2023（11）：46-48.

（编辑" 王雪芬）

Research on network security situation awareness system under big data

LU" Yi

（College of Computer Science and Technology，Hubei University of Science and Technology，

Xianning 437100， China）

Abstract： This study aims to construct and improve a network security situation awareness system in the big data environment. By analyzing the system platform architecture and technical architecture， the design and implementation of the system in security defense， threat intelligence acquisition and sharing， and continuous monitoring of asset status are studied. The research results indicate that the system significantly improves the accuracy and response speed of anomaly detection and attack chain analysis by integrating multiple security technologies and big data analysis methods. The research results are of great significance for enhancing the network security protection capabilities of enterprises， timely responding to and dealing with potential threats. The optimization of the system functions will be continued， and the integration of big data and artificial intelligence technology will be deepened in the future.

Key words： big data; network security; situation awareness; system platform