基于大数据技术的网络安全防御架构设计研究

2022-07-25张璐王晓海

网络安全技术与应用 2022年6期

◆张璐王晓海

（61660部队北京 100093）

随着国家信息化建设的推进，基于网络的信息系统被广泛应用，网络安全也越来越受到重视。传统的网络安全防御系统布设防火墙、入侵检测系统、防病毒系统等多种安全产品，网络规模大、安全设备多，资源碎片化。且各类系统数据生成速度快、来源丰富、结构各异，真正的威胁信息隐藏在海量告警和日志数据中。如何采集存储和分析挖掘海量安全数据，识别各类攻击行为和安全事件，具有重要的研究和应用价值。

1 大数据技术在网络安全防御方面的应用优势

大数据具有Volume（大量）、Variety（多样）、Velocity（高速）、Value（低价值密度）的“4V”特性[1]，具有超大规模计算能力、海量存储能力、及时快速的分析速度等技术优势。大数据技术是个庞大而复杂的技术体系，集合了数据采集与传输、数据存储、数据处理与分析、数据挖掘、数据可视化等多种技术。针对不同类型的网络安全数据信息，采用多种技术实现多源异构数据的采集、处理、分析。针对安全设备告警信息、日志等非结构化数据采集，可采用Flume、Scribe等系统[2]，针对互联网威胁情报数据，常用的网络爬虫系统有Apache Nutch Crawler4j等框架。数据存储方面，根据不同数据类型采用分布式文件系统HDFS和Hbase等存储结构进行数据存储和管理。采用Kafka实现数据订阅、发布、数据交互等功能[3]。针对流处理的实时分析可采用Spark、Storm等技术，针对批处理可采用MapReduce框架[3]。构建多种检测分析模型，在安全数据采集、关联分析、威胁监测能方面实现大幅性能提升。

2 基于大数据分析的网络安全防御架构设计

基于大数据技术的网络安全防御架构如图1所示，包括基础资源模块、大数据采集分析模块、威胁情报模块、安全态势模块、检测和防御模块、运维管理平台。

图1 基于大数据技术的网络安全防御架构

2.1 基础资源模块

采用通用服务器组建分布式集群，将服务器CPU、内存、存储等进行虚拟化[4]，提供存储和计算资源。部分安全防护产品功能进行虚拟化，使安全防护能力整合，功能与硬件解耦[5-6]，具备统一管理、按需配置、灵活扩展、资源共享等优势，同时降低用户部署难度和维护成本。基础资源模块在运行过程中实时产生大量网络流量、日志、告警等安全信息。

2.2 大数据采集分析模块

该模块实时接收、分类存储各类数据信息，通过已构建模型，形成区域内资产、风险、威胁、安全事件等关键指标。结合威胁情报进行关联分析，形成网络安全态势，及时发现安全威胁。大数据采集分析模块包括数据采集存储、数据分析和态势呈现3层。

数据采集存储层：安全、快速地采集、传输、存储各类设备产生的网络流量、日志信息、告警信息等多维异构安全信息，经过数据抽取、清洗、转换、加载、消重与合并、数据关联、条件比对等处理，使得数据格式相对统一，分类分级明确、标识清晰。构建基础资源库、业务资源库等多类数据库，根据不同数据类型进行分类集中存储，基础资源库包括资产库、域名库、设备指纹库、规则库、样本库等，业务资源库包括事件库、监测信息库、文件样本库等。

数据分析层：构建基于大数据技术的规则监测引擎、关联分析引擎和机器学习、概率统计、知识计算、聚类关联等基础分析引擎，实现安全数据池内各类数据的深度挖掘和融合关联，有效降低需人工分析的告警数量。过滤一定时间内相同攻击类型、攻击源IP的日志信息，关联历史告警次数、频率及威胁情报，将告警分为3级进行推送。构建资产类、威胁类、风险类、事件类等态势评估指标，形成整体安全态势。构建威胁监测模型，针对异常流量、异常行为、异常IP、敏感数据实时监测，结合外部威胁情报，进行网络安全事件关联分析，及时发现潜在的安全威胁和隐蔽性攻击。

态势呈现层：基于可视化分析引擎，将平台整体资产情况、脆弱性、安全威胁、安全事件进展等各类态势指标，以分析图表（折线图、柱状图、表格）、网络拓扑、地理位置等形式呈现整体安全态势和各指标专项态势。

2.3 威胁情报模块

通过定向采集、网络爬虫、搜索引擎、在线订阅等方式，获取攻击者使用的域名、IP、URL、MD5等一系列网络基础设施或攻击武器信息、攻击利用漏洞、最新发布漏洞、APT攻击、安全事件分析报告、高价值线索分析数据等威胁情报数据，分类存储于数据采集存储模块的漏洞库、攻击特征库、安全事件库等，具备检索查询功能，并与数据分析处理、威胁监测等模块联动提高攻击监测和安全事件处置效率。

2.4 监测和防御模块

包括防火墙、入侵检测系统、流量清洗、访问控制、漏洞扫描采集等云平台安全防护和终端防护系统、防病毒系统等终端侧安全防护。网络出口处流量和各类安全设备的日志、告警信息分类存储至数据采集存储层，在数据分析层进行实时检测和关联分析，包括网络异常流量和异常行为实时监测、入侵攻击实时监测、病毒木马实时监测等。检测到异常的网络流量，可进行一定时间窗口的回溯分析。

2.5 运维管理平台

基于管理平台，运维人员可对安全策略统一管理、安全能力统一编排，实时监控云内运维情况和云平台自身安全情况，实现日志管理、身份管理、数据备份与恢复管理等功能。接收大数据采集分析模块融合分析形成的告警信息，按照事先定义好的规则执行规则中定义的动作，并以工单的方式通知运维人员处理。构建云监测、云防护、云审计等全生命周期的云安全服务清单[7]，或按照安全防护等级设计安全能力包，对安全能力进行统一管理、策略配置。

3 典型实施场景

本文设计的基于大数据分析的网络安全防御架构可应用于云平台内部虚拟机防御，也可通过流量牵引和数据导入的方式向云平台外部信息系统、终端提供安全防御。运维人员在运维管理平台构建云监测、云防护等云安全服务清单，按照安全防护等级设计安全能力包。用户可通过云管理平台或外部接入等方式按需申请安全服务或安全大数据分析服务，提高网络防护效能。选取网络环境中较为常见的两种威胁，DoS攻击和计算机病毒，阐述网络安全防御架构下的监测和防御过程。

3.1 DoS攻击防御

针对检测到的网络异常状态，采集并分析云端的DNS请求数据、网络连接数、Netflow数据、UDP数据、Botnet活动数据。通过数据分析引擎已建立的行为特征模型、流量特征模型进行融合分析，区分正常流量和异常流量。通过流量牵引的方式将异常流量牵引至监测和防御模块进行流量清洗、过滤[8]，将用户系统流量根据威胁情报关联分析，第一时间获取攻击手段、方式，整理研究应对方案，对攻击进行追踪溯源，防御DoS攻击。

3.2 计算机病毒监测防御

针对客户端检测出现的异常状态，利用自动反馈机制，将日志信息、异常流量等信息上传至大数据采集分析模块。对流量数据进行处理，识别IP地址、端口等信息，并对异常数据进行分析检测。与恶意代码库、攻击特征库进行对比分析，找出病毒的入侵特性，通过沙箱对反病毒功能无法确认的病毒代码进行二次检测，提取威胁特征码，记录病毒的信息数据规律、扩散规律，更新病毒库、规则库等数据库信息。分析挖掘日志和流量信息，分析传播轨迹确定病毒传播源头，及时预警提示，将威胁特征码、解决方案下发至该终端，同时其他客户端也会具备防御此类威胁的能力，提高了病毒的识别和查杀效率。