基于大数据的安防体系建设分析

赵莹莹

摘要：大数据应用范围的不断扩大，不仅为社会发展提供了有力支持，而且还为数据网络带来了更多安全风险。为提升现代数据网络安全性，应构建完善的数据网絡安防体系。基于此，文章对基于大数据的安防体系总体设计思路做了简单介绍，进而对安防体系框架及数据安全中台进行设计。

关键词：大数据；安防体系；数据湖；安全数据服务；共享平台

doi：10.3969/J.ISSN.1672-7274.2024.04.013

中图分类号：TP 311.13，TP 393.08          文献标志码：A           文章编码：1672-7274（2024）04-00-03

Analysis of Security System Construction Based on Big Data

ZHAO Yingying

（People's Police University of China， Langfang 065000， China）

Abstract： The continuous expansion of the application scope of big data not only provides strong support for social development， but also brings more security risks to data networks. To enhance the security of modern data networks， a comprehensive data network security system should be established. Based on this， the article provides a brief introduction to the overall design concept of a security system based on big data， and then designs the security system framework and data security platform.

Keywords： big data; security system; data lake; secure data services; shared platform

1   基于大数据的安防体系建设思路

传统安防体系在一定程度上提升了网络系统的安全性[1]。由于大数据、云计算等技术的应用，使得网络系统中数据量更加庞大，数据运算难度更高，导致传统安防体系逐渐体现出滞后性[2]。通过对既有研究成果的分析，结合自身对大数据安全防护的了解，本文提出了一种包含6大模块的基于大数据的安防体系。

（1）智能感知模块。包括安防装置、物联网等组件，用于自动收集与网络运行安全有关的数据，可为后续网络安全风险分析与防范策略的执行提供支持。

（2）大数据湖。用于对网络安全大数据进行存储与管理，可为后续其他环节提供数据支持。

（3）安全知识库。由多个分库构成，如威胁情报库、漏洞库、病毒库等，可为网络安全问题的识别、分析与处理提供支持。

（4）智能分析模块。通过数据挖掘技术寻找出数据中有价值的信息，并利用人工智能对数据进行计算，以此判断系统内部是否存在安全隐患，并通过可视化平台将判断结果显示出来，帮用户及时发现网络安全隐患。

（5）智能学习模块。平台可不断进行学习，自动完善平台功能，以快速、准确地对新网络安全隐患进行识别与处理。

（6）人机交互模块。根据专家的安全防护经验，结合智能人机交互平台，为安全隐患的识别、处理提供辅助指导。

2   安防体系的框架设计

2.1 安全大数据平台

在整个安防体系框架中，安全大数据平台是核心部分，用于安全大数据的管理。从逻辑角度来说，安全大数据平台共由4个层次构成，由上至下依次为安全底座、安全中台、服务总线及安全应用。从总体角度来说，可将平台归纳成“一脑双核，四轮驱动”，即包含6大模块：①安全数据中台——主要用于安全数据的自动采集、整理、计算等，以挖掘出数据中心隐藏的信息。②资源中台——在安全数据中台的辅助下，向安全应用提供威胁识别、策略执行等功能。上述两个模块共同作为平台的“双核”，是整个平台最为重要的部分，直接关系到网络安全隐患的识别与处理能力[3]。③数据治理——数据管理的主要手段，即针对大数据防护需求，创建病毒、漏洞等数据库，以此为安全隐患的识别提供支持。④安全事件——数据管理的中心，实时对数据检测并响应，采集安全数据后，第一时间传输给安全事件，并对各种数据库进行检索，以提取相应的安全策略，用于对安全威胁的处理。⑤网络安全框架——数据管理的指导，以确保整个大数据安全防护功能有效执行。⑥数据驱动——可提升安全应用功能，更加全面地对大数据进行安全管理。后面4大模块即为平台的“四轮驱动”。

2.2 数据库平台

通过安全大数据平台对数据进行管理后，将会改变安全防护的本质，使其变为数据方面的问题，即如何采集数据，采取何种方式对数据计算，怎样保证数据存储安全性等，以保证整个大数据网络安全、稳定运行。为此，本文在安全大数据平台的基础上，构建了一个数据库平台（见图1），其主要由4部分构成。

（1）数据采集层。数据采集层处于整个数据库的最底层，主要以大数据技术为核心，对各方面网络安全数据进行采集。根据数据业务类型的不同，可将数据划分成以下四种类型：①日志类数据：包含网络系统日常运行情况的数据；②流量类数据：用于统计网络内部信息流量的数据；③知识情报类数据：是包含网络威胁类型、处理策略相关信息的数据；④告警类数据：是包含网络威胁告警信息的数据。在进行数据库连接时，以数据抽取技术为核心，以自定义程序为辅助，以此建立出相应的数据引接工具，以快速、准确地将数据导入到数据库内。同时，在数据库内添加Kafka传输组件，可对流量削峰处理，提升数据库的吞吐率，使数据库在整个平台中发挥更大的作用。

（2）数据计算层。随着现代网络数据容量的不断扩大，数据分析任务数量逐渐提升，想要使数据体现出最大的加值，系统在对数据进行处理时，应具备流、批一体化功能。若数据处理的时延性要求较低，通常进行批量处理；若数据处理的时延性要求很高，通常选取流处理引擎，主要流程：在系统库数据量不断提升的同时，在同步工具的作用下，将新添加的数据导入Kafka内，并以此为媒介，将数据导入至数据湖。此外，这些数据还会传输给Flink引擎，由该引擎对数据进行计算与分析，在得到分析结果后，传输给应用层，通过可视化技术处理后将结果展示给用户。

另外，在数据计算层当中，还根据分层原理，设计了离线与在线数据仓，以加强对庞大数据的安全处理。这是因为数据容量较为庞大，若按照传统方式进行计算，很容易出现遗漏或重复使用问题，影响数据的应用价值。而采用离线与在线数据仓即可从根本上解决这一问题，大大提升数据计算处理效率与质量。

（3）数据服务层。对数据计算后，可得到不同方面的分析结果，如资源目录、数据标准等，每类数据均与相应的通信端口相连，以将分析结果传输给应用层，驱动平台内各种应用服务功能的运行，从而向用户提供数据安全管理服务。

（4）数据应用层。该层在接收到服务层传输的结果后，可驱动安防平台执行各种大数据安全服务功能。

3   数据安全中台设计

3.1 安全数据治理平台

在数据接入工具的作用下，可获取大量与网络安全相关的数据，如病毒数据、漏洞数据等，这些数据格式不同，字段存在一定差异，因此，想要更好地使用这些数据，应先对数据进行治理，即通过相应的技术手段对数据予以转换，确保在保持其完整的基础上，使数据处于同一水平，以提升数据计算、分析与应用效率。在进行数据处理时，先要明确具体使用需求，然后以此为基础，选择所需要的数据，并判断数据的来源。在实际操作过程中，通过该流程的应用，可拉近各模块间的距离，有效解决传统安防体系中的数据孤岛问题。以数据流为媒介，将各子模块集合到一起，以便 用于不同网络安全业务当中。

由大量实践研究可知，网络安全数据特点包括以下几点。①容量大，最高可以达到EB级甚至是PE级以上；②类型众多，如病毒数据、告警数据等；③由于网络及网络安全设备众多，加之设备运行时间较长，使得安全数据产生速度非常快，随时产生大量安全数据；④价值密度低，数据中包含大量无用数据，有用数据占比非常小，需要对整个数据集进行全面分析与计算后，才可提取出有价值的数据。

基于此，结合上述安防体系框架，可设计出如图2所示公共数据模型。其中，共由3层构成，分别为：数据源层，用于连接数据库和领域逻辑层；受领域逻辑组织方式的影响。数据操作层，用于对数据的初步处理与分析；公共维度模型层，数据汇总层，按照相应的规律对明细数据进行整理，以此为后续数据加工分析提供支持。

3.2 安全大数据湖

为了进一步提升安防体系的应用效果，本平台中设计了安全大数据湖。数据湖最早出现在2010年，指的是除了原始数据，其他各种数据资产存储能力的集合。从数据层面而言，可将安全大数据湖看成数据存储策略；从存储方式层面而言，安全大数据湖不仅包含Hadoop分布式存储平台，而且还有Elasticisearch集群存储、FastDFS集群存储、图数据库集群存储与TiDB集群存储等诸多功能，在这些功能共同作用下，有效对各种类型数据进行存储。同时，由于存在TiDB数据库，可在数据混合存储的基础上，快速对数据进行分析与处理。从技术层面而言，数据湖无法代替传统信息基础框架，只是对传统信息框架的完善与优化。

3.3 安全数据分析平台

（1）特征数据层。主要功能如下。①异常分析，明确异常行为特点，并自动对网络中出现的异常进行监测；②流量分析。对整个网络中病毒数据、漏洞数据、异常数据等进行全面分析；③脆弱性分析。判断网络自身是否存在漏洞，分析漏洞引发的原因，并确定漏洞可造成的危害等。

（2）中间数据层。主要功能如下。①ATT&CK知识框架用于存储攻击策略、技术等相关信息，为攻击行为的识别与应对提供支持；②威胁情报知识。其中存储了各种威胁情报特点及其对网络造成危害的相关信息；③安全资源知识库。主要存储安全资源相关信息等。

（3）应用场景层。通过对网络脆弱性分析、安全时间分析等，判断网络具体情况，并根据分析结果，激活相应的安全防护功能，以保证网络系统安全、稳定运行。

3.4 安全数据服务共享平台

（1）资源目录与元数据管理。用于可交换数据源数据的结构化展示，支持数据库、大数据、Web服务等多类型数据资源技术元数据的采集与业务元数据的维护能力；能够根据不同的主题，创建相应的业务视图，用户可在视图界面内注册资源、检索信息等。

（2）数据使用。用户向平台提交申请后，由平台审批员对请求进行处理；利用平台内的注册功能，注册具有相应权限的账号，用于对用户操作行为的监管；在历史信息界面内，浏览以往操作行为信息等。

（3）数据服务管理。利用相应的服务发布组件，开发人员可快速完成数据服务及数据服务共享平台的开发。在平台内，开发人员可查询用户请求信息，并对用户请求进行审批。

4   结束语

在大数据安全网络问题不斷严重的今天，应更加注重大数据安全防护体系的构建，通过安全防护体系的应用，加强对整个网络系统的监管，通过对网络系统内部数据流的分析与评估，准确判断网络系统是否被病毒攻击、自身是否存在漏洞等，并根据评估结果，采取科学、合理的方式对系统内异常行为进行处理，以确保网络系统安全、稳定运行。■

参考文献

[1] 韦蕊．基于边缘计算的非结构化大数据动态安全存储算法[J]．吉林大学学报（信息科学版），2023（3）：559-565.

[2] 郑飞．大数据视域下的计算机网络安全建设及关键技术研究[J]．中国管理信息化，2022（23）：156-158.

[3] 卞咸杰．大数据时代智慧档案信息服务平台数据安全风险及其对策[J]．档案管理，2022（6）：38-41.