大数据技术支持下的网络安全态势感知技术探究

2018-10-17文卫疆

网络安全技术与应用 2018年10期

◆卢庆文卫疆陈新

◆卢庆1文卫疆2陈新3

(1.湖南警察学院湖南 410100；2.岳阳市公安局湖南 414000； 3.岳阳市住房公积金管理中心湖南 414000)

随着计算机、智能手机逐渐成为我国民众标配，信息安全问题的受关注程度日渐提升，如何应用大数据开展网络安全分析也开始成为业界关注的焦点，相关研究也因此大量涌现，基于此，本文简单分析了网络安全防护存在的传统问题，并详细论述了在大数据技术支持下网络安全态势感知技术的构成与应用，希望由此能够为相关业内人士带来一定启发。

大数据技术；网络安全态势感知技术；安全模型

0 前言

近年来我国网络空间面临的国内外威胁日渐严峻化，国外有组织黑客的攻击破坏、国内不法分子的网络犯罪活动均属于其中典型，我国网络安全重大事件监测预警与主动防御手段的不足也因此暴露，而为了尽可能弥补这种不足，正是本文围绕大数据技术支持下的网络安全态势感知技术开展具体研究的原因所在。

1 网络安全防护存在的传统问题分析

1.1 主要问题

网络安全领域存在三种基本的业态模型，分别为P2DR安全运维模型、线式防御模型、立体防御模型，我国网络安全产业的构建便基本上围绕三种模型实现，安全产品体系也因此形成，但深入分析现阶段国内外网络安全产品发展现状不难发现，目前并不存在可以防御所有攻击的安全产品，这就使得我国长期以来奉行的传统网络安全防护理念、网络安全防护产品存在一些根本性问题。传统网络安全防护处于一个后知后防的体系中，并通过通用、具体的特征规则进行威胁防御，这种后知后防体系与网络安全保护的实时性、前瞻性需求存在一定矛盾，过时的网络安全产品自然无法完全满足现阶段各领域网络安全防护需要。总的来说，笔者认为网络安全防护存在的传统问题可概括为以本地规则库为核心、没有数据智能、无法实现未知威胁感知、无法有效检测已知威胁、无法对网络进行协同防御、无法通过数据支持实现已知攻击溯源分析，而深入分析这类问题不难发现，传统的安全监测与防护局限于私有、单机的思路属于引发问题的根本原因[1]。

1.2 解决思路

为真正解决网络安全防护存在的传统问题，近年来学界开展的大量相关探索，现有安全技术无法满足信息安全领域数据规模日益增长环境下的精细化高效安全分析需求也已经成为业界共识，大数据技术在网络安全防护领域具备的较高应用价值也开始得到重点关注。大数据技术本身具备灵活、海量、高速等特点，这些都使得该技术可较好满足快速、精确、低成本、大容量的数据智能分析和网络安全分析需要，基于大数据技术的网络安全态势感知也由此成为业界关注的焦点，本文研究也是围绕这一焦点展开[2]。

2 大数据技术支持下网络安全态势感知技术的构成与应用

2.1 平台构建

2.1.1整体思路

网络安全态势指的是网络当前状态和变化趋势，主要由用户行为、网络行为、网络设备运行状况等因素构成，而网络安全态势感知则是一种围绕大规模网络环境开展的网络态势变化安全要素获取、理解、显示及未来趋势预测。由此可见，大数据技术可较好服务于网络安全态势感知，但这种服务需要得到专业化平台的支持，这一支持指的是各类感知数据源的整合、各类安全数据的可视化信息转化，由此即可在平台支持下实现威胁发现、精准预警、态势感知。

2.1.2技术架构

为实现基于大数据技术的网络安全态势感知平台构建，安全数据采集、海量安全数据深度挖掘分析、分析结果应用必须得到重点关注，其中安全数据采集需涉及整个防御链条，以此实现相关边界、终端、服务、应用相关安全数据的采集，海量安全数据深度挖掘分析则需要利用安全模型、分析算法，以此分析潜在威胁、发生安全事件、预判未知风险，分析结果应用需要关注网络安全威胁报警、网络风险预警与感知、重要安全系统实时监测、可视化态势展示，图1为基于大数据技术的网络安全态势感知平台整体技术架构[3]。

图 1 网络安全态势感知平台整体技术架构

2.1.3安全数据采集与存储

在应用大数据技术完成安全数据采集后，还需要进行数据的存储，由此即可形成原始安全数据仓库满足安全态势感知需要。其中，安全数据采集需关注完整的网络攻击追踪，以此围绕身份认证、应用方位授权、网络流量特征检测、风险报警、应用安全审计等环节涉及的网络攻击细节与潜藏的非法行为特征搜集，流量、日志、审计、监测、病毒、资产、情报等各类数据的采集均需要得到重点关注；而在安全数据的存储中，需要整合关系数据库系统、分布式文件系统、数据库集群以此构建混合式数据仓库，海量安全数据存储管理则需要得到基于Hadoop分布式文件存储系统（HDFS）的支持。HDFS具备高吞吐量、容错性高等特点，在HDFS上的分布式非结构化数据库HBase则能够进行大量非结构化数据的存储，Sqoop则负责关系型数据库与非关系型数据库的数据导入与导出。

2.1.4海量安全数据深度挖掘分析

海量安全数据深度挖掘分析可分为三个步骤，即数据预处理、模型设计、数据分析，其中数据预处理主要由数据清洗、数据融合、数据关联三部分内容组成，模型设计则需要关注数值统计模型、算法挖掘模型、攻击树推理模型的构建，而数据分析则需要围绕在线实时挖掘分析、离线挖掘分析实现，以其中的算法挖掘模型为例，构建该模型需得到基于统计学方法的度分布计算算法、基于Page Rank的顶点分析算法、基于聚类的相似度分析算法、社区发现分析算法支持，而在线实时挖掘分析的实现则需要得到Spark框架的支持，在采用内存计算方式的批量数据流处理支持下，在线实时挖掘的需求可得到较好满足。

2.1.5功能组成

在安全数据采集与存储、海量安全数据深度挖掘分析的支持下，基于大数据技术的网络安全态势感知平台将实现网络安全威胁报警、网络风险预警与感知、重要安全系统实时监测、可视化态势展示，其中网络安全威胁报警可利用大数据分析结果实现信息盗取、权限获取、木马传播、仿冒钓鱼等网络攻击活动的即时报警；重要安全系统实时监测可实时关注网页篡改、信息盗取、APT攻击、拒绝服务攻击等恶意破坏事件的监测；网络风险预警与感知可实现网络安全态势的展示与输出，如网络攻击活动、安全漏洞等；可视化态势展示则能够使用可视化脚本库进行安全态势的全景展示。

2.2 技术应用

近年来业内围绕基于大数据技术的网络安全态势感知平台开展了大量理论研究与实践探索，我国很多行业的专网也已经实现了该类平台的部署与运行，笔者曾参与的基于大数据技术的网络安全态势感知平台建设便使用了10台高性能服务与100TB光存储阵列，而在Spark、ETL、Kafka、Hbase、HDFS、Zookeeper、Map Reduce等工具和框架结构支持下，完整的大数据存储和分析集群构建也得以实现，该集群能够满足弹性部署的需要，根据数据容量、计算需求的动态节点扩容也能够由此实现。笔者参与的基于大数据技术网络安全态势感知平台已经上线近两年，可平台每天可分析并处理2亿条安全数据，并能够同时开展30个安全规则库的在线匹配分析、100个安全模型离线分析计算、30亿条数据的IP关系图谱分析，平台的态势可视化展示、网络风险预警与感知等功能也长期处于良好运行状态。