基于大数据的攻击态势感知技术研究与实现

余宏伟 高卫华 黄国林

文章基于當下网络安全形势及安全需求，从传统网络安全防护体系的不足和基于大数据技术的攻击态势感知分析优势两个方面，对全网多源安全事件进行关联分析并研究，运用数据挖掘、态势分析等技术，建立一套集安全信息采集与存储、集中处置与分析、态势监测与预测于一体的态势感知平台。该平台整合全网环境内管理类、用户类、资产类等数据，经统一汇聚存储，利用智能分析技术，将多种安全日志、报警数据转换成可视化的安全事件信息，解决了目前多个网络安全系统之间无法形成有效的整体安全防护效果的问题。文章从多源安全数据的采集与处理、存储、分析与展示三个层面对平台的设计思路、技术要点和分析方法进行阐述，并对平台的实现情况进行了说明。

经过多年的信息化与网络安全建设，各单位的信息系统发展日益复杂化且功能愈加强大，信息化建设日益复杂化且功能强大。但随着网络环境的不断变化，面向业务和用户数据的攻击行为也在迅猛增加，并且朝着技术专业化、团队组织化、行动隐蔽化、攻击分散化等特点发展，网络空间安全面愈加严峻的威胁和挑战。一方面攻击面不断增加，攻击者可能会从一个业务系统的各组件进行扫描，利用多弱点实施攻击；另一方面攻击的步骤逐渐复杂化，攻击者进行持续的渗透工作，进而最终攻克用户的核心业务系统或窃取核心数据。在这种背景下，虽然组织不断完善安全防护体系，部署了防火墙、防病毒等各类防护设备，但无法掌握全网安全状况，无法有效整合串联所有的安全监控资源及安全信息，无法将全网安全信息有效利用起来，形成全网统一监测、集中分析、集中展示呈现的态势感知机制。

为提高国家信息安全保障能力，2015年1月，公安部颁布了《关于加快推进网络与信息安全通报机制建设的通知》（公信安[2015]21号）文件。通知明确要求建立攻击态势感知监测通报手段和信息通报预警及应急处置体系，实现对重要网站和网上重要信息系统的安全监测、网上计算机病毒木马传播监测、通报预警、应急处置、态势分析、安全事件（事故）管理等功能，为开展相关工作提供技术保障。

《网络安全法》明确了监测预警与应急处置措施，建立统一的检测预警、信息通报和应急处置制度和体系。因此加强和完善网络安全监测预警与主动防御的能力刻不容缓。

一、传统网络安全防护存在的问题

随着互联网以及周边网络安全产品的发展，信息安全越来越受到重视。组织无论是出于对自身利益的考虑，还是对于社会责任的考虑，都已开始构建更为丰富的内部安全体系。安全体系涵盖了包括防火墙，IDS、WAF、抗DDOS等在内的安全防护系统以及安全评估、安全加固等专业安全服务。但业务信息系统运行依然面临诸多安全威胁，主要安全问题为：

安全设备在过去几年里积累了大量的历史数据，但现有技术手段无法有效分析信息系统各设备和软件的运行或检测数据，导致安全问题无法及时发现；无法预测安全风险趋势，导致无法及时调整安全策略。

过去的安全设备往往是针对某种特定威胁的，但随着信息安全事件的不断复杂化，孤立的安全措施很难适应综合的安全事件，无法从根本上解决这些问题。

无法了解当前整个IT系统的整体运行状况和安全状态。

传统的安全发现大多反应的是网络和系统的可用性问题，无法有效发现由安全风险引发的网络和系统问题，

传统的网络安全防护机制是当安全问题出现之后，才考虑如何去追溯，无法提前预测或在发现问题出现之前发现。

现有的安全措施很难保障组织对信息安全事件的响应速度，无法达到业务连续性的要求。

二、基于大数据的攻击态势感知平台设计

（一）基础架构设计

平台依托于前沿大数据技术框架，整合E L K、Impala等大数据技术，形成基于大数据的攻击态势感知平台。平台从数据采集、数据存储到态势分析与功能呈现都应用了大数据技术，以应对海量安全信息数据的高速处理场景，并通过分析结果和可视化效果呈现全网的攻击态势感知。

平台整个技术架构分为3个层次：数据采集与处理层、数据存储层、态势分析与功能呈现层（如图1）。下面围绕系统设计、技术要点和实现方案对这三个层次进行阐述。

数据采集与处理层：实现了对全网IT资源的资产信息、性能信息、日志与安全事件信息、弱点信息等安全信息的统一采集与汇聚功能。

数据存储层：数据存储采用MPP架构数据仓库来存储加工处理后的日志数据，并将数据积累起来，实现海量安全大数据的分布式存储，为上层态势分析提供数据支撑。

态势分析与功能呈现层：针对各类安全信息，实现失陷主机实时检测与告警分析、攻击链实时分析、用户行为画像分析、资产异常行为分析、时间轴组件分析等态势分析能力，是系统的核心功能层。

（二）数据采集与处理

攻击态势感知平台安全数据源主要指用户环境内各类IT资产信息、设备性能信息、日志与安全事件信息等各类原始安全数据。

采集与处理环节的主要原理是利用FileBeat、Logstash等方式收集个日志源的数据并发送到Kafka集群，通过Logstash等方式对日志进行格式化处理并经初步筛选后，将汇总数据写入Elasticsearch。再利用Impala On Elasticsearch的前沿技术方案将非结构化数据处理并转换成结构化数据。

平台通过Impala来读取存储在Elasticsearch中的数据并进行查询和实时展现。具体实现如图2：