大数据下统一审计技术框架研究*

2020-09-27唐冬林

通信技术 2020年9期

裴华，刘炜，唐冬林

（中国电子科技集团公司第三十研究所，四川成都 610000）

0 引言

各大安全厂商将审计追责功能集成到各自的安全产品中，将审计追责贯穿到各个安全功能中，根据安全产品功能不同而形成的审计追责功能，大致可分为主机审计、网络审计、数据库审计。随着信息系统的迅速发展以及用户需求的不断增加，网络规模日益庞大，应用系统日益复杂。同时，网络安全事件层出不穷，使得信息系统面临着严峻的安全形势，传统的单一的防御设备或者检测设备已经无法满足安全需求。有针对性的审计技术能够综合各方面的安全因素，从整体上动态反映网络安全状况，并对安全状况的发展趋势进行预测和预警，为增强网络安全性提供可靠的参照依据[4]。

同时，国内各类网络安全法和网络安全等级保护标准2.0[2]相继出台与发布，其中明确了，审计追责功能不仅成为合规的需求，也是企业及组织关注的重点。总的来说，一套行之有效的监控审计系统，能够形成威慑力，降低人为破坏和攻击的可能性。

1 日志审计基本框架

应用大数据存储分析技术，采用服务化、组件化的思想，本文提出一种前后端的日志审计体系框架，通过前段嵌入应用，后端能力输出的模式构建统一安全审计体系。如图1 所示。

图1 审计系统结构图

在前端，提供2 种方式嵌入应用：数据采集服务接口，被动接收应用系统的事件日志；数据采集构件，主动嵌入应用中，采集应用系统的事件日志。

在后端，通过部署服务，结合前端提取的日志信息，经过分析处理后，提供安全审计能力输出。在后端服务中，日志接收服务接收前端采集提取的应用系统日志信息，传递给数据处理模块进行数据处理及存储；统计分析服务通过集成告警行为模式和各类插件式告警规则，完成告警事件分析、日志快速检索、日常报表整理、定制报表汇总等功能。

2 数据采集

审计系统的审计日志采集分为被动接收和主动采集两种方式，被动接收以提供审计接口，各系统通过调用审计接口，上报日志的方式采集用户行为日志数据；主动采集是通过直接访问业务系统或者既有系统的日志数据库或者文件的方式，主动获取日志数据。

2.1 数据接口收集

使用服务化的方式，提供日志采集接口，为用户提供日志集中的通道，各数据源应用通过调用采集接口服务的方式，完成数据采集过程。

此方式的优点在于：不侵入应用系统，相关数据的准备由数据源系统自行准备，有利于数据源系统开展数据责任授权及控制扩散范围。同时，也有利于数据采集源与目的系统状态的固化，运维中系统升级带来的接口风险较少。

缺点在于，由于现有系统状态的固化，不利于对现有系统的数据采集，对形成数据效能存在一定的阻力及风险。

2.2 数据主动采集

主动获取式采集模式，通过数据采集系统嵌入设备应用系统中，根据数据源系统，主动适配采集方式及数据格式，收集相关数据。

此方式的优点在于，能够快速地集成现有数据，形成数据能力。

缺点在于，对于内含敏感数据的系统，面临着数据扩散授权的风险，若数据格式未形成规范或标准，则不利于系统升级改造。

3 日志存储

采用传统关系型数据库与大数据存储相结合的方式完成，将数据量较小的基础数据采用关系型数据库存储，将数据量大的日志数据采用分布式大数据技术存储。

系统采用大数据中心的海量安全数据的统一存储。随着安全基础数据的不断汇聚，数据大小将呈现爆发式增长，而数据共享服务需要提供快速、高效的数据访问与存储能力，传统的集中式数据库显然不能够满足需求。

因此，安全大数据采用分布式数据库，提供对文本、图片、关系型数据等类型数据的存储与高效检索能力，以及分布式冗余存储能力，节点动态扩容能力，满足态势数据的大容量存储需求。

相比于传统集中式数据库，分布式数据库具有基于海量数据的高性能、高可靠性和动态扩展性的优点。

在分布式大数据系统中，可以随时灵活地访问信息而不必关心数据存放的地点和方法，数据不是集中存放在网络的各个节点上，节点之间相互冗余备份，来实现数据服务的高可用性。

从大数据架构视图来看，大数据设计如下图2所示。

图2 大数据架构视图

采用大数据分析架构，具有如下特点：

一是提供大数据的基础能力，包含大容量存储能力、快速处理能力、快速检索能力、智能分析能力等。

二是在基础之上提高使用效率，能够为用户在大数据平台上开发数据业务，包含数据仓库、数据可视化、智能分析等功能提高效率，实现大数据中心的核心价值。

三是提升管理效率，将各方面的管理纳入体系，为升级、扩容、技术支持等工作降低代价。

四是多用户安全性，大数据中心服务于多个安全业务，需要用户安全作为保障，将各个安全业务线流程隔离。

4 日志分析

网络行为分析的目的是通过分析用户及网络中的行为模式，从海量日志中分析出具有参考价值的事件，提醒管理维护人员注意[1]。在实际使用过程中，一方面，用户及网络中的行为模式多种多样，分析方法也完全不同；另一方面，未知的一些威胁行为模式特征无法确定，需在使用过程中累积知识和经验，完成针对新的行为模式特征的提取与分析。

网络行为分析采用插件式的规则分析方法，一个分析方法对应一类行为模式，通过插件管理程序加载到分析引擎中，输入日志事件，输出分析结果，如图3 所示。

同时，系统采用离线数据分析方法，挖掘网络中的异常行为及威胁[3]，并通过追踪溯源开展责任认定。离线数据分析是大数据分析的主要分析场景，将海量的数据通过大数据的分析方法，挖掘出有用的知识后，供用户查询和展示。

图3 基于构件化的动态分析引擎技术

分析方法按照技术实现的方案不同，可以分为以下三类：

基于行为规则的审计，该方法是提取已知异常行为特征，通过对行为特征进行逻辑范式描述后写入审计规则知识库中，在开展审计活动时，审计规则和标准化日志进行模式识别与匹配，发现可能存在的异常行为。

基于统计的审计，该方法的原理是利用统计学模型的特点，使用随机变量及其概率分布刻画目标对象的行为，通过统计学方法描述目标对象的行为特点。基于统计学的审计则是在统计学上发现目标行为特点偏离一般正常行为的异常行为。

基于特征自学习的审计，该方法是利用大数据挖掘相关分析方法，总结出一般行为间的频繁模式、关联和相关性，从总结出的数据规律间寻找异常行为的方法[3]。

系统分析算法管理模块可综合容纳这三种方法的分析算法，针对不同的分析场景，开展适应性、针对性强的审计分析。

5 事件分析

在系统中，各类业务进行的工作越来越复杂，为了保护系统的安全，方便监控系统运行状况，查看日志并进行分析已经成为一个重要手段。管理员可以查看在某时间段内所发生的事件，也可以通过对各种日志进行分析辅助安全保密管理工作。由于日志具有数据量大，不容易读懂的特点，如果仅凭借管理员查看日志记录的手段，其中所蕴含的有用信息也难以发现。将数据挖掘技术应用于日志分析是一个关键技术，能够关联多种类型的日志事件，综合分析，依据事先设定的规则进行匹配，达到及时提醒和告警的效果，减轻管理人员的分析负担，如图4 所示。

日志事件分析负责对筛选后的待审计信息结合审计规则进行分析，从中发现异常和违规行为，为采取相应安全措施提供依据。