顾及规则矩阵约束的ELK日志数据统计分析
2017-12-21杨沛
摘要：本文在兼顾效率与检测质量的前提下，提出顾及规则矩阵约束的启发式网页信息规则抽取方式，实现了对ELK日志数据统计分析数据的二次检测，大幅度提高检测质量。
关键词：ELK日志；规则矩阵；聚类算法
中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2017）10-0223-02
在ELK日志数据统计分析过程中，启发式网页信息规则抽取是在做异常检测聚类分析过程中最为关键的一环。现有的启发式网页信息规则抽取一般采用单一攻击行为抽取方式，但是这种方式往往会遗漏因误用ELK日志数据统计分析检测模型而产生的未检测的攻击访问日志。ELK日志数据统计分析集成环境是建立在Elasticsearch、Logstash、Kibana这三个开源软件基础之上的。在现有的ELK日志数据统计分析过程中，基于聚类算法的异常检测模块已经成为常用模块，其主要工作流程包括：启发式网页信息规则抽取、构建正常行为模型、异常行为检测等。
1 ELK日志数据统计分析规则矩阵
1.1 规则矩阵在ELK日志数据分析过程中的作用
ELK日志数据异常检测模块是建立在合理的分析模型、海量未被攻击过的日志序列之上的[1]。首先，完成数据的清洗过程。通过对海量未被攻击过的日志序列的分析，分析模型找出异常检测模块数据源。ELK日志数据统计分析系统中的误用检测子模块将特征匹配impact为零的Web访问日志抽取出来。其次，清洗后的规则矩阵构造数据对象可以被视为标准化和反混淆后的数据，将上述数据直接进行异常检测。例如，在提取impact为零的日志过程中，impact日志在规则矩阵中的特征向量包含请求路径长度、请求参数个数、特殊字符频率、数字频率、请求参数字符熵等。再次，综合衡量各类ELK日志分析对象中的特征向量权值，并计算特征向量距与它最近的正常模型簇中心的距离。最后，通过Chebyshevinequality不等式计算异常概率，并将异常闭值作为判断结果的依据。
1.2 规则矩阵的构建
在去除web日志常见的误导性数据（广告等）后，ELK日志数据分析的过程可以忽略对于规则矩阵具有弱约束性的信息，这些信息包括[2]：
（1）display属性为none或者高度不足10的块；（2）
客服热线：400-656-5456 客服专线：010-56265043 电子邮箱：longyuankf@126.com
电信与信息服务业务经营许可证：京icp证060024号
Dragonsource.com Inc. All Rights Reserved
