Apache日志分析器设计

◆柴宇萌

Apache日志分析器设计

◆柴宇萌

(天津市滨海新区中医医院 天津 300451)

Apache服务器存储着来自不同Web站点的日志记录，服务器托管商需要将不同客户的日志记录从原始日志记录中挑选出来放在一起供客户查看，以供客户验证商户对客户Web站点流量的统计是否正确。Apache日志分析器不仅可以节省开支，也可以提高服务器的利用率，增加服务器托管商的业务收入。本文介绍了Apache日志分析器的设计，以供参考。

apache服务器；Web站点；流量

0 引言

现在各个大Web站点都是在IDC机房托管的，服务器托管商大都通过Apache Web服务器向外提供Http服务。不同的Web站点一般都使用一个Apache服务器，这样就导致不同Web站点的日志都记录在了一起，因为服务器托管商需要给客户提供原始日志，以供客户验证商户对客户Web站点流量的统计是正确的（注：服务器托管商是按客户站点的流量和带宽收费的）。[1]

基于这两种需求（一是服务器托管商需向客户提供原始日志，二是不同的客户间不能看到其他客户的日志记录，这些信息是客户要求保密的），服务器托管商需要将不同客户的日志记录从原始日志记录中挑选出来放在一起供客户查看，因此服务器托管商决定开发这样的程序来分析分类这些原始日志文件。有了这样一个日志分析器，服务器托管商就可以将多个站点放在同一台服务器上，这样不仅可以节省开支也可以提高服务器的利用率，增加服务器托管商的业务收入。

1 日志分析总图

很多台服务器每5分钟就生成一个日志文件并推送到一台存储服务器上，日志文件数量相当的多，所以会使用多线程去扫描不同的文件目录，并加以分析，然后将相同客户的原始日志放在一起供客户下载使用。在程序启动的时候按着物理内存的大小和估计日志文件大小给Java虚拟机分配合理的内存。[2]根据物理Cpu的核心数或者Cpu数来确定使用几个线程来执行。

一个日志系统根据它的过程，可以分为日志来源、日志输出、日志存储。根据这个过程，我们可以将整个系统分为3个模块，并加以抽象，如图1所示。

图1 日志分析的总图

2 Apache日志分析器系统的开发及运行环境

本系统的开发环境：Eclipse、Jdk1.5+、Windows XP。

运行环境：Windows XP/7、Vista等。

3 Apache日志分析器的详细设计

Apache日志分析器数据源如图2。

图2 Apache日志分析器数据源

打开文本文件，如图3。

图3 文本文件

运行Apache日志分析器，如图4。

图4 Apache运行日志分析器

服务器是根据不同客户的名称来分析日志文件的，分析之后将相同客户的原始日志放到同一个以客户名命名的文件里，图5中的原始日志的客户分别有：baidu，dongzhi，lenovo，liaogongda，td，zhongri。打开每一个文件夹，都是本客户所需的分析后的日志文件。

图5 日志存储

其中lenovo客户所得到的分析后的日志，如图6。以lenovo为例，打开日志分析器分析完毕后生成的lenovo文件夹，文件夹中存储的即是lenovo客户所需的自己的日志文件，其中包括原始日志生成的日期、时间、访问lenovo客户的用户的URL，以及用户访问lenovo客户的具体URL。

图6 关于lenovo客户的日志

这个“基于Java的Apache日志分析器”初步地能够满足这两种需求（一是服务器托管商需向客户提供原始日志，二是不同的客户间不能看到其他可以的日志记录这些信息是客户要求保密的）。有了这样的一个日志分析器，服务器托管商就可以将多个站点放在同一台服务器上，服务器托管商能够将不同客户的日志记录从原始日志记录中挑选出来放在一起供客户查看，这样不仅可以节省开支也可以提高服务器的利用率，增加服务器托管商的业务收入。

4 结束语

在本次设计中，笔者没有考虑全系统日志安全的问题，如一些黑客会通过提高权限来清除日志，没有提出系统安全的保护措施、防范手段及设想。系统日志分析器能够将大量的系统日志信息经过提取并处理得到能够让管理员识别的可疑行为记录，然后日志分析器可以扩展成为一个计算机监控系统并且能实时地对可疑行为进行动态的响应。为了保证日志分析器的正常判断，系统日志的安全就显得异常重要，这就需要从各方面去保证日志的安全性。为了弥补这些安全缺陷，本设计还需要进一步研究和进一步实践来解决。

[1]万欣陇.信息管理系统日志分析系统的设计与实现[D].山东大学，2017.

[2]窦继涛，代飞.基于大数据环境下智能日志分析平台运维方案研究[J].九江职业技术学院学报，2017.