基于ELK的Nginx反向代理日志分析与业务服务质量评价体系研究与探索

2019-12-07阮晓龙董凯伦

网络安全技术与应用 2019年12期

◆阮晓龙董凯伦

◆阮晓龙1董凯伦2

（1.河南中医药大学信息技术学院河南 450046；2.郑州泰来信息科技有限公司河南 450000）

为实现Nginx服务器生成的海量日志数据的分析，本文构建了一个基于ELK框架的日志实时分析平台。基于该平台实现对历史与实时的日志进行数据挖掘，从运维的多角度建立分析模型对海量日志进行可视化分析，实现对业务的可视化分析及服务质量的评价体系的建立。

ELK；数据挖掘；日志分析；Nginx；反向代理

目前，基于Web的信息传播方式成为主流，对Web服务器性能要求更高，在实际应用中，Web服务器的配置是有限的，不可避免会达到服务器性能瓶颈，从而造成服务响应时间增长、服务质量下降。与此同时，Web业务也是安全风险较高、易于受到网络威胁、易于受到网络攻击的业务之一。

反向代理技术可通过中间代理的方式转发客户端请求，能有效解决Web服务器的性能瓶颈问题，并且通过动静资源分离功能，可有效减轻Web服务器的负担。反向代理在客户端与真实Web服务器之间进行数据转发，隔离客户端与真实Web服务器的直接通信，防止真实Web服务器遭受攻击，保证真实Web服务器的资源安全。

在反向代理中，Nginx的使用最为广泛。Nginx自2004年发布以来，其市场占有率呈逐年上升趋势，甚至在2019年4月首度登上Web服务器市场占有率第一名的宝座。Nginx记录了整个反向代理的过程的详细日志信息，包括代理的Web服务器的响应状态、时长、报文长度、请求IP等信息，通过对代理日志的分析可以直观反映Web服务器的服务质量以及存在的安全风险。

本文提出基于ELK（Elasticsearch、Logstash、Kibana）框架，实现对Nginx代理的海量日志进行采集、清洗、存储以及建立分析模型并形成可视化图表。通过对日志信息进行统计分析，了解Web服务器的负荷、服务运行状态以及针对耗时请求进行优化等，实现实时服务诊断，了解服务器与网络的安全状态，为网络安全决策者提供方案依据。进而实现对Nginx代理的业务进行全域的态势感知，及时避免安全风险，并对业务服务质量进行宏观的实时评价。

1 反向代理

1.1 反向代理

反向代理服务是指一个代理服务器能够代理外部网络上的主机访问内部网络[1]。此时代理服务器对外就充当一个“Web服务器”，但是这个“Web服务器”没有Web文件，所有的动态文件、静态网页，都保存在内部的Web服务器上。其具体的工作流程如图1所示。

图1 反向代理工作原理图

1.2 Nginx配置

Nginx在运行过程中会记录每次服务的全流程的详细日志数据，包括请求客户端的地域来源、使用终端等信息，以及代理业务的每个站点的请求响应相关信息[2]。其日志格式分两种，分别为访问日志（access.log）、错误日志（error.log），本文主要针对访问日志进行配置与分析。

1.2.1配置文件结构

Nginx服务器的配置文件nginx.conf文件的结构主要由五个模块组成，分别为全局块、events块、http块、server块、location块。其关系结构如图2所示，其各块的作用如表1所示。

图2 配置文件结构

表1 配置文件的模块介绍

1.2.2 代理配置

本文主要进行配置http块中的“log_format”参数，以此来自定义Nginx日志的格式，其配置信息如下所示。

# 自定义日志格式

log_format main '$args # $binary_remote_addr # $body_bytes_sent # $content_length # $content_type # $document_root # $document_uri # $host # $hostname # $http_cookie # $http_host # $http_referer # $http_user_agent # $http_x_forwarder_for # $limit_rate # $nginx_version # $pid # $query_string # $realpath_root # $remote_addr # $remote_port # $remote_user #[$time_local] # "$request" # $request_body # $request_body_file # $request_completion # $request_method # $request_uri # $scheme # $sent_http_cache_control # $sent_http_connection # $sent_http_content_length # $sent_http_content_type # $sent_http_keep_alive # $sent_http_last_modified # $sent_http_location # $sent_http_transfer_encoding # $server_addr # $server_name # $server_port # $server_protocol # $uri' ' # $status ' ' # "$http_x_forwarded_for"';

表2 0000000000配置文件的字段介绍

为了方便Logstash对日志的切割清洗，这里使用特殊字符“#”将字段进行隔开，下面介绍部分字段代表的信息，如表2所示。

为了规范管理代理的多个站点，每个站点的配置设置一个专属配置文件，且每个站点对应一个专属的日志文件，如其中一个站点的配置如下所示。

2 日志数据处理

通过Filebeat（轻量级开源日志文件数据搜集器）进行日志的采集并推送至Logstash（数据收集引擎），Logstash将获取日志数据进行切割格式化发送至Elasticsearch（分布式搜索和分析引擎），Elasticsearch将格式化的日志数据进行存储、搜索和分析操作，最终通过Kibana（数据分析和可视化平台）建立数据进行搜索、分析和建立统计图表模型[3]，如图3所示。

图3 日志采集框架

2.1 Nginx日志采集

通过自定义配置日志格式后，取其中一条日志内容如下所示。

- # xD3E!x9E # 0 # - # - # /var/www/html # / # glxgl.xg.hactcm.edu.cn # qs-agw # - # - # - # curl/7.19.7 （x86_64-redhat-linux-gnu） libcurl/7.19.7 NSS/3.21 Basic ECC zlib/1.2.3 libidn/1.18 libssh2/1.4.2 # - # 0 # 1.4.2 # 2448 # - # /var/www/html # 211.69.33.158 # 55705 # - #[02/Aug/2019：10：35：05 +0800] # "HEAD / HTTP/1.1" # - # - # OK # HEAD # / # http # - # close # 9790 # text/html # - # Wed， 16 Jan 2019 10：46：04 GMT # - # - # 211.69.33.161 # glxgl.xg.hactcm.edu.cn # 80 # HTTP/1.1 # / # 200 # "-"

通过指定Filebeat监视日志文件，进行日志数据采集，并将采集日志信息转发至Logstash。

# 设置监视的日志目录