基于大数据环境下智能日志分析平台运维方案研究

赵川 陈飞

【摘 要】智能日志分析平台在实际运行期间，会受多种因素影响而发生故障，系统运维在海量数据离散环境下面临诸多问题和挑战。传统运维方式由于不能全面实现监控，导致缺乏有效预警，也不能对故障进行准确定位，系统信息缺乏安全保障。为了有效提升智能日志分析平台运维效果，有必要以大数据环境为基础，创新优化智能日志分析平台运维方案，更加充分的发挥智能日志分析平台功能和作用。

【关键词】大数据;智能日志分析平台;运维方案

一、前言

智能日志分析平台是以大数据各种分析需求为基础研发的应用平台，该平台在实际使用期间经常发生各种故障，若运用传统运维方式很难获得良好的运维效果。因此，有必要探究基于大数据环境下的智能日志分析平台运维方案，满足大数据环境对该平台运维提出的要求，切实提升运维水平和质量。

二、大数据的内涵

大数据也叫巨量资料，它在具备新时期现代化处理模式基础上，可拥有更突出流程优化能力、决策力以及洞察力的多样化、高增长率、海量信息资产[1]。在云时代背景下，数据加快了膨胀速度，基数越来越多。海量数据对社会多个领域均产生直接影响，越来越多的领域和人均认识到大数据在现代社会发展中所发挥的重要作用，并积极的通过大数据实现相关领域建设和发展。

三、智能日志分析平台概述

智能日志分析平台是以大数据为基础，以其分析需求研发的应用平台，主要是通过大数据分析技术实时的处理数据中心各种日志数据，对业务分析、运维监控、安全审计等需求加以满足。作为一种大数据分析平台，能够对各种日志数据实现实时分析，在海量数据处理方面具有突出优势，具备数据采集、数据检索、数据清理、统计模型、分析大数据等多项能力[2]。平台具有明显的开放性，能够对各种环境下涉及到的数据加以采集，并通过图形化报表将大数据分析及处理结果输出。此平台对实时化搜索引擎加以利用，可以解析多种来源、多种规格类型的日志数据，并进行统一化管理和采集，智能化的处理和分析搜索结果，直接形成可视化、直观化图形报表，使大数据具备更高业务价值。

四、智能日志分析平台的运维特点

1、集中全面的采集和管理日志数据。

在实际运维期间，对来自业务应用、服务器、操作系统以及网络设备等来源日志数据进行汇聚，统一化构建日志管理平台。可以对多种类型日志实现多源化、实时化采集，对全量日志数据可实现集中存储，不仅可以对实时数据进行动态运维监控，还可以历史数据为基础进行趋势分析和轨迹分析。

2、高效、快速、实时的搜索引擎

流处理架构具有超高性能，不论哪种数据量均可以秒级速率对分析结果加以反馈，确保问题及时处理。对多种复杂数据来源实现详尽、有序的解析，快速的对日志数据进行结构化处理，在快速查询功能支持基础上，推动搜索统计工作的实现。另外，可以自定义形式快速查询，比如快速字段表格、布尔检索、时间过滤、字段过滤等方式。搜索应用具有灵活性和高效性，能够直接实现共享和保存，可自动生成图表向仪表盘中添加，可向第三方系统集成。

3、可视化图表及其报告非常丰富

能够呈现出多样化图表，并可以自定义形式定制仪表盘，像柱状图、地理分布图、折线图等。可对原图标元素进行自定义，满足大多数用户可视化要求。动态图表具有可搜索性，同时可提供多种统计模型和方法，对数据进行多维度呈现。

4、可实现智能化监控告警与实时管理

告警管理界面属于概览形式，能够快速获得任务类型、指定时间段内报警频率、告警事件等信息，实现高效、便捷的管理。能够支持多种类型报警形式，对业务数据实现实时监控，有突发状况时可通过邮件或系统发出告警信息。监控告警具有突出的智能化特点，可灵活自动的实施计划任务和告警策略，并可动态记录报警详情，为后续追溯奠定基础，加快问题定位速度。

五、大数据环境下智能日志分析平台运维方案

在大数据环境下制定智能化日志分析平台运维方案，要以客户运维目标为基础，合理、科学、有效的规划智能运维方案，并按照重要业务实际运维指标，预测和分析模型日志数据总量等差异化要求，系统规划应用场景。整个日志分析平台按照事前、中、后的顺序路线规划智能运维方案，具体方案中主要包含5个部分：①日志采集和处理。在日志采集环节，主要包含了来自业务应用、操作系统、网络设备、服务器等日志数据，还有以数据库形式、文本日志形式等多种形态日志数据，以及调试数据、业务数据、性能数据等差异化种类日志数据。在数据处理中，可对常见日志既往模板实现自动化解析，同时可对复杂日志正则解析相关方式加以解析，对日志支持智能化分类，字段内容可实现机器学习，对不规则状态下历史日志数据实现有效清洗处理[3]。在数据存储环节，可以通过索引模式进行存储，其后台存储架构能够按照不同模块，微服务化的向分布式集群节点当中部署，保证整个数据平台蕴含良好的可拓展性。采集和处理日志环节具有突出开放性，对多种来源对应日志数据实现有效支持，并可把原始数据、告警数据、分析后数据以及清洗后数据等多维度数据向其他平台当中传输。②实时运维。运维期间可以实时的对海量日志数据加以采集，并对海量日志数据实现秒级别处理和存储。同时还能实时的支持检索工作快速定位故障，快速对关键业务指标实现建模，并实现快速统计和快速分析。另外，还可实时的对关键字数值以及事件发出告警;③自动化运维。能够适应多个常规类型IP运维场景，能对预警模块实现自动化导入，并自动化的进行运维和分析。不同日志数据按照业务之间存在的关联，可自动化的实现关联分析，以此对数据中心分层形式架构背景中数据分散相关问题实现有效解决，同步可以对业务相关环节有无异常出现进行自动分析;④智能化运维。实际运维阶段，可以对海量日志数据开展价值分析，并对数据进行驱动运营分析，在确保业务具有突出性能和可用性基础上，数据中心要为业务提供有效服务，比如用户行为分析、营销数据分析等服务。运维环节要对人工智能以及机器学习等现代新型方式加以运用，不仅可以对运维指标实现模块稳定度分析等聚类分析，还可实现精准营销客户分群等运营分析，同时还可实现磁盘容量预测等趋势预测，为后续决策和规划奠定基础;⑤行业定制性运营。可以对行业领域相关问题实现大数据分析，并以大数据平台为基础，按照一定目标对定制化方案提供支持。

六、结束语

智能日志分析平台在实际使用期间，海量离散数据一定程度上增加了数据挖掘和业务分析难度，若再不能及时有效的分析和预警性能、安全和容量，将导致平台频发故障。因此，平台运行管理中，要基于大數据环境创新优化智能日志分析平台运维方案，切实提升运维效率和水平，充分发挥平台功能与作用，在此基础上为大数据技术发展提供有力支持。

参考文献：

[1] 杜时勇.基于大数据的城轨信号系统线网智能运维平台研究[J].都市快轨交通，2019（3）：63-63.

[2] 李莉.日志易 利用人工智能从日志分析中寻求机会[J].创业邦，2018（1）：57-57.

[3] 鲜征征，叶嘉祥.一种改进的ELK日志采集与分析系统[J].软件导刊，2019（8）：21-21.

作者简介：

赵川（1981-），男，汉族，云南陆良，高级工程师，硕士;研究方向：电力系统调度自动化

（作者单位：云南电力调度控制中心）