基于大数据平台的日志分析预警技术研究

周平++马斌++韩冰++苏宇晨

摘要：该文主要研究大数据和日志分析预警技术在电力行业的应用，首先论述了信息通信系统对电网安全稳定运行的重要性，日志分析对系统运维的重要辅助作用；然后分析了国内外在基于大数据的日志分析领域的应用技术；最后根据电力系统特点，设计了大数据平台架构、计算架构和多源数据整合框架。

关键词：大数据平台；日志分析预警；电力行业；数据源

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）32-0266-03

Study of Log Analysis and Early Warning Technology Based on Big Data Platform

ZHOU Ping1， MA Bin2， HAN Bin1， SU Yu-chen 1

（1. Xinjiang Information Industry Co ， Ltd ， Urumqi 830068， China； 2.State Grid Xinjiang Electric Power Information Telecommunication Company， Urumqi 830002， China）

Abstract： The main research big data， log analysis and early warning technology applied in electric power industry. This paper discusses the importance of information communication system on the safe and stable operation of power grid， log analysis important auxiliary effect on system maintenance， then analyze the application technology in the field of log analysis based on the big data. Finally， according to the characteristics of electric power industry， design the architecture of big data platform， computing architecture and multi-source data integration framework.

Key words： big data platform； log analysis and early warning； electric power industry； data source

1 背景

电力信息通信网作为电力系统的专用网络，为电力系统的生产安全、稳定运行提供了重要保障，因此，一直以来它被称为支撑电力系统的“三大支柱”之一。电力系统中物理空间对信息空间的高度依赖性，也使信息系统的可靠性决定着电力系统的安全性。在电力系统中，风险的传播方式具有明显的耦合性，即信息系统受到的故障破坏、网络攻击会通过各子系统影响到大量的量测、控制终端设备的监测能力，从而会进一步影响到电力系统物理空间设备的正常运行。关于这一问题，可从最近发生的乌克兰大规模停电事件中得到印证。

随着系统规模的不断扩大，电力信息通信系统中已经累积了海量的日志信息，这些信息类型多样、产生速度快、且蕴藏着电力系统运行的关键信息，因此，信息通信系统中的日志数据具有典型的大数据特征。采用基于大数据平台的日志的实时采集与处理技术，可及时发现系统中的异常信息或行为，避免其异常发展恶化；对日志按业务应用条线统一分析及问题关联影响分析，实现对日志对象按业务应用进行管理，可以减少故障排查时间和业务中断时间，提高系统的服务响应能力和服务水平；采用多任务分布式技术对海量日志进行分析挖掘，应用规则关联、统计关联等分析方法，可以建立科学的分析模型，使得对日志的分析深度与事件的识别准确度得到进一步的提升。日志分析预警的意义便在于，能提前对潜在的风险进行发掘，分析、判断并形成定性或定量的描述，从而采取应对措施来降低风险。这对提高信息通信系统的安全性、稳定性及其服务能力具有重要的理论价值和实际意义。

2 国内外研究比较

在数据挖掘领域，经过多年的研究和发展，已经存在很多优秀的挖掘方法，其中常见有路径分析、关联分析、序列模式、分类分析、聚类分析，以及统计分析等[1，2]。在海量数据处理方面，海量数据处理的尝试应用越来越多[3，4]，在日志分析方面也受到了广泛的关注[5-6]。目前的大数据平台以Hadoop为主，其可以有效解决传统日志系统无法处理海量日志数据的问题。但由于Hadoop并不擅长处理实时应用，主要采用离线处理方式。基于Hadoop的实时处理应用目前还比较少，采用流处理数据对日志数据进行处理是未来的发展趋势。

而近年来，在传统网络或电力信息通信网络的风险评估、可靠性分析等方面，已有相关研究成果。但针对基于大数据平台的日志分析预警研究还比较少，因为电力信息与物理系统的耦合、关联而带来的网络风险评估、预警是一类新问题，需进一步研究。例如文献[7]提出了建立电力CPS的思路和框架，概括了电力信息通信网络在风险评估中出现的信息物理高度耦合的新特征；文献[8]指出在信息物理融合背景下，由于大量传感、监测设备的接入，使采样的数据规模和采样频率成倍增加，大大加重了通信网络的负担；文献[9]指出，如果电力信息网络采用专用网络和通用网络相结合的方式，则开放的通信协议将带来等多的潜在风险。在通信网络的风险态势估计方面，文献[10]利用细胞自动机理论对风险的跨空间传播机制进行了建模与动态分析；文献[11]提出了一种反映电力–通信复合系统的拓扑结构之间错综复杂关联性的矩阵模型，在脆弱性实时评估方面有一定的优越性；文献[12]基于复杂网络理论，从连通性、网络效率的角度分析了电力通信网络的拓扑结构在随机、蓄意攻击下的脆弱性，并提出了高度数节点保护策略与低度数节点加边策略，该方法较适用于多业务、大规模的通信网络；文献[13]基于二分法的學习速率自适应BP神经网络算法对电力通信网络进行风险评估，将通信网抽象为3层的前馈BP网络进行分析，在一定程度上缩短了收敛的时间，但可能会出现局部最优的偏差，且隐含层节点数目不易确定；文献[14]针对中的控制和监视两大类功能，构建了一种功能失效模型，考虑每类功能失效进行可靠性分析；文献[15]在确定了业务重要度度量值的基础上，给出了业务及通道段业务的风险度定义，并给出了风险均衡度的概念，建立了基于电力通信网业务风险均衡度的评估指标和评估模型，该方法是从业务层面展开的可靠性评估，可为优化业务网络、合理安排业务通道等提供参考。

3 平台体系架构研究

3.1 大数据分析平台

Hadoop和Spark作为开源的大数据处理平台，近年来得到了快速的发展，出现了许多相关应用与解决方案。Hadoop可以解决传统日志分析系统无法处理海量日志数据的问题。但由于Hadoop并不擅长处理实时应用，Spark是一種与Hadoop相似的通用并行计算框架，是对Hadoop的补充，但是Spark采用内存并行计算技术与流式处理技术，在实时处理方面表现得更加优越。大数据分析平台结构如下图1所示：

3.2 大数据计算结构

采用基于大数据平台的日志的实时采集与处理技术，对日志按业务应用条线统一分析及问题关联影响分析，采用多任务分布式技术对海量日志进行分析挖掘，应用规则关联、统计关联等分析方法，可以建立科学的分析模型。可以将离线日志分析与在线日志分析相结合，从而实现既可以对日志实时数据的分析与预警，又可以实现对海量历史日志数据的分析与查询。据此设计如图2所示的计算架构。该架构有三种计算模式，分别是基于MapReduce的分布式批处理、基于内存并行计算的交互式分析、实时流式处理。可满足不同日志存储形式或传输形式的处理要求。

3.3 多源日志数据

日志数据主要来源于信息通信系统的网络设备、安全设备、主机操作系统、应用系统、业务系统以及数据库事务处理或操作。如图3所示。这些设备或系统产生的日志数据或日志文件广泛分布在各自的存储设备、数据库或通过Syslog日志协议发送到日志服务器上，从而造成日志采集效率低，不能完全捕获，数据格式不统一等问题，并且缺少标准化的技术手段对这些海量的日志数据进行管理，形成各自为政的尴尬局面。因此，需要对这些日志数据或文件进行有效采集，并采用统一格式进行存储分析，如图5所示。其数据流向如图6所示，可提供面向流数据、实时数据和批数据的处理流程：流数据通过Kafka、Flume等消息日志处理接入流计算处理平台，并针对计算结果集做进一步统计分析；实时数据通过直接接入实时数据在线处理平台中，通过在线数据处理平台响应高并发读写请求；批数据通过数据抽取、同步、上传等导入到核心平台进行数据存储分析。

4 结束语

基于大数据平台的日志预警分析技术，其设计目标是：自动采集实时日志信息，采用数据挖掘技术对其进行处理，发现系统中存在的异常信息或行为，对日志对象按业务应用进行管理与分析，通过多任务分布式技术对海量日志进行分析挖掘，应用规则关联、统计关联等分析方法，建立科学的分析模型，将告警信息以邮件或者短信的形式发放自动计算分析，以缩短故障排查时间和业务中断时间。研究的关键和难点在于：

1）日志数据来源不同的部门，其异构特征明显，为达到统一处理的目标，为此需要研究异构数据的统一存储和访问方法。

2）信息通信系统对状态预警的时效性要求较高，必须在一定的时间间隔内检测出故障，以避免其状态恶化，为此必须研究实现实时的状态评估方法。

电网信息通信系统经过多年的运行，已经积累了海量的数据，随着大数据技术的发展和应用，这些隐藏宝贵信息的丰富数据资源将得到充分开发，为信息通信系统的稳定运维和电网安全生产带来极大的辅助。

参考文献：

[1] 石敏. 基于聚类划分的关联规则在Web日志挖掘中的应用研究[D]. 武汉：武汉理工大学， 2014.

[2] 梁晓雪， 王锋. 基于聚类的日志分析技术综述与展望[J]. 云南大学学报：自然科学版， 2009（S1）：52-55.

[3] 张沛， 杨华飞， 许元斌. 电力大数据及其在电网公司的应用（英文）[J]. 中国电机工程学报， 2014， 34（S1）：85-92.

[4] 彭小圣， 邓迪元， 程时杰，等. 面向智能电网应用的电力大数据关键技术[J]. 中国电机工程学报， 2015（3）：503-511.

[5] 程苗. 云计算技术在web日志挖掘中的应用研究[D]. 合肥： 中国科学技术大学， 2011.

[6] 王正也， 李书芳. 一种基于Hive日志分析的大数据存储优化方法[J]. 软件， 2014（11）：94-100.

[7] 赵俊华， 文福拴， 薛禹胜， 等. 电力CPS的架构及其实现技术与挑战[J]. 电力系统自动化， 2010， 34（16）： 1-7.

[8] Green R C， Wang L， Alam M. Applications and trends of high performance computing for electric power systems：focusing on smart grid[J]. IEEE Transactions on Smart Grid， 2013， 4（2）： 922-931.

[9] 叶夏明， 赵俊华， 文福拴. 基于邻接矩阵的电力信息系统脆弱性定量评估[J]. 电力系统自动化， 2013， 37（22）： 41-46.

[10] 叶夏明， 文福拴， 尚金成， 等. 电力系统中信息物理安全风险传播机制[J]. 电网计术， 2015， 39（11）： 3072-3079.

[11] 汤奕， 韩啸， 吴英俊， 等. 考虑通信系统影响的电力系统综合脆弱性评估[J]. 中国电机工程学报， 2015， 35（23）： 6066-6074.

[12] Xu S Z， Zhou H， Li C X， et al. Vulnerability assessment of power grid based on complex network theory[C]//Asia-Pacific Power and Energy Engineering Conference（APPEEC 2009）. Wuhan， China： IEEE， 2009： 1-4.

[13] 亓峰， 李琪， 韩骞， 等. 基于神经网络的电力通信网风险评估方法[J]. 北京邮电大学学报， 2014， 37（1）： 90-93.

[14] 郭嘉， 韩宇奇， 郭创新， 等. 考虑监视与控制功能的电网信息物理系统可靠性评估[J]. 中国电机工程学报， 2016， 36（8）： 2123-2130.

[15] 赵子岩， 刘建明. 基于业务风险均衡度的电力通信可靠性评估算法[J]. 电网技术， 2011， 35（10）： 209-213.

[16] 付伟. 基于Hadoop的Web日志的分析平台的设计与实现[D]. 北京： 北京邮电大学， 2015.

[17] 杨锋英， 刘会超. 基于Hadoop的在线网络日志分析系统研究[J]. 计算机应用与软件， 2014， 31（8）：311-316..