电网信息运维监控数据异常检测技术

向华伟 王林 吕垚 何映军

摘 要：随着电力企业业务及相关应用数量的逐年攀升，运维数据量的爆炸式增长给以运维数据异常检测为首的电网信息运维监控分析带来了严峻的挑战。在大数据分析与挖掘飞速发展的驱动下，结合长短时记忆神经网络的变量异常检测技术可以满足电网信息运维监控数据普遍存在的异常检测需求，达到减少电网信息运维成本的目的，而这一异常检测流程的可行性、可靠性与准确性也在电网实际运行过程中的服务器流量数据集上得到验证。

关键词：大数据分析;深度学习;长短时记忆神经网络;电网信息运维监控;异常检测

中图分类号：TM76 文献标识码：A 文章编号：1671-2064（2019）18-0157-02

0 引言

电力信息网络作为电网公司信息系统的主要核心组成部分，则是确保电网能够在合理有序的监控下稳定运行的重中之重[1]。由于目前电网领域下的IT运维监控系统在设计过程中往往由于考虑不足而出现故障报警信息杂乱、报警不及时、报警不稳定以及故障定位信息不明等问题，甚至报警策略的设置存在逻辑性问题。针对这些现象及问题，本文基于电网场景下的海量信息运维监控数据，融合深度学习先进算法中的长短时记忆网络（Long-Short Term Memory，LSTM），通过构建正常行为模型（Normal Behavior Model，NBM）对电网信息运维监控数据中待检测序列的预测值与真实值之间的关系及变化情况进行分析的方式来检测异常，使电网信息运维监控系统最终具备故障检测能力，从而达到降低运维开销的最终目的。

1 传统电网IT运维数据管理系统现状概述

电网场景中，随着电力企业业务及相关应用数量的逐年攀升以及云计算、虚拟化、公司企业管理信息系统CSGII的推广和建设，应用系统的复杂度和规模都在不断的增长和变化，运维的数据量也呈现快速增长趋势[2]。许多大型电力企业针对性开发的信息集中控制系统很大程度上解决了各类运维及监控系统采集数据间的接口规范和数据标准问题，从一定程度上实现了IT基础监控数据的集中抽取和存储，如电网针对数据共享、存储、处理及分析等问题基于大数据技术开发IT运维数据管理系统[3]。但不可否认的是运维管理系统仍然残存一些由于不同系统、不同类型数据融合问题而导致的数据整合与深度分析方面的不足，监控系统间的数据难以打通并进行有效的关联分析，极大的阻碍了运维能力的提升和业务质量的有效保障。

2 运维监控数据驱动下的电网运维故障检测技术

运维数据或监控数据从本质上来说都是具有时间信息的一系列数据，又称时间序列，而有关异常（或故障）的出现往往是时间序列的变化情况偏离了原有的正常变化情况。

2.1 异常检测技术

针对电网信息运维监控领域中存在的时间序列相关异常问题：如网络流量异常、温度过高或过低等电网信息运维过程中常见的各类异常现象或故障问题，本文设计了基于深度学习先进预测技术与统计过程控制分析相结合的异常检测技术，该技术架构面向的异常检测问题与时间因素密不可分，即异常在初期形成时可以在数据集中得以体现，且异常的发展是随着时间的累积而愈发明显，并不适用于突发类型异常的检测：如突然的环境因素或人为因素导致的设备功能异常或损坏等形成与发展特别迅速的故障等。

2.2 数据预处理

在数据分析的基础流程中，常见的数据预处理技术包括几个主要步骤[4]：数据清理、数据集成、数据规约以及数据变换。而在当今电力企业所开发的信息集中控制系统中已经包括了数据集成的功能，因此需要针对电力行业的信息运维数据进行数据清洗，数据规约以及数据变换等几方面的数据预处理工作。

2.2.1 数据清洗

时间序列数据中的数据清洗主要针对数据集中缺失的数据值进行处理：对于缺失的数据类型为整数或表示状态的设备运行数据时，缺失值所对应的时间测的的整条数据均采取忽略删去的方式进行处理;而对于实数型运维数据，则首先分析该数据是否呈对称的分布形式，若是则采取前一段时间该数据的均值进行插补，反之则采用前一段时间该数据的中位数进行插补;而对于一些实际现场中记录的一些线下文件数据的缺失，则视其在运维流程中的重要程度来决定是否需要进行人工问询填补的方式进行处理。

2.2.2 数据规约

在时间序列数据进行分析前，可以通过适当的分析及处理方式对数据进行整合或删减，从而达到在最大限度保持数据集原有相关特征的基础上来尽可能的减小数据集的规模;另一方面，可以利用如典型相关分析（Canonical Correlation Analysis，CCA）或文献[5]中所提出的针对多重分形交叉相关分析指数等变量相关性分析算法來判别两个时间序列之间的相似性程度，以达到有效地从数据属性维度进行数据规约。

2.2.3 数据变换

数据变换的目的是为了将数据预处理成适合进行数据分析的格式或状态，其中最为重要的一点是数据规范化。无论是电网运维数据还是实际的运行数据，对于某一个时间序列而言，其最大值和最小值之间相差可能很大，这将会给诸如神经网络等一系列算法的效果带来较大的影响，因此大部分先进的数据分析算法都离不开数据的规范化。常见的规范化方法包括最大值最小值归一化与Z-Score标准化等方法，其算法本质是通过线性或非线性的比例缩放，将数据从原来数值相差较大的区间映射到一个相差较小的区间中。在本文中选用的算法为Z-Score标准化方法，其具体变换映射公式定义如下：

xt=                                    （1）

其中，xt和xt分別为变换映射前后时间序列中的第t个数据;μ和σ分别为变换前时间序列xt的均值及方差。即整个变换将原时间序列xt映射为均值为0，标准差为1的无量纲时间序列xt。

2.3 长短时记忆神经网络LSTM

循环神经网络（Recurrent Neural Network，RNN）作为深度学习算法的领头羊之一，自被提出以来一直以十分优异的效果在深度学习领域的占据一席之地，但由于RNN本身没有存储单元来存储和输出信息[6]，促使了长短时记忆神经网络LSTM的应运而生，其在变量预测与语义识别等基础领域的成就更是不言而喻[7]，而其自身在不断发展过程中也逐渐演变出许多变种以弥补不同情况下的不足，如文献[8]中的门限循环单元（Gated Recurrent Unit，GRU）以及文献[9]中的窥探卷积LSTM（Peephole Convolutional LSTM，PC-LSTM）等。

3 异常检测示例——数据流量异常检测分析

本文针对电力运维系统场景下的数据流量异常问题对电网信息运维监控中的数据异常检测技术的有效性进行验证。数据集具体包括诸如CPU利用率、内存使用情况等服务器正常运行数据及状态信息共81个属性，以及待进行异常分析检测的服务器流量数据，数据采集间隔为10分钟，经过数据清洗等数据预处理步骤之后的数据信息共计40560条。

对服务器流量数据异常检测分析流程如下：在完成数据预处理后，首先将所有数据集按照时间先后顺序以及6：1：3的比例划分为训练集，交叉验证集以及测试集，其中训练集和交叉验证集仅包含服务器正常运作的数据，而测试集则既包括服务器正常数据，又包括异常的数据;之后基于训练数据集中全部的81个属性值通过训练LSTM预测服务器流量这一变量的方式来构建服务器流量的正常行为模型，之后通过计算EWMA的上下控制界限来对数据的异常情况进行检测，并通过交叉验证数据集加以模型可靠性与准确性的验证;最后将训练好参数的模型直接应用到测试集上，从而通过算法能否在服务器流量异常这一问题出现时及时实现检测功能来验证算法的有效性与准确性。

4 结语

本文针对电网信息运维监控领域中目前存在的不足之处，针对性地提出了一种结合长短时记忆神经网络LSTM电网信息运维监控数据异常检测流程及算法，用于对电网信息运维监控领域中存在的时间序列异常问题进行检测。通过利用实际电网运行过程中的服务器流量相关数据集的训练及测试，成功的验证了所提出方法的可行性、可靠性以及有效性，对电网信息运维成本的降低有着积极的指导意义。

参考文献

[1] 郭创新，陆海波，俞斌，等.电力二次系统安全风险评估研究综述[J].电网技术，2013（1）：112-118.

[2] 付林.自动化技术在电力企业IT运维中的应用[J].电子技术与软件工程，2018（8）：141+149.

[3] 张雪坚，张榆，钏涛，等.基于大数据技术的IT运维数据管理系统构建方法[J].电子科技，2018（4）：84-86.

[4] 黄天立.面向动车组运维的多源数据预处理关键技术研究与实现[D].北京交通大学，2018.

[5] 田嫱.时间序列的相关性与相似性分析[D].北京交通大学，2016.

[6] 厍向阳，苏学威.基于CNN和LSTM混合模型的人体跌倒行为研究[J/OL].计算机应用研究：1-5[2018-10-26].

[7] Wu Y，Schuster M，Chen Z，et al.Googles Neural Machine Translation System： Bridging the Gap between Human and Machine Translation[J].eprint arXiv，1609.08144， 09/2016.

[8] Cho K， Van Merrinboer B， Gulcehre C，et al.Learning phrase representations using RNN encoder-decoder for statistical machine translation[J].CoRR，2014：abs/1406. 1078.

[9] Xingjian S H I， Chen Z，Wang H，et al.Convolutional LSTM network： A machine learning approach for precipitation nowcasting[C].Advances in neural information processing systems，2015：802-810.