基于ConvLSTM网络的电力时序数据异常检测模型

摘要：随着电厂智能化的升级改造，生产系统产生了大量的时序数据。然而，在数据采集、传输和存储等过程中，海量时序数据可能会出现异常，影响企业的后续分析和决策。针对电厂时序数据中常见的异常问题，受自注意机制的启发，文章设计了一种基于循环卷积和长短期记忆网络的体系结构，用于识别和检测多维度电力时序数据的异常。在基于电厂实际运行中产生的时序数据集进行的大量实验中，验证了ConvLSTM网络在电力时序数据异常检测方面的有效性和准确性。

关键词：时序数据；数据异常；注意力机制

中图分类号：TP391 文献标识码：A

文章编号：1009-3044（2024）24-0040-03

开放科学（资源服务）标识码（OSID）

0 引言

近年来，随着电厂智能化改造升级，工业生产过程中产生了大量时间序列数据。这些时序数据主要用于监控机器设备运行状态。异常检测是时间序列分析的重要任务之一，它可以发现机器运行过程中的故障缺陷，防止潜在危害。

目前，国内外学者针对时序异常数据检测方法，主要分为传统的基于统计方法和基于深度学习的方法。传统方法通常假设数据服从特定分布，但实际的电力时序数据往往具有复杂的非线性结构和时序依赖性。因此，基于传统统计方法无法准确捕捉电力时序数据中的异常，异常检测模型在处理电力时序数据时存在一些局限性。随着深度学习的发展，基于深度学习的方法被应用到时序数据异常检测工作中。例如，Hundman等[1]采用RNN循环神经网络来处理多变量时序数据。Vaswani等[2]尝试采用图表或Transformer架构来关注变量和数据点之间的关系，这些方法考虑了数据的时间特性，成功地将深度神经网络应用于时间序列分析领域。然而，大多数数据集并未为该领域的训练集提供真实数据标签。换言之，一个点在训练集中是否异常是未知的。因此，以往研究已经发展出了用于异常检测的无监督学习方法。Goodfellow等[3]在其模型中引入了自动编码器或对抗网络，以有效理解数据分布。国内，沙朝锋等[4]设计了基于长短期记忆网络的电力时间序列数据异常检测方法。张仁斌等[5]提出了一种基于多模态生成对抗网络的多元时序数据异常检测方法并进行了验证。Yang等[6]提出了一种自适应的时序数据恢复方法，王子馨等[7]提出了一种基于LSTM的电力时序数据恢复方法，并验证了算法的有效性。然而，在无监督情况下，从时间背景中检测异常仍然是一个困难的问题。

正常情况下，火电厂多传感器之间相互影响，呈现某种特定形式的关联性。因此，在某一时刻发生异常时，必然会导致某些传感器发生突变（有些可能不变），这种异常可能会表现在不同传感器之间的关系上。而当前现有方案多数针对单传感器、单时刻点的数据异常，未考虑多传感器数据相关性和时间关联性。同时，由于火电机组数据量较大，通常数据缺少异常标记。因此，缺乏一种在数据未标记、无监督情况下，针对不同工况的多变量时间序列数据异常判断算法模型。

为解决这个问题，本文提出了一种基于ConvLSTM网络的电力时序数据异常检测模型。ConvLSTM是一种结合了卷积神经网络和长短期记忆网络的模型，能够在无监督情况下对火电厂多变量时间序列数据异常进行判断识别，从而实现无监督情况下的多变量时间序列数据异常检测。通过仿真实验证明了该模型的有效性和准确性。

1机组工况

本文提出了一种基于ConvLSTM网络的电力时序数据异常检测模型。ConvLSTM是一种结合了卷积神经网络和长短期记忆网络的模型，能够捕捉时序数据中的时序依赖关系。ConvLSTM网络与传统方法的不同之处在于，传统方法仅考虑单变量（传感器）的时序异常检测（单变量检测偏离正常分布的情况）。而本文提出的方法引入了多传感器之间的相关性概念，通过相关性来进行异常检测。同时，为了保留数据的时序特征，我们计算某一时刻多个传感器之间的相似度，并引入该时刻点之前的某段时间，计算这段时间的相似程度。结合来自火电机组传感器采集到的负荷、环境温度、主蒸汽温度、主蒸汽压力、排烟温度、氧量、再热蒸汽温度、给水温度、背压等时序传感数据，验证了模型的有效性。

由于电厂机组存在不同的工况稳态和动态，因此量测数据可能处于系统不同的运行状态下。不同状态下的数据时序特性不同，所需ConvLSTM网络模型参数也不同。因此，针对不同工况构建不同的ConvLSTM网络，但构建方法与原理相同。其数据如图1所示。

2 ConvLSTM网络

以机组稳态为例，定义传感器i和j时间步长为w的时间序列分别为[xwi=（xt-wi，xt-w-1i，...，xti）] [xwj=（xt-wj，xt-w-1j，...，xtj）] ，则相似度矩阵可定义为： [mtij=δ=0w xt-δixt-δjκ] ，其中k是缩放因子k=w。使用一个全卷积编码器来编码多传感器间的相似度矩阵Mt。具体过程为：首先，将Mt展开为张量[Xt，l∈Rn×n×s]将其作为输入传入卷积层。经过多层卷积，则当前层的输出可用公式表示为：[Xt，l=f（Wl*Xt，l-1+bl）]，其中*表示卷积操作，f表示激活函数（本模型采用SELU作为激活函数），[Wl]表示卷积核。步长为1×1、2×2、2×2、2×2进行4次卷积操作，将原有的30个传感器数据结构为30×30×3（其中3表示不同时间步长）的原始输入变为新的（4×4×256）结构。

ConvLSTM网络主要包含如下3个模块：输入、记忆、 输出，网络结构[8-9]，如图2所示。

其公式可表示为：

[zt，l=σ（WlXZ*Xt，l+WlHZ*Ht-1，l+WkCZ∘Ct-1，l+blZ） （1）]

[rt，l=σ（WlXR*Xt，l+WlHR*Ht-1，l+WlCR∘Ct-1，l+blR） （2）]

[Ct，l=zt，l∘tanh （WlXC*Xt，l+WlHC*Ht-1，l+blC）+rt，l∘Ct-1，l （3）]

[ot，l=σ（WlXO*Xt，l+WHO*Ht-1，l+WCO∘Ct，l+blO） （4）]

[Ht，l=ot，l∘tanh （Ct，l） （5）]

式中：[zt，l]为输入门，[rt，l]为遗忘门，[ot，l]为输出门，其中[Ht，l]为主线隐藏特征输出， *表示卷积操作，[σ]为sigmoid 函数运算，[∘]为Hadamard乘积。

本文采用注意力机制的ConvLSTM网络结构，如图3所示：

引入注意力机制，对每个时刻和该时刻前5个时刻点计算注意力权重系数，其公式如下：

[Ht，l=i∈（t-h，t） αiHi，l，αi=exp {Vec（Ht，l）TVec（Hi，l）χ}i∈（t-h，t） exp {Vec（Hi，l）TVec（Hi，l）χ}] （6）

为了对上一步得到的特征映射进行解码，得到重构后的特征矩阵，设计了一个卷积解码器，其表达式为：

[χt，l-1={f（Wt，l⊗Ht，l+bt，l），l=4f（Wt，l⊗[Ht，l⊕Xt，l]+bt，l），l=3，2，1 ] （7）

其编码解码过程和计算损失函数的过程如图 4 所示。

定义如下的损失函数：

[L=t c=1s Xt，0：，：，c-Xt，0：，：，c2F] （8）

其中，[Xt，0：，：，c∈ Rn×n ]，采用小批量随机梯度下降法和Adam优化器来最小化上述损失。在足够的训练时间后，利用学习到的神经网络参数来推断验证和测试数据的重构特征矩阵。最后，基于残差特征矩阵进行异常检测和诊断。

3 仿真数据测试

实验数据分析处理的机器环境：CPU为Core i7-9700k，主频为3.6 GHz，内存为32 GB，GPU为NVIDIA GTX 2080TI，编程平台为Python 3.8。选择某电厂机组的数据：负荷、环境温度、主蒸汽温度、主蒸汽压力、排烟温度、氧量、再热蒸汽温度、给水温度、背压、煤耗等各3组，采集周期为60 s。稳态共20 000组数据（已标记工况）。将0～8 000设置为训练集，8 001～10 000设置为验证集，10 001～20 000设置为测试集，测试集中包含10组异常值。动态共2000组数据（已标记工况）。将0～800设置为训练集，801～1 000设置为验证集，1 001～2 000设置为测试集，测试集包含10组异常值。

在不同工况下，为了验证本文所提方法的有效性，基于数据集的时间序列特性，引入时间序列模型算法作为对比试验，分别是传统的ARMA算法模型、基于深度学习的LSTM-ED算法[10]模型和本文所提出的注意力机制的ConvLSTM网络模型。其对比试验结果见表1：

由于电厂两种工况均为连续时间序列，因此在完成工况识别后，可分为稳态和动态两种情况分别计算不同算法的准确率和召回率。从表1可以看出，在动态和稳态两种情况下LSTM-ED的性能均优于ARMA，表明深度学习模型比传统方法更能捕获电厂数据中的复杂关系。注意力机制的ConvLSTM算法在所有算法中表现最好，因为它可以有效地模拟多变量时间序列的传感器间相关性和时序性。本文所提出的注意力机制的ConvLSTM算法，在机组稳态、动态的准确率分别为0.90和0.85，召回率为0.83和0.80，均优于传统的ARMA算法和LSTM-ED，结果表明了模型的有效性。

4 结束语

本文提出了一种新的电力时序数据异常检测方法——基于ConvLSTM网络的电力时序数据异常检测模型。该模型针对电厂不同工况，考虑到多传感器数据相关性和时间关联性，采用基于注意力机制的ConvLSTM网络在无监督情况下实现了对多传感器数据的异常检测。通过仿真实验在指定电厂的数据集上完成了算法模型的验证，实验证明了我们提出方法的有效性。本文对于异常值阈值的选择更多还是依赖于经验值。因此，未来可以在阈值的选择上进行深入研究，这将是下一步研究工作的重点。

参考文献：

[1] HUNDMAN K，CONSTANTINOU V，LAPORTE C，et al.Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.London United Kingdom.ACM，2018：387-395.

[2] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[C]//Advances in Neural Information Processing Systems，2017：30.

[3] GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems，2014：27.

[4] 沙朝锋，耿同欣，郑伟杰.基于长短期记忆网络的电力时间序列数据的异常检测方法：CN112308402B[P].2022-04-12.

[5] 张仁斌，左艺聪，周泽林，等.基于多模态生成对抗网络的多元时序数据异常检测[J].计算机科学，2023，50（5）：355-362.

[6] YANG Z W，LIU H，BI T S，et al.An adaptive PMU missing data recovery method[J].International Journal of Electrical Power & Energy Systems，2020，116：105577.

[7] 王子馨，胡俊杰，刘宝柱.基于长短期记忆网络的电力系统量测缺失数据恢复方法[J].电力建设，2021，42（5）：1-8.

[8] 金枝，张倩，李熙莹.基于轻量化ConvLSTM的密集道路车辆检测算法[J].计算机工程与应用，2023，59（8）：89-96.

[9] 何毅，姚圣，陈毅等.ConvLSTM神经网络的时序InSAR地面沉降时空预测[J/OL].武汉大学学报（信息科学版），2023：1-21[2023-07-24].https：//doi.org/10.13203/j.whugis20220657.

[10] CHO K，VAN MERRIENBOER B，GULCEHRE C，et al.Learning phrase representations using RNN encoder-decoder for statistical machine translation[EB/OL].[2024-01-20].https：//arxiv.org/abs/1406.1078v3.

【通联编辑：唐一东】