基于深度学习的SF6气体压力时序数据预测

2022-05-13徐友刚曹基南陈亚杰

东华大学学报（自然科学版） 2022年2期

徐友刚，曹基南，孙进，陈亚杰

(国网上海青浦供电公司，上海 201701)

六氟化硫(SF6)气体凭借其优异的绝缘和灭弧性能被广泛应用于电力系统[1-2]，SF6在常态下为无毒的惰性气体，其相对分子质量远高于大气，在密闭的GIS(gas insulated substation)室中，泄露的SF6沉积在底部，在高压电弧的作用下分解出有毒物质，严重威胁GIS室内操作人员的生命安全[3-4]，因此，对SF6气体压力数据的预测对于电力系统的安全运行具有重要意义[5-6]。围绕电力系统中的时序数据的研究工作已经进行了几十年，然而大部分研究都集中在电力系统短时负荷、电压变化、电价变化[7]等方面，关于SF6气体压力数据预测的文献报道较少。时序数据预测是电力交易、电网运营的关键技术，不少学者为此进行了大量研究。

朱凌建等[8]提出一种卷积神经网络与双向长短期记忆网络相结合的深度学习方法，利用多维电力负荷数据建立组合模型以提高短期电力负荷预测的精度。葛夫勇等[9]提出一种利用卷积神经网络提取电力负荷特征，并利用门控循环单元预期短期电力负荷的方法，相比传统自回归综合移动平均模型方法，该方法展现出更优的性能。张宇涵等[10]提出一种基于人工神经网络的深度学习算法，并将归一化处理的数据输入神经网络进行基于船舶电网的短时负荷预测，与单隐层前馈神经网络、动态递归神经网络等传统学习算法相比，所提方法提高了预测精度。王瑞等[11]采用相似日法与径向基函数神经网络相结合的学习算法，通过相似日法分析负荷影响因素，再将分析结果输入带有径向基函数的神经网络输出短时负荷预测结果，与传统径向基函数神经网络相比，该学习算法取得了更优的效果。张晋轩等[12]采用改进传统BP(back propagation)神经网络，同时采用分层选样法进行数据清洗，在网络模型中加入激活函数，短时负荷预测准确率达90%，超越了传统的BP神经网络。然而，上述工作中使用的数据集长度有限，对于中长时负荷，需要使用更加完备的数据集来评估其算法的性能。

本文以SF6气体压力预测为背景，提出一种基于长短期记忆(long short-term memory,LSTM)网络[13-15]的深度学习算法，据此进行SF6气体压力的在线预测。具体而言，该算法通过对SF6气体压力历史数据进行归一化处理，利用长短期记忆网络层对气体压力变化趋势进行训练与建模，并通过全连接层输出预测评估。与以往研究相比，本文提出的算法无需海量数据进行训练，验证的数据集长度超过72 h，并在3个月中进行交叉验证，研究结果具有一定说服力。

1 深度学习算法概述

1.1 循环神经网络

循环神经网络(recurrent neural network,RNN)起源于1982年Saratha提出的霍普菲尔德网络，是一种基于记忆的网络结构，通过记忆单元存储之前的特征，进而推断之后的结果，其在自然语言处理、机器翻译、语音识别等领域得到广泛运用。RNN与多元线性回归、深度神经网络具有相同功能，可以用来做回归和预测，其基本结构如图1所示。RNN 能够将之前网络的输出保存在一个记忆单元中，之后将记忆单元内容与下一次的输入一起输入下一个神经网络中。然而，RNN在面对长序列信息预测的情景下存在“短时依赖”问题，为解决这一问题，LSTM网络被提出。

图1 循环神经网络结构图Fig.1 Recurrent neural network structure diagram

1.2 长短期记忆网络

RNN与传统BP神经网络存在本质上的不同，RNN是基于序列的模型，能够在过去信息与当前状态间建立时序相关性，此特性使得RNN适用于周期性时序数据的预测问题。RNN使用反向传播方法进行训练，其在学习长时间依赖的数据分布时会遭遇梯度消失、梯度爆炸的问题，这些问题限制了RNN学习长时间相关性的能力。为解决这些问题，Hochreiter等[16]首次引入了LSTM网络架构，后续研究[14]中为LSTM添加遗忘门。LSTM是时下最成功的RNN架构之一。

LSTM网络的整体结构如图2所示，定义{X1,X2,…,XT}为网络的输入序列，其中Xt∈Rk代表t时刻的k维输入向量，一个LSTM单元的内部结构由输入节点gt、输入门it、遗忘门ft以及输出门ot共4部分组成，其中输入门与遗忘门的作用是相同的，只是两者在网络结构中的位置不同，其作用是将前一时刻t-1的网络输出ht-1和当前时刻t的网络输入Xt结合起来，作线性变化再经过Sigmoid函数映射到0～1，得到记忆衰减参数ft、it，如式(1)和(2)所示。

图2 长短期记忆网络结构图Fig.2 Long short-term memory network structure diagram

ft=σ(WfxXt+Wfhht-1+bf)

(1)

it=σ(WixXt+Wihht-1+bi)

(2)

式中：Wfx、Wfh、Wix、Wih为权重；bf、bi为偏置。输入节点gt也被称作当前状态学习到的记忆，通过前一时刻t-1的网络输出ht-1和当前时刻t的网络输入Xt作线性变换后，再经tanh函数激活得到，计算过程如式(3)所示。

gt=φ(WgxXt+Wghht-1+bg)

(3)

式中：Wgx、Wgh为权重；bg为偏置。输出门ot的功能与遗忘门、输入门相同，计算过程如式(4)所示。

ot=σ(WoxXt+Wohht-1+bo)

(4)

式中：Wox、Woh为权重；bo为偏置。记忆状态st由当前状态学习到的记忆gt与输入门it作逐元素乘法再加上前一时刻的记忆状态st-1与ft作逐元素乘法后的结果计算得到，计算过程如式(5)所示。

st=gt⊙it+st-1⊙ft

(5)

网络的输出则由式(6)计算得到。

ht=φ(st)⊙ot

(6)

2 基于LSTM的时序数据预测模型

2.1 LSTM网络训练

图3 LSTM预测框架Fig.3 LSTM prediction framework

(7)

本试验采用Adam优化器更新网络参数，包括Wfx、Wfh、Wix、Wih、Wgx、Wgh、Wox、Woh、bf、bi、bg、bo。

训练完成后采用平均绝对误差(mean absolute error,MAE)衡量生成预测数据的性能，其表达式如式(8)所示。

(8)

3 性能评估与仿真试验

3.1 数据集与环境建立

本试验数据集选取某变电站建设完成后加装SF6气体泄漏在线监测装置，该装置收集了2020年的SF6气体实时压力数据，这些丰富的数据是预测SF6气体压力变化的关键。仿真算法由Facebook人工智能研究院(FAIR)在Python上开发的框架Pytorch上搭建，算法硬件平台为部署了一个3.60 GHz的Intel i7-9700KF型处理器和一张RTX-2060 S型Nvidia显卡的台式主机，训练时间为120 s，训练结束后生成数据与真实数据进行比较评估。

数据预处理：由于数据量庞大，SF6气体压力数据存在季节性因素等原因，本试验选取2020年5月1日至7月31日为期3个月的时间段，时间跨度为92 d，为进行交叉验证，将每月数据分成3个部分，即训练集(每月1日到24日)、验证集(每月25日到27日)和测试集(每月28日到30日)。

3.2 模型性能评估

本文采用滑动窗口法对数据进行划分，在训练过程中使用前48个时刻(每0.5 h为一个时刻)的SF6气体压力数据作为输入，输出后24个时刻的负荷数据，将输出数据与实际数据作差值运算，求出损失函数，经过多次迭代，使用优化器不断减小损失函数，提高预测性能，在训练结束后，输出144个时刻的预测结果。

为了验证提出模型的有效性，基于2020年5、6、7月SF6气体压力数据，采用相同参数设置进行试验，预测数据与实际气体压力数据的对比如图4所示。

图4 模型在5、6、7月SF6气体压力数据上的预测图Fig.4 The forecast results of the model on SF6 gas pressure data in May,June and July

由图4可知，本文提出的模型能够跟踪SF6气体压力数据的变化趋势。该模型在呈现出较强周期性特点的6、7月中的表现效果好，在6、7月MAE值分别达2.94、2.26 Pa；在周期性特点相对较弱的5月表现得稍弱，但5月的MAE值仍达到了3.98 Pa。

一般而言，超参数调优是深度学习算法中必须涉及的补充试验，这里采用一些超参数调节的经验方法，主要调节学习率、隐藏层神经元个数、迭代次数等。在其他参数不变条件下，针对不同月份SF6气体压力数据，通过调节隐藏层LSTM神经元个数对性能指标MAE的影响，结果如表1所示。由表1可知：LSTM神经元数量越多，MAE值越小，预测得越精准；但是LSTM神经元超过64个时，预测精准度的提升效果趋于平缓。

表1 不同月份不同神经元数量下的SF6 气体压力预测数据的平均绝对误差Table 1 Mean absolute error of SF6 gas pressure prediction data with different number of neurons in different months