深度学习在电力领域的研究现状与展望

曹渝昆, 何健伟, 鲍自安

(1.上海电力学院 计算机科学与技术学院, 上海 200090;2.华能湖南清洁能源分公司 苏宝顶风电场, 湖南 洪江 418199)

深度学习在电力领域的研究现状与展望

曹渝昆1, 何健伟1, 鲍自安2

(1.上海电力学院 计算机科学与技术学院, 上海 200090;2.华能湖南清洁能源分公司 苏宝顶风电场, 湖南 洪江 418199)

深度学习技术,近年来已经广受学术界和工业界的关注,已在图像处理及分类,自然语言处理和生物医疗领域中取得卓越成果.对于存在大量高维度数据的电力领域,引入深度学习的理论具有一定的意义.介绍了深度学习的几个经典模型结构、工作原理,以及相关领域的部分研究成果,并围绕深度学习在电力领域中的研究现状展开了论述,指出了存在的不足和未来研究的方向.

深度学习; 人工智能; 电力

神经网络从出现到现在,共出现过3次兴起的浪潮.最近的一次就在2006年,以HINTON G等人[1]命名的一种深度信念网络的深度神经网络,可以使用逐层贪婪训练(Greedy Layer-wise Training)的策略去训练,解决了深度神经网络在传统的随机初始化权值方法上出现的梯度弥散问题.

时隔10年,2016年谷歌的“AlphaGo”以3∶1战胜人类围棋高手李世石,其核心算法正是深度学习.从此之后,“深度学习”这一计算机领域的专业名词,已变得家喻户晓.其实在此之前,深度学习就已经广受学术界和工业界的青睐,在许多传统的识别任务上取得很高的正确率.

在图像处理及分类方面,最为著名的是2012年KRIZHEVSKY A等人[2]利用GPU(图形处理器)实现了一个深度神经网络,在 ImageNet比赛中取得了创纪录的结果,在大规模图像分类任务上Top 5(一次同时预测5个结果,其中一个符合就算预测正确)分类精度达到了84.7%,比第二名使用的Fisher向量编码算法要高大约10个百分点.此外,深度学习也逐渐在医学和生物认知领域得到重视,并在医学图像的病变分类、分割、识别等方面取得了一定的研究成果.2015 年,新加坡GAO X等人[3]结合使用卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Networks,RNN),基于眼部检查图像对核性白内障严重程度进行分级,深度学习方法打破了该领域之前的记录.在自然语言处理方面,第一个在自然语言处理(Natural Language Processing,NLP)任务中取得较好性能的是COLLOBERT R等人[4]开发的SENNA,其在POS Tagging(词性标注),Chunking(断句),Named entity recognition(命名实体识别),Semantic role labeling(词义角色标注)等4个典型自然语言处理问题上取得的性能都与当时最好的系统相当.

在电力行业,关于深度学习的研究与应用已经初现端倪.本文在概述深度学习的主要思想方法和经典模型的基础上,介绍深度学习在电力行业的一些研究现状以及应用例子,并综合以上的内容提出深度学习在电力行业中的一些研究展望.

1 深度学习的主要思想及网络模型

深度学习本质上就是具有多层隐藏层的神经网络,是一种特定类型的机器学习,通过将世界表示为由较简单概念定义复杂概念,从一般抽象到高级抽象的嵌套概念体系以获得极大的能力和灵活性,优点就是免除了人工选取特征的繁琐过程以及高维数据所具有的“维度灾难”.深度神经网络一般分为3类,如图1所示.

图1 深度学习的一般分类

下面将逐一简单介绍几个比较经典的深度学习网络模型.

1.1 深度信念网络

常见的深度信念网络(Deep Belief Networks,DBN),是由多个受限玻尔兹曼机(Restricted Boltzmann Machines,RBM)堆叠而成的.与传统的人工神经网络不同,DBN的训练主要分为预训练和全局微调两部分.预训练阶段,通过以最小化RBM网络能量为目标去预训练网络,且只使用了输入数据,并没有使用数据对应的标签,属于无监督学习;而全局微调阶段,结合带标签数据,利用反向传播(Back Propagation,BP)算法对网络进行全局微调.无监督的预训练会使得网络得到比随机初始化更好的结果[5].DBN常用于数据分类任务.

1.2 堆栈自动编码器

堆栈自动编码器(Stack Auto-Encoder,SAE),与DBN结构相仿,不同的是组成的子单元是多个自动编码器.自动编码器的结构如图2所示.

图2 单层自动编码器模型

自编码器的结构可视为3层的神经网络结构,即输入层、隐藏层、输出层,其中输入层和输出层的神经元的个数相同.通常会在自动编码器的基础上加上一些约束,比如,隐层神经元数量应小于输入层的神经元数量;或者在隐层神经元数量大于输入层神经元数量的时候加入稀疏性限制,保证隐层神经元在大多数情况下处于被抑制的状态.

1.3 卷积神经网络

作为深度学习中最常用的网络模型,CNN被广泛用于图像处理以及分类识别方面的各大国际比赛中,这归功于其特殊的网络设计.CNN由卷积层和次采样层交叉堆叠而成.前向计算时,利用多个卷积核对输入的数据进行卷积运算,生成多个特征图,特征图的维度对比输入维度已有所下降,再通过次采样层进一步降维.经过多次的卷积和次采样层后,再经过全连接层到达网络输出.

图3是香港中文大学的SUN Y[6]开发的学习人脸特征的CNN图,该CNN的网络名为DeepID,用于图像分类.由图3可以看到,在全连接层的后面紧接多元分类层,在人脸验证试验中该方法的正确率为97.45%,原作者进一步改进了CNN,最终得到了99.15%的正确率.

图3 DeepID网络结构

1.4 循环神经网络

循环神经网络(Recurrent Neural Networks,RNN)已经在众多NLP中取得了巨大成功并得到广泛应用.与SAE,DBN,CNN不同,RNN专门用于序列数据,其结构如图4所示.与传统的神经网络模型不同,RNN的每层隐藏层神经元之间都存在连接关系.该结构的具体作用表现为网络会对前面的信息进行记忆并应用于当前的输出,因此特别适合于序列类型数据.此外,RNN和CNN结合使用,可以处理样本之间的相关性问题.

图4 RNN网络结构

2 深度学习在电力行业的研究现状

虽然深度学习已经在图像识别以及自然语言处理等方面取得重大突破,但其在电力行业的研究与应用还处于萌芽阶段.近年来,相关的研究虽然不多,但也存在一些成功的例子.研究的重点主要在电力设备的故障诊断、新能源发电机的出力预测与缺陷检测、电网的维修以及改造领域.

2.1 电力设备的故障诊断

电力设备种类繁琐,其中不乏一些结构复杂且至关重要的设备,如发电机、变压器等.一般的电力设备故障诊断手段采用合适的智能算法,通过采集设备的相关特征量作为训练集合,然后输入到合适的算法模型中,经过训练后,得出最终的判断模型,用于检测.智能算法包括支持向量机、BP神经网路、决策树以及一些经过辅助算法优化后的神经网络算法.而深度学习可以利用电力工业中大量无标签的数据,对深度神经网络进行更好的权值初始化.

石鑫等人[7]结合电力变压器在线监测油中溶解气体分析数据,提出了基于分类深度自编码网络的变压器故障诊断方法,实验表明,该方法与基于BP神经网络和支持向量机(Support Vector Machine,SVM)的故障诊断方法相比,正确率更高;石鑫等人[8]基于DBN构建了深度信念网络的分类模型,并利用Iris(鸢尾花卉数据集)等经典数据集对分类性能进行测试,以此为基础,结合变压器的溶解气体分析(Pissolved Gas Analysis,DGA)数据,提出了基于DBN的变压器故障分类新方法.测试结果显示,该方法适用于变压故障分类,具有较强的从样本中提取特征的能力和容错特性,且性能优于BP神经网络和支持向量机.

TAMILSELVAN P等人[9]基于DBN建立了一个设备健康状态估计的模型,并通过飞机发动机和电力变压器的故障诊断两个工程实例,对比支持向量机、二值神经网络、自组织映射网络等算法,DBN的分类正确率最高.林锦波[10]结合聚类融合和深度学习算法的稀疏自编码器对6 500家工业用户用电负荷进行电负荷的模式识别,对比BP神经网络、随机森林算法和支持向量机,该方法的测试集准确率和预测集准确率均为最高.

图5为一个电力变压器的故障诊断系统,利用无标签数据对网络进行逐层贪婪无监督预训练,再利用少量的带标签数据,结合BP算法进行网络权值的微调,最后输入测试集以测试模型的精确率.SAE和DBN模型均可以进行无监督的预训练,而两者进行无监督预训练的训练策略有所不同,DBN是以最小化RBM的网络能量作为训练目标,而SAE则是以最小化重构误差为目标.

图5 电力变压器故障诊断系统

2.2 电力行业的图像处理

深度学习最初广泛应用于图像的识别处理以及分类,电力行业也有不少任务需要其强大的图像处理的能力.

王宪保等人[11]提出一种基于深度学习的太阳能电池片表面缺陷检测方法,该方法首先根据样本特征建立DBN,并训练获取网络的初始权值;然后通过BP算法微调网络参数,取得训练样本到无缺陷模板之间的映射关系;最后利用重构图像与缺陷图像之间的对比关系,实现测试样本的缺陷检测.该文提出的方法及模型在较低像素级别的图像处理下,平均每幅图像的检测时间为0.151 s,速度较快,但仍存在不足,该方法面对百万像素级别图片时,对网络的训练将造成挑战.

ZHAO Z等人[12]提出一个基于深度分类神经网络(Deep Classify Neural Network,DCNN)的绝缘子状态判别方法,利用了文献[13]中基于中层特征构建红外图像中绝缘子定位的方法,并采用了AlexNet的模型.实验结果显示,平均故障分类准确率由91.83%提升至98.71%,测试结果远超BoF(Bag of Feature)等人工提取特征.

刘志浩等人[14]基于文献[15]提出了一种基于回归的深度学习目标检测算法,针对河南省10 kV的电力线路电线杆的图像数据集进行电线杆的定位以及分类,构建对应的卷积神经网络进行训练并测试,最终获得98.77%最高定位准确率及59%的电线杆分类检测准确率.其分类检测率虽不如定位准确率高,但也基本能满足电线杆勘察的实际需求,提高了农网改造的工作效率.

2.3 风电的负荷预测

风电,作为国家大力扶持的新能源之一,其出力的不稳定,一直给稳定性要求极高的电网并网带来一定的影响.我国对风电功率的预测研究仍处于初步研究阶段.国内的研究对未来48 h的行风速和功率预测的研究误差为风电场总装机容量的18%～25%左右,可见风电的短期功率预测在预测精度以及方法上还有提升的空间.

潘志刚[16]通过DBN深度学习模型对数值天气预测(Numerical Weather Prediction,NWP)数据进行校正,把校正后的数据结合风场记录的历史风速风向及出力数据,建立基于DBN的风力功率预测模型,图6为该模型的预测流程.实验结果表明,单一模型下,DBN模型比SVM模型和自回归移动平均(Auto Regressive Integrated Moving Average,ARIMA)模型效果要好;而在混合模型中,DBN和ARIMA模型的预测模型效果最好.

SOGABE T[17]等人建立了一个基于深度学习的RNN-LSTM模型,通过对20万条(每条记录采集间隔5 min)一维的基于时间序列的单人家户用电量的数据处理与训练,得到了较好的用电量预测结果.文献[18]基于标准的LSTM(Long Short Term Memory)模型和LSTM-S2S模型进行电力负荷预测;文献[19]采用两种不同的深度神经网络,对需求侧的短期负荷预测进行建模,其中一种是包含RBM的预训练,另一种是以受限线性单元(Rectified Linear Unit,ReLU)函数为激活函数的不含预训练的神经网络,并对比浅层神经网络,ARIMA,双季三次指数平滑法(Double Seasonal Holt-Winter,DSHW)等3种传统的负荷预测方法,其中含无监督预训练的DBN模型获取到最好成绩.文献[20]通过结合启发式的模糊算法和深度学习算法,利用GPU对大规模的时间序列预测进行研究,并利用普通家庭用电量作为数据集对模型进行训练并评估,取得较好的预测结果和更快的训练速度.

图6 基于DBN的风电功率预测流程

3 结 语

在我国大力发展新能源的背景下,深度学习可以结合自身特征提取以及模型拟合方面的优势,针对时下抑制新能源发展的问题,如风力发电中弃风率高、调峰能力不足、新能源汽车充电桩地点设置分布等问题,做出一个科学的决策方案.

另外,还可以利用深度学习在机器学习及人工智能方面的优点,结合电网中庞大的用户数据,分析用户的用电行为,从而针对特殊用户制定出对应的用电鼓励政策,提高电网的收益,减少调峰的压力;通过分析用户的数据,鉴别出部分窃电的用户并作出相应处理,提高电网的收益.

[1] HINTON G,SALAKHUTDINOV R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(7):504-507.

[2] KRIZHENVSKY A,SUTSKEVER I,HINTON G.ImageNet classification with deep convolutional neural networks[C]//Advances in neural information processing systems.2012:1 097-1 105.

[3] GAO X,LIN S,WONG T.Automatic feature learning to grade nuclear cataracts based on deep learning[J].IEEE Transactions on Biomedical Engineering,2015,62(11):2 693-2 701.

[4] COLLOBERT R,WESTON J,BOTTOU L,etal.Natural language processing (almost) from scratch[J].Journal of Machine Learning Research,2011,12(1):2 493-2 537.

[5] ERHAN D,BENGIO Y,COURVILLE A,etal.Why does unsupervised pre-training help deep learning?[J].Journal of Machine Learning Research,2010,11(3):625-660.

[6] SUN Y,WANG X,TANG X.Deep learning face representation from predicting 10,000 classes[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2014:1 891-1 898.

[7] 石鑫,朱永利,宁晓光,等.基于深度自编码网络的电力变压器故障诊断[J].电力自动化设备,2016,36(5):122-126.

[8] 石鑫,朱永利,王刘旺,等.基于深度信念网络的电力变压器故障分类建模[J].电力系统保护与控制,2016(1):71-76.

[9] TAMILSELVAN P,WANG P.Failure diagnosis using deep belief learning based health state classification[J].Reliability Engineering & System Safety,2013,115(7):124-135.

[10] 林锦波.聚类融合与深度学习在用电负荷模式识别的应用研究[D].广州:华南理工大学,2014.

[11] 王宪保,李洁,姚明海,等.基于深度学习的太阳能电池片表面缺陷检测方法[J].模式识别与人工智能,2014,27(6):517-523.

[12] ZHAO Z,XU G,QI Y,etal.Multi-patch deep features for power line insulator status classification from aerial images[C]//International Joint Conference on Neural Networks.IEEE,2016:3 187-3 194.

[13] ZHAO Z,LIU N,WANG L.Localization of multiple insulators by orientation angle detection and binary shape prior knowledge[J].IEEE Transactions on Dielectrics and Electrical Insulation,2015,22(6):3 421-3 428.

[14] 刘志浩,冯柳平,曹晓鹤.基于深度学习的电线杆检测方法[J].北京印刷学院学报,2016,(6):44-47.

[15] REDMON J,DIVVALA S,GIRSHICK R,etal.You only look once:unified,real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016:779-788.

[16] 潘志刚.基于深度学习网络的风电场功率预测研究及应用[D].上海:上海电机学院,2016.

[17] SOGABE T,ICHIKAWA H,SAKAMOTO K,etal.Optimization of decentralized renewable energy system by weather forecasting and deep machine learning techniques[C]//Innovative Smart Grid Technologies-Asia (ISGT-Asia).IEEE,2016:1 014-1 018.

[18] MARINO D L,AMARASINGHE K,MANIC M.Building energy load forecasting using deep neural networks[C]//Industrial Electronics Society.IECON 2016-42nd Annual Conference of the IEEE.IEEE,2016:7 046-7 051.

[19] RYU S,NOH J,KIM H.Deep neural network based demand side short term load forecasting[J].Energies,2016,10(1):3.

[20] COELHO V N,COELHO I M,RIOS E,etal.A hybrid deep learning forecasting model using gpu disaggregated function evaluations applied for household electricity demand forecasting[J].Energy Procedia,2016,103:280-285.

(编辑 桂金星)

StatusQuoandProspectofDeepLearninginElectricPowerField

CAOYukun1,HEJianwei1,BAOZi’an2

(1.SchoolofComputerScienceandTechnology,ShanghaiUniversityofElectricPower,Shanghai200090,China;2.SubaodingWindFarm,HuaNengHunanClearEnergyCo.,Ltd.,Hongjiang418199,China)

Deep Learning has received considerable attention from academia and industry and has got great result in Imagine Processing,Natural Language Processing and Medical Biology.It is significant to use DL in electric power field,which involves high dimension data.The several typical models in DL are described and some background knowledge about DL is introduced.Also,the main research and application in electric field are summarized.Finally,the some existing problems of DL in electric power filed are expounded,and some prospects of future work are presented.

deep learning; artificial intelligence; electric power

10.3969/j.issn.1006-4729.2017.04.007

2017-03-09

何健伟(1992-),男,在读硕士,广东江门人.主要研究方向为机器学习,智能算法,电网大数据处理技术.E-mail:homaymay123@126.com.

TP273.22;TP18;TM711.2

A

1006-4729(2017)04-0341-05