基于PDMiner大数据挖掘平台的电力系统安全评估及故障诊断系统

常　成

(贵州大学 电气工程学院，贵阳　550025)

基于PDMiner大数据挖掘平台的电力系统安全评估及故障诊断系统

常成

(贵州大学 电气工程学院，贵阳550025)

摘要：电力系统中的数据复杂多样，电力大数据的挖掘处理是电力公司面临的难题之一。阐述了电力大数据发展现状，将电力云概念引入到电力系统大数据分析之中，提出了基于云计算理论的大数据挖掘平台PDMiner，介绍了其整体架构和原理，针对电力大数据的平台架构和关键技术，开发了一套基于PDMiner平台的电力系统安全评估与故障诊断系统，该系统配置在SCADA/EMS的数据管理子系统上，提高了数据处理的效率，并且能准确提取到故障类型、风险区域等数据背后的准确信息。

关键词：电力系统大数据；数据挖掘；PDMiner平台；安全评估；故障诊断

随着科技的不断进步，在移动互联网和智能系统的发展推动下，数据呈现出规模性、多样性、高速性、价值性的特点[1]，因此，提出了大数据的概念。大数据指的是其大小超出了典型数据软件抓取、储存、管理和分析范围的数据集合[2]，已经从TB级跃升到PB级。

电力系统主要由发电、输电、变电、用电4部分组成，作为一套复杂的信息化系统，具有能量传输庞大、实时运行连续、故障瞬间扩大等特点，同样面临着大数据的现状，尤其是在新能源的引入和智能电网建设的环境下，电力大数据的概念也应运而生。电力大数据广泛应用在风电场选址定容、风光互补、电力系统安全监测、经济运行、故障诊断等环节[3]，对电力大数据的有效分析不仅可以优化电能的生产、消耗和分配，保证其经济性，还可以为电网规划和改造提供有效的决策支撑。

在电网智能化的新时期，如何实时有效地处理数据，而迅速获取有价值的数据信息已经成为电力系统分析研究的热点。随着数据挖掘概念的提出及相关技术的深入发展，基于云计算的数据挖掘技术为电力系统数据的处理提供了有效的手段。文献[4]提出了基于云计算平台和并行k-means聚类算法的用户用电行为分析模型，通过对居民用电数据的整合筛选，有助于电力企业了解用户的个性化和差异化服务需求。文献[5]国外研究人员利用智能表计捕获过电压事故，通过对采集数据的处理分析，建立了电压幅值与事故发生时刻、持续时间、环境温度和分布式发电装置状态量数据之间的关系模型，总结出事故发生的相关因素及对配电网的影响。

虽然国内外已经将电力云计算和电力大数据挖掘等相关技术引入到电力系统分析和控制中，但仍处于研究的起步阶段，基本停留在理论分析层面，缺少实用性的应用控制系统。本文基于云计算的并行分布式大数据平台PDMiner开发了一套安全评估及故障诊断系统，通过对输入的历史数据和实时数据的筛选、分类、分析可以及时了解电网运行动态，了解各区域的风险程度，系统故障时迅速检测到故障发生的地点、类型，以便监控中心做出及时处理，同时可将故障数据分类汇总、存储，并建立故障数据库，对电网的进一步规划和改造提供参考。

1电力云计算

云计算是并行计算(PC)、分布式计算(DC)和网格计算(GC)的发展，是计算机技术的商业实现[6]。云计算的基本原理是通过使计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。从技术上看，大数据植根于云计算，云计算的数据存储、管理与分析方面的技术是大数据技术的基础。云计算使大数据应用成为可能，但若没有大数据的信息沉淀，云计算的功能将得不到完全发挥，两者是相辅相成的。

云计算对电力系统内部的计算和存储资源进行整合，提高了电网的交互和处理能力，大数据根植于云计算，以分布式存储和并行计算为主导的云计算技术能够适应大规模数据的存储和计算需求。将云计算技术引入到电力系统中便形成了“电力云”概念，以数据挖掘为基础的数据处理技术是电力云计算发展的关键环节。

电网的数据源有很多，主要有用户端、电力企业和外部数据3类[7]，三类数据彼此相互作用，共同组成了配电网数据库，但同时也带来了数据准确性、价值性等问题。日益庞大的数据集合使传统的数据处理技术难以对数据进行高效处理，因此，务必建立电网专用的数据处理系统。

2大数据挖掘平台

数据挖掘一般是指从大量的数据中通过算法挖掘其中隐藏的各种信息的过程，是信息获取的重要技术[8]。大数据的分析处理普遍采用内外层结构相结合的双层分析架构(Double Data Structure，DDS)，外层主要对动态数据、不确定性数据进行数据融合，内层的核心部分就是数据挖掘，通过相应的算法对数据进行计算，挖掘出有价值的、需要的数据信息。由于需要挖掘海量的信息源，并且以指数增长，传统的集中式串行数据挖掘方法已不再是一种合适的信息获取方式。因此，先后提出了分布式计算和并行计算的数据处理方式[9]。分布式计算是将一个计算问题分解成多个子问题并同时处理的计算模型；而并行计算是将一个较大的计算问题分割成小任务的形式。文献[10]提出了一种将机器学习算法应用在多核计算机上的并行计算，主要研究的是算法内部的并行处理，通过算法分解，将可并行的部分进行计算。本文采用上述的并行计算模式进行研究，可应用在大规模计算机集群上运行。

PDMiner是一种基于大规模数据处理平台Hadhoop的并行分布式数据挖掘平台[11]，目的是通过并行数据挖掘算法处理大数据资料，进而提高数据处理效率。PDMiner由4个子系统组成：工作流子系统、用户接口子系统、数据预处理子系统和数据挖掘子系统[12]。PDMiner具有可扩展性、支持多挖掘任务、创建复杂挖掘过程等特点。

Hadoop是PDMiner的技术基础，其核心部分是基于HDFS和MapReduce的并行算法实现[13]。HDFS是建立在大型集群上可靠存储大数据集的文件系统。HDFS具有容错性强、吞吐量高的特点，适合大数据集的应用程序。MapReduce是一种简化的分布式程序设计模型，通过该模型，程序可自动在超大机群上并发执行。在PDMiner中，HDFS用于存储大规模数据，MapReduce用于各种并行数据预处理和数据挖掘算法的实现。PDMiner的总体框架结构见图1。

图1　PDMiner总体框架架构图

工作流子系统使用户可以方便建立数据挖掘任务，用户可以根据需要选择ETL数据预处理、分类、聚类、关联规则4种算法[14]。用户接口子系统由用户输入和结构展示两个模块组成，其主要负责与用户进行交互，参数设置和实现结果展示。并行数据挖掘子系统囊括了并行关联规则、并行分类和并行聚类3种算法，可有效地进行数据挖掘工作。另外，并行数据挖掘子系统灵活的接口方便用户产生新的挖掘算法。并行ETL算法子系统开发了19种预处理算法[15]，显著提高了算法的计算效率。采用MapReduce机制可以很好地解决决策树算法的并行问题，提高了算法的执行效率。

3电力大数据平台架构及关键技术

电力系统是一种高维非线性的复杂系统，其内部包含电力流、业务流、故障流等内部数据流[16]，图2是一种电力大数据平台总体架构，主要由大数据处理框架、大数据存储框架、操作系统和服务器、大数据调度框架组成，并与数据仓库保持实时联系。

图2　电力大数据平台总体架构

电力大数据的关键技术主要有集成管理技术、数据分析技术、数据处理技术、数据展现技术[17]。集成管理技术是将来自多个应用系统的数据合并，并据此创建一个多功能应用的过程，一般采用具有分布式存储特点的NoSQL数据库技术。数据分析技术是将收集到的信息进行提炼和加工，将原始信息转化为知识流，通过这种方式来进行决策制定和指导下一步的行动，一般是通过将传统的数据挖掘技术进行并行化处理来实现的，如PDMiner采用的MapReduce。数据处理技术包括分布式计算、内存计算、流处理。分布式作为一种新型的数据计算方式，适用于电力系统信息采集领域的大规模数据源。数据展现技术包括可视化技术、空间信息流技术、历史流技术等，运行管理人员可清楚地理解电力系统数据的含义，及时掌握系统运行状态。

4基于PDMiner平台的电力系统安全评估与故障诊断系统

随着电网的复杂程度逐渐增加，以及风光系统的接入都使得电力系统的故障发生率显著增大。传统的基于SCADA/EMS的电力系统数据采集与监视控制系统虽然能实时采集数据并对系统进行在线监控，但在繁杂的大数据面前，如何快速有效地分辨数据、筛选数据、整合数据并建立数据信息库是对该系统的最大考验。在传统的SCADA/EMS系统的基础上配置大数据挖掘平台，对数据进行有效处理，将有价值的数据信息展现在控制人员面前。

本文将PDMiner大数据挖掘平台引入到电力系统在线监控系统中，作为SCADA数据管理子系统的一部分，通过对采集数据的处理用于系统的安全评估和故障诊断。首先对收集到的源数据(内外部的历史和实时数据)通过算法引擎在PDMiner平台上进行数据挖掘处理；然后，根据处理的结果建立系统指标判据库，为风险区域和系统故障提供判断依据，并对系统运行状态提供评价标准；最后监控中心根据展现的数据信息对电力系统运行的实时数据进行监测、分析，可划分出故障易发的风险区域，诊断系统故障，并实时获取故障发生类型、地点、原因等信息，根据故障信息对系统故障进行有效处理，并快速恢复正常运行；根据风险区域信息对系统区域进行划分，同时对系统的运行状态进行可靠性评估，制定相应的优化方案。基于PDMiner平台的电力系统安全评估与故障诊断系统的总体架构如图3所示。

图3　基于PDMiner平台的电力系统安全评估与故障诊断系统总体框架

由图3可知，该系统框架由5部分组成。第1层数据来源层通过从内部(用户端、企业)、外部收集历史和实时数据建立源数据库；第2层算法模型层，根据需要建立不同的算法引擎，在进行并行计算时通过调用相应的算法函数对数据进行针对性处理；第3层是基于PDMiner平台对数据进行挖掘处理；第4层是根据数据挖掘的结果建立判据库，包括故障判据、原因判据、风险区域判据、运行评价判据、优化方案判据，为业务层提供决策依据；最后业务层根据判据库的指标、参数和显示的数据分别进行故障诊断、故障原因分析、风险区域划分与识别、系统运行状态评价、系统优化方案制定，为电网的改造和规划提供重要参考。

5实验验证

本文分别选取IEEE14和IEEE33节点测试系统进行仿真分析。分别将基于PDMiner平台的电力系统安全评估和故障诊断系统配置在两种测试系统的主监控端，观察系统中某点发生故障及危险区域的划分等情况。IEEE 14节点测试系统拓扑图见图4。

图4　IEEE14节点测试系统拓扑图

首先系统根据采集到的原始数据进行数据挖掘，可将IEEE14节点测试系统划分成4个区域，并在系统内部建立了故障判据指标、故障原因、风险区域、系统运行评价、系统优化方案数据库。

系统将区域2和4划分为风险区域。当区域4的节点14发生短路故障时，系统将显示下列信息，见表1。

而传统的基于SCADA/EMS的电力系统数据采集与监视控制系统仅能监控到故障发生点，并且故障诊断时间与本系统相比要长。前者为0.7 s，本系统为0.1 s。

表1　基于PDMiner平台的电力系统安全评估和

同样将该系统配置在IEEE33节点测试系统中，如图5所示。

图5　IEEE33节点测试系统拓扑图

IEEE33节点测试系统被分为5区域，其中区域2、5为风险区域。当节点33-15间发生断路时，系统可显示下列信息，见表2。

表2　基于PDMiner平台的电力系统安全评估和

与传统的基于SCADA/EMS的电力系统数据采集与监视控制系统相比，前者为0.9 s，本系统为0.2 s。

6结语

随着电力系统复杂性的增大，电力大数据已成为电力系统的重要组成，数据的处理就显得尤为关键。传统的数据处理方式无法应对庞大的数据资源，效率低、差错率高。现代数据挖掘技术针对数据的“4V”特性，提高了数据处理的能力，本文基于云计算的大数据挖掘平台PDMiner建立了一套电力系统安全评估及故障诊断系统，该系统能准确评估系统的运行状态和安全水平，在故障发生时能及时将故障类型、故障源等信息反馈到控制终端，同时存储相应的故障数据，为建立电网预警机制、电网改造和规划提供重要依据。

参考文献：

[1]宋亚奇，周国亮，朱永利．智能电网大数据处理技术现状与挑战[J]．电网技术，2013，37(4)：927-935.

SONG Ya-qi, ZHOU Tong-liang, ZHU Yong-li. Present status and challenges of big data processing in smart grid[J]．Power System Technology, 2013,37(4)：927-935.

[2]李国杰．大数据研究的科学价值[J]．中国计算机学会通讯，2012，8(9)：8-15.

[3]张素香，刘建明，赵丙镇，等．基于云计算的居民用电行为分析模型研究[J]．电网技术，2013，37(6)：1542-1546.

ZHANG Su-xiang, LIU Jian-ming, ZHAO Bing-zhen, et al. Cloud computing-based analysis on residential electricity consumption behavior[J]. Power System Technology,2013(6):1542-1546.

[4]赵国栋，易欢欢，糜万军，等．大数据时代的历史机遇[M]．北京：清华大学出版社，2013.

[5]CHU CT, KIM S K, LIN Y A, et al. Map-reduce for machine leaning on multicore[C]//Proceedings of the 21stAnnual Conference on Neural Information Processing Systems(NIPS’07), Dec3-6,2007, Vancouver, Canada. Berlin, Germany. Springer-Verlag,2007:281-288.

[6]GTM Research．The soft grid 2013-2020：Big data & utility analytics for smart grid-research excerpt [R/OL]． GTM， 2013． http： //www.giiresearch.com/report/gm257044-soft-grid-big-data-utility-analytics-smart-grid.html.

[7]The first highly interactive map of electricity use in LosAngeles[EB/OL]． [2014-08] ． http://sustainablecommunities. environment.ucla.edu/map/.

[8]SEKHAR A NAGARAJA，RAJAN K S，JAIN AMIT．Spatial informatics and geographical information systems：tools to transform electric power and energy systems[C]// 2008 IEEE Region 10 Conference(TENCON 2008)．Hyderabad：IEEE，2008：1-5.

[9]李祥珍，刘建明．面向智能电网的物联网技术及其应用[J]．电信网技术，2010(8)：41-45.

[10]杨德胜，陈江江，张明．电力大数据高速存储及检索关键技术研究与应用[J]．电子测试，2014(3)：62-63.

YANG De-sheng, CHEN Jiang-jiang, ZHANG Ming. Power big data high speed data storage and retrieval and application of key technologies[J]．Electronic Test，2014(3)：62-63.

[11]EPRI．Big data challenges for the grid：EPRI survey results and analysis Data analytics and applications demonstration newsletter[R/OL].2013 http://www.smartgridnews.com/artman/publish/Business_Analytics/Big-Data-challenges-for-the-grid-EPRI-survey-results-and-analysis.

[12]EPRI． The whys， whats， and hows of managing data as an asset[R]．USA：EPRI，2014.

[13]王秀磊，刘鹏．大数据关键技术[J]．中兴通讯技术，2013，19(4)：17-21.

WANG Xiu-lei, LIU Peng. Key big-data technologies[J]. ZTE Communications, 2013,19(4)：17-21.

[14]孟小峰，慈祥．大数据管理：概念、技术与挑战[J]．计算机研究与发展，2013，50(1)：146-169.

MENG Xiao-feng, CI Xiang. Big data management: Concepts,techniques and challenges[J]. Journal of Computer Research and Development, 2013,50(1):146-169.

[15]刘振亚．智能电网技术[M]．北京：中国电力出版社，2010.

[16]邱健，牛琳琳，于海承，等．基于多源数据的在线数据评估技术[J]．电网技术，2013，37(9)：2658-2663.

QIU Jian, NIU Lin-lin, YU Hai-cheng, et al. Research on online data assessment technology based on the multiple data source[J]. Power System Technology,2013(9):2658-2663.

[17]马发勇，厉启鹏，马志斌，等．电力调度SCADA系统中历史数据压缩及存储策略[J]．电网技术，2014，38(4)：1109-1114.

MA Fa-yong, LI Qi-peng, MA Zhi-bin, et al. The research of historical data compression and storage strategy in power dispatch SCADA system[J]. Power System Technology, 2014，38(4)：1109-1114．

(本文编辑：严加)

Power System Security Assessment and Fault Diagnosis System Based on PDMiner Large Data Mining Platform

CHANG Cheng

(College of Electrical Engineering, GuiZhou University, Guiyang 550025, China)

Abstract:The data of power system is complex and various, and then the big data mining is one of the difficult problems for power companies. This paper describes the development status of power big data, and introduces the concept of power cloud to power system big data analysis. Data mining platform PDMiner is proposed based on cloud computing, and its overall structure and principle are outlined. According to the power big data platform architecture and key technologies, a set of power system security assessment and fault diagnosis system is developed based on PDMiner platform. The system, configured in the SCADA/EMS data management subsystem, can improve the data processing efficiency and accurately extract the information of fault types and risk region, having much higher value in power grid renovation and planning.

Key words:power system big data; data mining; PDMiner platform; security assessment; fault diagnosis

DOI：10.11973/dlyny201601002 10.11973/dlyny201601003

作者简介：常成(1991)，男，硕士研究生，研究方向为电力系统运行与控制。

中图分类号：TM76；TP311

文献标志码：A

文章编号：2095-1256(2016)01-0007-05

收稿日期：2015-10-25