基于大数据的智能电网关键技术研究
2016-03-15贺红燕
贺红燕
(河北政法职业学院,河北石家庄050061)
基于大数据的智能电网关键技术研究
贺红燕
(河北政法职业学院,河北石家庄050061)
大数据时代的来临,对数据的处理方式提出了新的挑战。在分析智能电网数据源和数据特征的基础上,提出了利用云计算的环境来对智能电网中的大量数据进行智能处理的方法。将大数据的概念引入到智能电网运行的关键技术当中,对智能电网的实际运行具有重要的指导意义。
智能电网;大数据;云计算;技术体系
信息爆炸的时代带来了数据的极大膨胀,这给数据的处理带来了新的挑战。“大数据”是相对于过去的数据处理方式而言的、专门应用于体量特别巨大、无法应用传统的数据处理方式进行数据处理的数据集群。而在现代的生产生活中,由于生产过程的高度信息化和智能化,导致数据量急剧增长,对数据的处理成为生产环节中所面临的重要问题之一。
大型数据集,就是指生活过程中所存在的体量巨大的数据群集,一般都是指在10 TB规模的数据集合。而IBM将大数据归纳为三个标准,即3 V:类型(variety)、数量(volume)和速度(velocity)[1]。其中类型是指数据中有结构化、半结构化和非结构化等多种数据形式,在具体的生产过程中,这些数据由于来自于多种数据源,因此数据类型的构成极为复杂,这是传统数据库技术所不能胜任的;数量是指收集和分析的数据量非常大;速度是指系统对数据的处理速度要达到相应的标准。
大数据是一种现象,是一种伴随着大量数据的采集、传输、处理和应用而出现的一种对数据的新认识。但是大数据现象的出现,需要相应的数据处理技术与之相对应,从而获得对大量数据进行存储、分析、预测、处理的必要经验。
1 智能电网的数据特征分析
智能电网是大数据最重要的应用领域之一,这和智能电网的基本特征有直接的关系。我国对于智能电网的基本定义是:以坚强网架为基础,以通信信息平台为支撑,以智能控制为手段,包含电力系统的发电、输电、变电、配电、用电和调度各个环节,覆盖所有电压等级,实现“电力流、信息流、业务流”的高度一体化融合,是坚强可靠、经济高效、清洁环保、透明开放、友好互动的现代电网[1]。所以,智能电网需要通过调控信息流实现对物理电网的更全面、更细致的调度和控制。通过最大限度利用现代信息技术,结合系统化、层次化的架构,统一规划、运作、控制、管理,建立先进、开放、安全、可靠、灵活并贯穿生产、运行、经营全价值链的信息高度融合、模型高度统一的信息支撑平台。从时间、物理、管理等多维度及多层次,为各智能应用提供标准化、多元化、完整、一致的坚强智能电网信息,避免信息失真、信息冗余、信息阻塞、信息互斥等问题,实现电源侧、电网侧、用户侧信息的集成、交互和共享,支持坚强智能电网新型业务应用。这就决定了在智能电网中所存在的数据量的巨大性。
智能电网的最终目标是将传统电网改造成覆盖电力系统的各个生产和使用环节的全景实时系统。这个系统需要涉及到的环节有发电、输电、变电、配电、用电及调度,因此这需要大量的电网内部数据和外部数据的支撑。其中,电网的内部数据有设备监测和检测系统、配电管理系统、能量管理系统、生产管理系统、营销系统、用电信息采集系统、客户服务系统等;而外部数据主要来自于气象信息系统、地理信息系统、公共服务部门等系统。因此,在智能电网中的数据具有分散性强,地域分布广,同时除传统结构化的数据外,智能电网还包含了大量如语音、波形、图像等半结构化、非结构化的数据,而且处理这些数据都具有不同实时性、准确性、精确度、生命周期的要求,因此数据种类复杂多变。
综上所述,智能电网中的数据源具有以下数据特征[2]:(1)数据源构成复杂且分布性强;(2)数据量大、种类多、相应的数据维度也大;(3)每个数据都具有重大的实际意义,同时数据之间也具有复杂的关联性。以上几点决定了需要利用大数据的方法来解决智能电网的数据处理问题。
2 智能电网中的关键技术分析
智能电网最主要的特征是工作稳定性强、可持续性强、具有系统的自愈性、灵活性和经济性。这些特征的形成离不开相应的支撑技术,关键的技术有:量测技术、控制技术、通讯技术和设备技术等。参数量测技术是智能电网基本的组成部分,先进的参数量测技术获得数据并将其转换成数据信息,以供智能电网的各个方面使用。参数量测技术是设备信息的源头,来自于该技术的信息可以为评估电网设备的运行状态提供良好的基础。这一部分的数据具有准确性高、实时性高的基本要求。控制技术是指在智能电网中分析、诊断和预测状态并确定和采取适当的措施以消除、减轻和防止供电中断和电能质量扰动的装置和算法。控制技术是对电网的输、配、送、用各个环节进行管理的重点,是集中了其他关键技术的最终实施环节。在智能电网中,利用预设的专家系统对电网的运行状态进行分析和管理,采取自动控制行动,是智能电网实现自愈性的关键;通信技术是智能电网的各系统运行的沟通通道。高速、双向、实时、集成的通信系统使智能电网成为一个动态的、实时信息和电力交换互动的大型基础设施,为提高电网供电的可靠性、提高电网的安全性打下良好的基础。设备技术是指在智能电网中要引入最先进的设备,例如在材料、超导、储能、电力电子和微电子技术方面的最新研究成果,从而提高电能质量和生产的效率。
3 “大数据”处理技术的应用
智能电网是一个系统性的信息平台,应用大数据的方法来解决智能电网中的海量数据问题。
大数据技术的本质也是数据处理的问题,其关键的技术主要包括两点:(1)大数据存储和管理;(2)大数据检索技术的使用。
对于大数据的存储和管理,传统数据处理的方式主要有两种:一种是C/S结构;另一种是B/S结构。这两种方式都不能适应大数据存储和管理的要求,因此构建新的存储平台是解决问题的关键。
云计算是一种新的数据存储方式,它将计算和数据存储分布在大量计算机构成的资源池上,使用户能够按需获取计算能力、存储空间和信息服务。在云计算中,核心是云数据库。一个有效的云数据库可以完成海量的数据处理、大规模集群管理、低延迟的读写速度和低成本的运行过程。
将智能电网的数据利用云计算来进行存储可以提供一个良好的数据存储与处理的平台。利用相关的技术从大量的、异构的、不完整的实际数据中查找出有利于智能电网运行决策的数据是大数据技术所要解决的另一个问题。
在大数据概念出现以前,在数据分析领域所经常要使用的技术是数据挖掘。有所不同的是,数据挖掘技术比较适用于单个计算机上进行数据的处理,不太适应用大量的分布式数据源的处理,而大数据的并行处理是基本的要求,这就要求数据的处理过程要用大数据的分布处理框架。
目前,应用较多的大数据应用处理框架是MapReduce,这也是云计算所经常采用的海量数据处理模式。MapReduce技术把每一个云端小型处理器作为一个计算终端,在每一个终端上所采用的数据处理技术仍然用数据挖掘技术[3],例如朴素的贝叶斯算法、数值型关联规则、遗传算法、神经网络算法等。同时,将一个大数据的问题采用“分而治之”的办法,分解成一个个相对独立的较小问题。这些小型问题由各个处于云端的计算终端进行计算后,再将每个节点的执行结果进行汇总,从而得到最终的计算结果。
MapReduce模型的计算流程分为两个阶段。第一阶段是Map过程,分为三步:第一步是将大任务进行分割,分成若干固定大小的分片(Split),每一个分片利用键值(Key)向下传递信息。第二步是利用相应的数据挖掘技术构建Map算法,Map算法分布在各个云计算终端上,对每一个小任务数据源进行计算。第二阶段是Reduce阶段,这一阶段的任务是结论的汇总,汇总方式可以根据实际问题采用不同的方式,例如蚁群算法、神经网络算法等,最终形成稳定准确的数据分析结论。
4 结论
本文对智能电网中的关键技术进行了分析。利用大数据的基本概念重新对智能电网中的数据处理问题进行规划。
智能电网中的海量数据利用云平台来进行处理,并结合MapReduce模型进行分析,从而实现了大数据的“分而治之”和有效汇总,为智能电网的有序实现提供了一定的理论基础。
[1]唐跃中.数字化电网若干关键技术研究[D].杭州:浙江大学,2010:11-12.
[2]张东霞,苗新.智能电网大数据技术发展研究[J].中国电机工程学报,2015(1):2-3.
[3]幸莉仙,黄慧连.MapReduce框架下的朴素贝叶斯算法并行化研究[J].电力系统自动化,2013(2):108-109.
Key technology of smart grid based on big data
HE Hong-yan
(Hebei Vocational College of Politics and Law,Shijiazhuang Hebei 050061,China)
The coming of the era of big data results in new challenge to the way of data processing.The method of cloud computing environment for intelligent processing of large amounts of data was put forward based on the analysis of data sources and data characteristics of smart grid.It has important guiding significance for the practical operation of the smart grid that introducing the concept of large data into the key technology of the smart grid operation.
smart grid;big data;cloud computing;technological system
TM 769
A
1002-087 X(2016)08-1713-02
2016-02-25
贺红燕(1973—),女,河北省人,副教授,硕士研究生,研究方向:信息技术与数据分析。