APP下载

大数据时代下的新型电网规划体系

2014-02-14赵春晖姜大为

电力建设 2014年10期
关键词:结构化数据处理电网

赵春晖,姜大为,崔 灿,李 彬

(1.国网北京经济技术研究院,北京市102209;2.华北电力大学电气与电子工程学院,北京市102206)

0 引 言

近年来随着智能电网的全面建设,以及物联网和云计算等新一代IT 技术在电力行业中的广泛应用,促使电力数据资源开始急剧增长并形成了一定的规模。数据的爆炸式增长给电力行业各个部门带来了剧烈的冲击,不仅体现在数据处理和挖掘能力的不足,还体现在行业内固化数据的理念变革[1-3]。

2013年3月,中国电机工程学会信息化专委会发布《中国电力大数据发展白皮书》,拉开了电力大数据发展的序幕。其中指出:电力大数据是能源变革中电力工业技术革新的必然过程,而不是简单的技术范畴。电力大数据不仅仅是技术进步,更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革,是下一代智能化电力系统在大数据时代下价值形态的跃升[4-5]。

电网规划是电力行业发展与建设的首要环节,传统的电网规划依靠单向确定性的规划方法,对于跨部门跨行业的数据信息利用率低,已经不适合智能电网的管理体系和发展形势。在大数据浪潮的引领下,充分利用电力大数据关键技术和发展理念,建立信息化、智能化的电力大规划体系势在必行[6]。针对大数据环境下电网规划体系中的数据获取、数据处理和数据应用方案,本文提出并设计新型电网规划体系,为电网规划体系的建设提供参考。

1 大数据简介

将大数据技术充分利用到电网规划系统中的前提是对大数据技术和理念正确且深入的认识。

大数据技术是移动互联网、物联网及云计算技术等新兴科技高速发展的产物。2011年5月,全球知名咨询公司麦肯锡(Mckensey and Company)在美国拉斯维加斯举办了第11 届FMC World年度大会,设定的主题为“云计算相遇大数据”,发布了“Big data:The next frontier for innovation,competition and productivity”的报告,首次提出“大数据”的概念[7]。从此,数据作为一种重要的战略性资源,开始受到各行各业的广泛重视。

电力大数据是大数据技术、理念和方法在电力行业的实践。对于电力行业来说,大数据不仅带来了先进的信息处理和计算机应用等技术,更重要的是对新的数据理念的认识[1,8]。大数据带来的重大思维和理念变革主要包括3 点:

(1)大数据即全数据。“大”只是大数据的一个表象,“全”才是大数据的本质。要想挖掘数据内蕴含的所有信息,必须在对所有数据进行分析的前提下才可能实现。大数据是指不用随机分析法这样的捷径,而采用所有数据的方法。

(2)大数据允许不精确。数据量的大幅增加会造成一些错误的数据混进数据库,大数据时代要求我们重新审视精确性的优劣。我们要学会接受这些纷繁的数据并从中受益,而不是以高昂的代价消除所有的不确定性。也就是说,快速获得一个大概的轮廓和发展脉络要比严格的精确性要重要得多。

(3)预测是大数据的核心。建立在相关关系分析法基础上的预测是大数据的核心。相关关系通过识别有用的关联物来帮助我们分析一个现象,而不需要揭示其内部的运作机制,我们更关注将要发生的事情“是什么”,而不是“为什么”。

大数据时代带来的巨大价值使得选择大数据的理念和方法不再是一种权衡,而是通往未来的必然改变。在这样一种时代潮流中,电网规划建设部门作为预测电网发展、规划电网未来的重要角色,必须快速适应新技术带来的变革,掌握新型理念和方法,为整个电力行业的规划建设做出更加经济有效的决策[9-10]。

2 面向大数据的电网规划新体系

在大规划体系下,电网规划面临着全面归集规划数据、应用卫星图像与航拍技术、实现全数字化决策和规划、提高规划设计方案经济性等一系列的挑战。现有的规划系统无法满足电力大数据的应用要求,主要表现在以下3 方面:

(1)数据种类不够全面。现有规划系统中的数据基本来自电力行业内部,数据种类较少,且缺乏智能化的数据获取手段,使得数据实时性较低,更新周期长。

(2)数据处理能力不足。在庞大的数据量面前,现有系统面临着数据处理方面的巨大压力,特别是针对图片、视频等新型非结构化数据的处理效率较低。

(3)缺乏智能评估体系。目前电网规划决策的评估大多以经验为标准,经济性是主要指标。这种评估方式忽略了电网建设对环境和社会的影响,以及新能源接入等外部因素,无法达到能源发展长久可持续的目的。

2.1 新型电网规划体系架构

大数据带来的新型数据理念,即以数据关联分析为基础的预测,能够为电网规划提供新的思路。针对上述问题,利用大数据先进技术及思路,本文提出面向大数据的新型电网规划体系架构,如图1 所示。

图1 新型电网规划体系架构Fig.1 Architecture of novel power grid planning

该体系主要包括数据获取、数据处理和数据应用3个部分,从电网规划实际应用需求出发,以系统内外的全数据获取为前提,利用先进的数据处理技术,实现智能化的方案设计、风险评估、工程监测和用户交互等应用。

首先,电网规划数据的获取必须包含环境地理信息数据、电网运行管理数据和外部社会数据。其中,环境地理信息数据可采用无人机航测、卫星遥感及雷达测绘等空天一体化信息采集技术进行收集,较之以往的人工测绘方式,能够大大提高数据信息的准确性和实时性;电网运行管理数据来自系统内部的各个部门,不同部门之间的数据传递和共享能够充分提高电力数据的利用率,最大程度上体现数据的价值;外部数据包括社会数据、用户反馈及新能源数据,这类数据是以往电网规划容易忽视的非结构化数据,目前系统内并无针对此类数据的处理和应用方式。

其次,针对各类多源异构数据的处理和分析是整个体系的核心。建立电网规划综合信息数据库是对各种数据的整理和存储,数据库以先进的内存计算和索引机制为支撑,能有效减少数据处理过程所需的时间。数据处理具体包括清洗修正、特征提取、关联分析和挖掘预测4个步骤,分别实现查找并修正错误数据、分析不同类型数据的特征、找出不同数据特征之间的相关性、根据相关性对未来的数据进行预测。而根据过去和现在的数据对未来进行分析和预测正是大数据理念的体现。

最后,数据分析和预测的结果可以用于电网规划中的方案设计、风险评估、工程监控和用户交互等应用。通过对全面的规划数据的深入挖掘和预测,掌握电网乃至整个社会的发展趋势,能够根据能源和经济需求合理设计规划方案,并从多指标多维度进行方案的智能评估,降低决策风险。实时监控和用户交互是电网规划必不可少却经常被忽视的环节,通过对规划用地及线路的监控和周边用户的交流与反馈,不仅为电网规划综合信息数据库提供鲜活的数据,还能减少不必要的损失,提高规划方案的准确性。

2.2 新型电网规划数据获取方式

全面可靠的数据获取是面向大数据的新型电网规划体系得以实现的前提和基础。相比于传统的数据获取方式,大数据应用从数据的完整性、实时性、准确性等各个方面对数据获取方式和手段提出了更高的要求。针对上述问题,新型电网规划数据获取体系应结合先进的遥感测量等采集技术以及高性能的数据识别和处理技术,提高数据质量,为数据处理和应用提供保障。

新型电网规划数据获取方式示意图如图2 所示,其中黑色箭头代表数据流向。规划区域的地理环境较为复杂且受人为因素影响较大,传统的人工探测不仅工作效率低,而且数据更新速度慢,往往导致项目实施无法达到预期目标。目前,空天信息探测采集业务逐渐趋于成熟,是实现对规划区域全方位、高精度探测与监控的有效途径。以经济性较高的无人机为例,多镜头、多角度、高效率的拍摄能够获得大量多维度的实时地理信息图像,大大提升信息采集效率。

图2 新型电网规划数据获取方式Fig.2 Data acquisition of novel power system

对数据的预处理是新型数据获取体系的核心部分。通过遥感和航拍等手段获得的大量图像视频数据冗余度较高,不能直接存储在数据库中,也无法直接用于规划方案的设计。针对多种类型的非结构化数据,数据的预处理包括数据识别、数据整理等环节。数据识别是指对各类非结构化数据进行分析,将其中所包含的信息特征进行提取和量化,有助于识别、关联和应用;数据整理主要是对非结构化数据去除冗余的过程,然后对数据进行分类后存入数据库中,提高数据的存储和处理效率。

2.3 非结构化数据在新型电网规划体系中的应用

非结构化数据是指不方便用数据库二维逻辑表来表现的数据,包括图片图表、文本文档、语音视频和网页信息等。在电力系统中,非结构化数据所占的比例急剧上升,这类数据不能用传统的逻辑数据库进行存储和处理,导致了大量数据的丢失。大数据采用先进的数据处理技术,对非结构化数据进行了更深层次的处理,使得非结构化数据中蕴含的信息被逐渐挖掘并加以利用。

电网规划中涉及到的非结构化数据主要包括图像视频数据、社会经济数据和用户交互数据。其中图像视频数据来源于各类探测与监控手段,社会经济数据以图表、文本等格式为主,用户交互数据主要指用户信件、电话记录以及社交网站信息等。以往规划过程中对这些数据的利用程度较低,导致规划方案只重视经济效益而社会价值有限。图3 是新型电网规划体系中非结构化数据应用示意图,上述非结构化数据在经过处理和挖掘后能够应用在电网规划过程中的各个环节。

图3 非结构化数据应用示意图Fig.3 Unstructured data applications

图像视频等数据可以用于各类电子地图的绘制、厂址与线路规划设计以及施工过程中的场地监控等。社会经济数据包括区域经济水平、社会发展趋势以及可再生能源情况等方面的信息,是用电预测、方案设计和效益估算等实际应用的重要依据。用户交互数据是用户对用电情况以及规划方案的意见和反馈,在需求分析和评估过程中充分考虑该类数据是智能电网以用户为中心的良好体现。

3 新型规划体系建设与展望

新型电网规划体系的建设并不会简单地一蹴而就,而是在现有规划体系的基础上进行不断的改进和完善,从而逐步实现。针对现有规划系统在面对大数据应用时的不足,规划设计部门可以从以下4个方面采取措施:

(1)采取智能化的信息获取手段,提高数据源的种类和数据质量。这是对数据价值充分挖掘利用的基础和前提。目前无人机技术和遥感技术日渐成熟,规划部门可以直接获取遥感数据,再根据需求绘制平面或三维数字地图,相比于直接获得卫星地图或图纸,能够得到更精确的原始数据并提高数据的利用率。

(2)充分利用高性能的大数据处理相关计算机技术。国内外已有较多针对大数据存储、处理和挖掘的技术,如MapReduce、Hadoop 平台等[11]。这些先进技术的引进能够大幅提高系统的数据存储和处理能力,为整个新型规划体系提供技术支撑,值得深入研究学习并在电力系统内加以运用。

(3)引进大数据相关专业的技术人员。电力大数据的应用需要各个专业的技术人员共同合作才能得以实现,除了电力人员以外,大数据也不仅仅是一门计算机科学,而是涵盖计算机专业、电子信息专业、社会经济专业等众多专业的综合性学科。随着电力大数据的不断研究和发展,相关专业人才的引进是必然过程。

(4)建立完善的管理机制,加强对数据的安全管理。数据作为一种资源,已经在各行各业受到广泛重视,电力行业也应加强对数据的管理,建立完善的机制,防止数据的丢失,以提高数据的安全性,达到保护数据价值的目的。

4 结 语

本文对电网规划现状以及大数据时代带来的挑战进行分析,在深入研究大数据带来的数据新理念的基础上,提出一种新型电网规划体系架构。通过更加全面的数据源获取,结合高性能的数据处理和分析,为电网规划实际应用提供智能化手段,提高电网规划效率。其次分别对数据获取和非结构化数据应用方式做相关描述和分析。最后对如何实现新型规划体系提出一系列要求与展望,为电网规划相关部门提供一定的参考依据,为促进电力大数据的广泛应用提供理论支撑。电力大数据应用尚处于起步阶段,如何在实际应用中利用大数据理念和方法为整个社会提供更好的能源服务仍然是今后重要的研究方向。

[1]王继业.大数据与电力企业[J]. 电力信息化,2012,10(8):7-7.

[2]孟小峰,慈祥. 大数据管理:概念、技术与挑战[J]. 计算机研究与发展,2013,50(1):146-169.

[3]王广辉,李保卫,胡泽春,等. 未来智能电网控制中心面临的挑战和形态演变[J].电网技术,2011,35(8):1-5.

[4]李芬,朱志祥,刘盛辉. 大数据发展现状及面临的问题[J]. 西安邮电大学学报,2013,18(5):100-103.

[5]龚钢军,孙毅,蔡明明,等. 面向智能电网的物联网架构与应用方案研究[J]. 电力系统保护与控制,2011,39(20):52-58.

[6]闫龙川,李雅西,李斌臣,等. 电力大数据面临的机遇与挑战[J].电力信息化,2013,11(4):1-4.

[7]Manyika J,Chui M,Brown B,et al. Big data:The next frontier for innovation,competition,and productivity[R]. New York:McKinsey Global Institute,2011.

[8]Mayer-Schönberger V,Cukier K. Big data:A revolution that will transform how we live,work,and think[M]. Boston:Houghton Mifflin Harcourt,2013.

[9]宋毅,欧阳邵杰,王旭阳,等. 考虑需求侧资源的新型电网规划模式[J],电力建设,2013,11(2):12-16.

[10]宋亚奇,周国亮,朱永利. 智能电网大数据处理技术现状与挑战[J]. 电网技术,2013,37(4):927-935.

[11]刘树仁,宋亚奇,朱永利,等.基于Hadoop 的智能电网状态监测数据存储研究[J].计算机科学,2013,40(1):81-84.

猜你喜欢

结构化数据处理电网
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
穿越电网
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
促进知识结构化的主题式复习初探
改进的非结构化对等网络动态搜索算法
结构化面试方法在研究生复试中的应用
左顾右盼 瞻前顾后 融会贯通——基于数学结构化的深度学习
电网也有春天
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
一个电网人的环保路