基于云计算的电力大数据分析技术与应用
2019-03-14王萍刘翠玲刘磊唐九月陈颖
王萍 刘翠玲 刘磊 唐九月 陈颖
摘要:本文旨在分析云计算在电力行业日益激增的电力大数据分析中的技术应用,通过对电力大数据的产生和特点,以及云计算技术对于电力大数据分析的高实用性等方面进行分析应用,全面提升电力公司对电力大数据分析的业务能力,为电力行业进军大数据时代奠定基础。
关键词:云计算;电力大数据;数据分析;数据处理
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2019)01-0257-02
21世纪社会进入信息化时代,随着网络与计算机技术的高速发展,办公信息化已经深入各个行业,全球数字信息资源呈指数增长,电力行业也在信息化发展的道路上避免不了的进入“大数据时代”。面对日益发展,电力客户日趋增多,为了提高电力公司生产效率、增加电网运行安全稳定性、更好地满足电力客户需求,建立电力大数据分析的数据中心成为电力企业发展势在必行的一条路。
1 电力大数据概念
随着电力行业智能电网项目不断地建设、完善,智能电网的规模也在不断的扩大,从中所使用到的智能软硬件设备也越来越多。这些设备在工作中持续不断地产生大量的数据,这些就是电力大数据。
电力大数据是指电力企业在发电、输电、变电、配电、用电、调度各环节中产生的大量结构化、非结构化的数据,这些数据一般是由电力智能设备、智能软件中产生后汇集到数据中心进行提取分析,是支撑智能电网项目发展的重要组成部分。
电力大数据一般具有以下特征:
(1) 数据量大(Volume):国家电网以物理电网为基础,将现代先进的传感测量技术、通讯技术、信息技术、计算机技术和控制技术与物理电网高度集成后形成了现在的新型电网。在这其中通过各种智能设备上安装的传感器、各种软件所采集到的数据堪称海量。假设全国电力用户安装智能电表1亿只,按照国家电网每15分钟采集一次电流电压等数据,每天的数据增长量将会接近100亿条。
(2) 处理速度快(Velocity):随着信息技术的发展,数据处理速度也越来越快,利用新型技术制造的智能软硬件设备可以达到每秒数十万次的数据处理速度。
(3) 数据类型多(Variety):电力行业是一个跨单位、跨专业的一个行业,涉及的领域很广,运营过程中会产生大量的结构化数据和非结构化数据,包括文本、音频、图片、视频、模拟信号等不同的类型;数据来源也越来越多样,随着行业的加速发展,非结构化数据量呈急剧增加形态。
(4) 价值大(Value):海量的业务数据带来了更高的商业价值,高效的数据分析手段可以帮助电力企业更好的分析客户需求,问题处理等。
(5) 精确性高(Veracity):智能设备的实时采集上传数据,保证了电力大数据的精确性,精准的数据可以帮助企业模拟不同情况下的业务场景,促进企业发展和进步。
2 云计算的应用
2012电力行业信息化年会于2012年11月3-4日在北京举行,本次年会主题为“大数据与宽带中国”。“大数据”将给电力企业带来新一轮商业模式转变和价值创新,宽带中国战略更为电力信息化发展提速,在这样的时代背景下如何对电力大数据进行数据挖掘、统计分析成为电力企业发展的目标。
云计算目前普遍认可的定义为:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,使得企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。云计算具有:超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务、极其廉價等特点。
在如今的“大数据时代”,云计算和大数据就像是纸张的正反面一样密不可分,基于云计算的大数据分析技术已经日渐成熟,运用于各互联网领域。电力行业也不例外,为了满足对电力大数据的深度挖掘、数据分析,根据各行业基于云计算的大数据分析技术设计开发基于云计算的电力大数据分析系统成为可行。
事实上,为电力大数据分析开发的云计算平台已在全国多地投入使用,具体部署结构如图所示:
电力大数据从数据采集到最终分析会经过很多步骤,智能设备通过其安装的传感器采集数据,经由通信网络上传至数据中心。数据中心由关系数据库和云计算平台组成,云计算平台由刀片式服务器组成,通过高速网络连接,数据分析处理由云计算平台完成,并与关系数据库数据同步更新。通过分层次处理技术,云计算平台可以对电力数据进行分支化管理,再通过强大的SQL处理系统使得平台在分析数据时可以同时进行处理,极大地提高了数据分析速度。为了缓解数据中心数据库访问压力,可以建立前置集群,设备采集数据上传至前置集群,前置集群通过简单的数据缓冲和处理后,统一上传至数据中心;为了通信安全可以在前置集群与通信网络间加装防火墙和网关。由于云计算平台的特点,在满足企业大数据分析需要的前提下,减少了成本,同时又提高了数据处理速度。
3 总结
本文主要阐述了在如今社会“大数据时代”背景下,电力大数据的产生以及建立基于云计算的电力大数据分析平台,云计算平台的优秀性能为电力行业大数据分析提供了技术支撑,为电力企业运营管理保驾护航。
参考文献:
[1] 尹强飞,徐勇辉.基于云计算技术的大数据处理系统[J].科学与管理,2016(35):1-2.
[2] 吴凯峰,刘万涛,李彦虎,等.基于云计算的电力大数据分析技术与应用[J].中国电力,2015, 48(2): 1-8.
[3] 丁岩,杨庆平,钱煜明.基于云计算的数据挖掘平台架构及其关键技术研究[J].中兴通讯技术, 2013(1).