大数据对电力企业信息化发展的探索与研究

文｜董丽 俞亮

一、引 言

（一）定义及其特征

大数据一词自诞生以来就一直是一个模糊而诱人的概念，特别是最近几年，它已经成为了一个信息时代的新兴主题。1980年，阿尔文.托夫勒曾在《第三次浪潮》书中将大数据赞颂为“第三次浪潮的华彩乐章” ，从2009年起大数据这个词开始频繁出现在互联网信息技术行业中，2010年Apache Hadoop组织认为大数据是指“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模比较庞大的数据集合” ，在维基百科可查到“大数据就是那些无法在可承受的时间范围内，运用常规软件工具进行捕捉、管理和处理的数据集合”。综上所述，大数据是指量大、复杂、增长迅速的数据集合，也指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合，它涵盖了数据从产生、采集、存储、加工、转换、计算、分析挖掘、展示到最后被使用等数据全生命周期管理过程，以及这一系列过程中所使用的各项技术和理念。

维克托.迈尔-舍恩伯格和肯尼斯.库克耶曾在《大数据时代》中提到过“大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。”与传统数据相比，大数据有传统的结构化数据，还有半结构化数据、多维数据及音视频数据，数据的量级已从TB上升为PB、EB乃至ZB(1024GB=1TB，1024TB=1PB，1024PB=1EB，1024EB=1ZB）。IDC研究表明，数据量正以每年60%的增长率持续增长，换句话说在过去两年产生的数据已经达到历史产生的全部数据的90%，预计到2020年，全球数据总规模将增长44倍，达到

35.2ZB。

从上述可知，大数据具有多样（Variety）、量大（Volume）、高速（Velocity）、价值（Value）的特性，即所谓的4V特性。2013年3月13日，IBM发布白皮书《分析：大数据在现实世界中的应用》，将大数据4V理论的最后一个V价值（Value）重新定义为真实（Veracity），IBM认为真实性是当前企业需重点考虑的维度，是促进企业有效利用数据本身和分析方法进而提升数据价值的必要手段，该理论提出了一个闭合的大数据体系，最终呈现出应用层、工具层、数据管理层和数据层四层架构。

（二）国内外发展趋势

2010年美国率先颁布“云第一”政策，要求各机构必须在投资前对云计算选项进行安全性评估，2011年2月，美国政府发布《联邦云计算战略》白皮书，宣布将在2012年投资800亿元联邦IT预算，这也使得美国成为全球第一个发布云计算战略的国家，2012年3月29日，美国政府推出执行“大数据研发计划”，提出“通过提高从大型复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，加强国家安全，并改变教学研究”。2013年2月6日，美国国家科学基金会等10余家国际研究基金会启动第三轮“数据挖掘挑战”计划，鼓励社会人文科学领域中大数据研究的意义，探讨大数据是如何改变社会人文科学领域的研究状态。近年来，日本政府也在积极探索大数据发展，提出了“有效利用信息技术开创大数据新产业”的发展战略。

相比之下，中国大数据产业发展迅猛。2012年2月14日，我国工业和信息化部正式发布《十二五 物联网发展规划》，规划中把信息处理技术作为4项关键技术创新工程之一，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是“大数据”的重要组成部分，而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与大数据密切息息相关。随着信息化建设的深入推进，大数据时代已经在生物医药、通信、互联网等行业得到体现，如阿里巴巴利用大数据分析颠覆传统零售业，利用网站统计数据通过用户行文分析，建立了用户行为模型，掀起了网络精准营销模式的新篇章；腾讯在天津建立亚洲最大的数据中心，建成大中华局最牛IDC机房；百度也随后在阳泉投资建立百度云计算数据处理中心；新浪紧跟步伐推出企业微博，提供精准的数据分析服务等等。

因此，无论从国家政策要求，各行业竞争形势所趋，还是从企业战略发展的角度分析，大数据已成为信息化发展的必然选择。

二、电力大数据研究现状

（一）电力大数据概述

随着全球信息化建设步伐，电力企业已坚定的步入了电力大数据时代。电力大数据是综合电力企业生产、管理运营、智能电网3个领域数据的信息系统，也是近年来电力发展的重要方向之一，主要具有以下显著特点：

1. 数据量大。随着电力企业信息化新兴技术的不断推进，智能电网自动化、互动化建设不断加强，数据量由TB级向PB级急剧增长。

2. 类型多样。电力大数据所涉及的种类包括结构化数据、半结构化以及非结构化数据、视频音频等多种类型。

3. 速度较快。这个速度是指对处理分析电力数据的速度，通常“一秒”是电力系统中处理业务数据最为重要的特征。

4. 价值较大。电力大数据综合了电力发电、输电、配电、变电以及用电等各个环节的数据，大大提高了这些数据本身之外的应用价值。

5. 精确性高。电力大数据的数据来源涉及发、输、变、配、用电和调度的各环节，量大且复杂，大大提升了电力监测、电费计算等方面的精确性。

随着SG-186及SG-ERP的建设推进，电力企业以“三集五大”管理体系建设为重点，初步实现了企业级数据资源整合及共享利用，但由于数据量由TB级向PB级急剧增长，数据类型多样，跨业务、跨平台应用不断深化创新，电力大数据面临着数据高性能存储和高可扩展性挑战。因此，如何利用现有的手段和技术水平，从中发掘出数据的潜在价值，促进电网业务逐渐向智能化、精细化方向发展，进而为电力企业改进决策、降低成本、提高收益提供依据，已经成为了电力企业发展中亟待解决的问题。

（二）研究现状及形势分析

在2015年年中工作会议上，国家电网公司特别提出，深入开展全球能源互联网研究，积极推动将智能电网纳入国家科技重大工程，落实国家“互联网+”行动指导意见，促进大数据、云计算、物联网、移动互联网等新技术在研发设计、建设运行、经营管理、客户服务中心的集成应用。

1. 大数据支撑智能电网建设

智能电网是电网发展的重要趋势，而电网互联则是电力系统进步的主要标志，大规模互联电网的安全运行、先进高效的配电网系统、互联电网公用技术、微电网技术也成为电力企业未来发展的重要研究方向，分布式电力系统必将成为电网发展的主流。

智能电网建设包含电力系统的发、输、变、配、用、调度六个环节，覆盖所有电压等级，面对量大、范广、多类型基础数据，电力企业已应用大数据对实时和非实时信息进行高度集成、共享和利用，并在各环节建设中应用云计算、物联网等新兴技术实现可观测、可控制、完全自动化和系统综合优化平衡等智能化建设。大数据为能源信息的智能化管理提供了解决办法，电力企业在提高自动化控制水平的同时，应用大数据为智能电网发展提供技术保障，支持智能电网的信息化、自动化、互动化，促进电源、电网和用户资源的友好互动，通过数据质量整理、数据价值挖掘等技术保障措施，综合应用在决策分析、企业管理、用户服务等方面，提升业务系统兼容性，提高电网缺陷分析、安全评估及预警能力，从而加快了智能电网转型以及可再生发电技术、电网调度技术的发展，为客户提供了更为良好的运营模式。

2. 大数据支撑三集五大两中心建设

“十二五”信息规划的“三集五大两中心”体系建设是重点之重，强调发挥“领导力、调控力、带动力”，强化战略决策、资源配置、管理调控、电网调度“四个中心”作用一脉相承。“三集”指人力资源集约化、财务集约化、物资集约化，“五大”指大规划、大建设、大运行、大检修、大营销，“两中心”指运营监测（控）中心、供电服务中心。

五大体系涵盖电网业务全内容，据统计目前包含百万量级项目的规划数据，万亿级投资重点建设项目，电网运行中调度约2000套SCADA/EMS数据应用，每省（市）公司超过100G的设备信息和海量的检修工单数据，数据量级已达到PB级，数据规模服务于2.3亿营销用户。集约化管理对总部管理机制、组织架构、职责定位和岗位设置情况进行了深入研究和系统优化，共梳理了613项核心业务流程、明确了758项重点横向需求，至少面临着180万人员基本信息、绩效数据，甚至超过200个财务标准流程及巨量物资数据。面对未来更精益化管理，全业务数据分析预警以及用户数据价值的挖掘，未来几年运营监控中心将实现对TB、PB级别的数据进行监控分析及提供辅助决策分析，运营中心监控更需要大数据提供更快、更细、更全的数据监控需求。同时，面对客户档案数据、服务语音数据、业务历史数据、VIP客户服务实时数据等海量多类型数据，客服中心的一级部署也迫切需要分布式计算、数据挖掘等大数据技术进行数据挖掘、用户行为分析。

3. 大数据支撑基础平台建设

电力企业的基础设施及平台需要借助大数据相关技术来支持TB级数据量级的数据进行传输，提升基础实施及平台对数据的采集、存储、加工、转换、计算、分析、挖掘、展示等服务能力。

（1）电力大数据支撑数据层完成对结构化数据、非结构化数据、实时监测数据、地理信息数据及视频音频等多类型数据的采集。

（2）在数据管理层，通过研究数据查询检索等技术，实现不同类型数据之间的接入与转化，建立跨类型数据之间的关联数据模型，实现全类型集中式关联，并通过分布式存储、物联网等实现软硬件资源集中部署、统一调度。

（3）工具层主要运用大数据支撑电力企业多形态数据的可视化展示，提供分析决策支持适应大数据时代分析查询高要求，推动大数据统一开发平台，实现大数据量集成同步及视频数据集中存储与分析等。

（4）应用层借鉴数据可视化技术，促进各类电网业务应用更加人性化、智能化。

三、大数据对电力企业信息化的挑战

电力企业走进了大数据时代，数据从传统的简单对象逐步转变为基础性数据资源，如何能有效地管理及利用大数据已经成为当今社会普遍关注的话题，大数据在给电力企业发展带来机遇的同时，也相应的给数据存储、处理、分析及利用带来了极大的挑战。

（一） 数据质量方面的挑战

电力大数据主要涉及发、输、变、配、用、调6个环节，具有数据量大、结构复杂、形态多样等特征，而大量多样化的数据并不一定代表数据潜在附带的信息量和数据价值高，准确性和完整性不高将会直接影响电力大数据的应用。

（二） 数据集成方面的挑战

电力企业本身内部应用系统较多，专业性较强，随着越来越大规模的数据中心，使得在电力数据集成的过程中，有部分电力数据直接被分别存储于不同的数据库内，形成了信息孤岛；有部分数据由于系统业务功能重复，在多个系统中进行了重复录入，造成了大量冗余；另外，还存在数据不一致、异构性等问题。

（三） 数据分析方面的挑战

电力大数据使得探索与研究半结构化、非结构化数据的处理、存储、分析与提取等技术变得十分迫切，在大数据分析模式下，数据处理的实时性、准确性、高效性变得尤为重要，必须突破传统模式采用高效算法对全类型数据进行实时检测分析。

（四） 数据可视化方面的挑战

直观、有效的可视化展示界面能够促进人们更容易的研究、浏览、观察、操纵、探索、发现、过滤、理解大规模数据，有助于挖掘隐藏在信息内部的特征和规律，方便数据交互，提高数据利用价值，因此如何通过研究多形态数据的展现技术，完善可视化组件，丰富对文件、视频、动画、GIS等不同表现方式的展示手段提出了新的、严峻的挑战。

（五） 数据存储方面的挑战

结构化数据存储的关键点在于如何提高数据的查询、统计、分析及更新效率，特别是对于图片、视频等一系列非结构化数据，随时面临着数据存储、展现、检索等困难，另外对于结构化数据与半结构化数据的之间转化存储，或者直接按照非结构化数据形式进行存储也存在着非常大的难度。

（六） 数据运维方面的挑战

电力企业IT资源运维方式单一，大量依靠人工方式，缺乏对现有IT资源使用情况进行有效监测、分析及管理的工具，又无集中式平台支持对IT基础架构资源中的数据库、小型机、服务器、中间件等使用情况的自动化管理，导致数据运维不仅费时费力，同时软硬件资源配置利用率也普遍偏低，难以满足数据中心高效性、稳定性等特点，一定程度上大大增加了后期IT资源的运营维护成本。

四、大数据在电力企业的应用分析

大数据的发展符合电力企业发展战略，是电力企业信息化高速发展的必经之路，它将遵从SG-ERP架构，紧密围绕智能电网、三集五大两中心核心业务，通过吸纳业界大数据应用经验，利用现有技术成果，结合实际应用需求，探讨电力大数据应用的发展方向。

（一） 推进电力大数据关键技术研究

电力企业开展大数据建设，亟需紧密结合大数据特性和实际业务需求，依托现有的技术研发成果，积极突破数据存储、数据计算、数据整合与治理、数据分析与挖掘、数据管理与服务和数据展示等六个方面的大数据核心关键技术研究。为满足未来电力大数据高性能的业务处理需求，可考虑从以下四个方向进行：

1. 健全大数据信息安全防护体系。在电力大数据的迅速发展的必新形势下，电力企业信息安全方面也随之产生一系列问题，如敏感字信息过滤、重点关键性数据资源的有力监管等，因此，积极探索及研究面向大数据的信息安全技术，建立健全大数据信息安全防护体系已不可忽视。

2. 建立大数据自主知识产权产品体系。电力企业需集中各方可利用的资源，统一开展应用需求分析、典型设计、自主知识产权产品研发和应用测试等工作，积极为示范试点、全面推广及深化应用等工作积累技术和储备专家人才，从而加强电力大数据环境下自主知识产权产品体系建设。

3. 推进核心关键技术研究。电力大数据技术研究已取得初步成果，下一步还需充分利用这些成果突破数据高性能处理、数据挖掘、数据资源整合等关键核心技术，开展应用集成创新，形成完善的电力大数据技术体系。

4. 筹划大数据标准体系建设。电力企业是资产密集型和技术密集型行业的典型代表，电力大数据覆盖电力企业的基建、生产、运营、管理等各领域，为确保电力企业大数据建设稳步进行，十分需要筹划建立电力大数据技术标准体系，统筹规划现有业务应用系统数据资源，实现统一模式集中管理。

（二）推进电力大数据应用层建设

电力大数据应用层建设可分三个步骤进行：

1. 总体框架编制。集中组织电力大数据专家人员梳理大数据典型应用场景需求，对应不同应用需求类型分类编制总体应用框架，待完成意见征集后，修订发布总体框架。

2. 应用示范试点。依据梳理的大数据典型应用场景需求，选取示范典型，组织编制试点方案，开展应用试点示范，实行全过程跟踪，总结经验教训，形成组织过程资产，纳入大数据应用层建设典型经验知识库。

3. 应用持续提升。深度分析选取的应用示范试点实施情况，进一步挖掘电力大数据价值，提升电力企业辅助决策分析能力，全面推广实施成功大数据应用场景。

（三）推进电力大数据典型需求应用

智能电网将大数据技术引入智能电网的发、输、变、配、用、调度六个环节，支撑实时和非实时信息的高度集成、共享和利用，提高自动化控制水平，促进电源、电网和用户资源的友好互动。

三集五大将大数据技术引入三集五大体系构建的一体化信息平台，处理大量的多样化数据，从而增加系统的整体覆盖面，并强化对决策和服务的支撑。

运监中心，大数据技术用于支撑大量数据的实时同步、处理和展示，提供更精益化的数据管理和更全面实时的业务分析。

客服中心，大数据技术支撑了海量数据的跨业务分析，促进服务质量和服务智能化。

（四）推进电力大数据专家人才储备

电力企业需组织建立大数据应用建设团队，设立团队领导小组，明确职责分工，，同时，需完善电力大数据人才培养机制，加快新技术吸收和应用能力，进一步完善新技术、新知识培训和认证体系，构建多类别、多层次、立体化的专业技术人才队伍。

（五）推进电力大数据协调机制建立

做到分层分级管理，各司其责，形成常态协同机制，统筹推进各类信息技术在电力企业信息化建设中的发展应用，并制定大数据技术研究及应用的全过程管控办法，规范各个环节的管控。此外，还需遵循电力企业信息化应用业务特点，制定符合行业要求和发展的大数据管理办法。

五、效益与展望

本文结合理论研究，围绕智能电网、三集五大两中心核心业务，讨论了大数据对电力企业信息化发展的6个挑战，并从5个方向完成了大数据对电力企业信息化发展的应用分析。

电力大数据关键技术的潜力是无限的，大数据的应用前景是美好的，电力企业已走入了大数据时代，如何充分利用数据挖掘技术，将电力大数据真正落实到电力企业内部各个环节，对电力企业信息化发展具有深远的影响。

展望电力企业信息化发展未来，电力大数据的深入研究是提高电力企业人、财、物核心资源的集中度、调控力、最大限度发挥规模效益的必然之路，电力大数据有助于高度增强电力企业数据的资产价值，深化提升电力企业的经营管理和客户服务水平，真正完全实现“向信息资源应用转变、向资源经营管控转变、向提升经济效益转变”。