电力调控大数据集成及管理技术分析

肖伟

（国网湖南省电力有限公司邵阳供电分公司，湖南 邵阳 422000）

0 引言

就实际状况而言，当前电力企业的数据源通常来自于电能使用以及电力生产过程中的调度、用电、配电、变电、输电以及发电等不同环节；从总体上来看，一般能够划分成三大类；其中包括：（1）电力企业日常管理过程中的相关数据；（2）电力企业日常营销过程中的相关数据，包括用电客户、售电量以及交易电价等不同方面的数据；（3）电网日常运行过程中与设备监测或者监测过程中产生的相关数据。借助各种智能终端设备，如智能电表等能够收集电力系统日常运行过程中相关的实时数据信息，并能够自动对收集的电力大数据实施全面的分析、处理与管理，从而实现电网实时监控的目标。

1 电力调控大数据集成及管理技术在电力调控中的重要性

1.1 提高运营效率，优化客户体验

大数据集成及管理技术能够显著提高电力企业的运营效率并优化客户体验。对于电力企业而言，运营效率主要涉及支撑功能优化、资产管理、需求预测、产品与网络管理以及收益保证等方面的内容。而通过大数据集成及管理技术对客户关系进行优化、定制优惠服务政策、创新主动营销策略，能够优化客户体验[1]。以实际案例来看，某电力公司使用大数据集成及管理技术发现，当停电之后，若是恢复供电的实践可以比用户预期的时间提前十分钟，则客户反馈的满意度最高；但是，如果电力系统恢复供电的时间比用户预期的时间早两个多小时，则会降低客户的满意度。而客户满意度直接决定了客户的留存率。事实说明，电力企业使用大数据集成及管理技术能够降低客户的流失率，从而降低成本损失[2]。

1.2 大数据集成及管理技术显著提高电力企业营销服务水平

用电客户可以通过永洪一站式大数据分析平台，把大量详细的数据信息上报给电力企业业务部门，之后由业务部门自动完成数据分析、管理、应用等工作。通过对电能信息采集、电能计量、电费管理、客户服务、市场和综合管理、新兴业务以及有序用电等不同方面的分析，企业管理人员能够全面掌握电力营销服务工作落实的实时状况，从而有效监测营销稽查工作指标、新兴业务工作质量指标、有效用电落实、能效管理成效、智能电表、电费管理以及客户服务等各项营销服务工作实施状况[3]。

1.3 大数据技术在精益调控中的作用

（1）电力系统安全智能预警广泛应用在电力调控中心中，能够对预案过程进行科学评估。而面对人们对于电能需求的进一步增加，传统预警方式已经无法满足电力系统发展需求。随着大数据技术的应用，其能够借助数据分类处理以及储存技术，进一步提高数据处理的时效性；同时还能够构建先进的智能预警系统，从而实现全网的一体化方针，并能够对各种类型的故障问题实施定位与追踪，还能够对电网运行安全实施合理科学的评估，为当前电力调控系统的全面发展奠定了良好的基础[4]。（2）广域源荷互动的优化调度在当前电网调控系统之中，在风电、光伏等间歇性新能源的并网容量超过一定的比例之后，若是单单依靠发电机组对电网实时调控，则很难保持用电平衡状态，且无法发挥电网调控的真正作用。而随着大数据技术在电力调控中应用深度与广度的提高，使得具备海量数据的需求量可被控制资源信息也被慢慢应用到电网调控计划方案中，并可以借助大数据处理技术，对电力系统日常运行过程中的调控运行信息实施在线处理与实时储存，切实提高了电网的调控能力，从而实现了资源的优化配置[5]。

2 电力调控大数据集成及管理技术分析

针对当前电力调控系统具备的安全性要求高、高效访问、多种类以及数据大容量等特征，笔者结合相关工作经验，将研究对象定位以调控海量数据管理为中心的数据集成及管理技术；具体包括研究满足智能电网大容量、多种类数据存储需求的不同数据库存储技术以及研究分布式存储与管理技术。

2.1 电力调控大数据存储需求

电力调控大数据往往包括模型数据、历史数据以及实时数据等结构化数据；语音数据、DTS教案、波形文件、电网综合故障报告、CASE断面等非结构化数据以及高频变化的时间序列数据。不同的业务对数据访问性能的要求也存在差别。一个数据一般不能满足全部需求；因此，应当研究将不同种类数据库技术相结合的数据库管理技术，使其能够适应各类特点与场景，相互补充。数据存储的设计关键在于保证使用高效、科学、正确的数据存储结构，确保不同种类的运行数据能够正确划分到与之对应类型的数据库中，符合相对应的设计原则；这样就能够最大限度对程序应用的有关工作进行简化，包括代码、报表以及查询等。电力调控系统中的数据类型大致可以划分成四大类，其中有文档资料、基础数据、电网模型以及运行数据；这些数据都存储在分布式文件库、关系数据库以及时序数据库中[7]。

2.2 分布式存储技术

2.2.1 Hadoop系统结构

在分布式系统中，Hadoop是一个基础结构；其实现了分布式的文件系统（下文简称为HDFS）。HDFS可以为巨量数据提供存储空间，其是Hadoop结构中至关重要的一项核心设计。

HDFS具有诸多优点，其中包括：（1）能够通过用流的形式对文件系统中的数据进行访问；（2）其提供了高吞吐量，从而实现了应用程序数据的访问；（3）具有较高的容错性。

除HDFS之外，对于Hadoop结构而言，其核心设计还包括MapReduce。

2.2.2 Hive工具

Hive是以Hadoop为基础的一种数据仓库工具；Hive日常运行过程中需要得到Spark、TEZ、MapReduce的支持，同时使用HDFS当作是数据存储。其主要优势在于：（1）支持数据的优化与挖掘；（2）支持扩展与输入格式的耦合；（3）能够提供与SQL相似的查询功能，并当作是标准的分析工具；（4）能够在不用的文件或者数据格式上直接进行查询；（5）兼容maps、lists以及sturcts等不用种类结构化数据。

针对大量结构化数据的存储问题，MapReduce在及时解决SQL查询问题方面，难度较大。这是由于Hive的操作接口通常使用SQL语法，提供了快速开发的能力，省去了编写MapReduce的程序，大幅降低了开发技术人员的学习成本，并使Hive的功能得到一定的扩展。

2.2.3 HBase数据库

作为开源数据库的一种，HBase主要用来存储非结构化的数据，其主要特征包括面向列以及分布式。HBase通常是以Hadoop分布式文件系统为基础，从而实现了读写数据的实时性，具有较高的可靠性。而HBase的优点在于：（1）不含有确定的索引，能够自动分区，并可以自动处理新节点或者线性扩展，具有较高的容错率；（2）因为是以HDFS文件系统为末班，所以具备高并发读写操作功能；（3）能够对数据进行自动切分，显著提高数据存储的水平可伸缩性；（4）列动态数据增加，同时只有在存储数据之后，空间容量才会变化。而其缺点也十分明显，包括：（5）当HRegion在进行分裂或者压缩的过程中，会出现暂时性读写堵塞的现象；（6）不具备条件查询功能，智能通过RowKey进行查询。

2.3 电力调控大数据存储方式

2.3.1 电力调控大数据系统中分结构化类型数据的存储

针对前文所述的非结构化类型的数据，这些数据除必须的存储之外，部分数据还要求能够进行数据备份或者数据共享。基于此，需要利用HDFS分布式文件系统来对这类非结构化类型的数据进行存储。其一方面能够切实满足巨量数据存储的实际需求，另一方面也可以提供较高的吞吐量来对这部分非结构化类型的数据进行访问。

2.3.2 电力调控大数据系统统一数据仓库数据

对于电力调控大数据系统而言，其所包含的数据仓库通过需要借助HDFS分布式文件系统进行存储，同时通过Hive工具实现数据仓库中相关数据的管理与查询。这是因为HDFS文件系统可以实现巨量数据的存储，同时使用Hive如同使用普通的关系型数据库相同，数据操作十分便捷。

2.3.3 电力调控大数据系统的指标管控应用相关数据

就当前实际状况而言，电力调控大数据指标一般涉及同业对标指标、专业管理指标、关键绩效指标以及电网运行分析指标等。指标定义的数据通长包括业务处室、计算周期、计算公式以及维度等方面，存储对象一般为MySQL数据库，其优势在于查询效率较高。指标计算所涉及的分钟级量测数据往往存储最近一年内的全部数据。量测数据的典型特征就是数据量大，同时指标计算应当对量测数据实施查询操作。基于此，一般需要通过HBase数据库对量测数据进行储存。这是由于HBase数据库是以HDFS文件系统为基础，具有存储巨量数据的功能。不仅如此，HBase数据库和Hive工具相比，前者数据查询的效率显著高于后者[8]。

3 结论

综上所述，笔者结合实际工作经验并查阅相关资料，对电力调控大数据集成及管理技术展开详细论述。首先分析了大数据集成及管理技术的重要作用；然后，阐述了电力调控大数据集成及管理技术中电力调控大数据的存储需求；接着详细讨论了电力调控大数据集成及管理技术中几个关键基础；最后，介绍了不同类型数据的对应存储方法。望通过本文的探究，给同行一些启发与参考。