基于大数据技术的用电信息采集系统创新研究

郭浩宇

（上海大学管理学院，上海 200444）

1 用采系统介绍

1.1 用采系统

中国智能电网包含了电力系统的发、输、变、配、用和调度各个环节，它以充分满足用户对电力的需求和优化资源配置为前提，确保电力供应的安全、可靠，实现对用户可靠、经济、清洁、互动的电力供应和增值服务。其中，智能用电与采集在坚强智能电网的建设中具有十分突出的地位和作用，它作为构建坚强智能电网的重要支柱和六大环节之一，是实现智能电网各项功能的基础和物理载体，同时也是社会各界感知和体验坚强智能电网建设成果的主要途径[1]。

电力用户用电信息采集是智能用电体系建设中的一个组成部分，通过对配变下集中器以及电表冻结数据的采集和分析，实现用户电力数据监控，市场化交易、负荷曲线管理、计量在线监测、台区线损分析，最终达到自动抄表、用电检查（防窃电）、电力需求预测和节约用电成本等业务目标，是全面实现营销业务管理的基础，也是支撑公司服务水平提升、业务转型升级、管理提质增效的基础，为加速推进营销数字化专项建设，公司能源互联网生态圈的构建夯实了重要的数据基础[2]。

1.2 智能化采集

随着智能用电体系建设工作的推进与用电采集水平的不断提高，自动抄表应运而生。自动抄表可以实现终端，电能表冻结数据的远程透召与抄读。电力营销部门通过这种方式可以实时获取电力用户的实际用电状况，了解范围内整个台区、整条线路的用电负载情况。通过主动上报的设备事件，也可以提高电力部门的故障感知能力。目前，计量设备大多使用4G运营商专网、光纤等方式进行数据上下行运输。自动抄表一般通集中器，采集器对现场表计的冻结数据进行轮召，然后上传至用采主站，通过用采主站对报文数据进行解析、拼装、计算、入库，定期传送至营销系统以便于营销完成电费出账[3]。自动抄表相比于人工抄表、半自动抄表的方式，节省了大量人力物力，也提高了整体数据的精度与准度。随着信息化技术、网络技术与芯片技术的飞速发展，可以运用于自动抄表方面的技术也越来越多。这些技术提高了计量设备的可靠性、准确性与多样性，也从每天的单一数据采集转变成高频多样化采集，为实现营销多样化业务分析提供了数据基础。

2 采集系统现状及分析

现有用电信息采集系统于2010年上线，采用传统Oracle集中式数据存储，数据计算依赖存储过程。覆盖采集终端36.8万台，覆盖电表数共1 080万具。日冻结（1 052万用户）采集全量执行完成耗时3小时；专变/公变/重点用户（20万）电压、电流、功率因素等曲线采集，每2小时执行一次，每执行一轮耗时1.5小时左右，采集入库和计算效率较低。上行通信方式以无线公网为主（98%～99%），电力光纤为辅（1%～2%）。现有采集系统主站的架构、性能及硬件资源已经不满足新形势下各类业务日益增长的数据要求，系统也暴露出以下问题。

1）高频数据采集能力不足。用户曲线等高频数据采集及时率较低、无法支撑业务需求，实时召测功能并发请求数支撑不够，容易造成堵塞。

2）数据入库能力不足。随着接入用户规模和采集数据量的持续增长、采集频度和交互时效性的日益增加，要满足运检、发展、交易等专业提出的电压、电流、功率、电量等数据的小时级采集与推送需求。目前数据存储采用传统存储架构，性能提升困难，数据采集入库过程存在积压滞后问题。

3）数据计算效率不足。用电信息采集系统中存储海量数据，需要对其进行分析、统计、计算等工作。许多统计分析需要查询历史数据进行迭代计算，目前相关业务逻辑在数据库中实现，此类统计计算导致采集数据库负载较大[4]。

4）数据分析能力不足。随着数据增长以及数据的实时性不断提高，需建立“数据接入-数据质量分析-数据治理”的计量数据资产质量管控体系；同时对停电事件进行甄别与诊断、户变关系识别、失准更换、采集设备质量评估、通信信道评估等，需应用人工智能和大数据技术，挖掘海量采集数据的价值困难，数据分析效率较低。

5）国网标设快速响应不足。国网标设规定了用电信息采集系统主站软件标准化设计的细则要求，对用电信息采集系统主站软件在技术指标、功能、数据库、界面、系统接口、安全防护等方面作了明确要求，现阶段不能快速响应，不满足国网营销部标准化设计要求[5]。

6）新型业务快速拓展不足。随着智能表全覆盖工作的快速推进及分布式电源接入、多表合一采集、同期线损、远程费控等新型业务的快速扩展，且采集系统主站对外服务的日益增多，现有用电信息采集系统不满足新型业务拓展需求。

3 基于大数据技术的用采系统架构创新

伴随着上一代用采系统逐渐落后的技术与大数据技术的成熟与崛起，上海电力公司于2018年下半年启动了新一代采集主站升级前期准备工作，通过兄弟网省交流了解和内部讨论，学习、熟悉建设技术路线，为构建新一代采集系统奠定基础。

3.1 大数据平台研究

从功能分析、性能分析、稳定性、可扩展性等方面对Oracle数据计算和大数据计算对比，如表1所示。

表1 Oracle计算与大数据计算对照表

为了满足采集系统未来业务发展带来的海量数据实时处理需求，需要采用大数据技术作为数据计算业务的支撑平台。

Hadoop是目前世界上最流行的分布式数据处理框架，利用Hadoop架构先进、稳定的组件如Hbase、Spark、ZooKeeper等，及Kafka消息中间件实现采集系统数据计算和数据分发入库业务。

HBase（Hadoop Database）是一个分布式的、面向列的开源数据库，是运行在Hadoop集群上的数据库，利用Hadoop HDFS作为其文件存储系统，具备高可靠性、高性能、面向列、可伸缩等特点。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群，在实时读写、随机访问超大规模数据集时性能卓越[6]。

Spark 是专为大规模数据处理而设计的快速通用的计算引擎，可以处理所有Hadoop支持的数据，它保留了MapReduce的优点，而且在时效性上有了很大提高，基于内存的运算要快100倍以上；而基于磁盘的运算也要快10倍以上，为需要迭代计算和有较高时效性要求的系统提供了更好的支持。Spark Streaming，构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片段（几秒），以类似batch批量处理的方式来处理这小部分数据。

ZooKeeper是一个分布式应用程序协调服务，它为分布式应用提供一致性服务的软件，提供的功能包括配置维护、域名服务、分布式同步、组服务等。

Kafka是一个分布式的、可划分的、多订阅者、冗余备份的持久性的日志服务，以consumer为中心，消息的消费信息保存的客户端consumer上，consumer根据消费的点从broker上批量pull数据，无消息确认机制。通过ZooKeeper管理所有的Kafka节点，负责资源协调、负载均衡等任务[7]。

3.2 大数据改进后系统架构

大数据计算平台实现用电信息采集系统电量曲线、负荷曲线、在线率统计等实时数据计算，以及电量统计、负荷统计、线损计算、指标统计等离线计算；主站定期统计全量数据入库时间，实现对数据采集效率的有效监测，便于及时调整数据采集策略；主站完善全量数据采集质量分析监控功能，实现对全量数据的漏报误报、事件数据频报等的分析监控[8]；主站根据数据漏报特点，制定合理的数据补召策略，充分挖掘通信潜力。整体数据流程如下。

1）通过数据抽取工具将档案数据、对象模型或其他业务数据从Oracle抽取到分布式数据库HBase中。

2）通过Kafka消息分发和分布式入库程序，将采集数据入库并行写入到Oralce和HBase。

3）Spark计算应用程序读取HBase的数据，并封装成多个RDD对象，计算程序通过对RDD的操作，实现各类计算业务逻辑[9]。

4）Spark计算应用程序将计算结果以消息的形式发送到Kafka的特定topic中。

5）摆渡程序监听Kafka的消息，并通过分布式入库程序写入到Oracle和HBase。

4 新一代用采系统创新影响

新一代采集系统前置服务器的承载能力得到巨大提升，单台服务器的任务并发数量，从500提升至30 000，增长到60倍。上海全网1 100万全量用户的日冻结电量采集任务，执行一轮的时间从4小时减少至20分钟，缩减了12倍。上海全网26.7万用户（除HPLC）负荷曲线数据，从之前的6小时/轮减少至目前的22分钟/轮，缩减了约18倍，初步达到了上级公司重点用户小时级数据采集需求。对集中器用户，新系统上线后成功率提升显著。低压用户的正向有功、反向有功等电量日冻结数据，整体成功率提升至98.5%以上。非HPLC用户的正向有功等电量日冻结数据，成功率基本持平，整体成功率维持在98.3%左右。

新一代采集的数据库采用传统Orecle库与大数据Hadoop库共存的方式，数据清洗、数据处理、分析计算、实时查询等后台功能，都得到了指数级提升[10]。据初步测试，采集数据出账二次研判效率提升18倍，计量装置在线监测功能数据研判效率提升13倍，公变台区线损分析计算效率提升10倍，采集指标数据监控分析实时性提升10倍。

5 结论

综上所述，在我国电力企业数字化转型过程中面临着很多困难和问题。但是，随着外部数字化技术的不断发展，大数据技术的不断成熟为电力采集的管理与更新换代提供了基础与技术支持，改变了目前落后的数据采集方式与管理能力，创新了电力采集的新平台新架构。总体来说，本市采集系统目前在电费回收、用电检查、线损管理、配电网运行监测、配网故障抢修以及供电服务支撑等多个专业应用中发挥了重要的作用，已成为公司营销决策分析的重要支撑之一。电力公司应当充分利用数字化技术优势，结合海量电力数据，注重采集管理方式与新业务的持续创新，进而采取相应的管理对策，提高采集管理的水平，从而充分发挥数据采集在智能电网中的作用，发挥电业企业在我国的作用。