基于大数据技术的电力营销应用

2018-11-19曾晓洪上官朝晖应君裕黄文杰

通信电源技术 2018年10期

曾晓洪，上官朝晖，应君裕，黄文杰，杜端

（湖北华中电力科技开发有限责任公司，湖北武汉 430077）

0 引言

随着营销信息系统应用实用化的不断推进，各营销信息系统在负控管理、配变监测、低压集抄、抄表结算、用电检查支持、负荷管理、有序用电、优质服务、线损分析以及营配系统数据支持等方面发挥了重要作用。同时，表计规模数据的不断扩大，系统应用的不断深入，系统的数据分析功能也越来越重要。面对海量的用电数据信息，进一步挖掘这些数据的应用价值成为当前需要研究的重要课题。

通过对用户用电行为的分析、研究与实现，至少可以产生以下几个方面的价值。

（1）通过数据挖掘和分析，为用户用电提供精细化指导，帮助用电用户节电、节费，提高用电管理水平；

（2）通过用电行为分析，为各级电力公司的供电、生产、防窃电等领域提供数据支撑；

（3）通过对海量数据分析，筛选存在故障或潜在故障的终端和表计，产生终端或表计运维工单，为设备运维提供良好的数据支撑；

（4）积累海量实时数据处理经验。

1 营销海量数据技术研究

海量数据高级分析应用系统的难点在于在海量数据中寻找有价值的信息，需要与各营销信息系统对接，获取原始数据，并按照一定的规则库对数据进行加工和分析，形成指导生产和决策的信息。从技术上而言，需要解决海量数据处理的性能问题、存储空间问题和系统的伸缩性问题。为解决以上问题，可引入基于网格的NO-SQL内存数据库、海量数据存储数据库以及基于SOA的服务架构。网格内存数据库可以减少对关系型数据库的I/O访问，并且依赖自身的同步机制做到数据实时同步。海量数据存储会占用非常大的空间，如果没有对数据进行压缩存储，会耗费非常大的存储空间，利用数据仓库产品对数据进行压缩存储，并不会对数据的访问性能产生太大影响，是解决海量数据存储和访问较好的方式[1]。

1.1 采用实时库完成海量数据处理

随着设备接入量的增加，每一时刻接入的数据量都非常大。为了获得对更新与查询速度极快的响应，满足实时应用的需要，可采用实时数据库作为热点和近期数据的缓存，以提高系统的吞吐量和响应能力。

实时数据库将数据库和实时系统两者的概念、技术、方法和机制实现无缝结合。数据主要存放在内存中。数据访问时，磁盘I/O访问效率极高。有效的数据同步机制能将内存中的数据同步到磁盘，既能保证高效访问，又不易丢失数据，可满足营销信息系统在大规模接入设备后实时反映电网运行状态的需求。

在网格内存中，使用基于服务节点的Fast海量上下文查找、基于设备特征模式的数据处理技术和多个JVM虚拟机架构的技术，可以轻松满足高可用性的和高灵活性的应用需求。

1.2 构建海量数据存储架构

随着系统规模的日趋扩大，智能电网相关需求和数据类型日趋增多，数据存储量日益扩大，数据增量持续增加，业务使用量持续增大，数据交互量更甚于此。如何高效处理数据，是营销信息系统应用领域和智能电网领域必须研究和解决的问题。

立足于现有的营销信息系统，全面收集和集中存储电力公司的业务数据，并建立物理数据模型，对采集的数据进行各种规整处理。依据各部门的实际应用需求，设计相对应的逻辑数据模型，对用户用电行为数据进行收集、清洗，并存储在海量数据库中。

依据系统中数据信息访问频率随时间变化的特征，采用数据分别按应用类型和时间轴分层存储的总体设计原则，为不同类型的数据分配不同类别的存储介质，以提高存储效率，减少总体存储成本[2]，如图1所示。

图1 数据存储框架

1.3 按数据应用特征分层

根据不同的数据特征，系统将数据从逻辑的角度分为用电库、分析数据库和档案数据库。

1.3.1 用电数据库（MUDR）

用电数据库存储用户的基本用电原始信息。原始数据经过清洗、计算和估计后，形成完整的、正确的用电信息。

1.3.2 分析数据库（Analytic DB）

存储按照分析主题汇总加工的数据。所有的数据挖掘都是基于分析数据库进行的。

1.3.3 档案库（Asset DB）

存储用户的基本档案信息。系统通过外界接口将档案数据定期同步到本系统。除存储基本的用户档案信息外，档案库还存储各种档案的逻辑关系，如站、线、变、户关系等。

1.4 面向服务架构SOA

面向服务的体系结构（Service-Oriented Architecture，SOA，也叫面向服务架构）是指为了满足业务集成的需要，通过连接能完成特定任务的独立功能实体实现的一种软件系统架构。SOA是一个组件模型，将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在该类系统中的服务可以以一种统一和通用的方式进行交互。用营销信息系统将一些标准的应用封装为SOA的服务，提供接口及应用的访问服务。因此，可以很好地保证整个系统的处理逻辑一致性，同时可以将不同的SOA服务整合成为相对复杂的应用。用户用电行为的分析可以基于SOA的组件，对用电行为趋势、异常和数据查询，通过对已经封装的接口服务进行调用，以达到灵活组合、分析的目的[3]。

2 营销海量数据处理分析

2.1 数据处理应用架构

从营销业务应用系统、用电信息采集和远程费控等营销系统同步原始数据，并对数据进行分类存储。在数据挖掘中，采用自学习商业逻辑模型，在数据导入时，根据实际的数据修正预先定义的模型，使分析更加准确。海量平台系统提供基础的数据应用，基于档案库和AMI（Advanced Metering Infrastructure）数据库查询用户的用电基础信息。同时，系统提供对分析数据库的深度挖掘，在分析数据的基础上实现数据集约化。

2.2 数据处理技术架构

2.2.1 用电数据和分析数据分离

系统数据来源于电力营销信息系统。将数据分为用户档案数据、用电数据和分析数据。用电数据存储在AMI数据库中，分析计算后得到的应用数据存放在分析数据中。

2.2.2 当前数据和分析数据存储分离

由于数据规模较大，现场的数据库环境由以前的事务型数据环境变成了海量混合型数据环境。为了确保系统稳定健康的运行，采用分析数据和当前数据分库存放技术来进一步完善系统建设。分析数据存储在大型数据库中。由于当前数据使用的频率非常高，存储在分布式的内存数据库中[5]。

2.2.3 构建历史数据库和数据存储模型

根据电力营销信息系统总体设计架构，历史数据存储模型的构建原则如下：

（1）与电能量运行数据概念一致，便于理解和分析；

（2）数据组织优先考虑提高查询效率；

（3）数据组织有利于数据的定期加载；

（4）从生产数据库中加载到应用分析数据库的数据一般不再进行修改；

（5）方便系统功能开发，允许适当数据冗余，在此前提下尽可能降低存储空间的占用；

（6）便于完成数据的备份和灾难恢复。

数据存储基于海量数据库存储，数据库自带压缩技术，可以将多个数据处理分别部署到不同的CPU中执行，提升了系统的处理速度。

2.2.4 数据模型转换

电网模型是一个复杂的模型。关系型的数据结构可以很好地描述这些业务关系，但是存在比较明显的不足。例如，查询数据时，需要关联多个节点，导致查询效率低，而本系统通过模型转换建立节点与数据的直接关系，在查询数据时无需关联多个节点，直接将节点与数据关联即可。

2.2.5 海量数据异常处理技术

异常数据处理分两个部分，一种是坏数据的处理，一种是电力营销业务自身的非常规数据流程处理，如补采、手抄补录和追加等。探索数据异常处理技术制定数据处理的标准流程，并固化到数据管理中。

可在海量数据中提供以下几种异常数据处理。

（1）无效数据处理。系统召测的数据被告知是无效数据时，系统能标识这部分数据，且系统提供配置，判断无效数据是否参与后续数据的计算，作为计量或电网运行状况分析的依据。

（2）数据缺失。当数据采集失败时，系统有一定的修复机制自动补采缺失的数据。自动补采失败的情况下，允许人工启动数据补抄流程。补抄得到的数据自动完成后续数据的计算和分析。

（3）数据缺失无法补抄成功时，可经人工录入将数据补录到系统中，并参与正常数据分析流程的计算。

（4）数据缺失且无人工录入时，系统提供一定的数据修补策略填充缺失的数据，并参与后续数据的分析和计算。这部分数据会给出明确的修补标识。

所有数据都会给出明确标识，以区分数据的来源、有效性和可信度。

2.3 数据处理底层算法优化

2.3.1 数据总线服务

为数据访问提供一个数据访问总线，以期达到如下目标。

（1）提供统一的数据源访问接口，数据源可以成为缓存、数据库、外部接口或者符合一定条件的任意数据的存储设备；

（2）业务逻辑与数据存储分离；

（3）提供统一的数据服务，数据总线为后台数据处理、WEB应用和对外接口提供数据服务接口，实现数据共享；

（4）实现数据缓存，提高数据访问性能；

（5）连接安全措施，能有效地加密连接，即使在网络被监听情况下，也能保证数据的安全性、完整性和可校验性；

（6）能够实现对访问者的操作控制、查询操作记录以及对访问者进行权限控制。

数据分析流程如图2所示。

图2 数据分析流程示意图

数据总线由通用API、访问组件以及中间通道构成。采用何种中间通道，由具体的数据源确定。数据首先从内存的实时数据库中读取，若未获取到，则根据配置选择其他的数据源获取数据，并根据数据的特点和时效性确定是否要将获取到的数据同步到缓存中。

数据写入时，对于事务型当前应用数据库，使用JDBC访问；对于历史数据库，定时导入格式化文本文件。

数据总线可为外部系统提供实时数据交互，并根据配置主动将数据发送至外部接口，或根据数据请求实时发送数据，可通过TCP/IP、WebService和文件等方式提供数据。

2.3.2 底层算法优化

优化用营销海量数据分析底层算法，提高应用功能在海量数据环境下的运行效率，如图3所示。

图3 数据处理流

对于需要大规模计算的数据分析、数据统计功能，可提前进行计算存储，以达到提高系统统计、分析效率的目的。

（1）对于大访问量影响系统使用的情况，可以增加系统查询的数据来源，一些数据可以采用实时缓存的方式，降低系统查询时的资源使用，释放数据库I/O访问；

（2）对于数据量查询巨大的系统功能，可以进行分段查询或中间环节做出数据统计的方式，减少大数据量访问的功能触发，减轻数据库访问压力和WEB服务器压力；

（3）在WEB功能上对数据查询时，针对时间跨度大的查询操作要进行用户提示。

WEB数据查询采用后台分页模式，在查询的数据量很大时，每次只从数据库中提取当前页需要展示的数据。

3 营销海量数据应用挖掘

用户的用电数据中隐藏着用户的用电行为习惯。对这些用电数据进行多维度挖掘分析，并进一步对用户进行归类，可以帮助供电企业了解用户用电的个性化、差异化服务需求，从而帮助供电公司进一步拓展服务的深度和广度，为电力需求侧响应政策和电力营销政策的制定提供数据支撑[4]。

3.1 用电数据辨识、评估

系统针对不同的用户群，可以配置不同的识别规则组，以便达到最佳的数据辨识效果。通过配置规则组内的各个子规则，识别过滤异常数据，确保结算数据正确性。对于缺数、无法采集到的数据，通过一系列的评估规则，给出最合理的数据。系统对数据修补具备自学习功能，自动匹配最接近实际情况的数据用于数据修补[5]。比如，在采集过程中，发现某些时段缺数，最常见的修补数据方式是直线修补。

数据分析系统提供的大数据处理引擎技术，会根据设定的规则找到最接近缺数那天的用电数据，选取缺数时段的数据进行数据修补，使数据更加符合实际情况。此外，可以根据用电情况对比，乘以相应的比例系数，如：

可开发设计一系列的规则库，然后用户可以根据实际情况，配置使用最符合应用要求的规则库。

3.2 可疑窃电行为分析

识别窃电行为是复杂的数据分析过程。用户根据生产情况，随时增加或减少用电负荷。如何在变化的用电数据中过滤出有可疑窃电行为的用户，需要通过一系列事件、营销信息系统采集到的相关数据进行多维度数据分析，并建立漏斗型识别模型，最终筛选可疑窃电清单，并按照可疑程度排序，指导用电稽查[4]。

除自动识别窃电行为外，系统综合展现用户的用电情况、停电事件、停电恢复事件以及电表编程参数更改事件等数据，方便通过人工方式确认用户是否存在窃电行为。

3.2.1 判断依据

（1）用电异常

系统能定时每天/每周进行用户用电异常分析。电量分析的数据包括本日（月）与上日（月）电量的比较。当变化范围超过一定阀值时，得到用户用电异常清单。电量变化阀值可以由用户根据实际情况进行配置。

（2）失压、失流等报警事件

根据用户计量设备的报警事件，如失压、失流和计量门打开等异常事件，结合计量设备的负荷数据进行综合分析，得到准确的用电异常清单。

（3）线损异常

根据10kV馈线线损、台区线损中线损异常的数据进行分析，得到对线损异常影响较大的表计，将其标识为用电异常清单。在进行线损数据分析时，要结合线损数据的同比、环比数据进行综合分析，锁定电量异常的表计。

（4）停电事件

通过停电事件，结合用户负荷、电量等数据进行综合分析，判断出准确的停电信息，为用电异常排查提供数据支撑。

3.2.2 判断过程

判断流程如图4所示。

图4 判断流程图

分析结果。根据用户的用电情况及营销信息系统提供的事件，经过一定的数学模型进行分析后，得到用户窃电嫌疑清单。最后，系统将清单提供给相关部门。

3.3 用户用电设备负荷分析

通过分析用户的负荷情况，筛选过载的线路、变压器以及接近过载的线路和变压器，为线路和用户扩容提供数据；按过载的频率、过载的容量，提供技改优先级排序的名单；系统可以从宏观（整体）和微观（单台变压器）两个方面提供变压器负载情况的分析数据。

应用范围：

（1）根据用电设备负载率数据趋势分析，为用户提供用电建议；

（2）对用电设备负载异常的用户提供报警信息，及时提醒用户关注；

（3）对长期过载运行的设备，给出风险警示。

3.4 用户用电特征分析

分析用户用电量、用电负荷、用户行业、用电性质、峰谷电量比例、最大需量以及功率因数等数据，建立用户用电信息模型，提出用电行为改善方案，指导其合理用电、科学用电、经济用电。根据用户的用电特性，可以为用户用电趋势分析提供数据支持。另外，通过用户用电特性数据的综合统计，为政府机关或主管部门提供不同的用电报表。比如，用电行业、用电性质的电量报表可以反映当地的经济结构，为电网结构的优化调整提供数据支持。