基于用电信息采集系统的大数据共享与应用

金 敏，周 奇，唐 哲

（1.国网江西省电力有限公司新余供电分公司，江西新余 338000；2.国网江西省电力有限公司南昌市新建区供电分公司，江西南昌 330100）

0 引言

用电信息采集系统已基本实现了全覆盖，目前正在深化应用，为其他系统应用提供数据信息共享资源。通过对目前采集系统与其他系统的数据共享交互进行统计分析，用电信息采集系统已为与关口电能量管理系统、电能质量监测系统、PMS、调度管理系统、供电电压自动采集系统、远程实时费控系统、计量生产调度平台、营销业务系统、电能服务管理平台等25个业务系统提供信息及数据支撑[1]。通过研究用电信息采集系统与其它外部业务系统间的数据信息关联关系，在用电信息采集系统的信息数据大平台上充分开发信息、数据共享平台，提供更多业务功能的支撑，实现更多业务系统的大数据高效共享，资源更充分地运用。

1 数据共享设计思路

1.1 构建数据共享服务平台

蓄建设采集系统数据共享服务平台，实现采集系统与外部系统数据共享、交互及统一接口，实现数据交互规范管理，数据交互内容和方法灵活配置，数据交互安全可靠，数据交互在线监测[2]。

1）建立适合多业务数据信息共享的模型

根据各种不同的数据类型、数据传送路径以及各类不同的共享方式，针对性地各自建立数据的共享模型，在数据共享服务平台的管理下，达到采集系统对各业务系统的数据共享的目的。

2）实现信息共享在线监测管理

实时监测所有数据共享服务的运行状态、调用情况、交互流量等信息，并通过可视化功能实现常态化监控。

1.2 实现采集数据发布云服务

运用数据共享服务平台，通过采集数据的云服务，完成采集数据信息的共享服务，最大限度的提供电力用户电量数据、上报信息对其它信息系统的支撑作用。

1.3 预定数据信息共享管理规范

制设采集系统数据的共享需求申请、审批、参数配置等流程管理约定，预先确定敏感性数据、信息所需的脱敏要求，保证数据、信息的共享安全。

2 数据共享方案

2.1 采集数据共享构架

通过用电信息采集系统数据共享服务平台，构建采集系统数据服务器与其他系统之间的数据、信息共享渠道，提供静态数据共享、实时数据信息共享、特定共享等应用。具体共享服务内容如图1所示：

图1 共享服务平台共享示意图

静态数据共享：提取用电信息采集系统的各项指标数据、冻结电量，并按需求进行统计分析推送到共享服务平台。还可根据预设进行灵活配置，完成各种定制需求。

实时数据共享：通过在线及时获取采集系统的各种上报异常事件及信息数据，实时为其它业务系统提供所需的数据信息，满足提出的各类服务要求。

特定共享：为满足营销业务应用系统等与用电信息采集系统之间复杂业务数据信息交互要求，特设置特定共享专为营销业务应用系统提供服务。

共享服务平台在实现数据信息共享的同时，必需具备在线监控和规范管理。主要包括需求管控、配置管控、服务管控等基本管控功能。“需求管控”用于完成对采集系统数据共享所需要的申请、审批、执行等流程进行规范管控。“配置管控”主要对配置共享服务平台访的问权限、配置平台运行参数、配置数据发布模型等权限进行管控。“服务管控”用于对共享服务的运行状态、调用情况、交互流量、共享日志、采集数据质量等信息进行在线监测管控。

2.2 数据共享逻辑架构

数据共享服务平台在逻辑上分为数据层、服务层和应用层三个层级。其中数据层将需要共享的数据在构接口数据库上进行存储和统一管理[3]，接口数据库通过ETL、OGG等方式从在线运行的用电信息采集系统生产库中按照自己的需求进行获取。接口库中的数据信息根据外部系统需要的设置，保留到所设定的时间，超过了设定的保存期则系统自动进行清理。

平台的服务层由计算集群和服务集群组成。其中：服务集群又包括接口服务集群和文件服务集群两部分内容；接口服务集群则按照分布式负载均衡的模式完成对其它系统的各项共享服务，同时还以文件方式为其它业务系统提供大数据下载的服务。

平台的计算集群按照各外部系统不同的数据信息需求划分，包括静态数据共享、实时数据共享、特定共享等三种方式，具体工作流程为，静态数据的共享是采用面向对象的模型与WebService相结合的技术路线，首先其它业务系统将组合对象按照数据模型定义发送到接口服务，接口服务应用共享功能将该对象进行计算解析，将其所需的数据从接口数据库中提取，再将数据对象集合返回；实时数据的共享的技术路线也是采用面向对象的模型与WebService相结合方式，应用采集系统前置机将采集数据信息份两路推送，一路通过采集系统向数据应用推送，另一路通过独立应用抓取等多种方式直接获取实时数据，再将所获取的数据信息向外部其它业务应用系统实时推送各个外部业务应用系统所需求的数据和信息；特定共享指大数据共享服务平台为具有复杂业务的数据信息共享系统开辟一条专用的数据信息共享通道，比如与营销系统的数据共享、与费控管理系统的数据、信息交互等。

平台的应用层分为三个层级，具体包括：需求管控、配置管控、服务管控等支撑业务。这些管控业务功能在平台设计时可以作为采集系统的功能模块来实现，也可设计在用电信息采集系统的技术框架上来完成。

3 数据共享流程

3.1 静态数据共享

静态数据包括计量资产的档案数据、各类冻结数据、电压电流功率等电参数的曲线数据、各类合格率的统计数据、各项技术指标数据等[4]，其对外部系统数据、信息共享服务的具体方式如下：

1）数据对象配置。首先按照外部业务系统所需采集系统静态数据的不同需求，将其所需数据分解为各个最小数据对象，通过数据对象预定共享服务，以便及时从用采系统的生产数据库中将所需的数据获取后，直接提前放置到接口数据库中，为后续的数据共享服务做好准备。

2）数据共享配置。根据数据共享请求的数据类型、所需频度、所需的数据项内容组合等方面，考虑数据共享的模式是基于面向对象的交互方式。采用配置方式能对接口库中的最小数据单元根据不同的请求结合成其所需的数据集合，按需索取，卑职·配置快捷方便。

3）静态数据共享实施。在收到外部系统的数据请求后，静态数据共享接口服务解析外部系统的请求对象，按照动态方法模型首先从接口数据库中获取所需的数据对象，并进行集合。若返回的只是少量数据，则直接回送数据本身；若需要回送的数据量较多，则应按照所需的时间生成数据集合放置在文件的服务节点上，同时通知外部业务系统可以采用下载方式获取该数据的最早时间和最晚时间。外部业务系统需按共享服务平台的技术规范要求，获取所需的数据，并在相应的时间内取走所需的数据，如过期不取，则平台会对过期数据自动清理。

3.2 实时数据共享

实时数据主要是指采集系统的实时负荷数据、电压电流曲线数据、终端异常事件等数据等，对外部系统进行数据共享服务的具体实现方式如下：

1）数据订阅配置。首先根据外部系统的实时动态数据需求，为外部系统配置订阅模式，主要有订阅项目、订阅时间频度要求、订阅内容等，并存放到共享数据库中。

2）实时数据获取。要求采集系统采集前置机集群在收到采集终端实时数据后，通过采集系统前置机分2路分发，或采集系统通过抓取等技术，为统共享服务平台提供实时数据。

3）实时数据共享。将实时数据按需组织，通过接口服务分别推送给相应的外部业务应用系统。

3.3 特定交互接口

部分可信系统的业务应用需要与采集系统进行复杂的业务交互，此类接口也将统一通过接口服务集群实现数据交互，但其接口数据的应用因为其业务特殊性，需要采用独立的接口计算来实现[5]。当前已有的特定交互接口如表1所示：

表1 特定交互业务

4 与营销系统交互案例

4.1 与“SG186”营销管理业务应用系统的数据

示意图如图2所示：

图2 与营销系统数据交互示意图

如上图所示，数据交互主要存在以下2种业务类型，说明如下：

1）在营销管理业务应用系统的电能信息采集业务功能项中：

（a）操作员按照具体业务的要求，按要求编制相应的采集任务，再将该任务发送到采集系统。

（b）采集模块将采集到的数据传递给营销系统供对应的管理业务应用模块使用，实现数据采集任务的闭环。

2）在营销管理业务应用系统的电能信息采集业务功能项中：

（a）操作员按照电量采集、费控、负荷控制等业务需要，将控制任务发送到采集系统执行。

（b）采集系统将控制参数下发，并将下发结果发送给营销管理系统相应的业务应用模块，实现控制任务完成闭环。

4.2 数据流描述

营销业务应用管理系统主动发送到用电信息采集的数据见表2。

表2 营销发送到采集的数据表

电量实时数据包括购、供、售的电量、电流、电压信息等,是自动采集获取的电能量数据，数据量巨大，采集频率很高（如各类曲线数据），单独对其数据进行存储,从数据获取方式上看属于自动转入数据，从数据来源上看包括原生数据、再生数据，从获取频率来看既有实时（准实时）数据也有非实时数据。这部分数据有频繁的写操作，而且数据变动量也相当巨大，可以说是周期性数据中数据增长周期性很短的一个特例。虽然这部分数据量巨大，但是每个数据都具有时间这一要素。根据时间来进行分区设计，从而优化数据访问。

5 大数据共享特点

5.1 大幅减轻用电信息采集系统服务器数据交换的负荷压力

采集系统过去要分别向二十余个业务系统推送数据，负荷压力很大，采用大数据共享平台后，只需向大数据共享平台推送数据，供其它业务系统使用，大大地降低了采集系统的数据推送负荷压力。

5.2 数据交换更加稳定、可靠、合理

采用大数据共享平台后，增加了安全验证策略，为实际业务提供了更合理的应用服务。共享数据的稳定性、复用性、可靠性度得到提高。

5.3 数据交换的效能得到提升

采集系统过去要分别向二十余个业务系统推送数据，负荷压力很大，速度慢，效能低下。采用大数据共享平台后，只需向大数据共享平台推送数据，负荷压力小，效能大幅提升。

5.4 数据交换的效能得到提升

提出适合不同业务平台实际情况的信息处理与智能分析手段，建立统一的支持多业务实现的接口平台，打破“信息孤岛”，为用电信息的实时高效处理提供保障，也进一步为智能电网的高效信息化提供坚实的发展基础

6 结语

研究并应用适用于多业务需求的用电信息采集数据共享平台。研究用电信息采集系统相关业务平台的数据类型及相关属性、信息共享模式、信息存储方式、数据挖掘和信息交互技术，分析各业务平台间的相互关联关系，提出适合不同业务平台实际情况的信息处理与智能分析方法，建立支持多业务数据共享的平台，并实施应用，为用电信息的实时高效处理提供保障。