配网自动化规划设计之数据集成平台的研究与应用

肖培根，李海涛，朱 凌，邓惠华，何奕枫（.广州海颐软件有限公司 电力综合应用部，广东 广州　50000；.广东电网有限责任公司 电力调度部，广东 广州50000；.广东电网有限责任公司惠州供电局 电力调度部，广东 惠州　5600）

配网自动化规划设计之数据集成平台的研究与应用

肖培根1，李海涛2，朱 凌3，邓惠华3，何奕枫3
（1.广州海颐软件有限公司 电力综合应用部，广东 广州510000；2.广东电网有限责任公司 电力调度部，广东 广州510000；3.广东电网有限责任公司惠州供电局 电力调度部，广东 惠州516001）

文中介绍一种配网自动化规划设计关联数据抽取与归集方法。具体包括归纳配网自动化规划设计技术支持系统所需数据项，研究通过SOA架构采用总线和数据集成平台的方式整合EMS、DMS、生产、GIS、计量自动化、营配信息集成等信息系统数据的方法和技术方案；建立的信息模型和数据集成平台能对数据进行抽取、清洗、整合，保障数据质量、可靠性及可维护性；研发数据平台功能模块，完成数据集成平台部署以及与其他系统的数据整合。

配网自动化规划设计；数据抽取与归集；信息模型；数据集成平台

目前广东电网配网自动化建设已普遍开展，但是在配网自动化规划建设方面尤其是在配电监终端选点、终端配置类型、网架结构优化等方面缺乏具有较强指导意义的理论科学研究，缺乏有效的数学模型来准确地描述配电网的网架结构、负荷分布、运行状态等情况，没有系统的配网自动化智能决策技术支持系统，指导、支持配网自动化建设规划及智能决策工作。

本文的研究范围是数据平台建设及配网自动化规划设计所需要的数据集成，具体包括归纳配网自动化规划设计技术支持系统所需数据项，研究通过SOA架构采用总线和数据平台的方式整合EMS、DMS、生产、GIS、计量自动化、营配信息集成等信息系统数据的方法和技术方案；建立的信息模型和数据集成平台能对数据进行抽取、清洗、整合，保障数据质量、可靠性及可维护性；研发数据平台功能模块，完成数据平台部署以及与其他系统的数据整合。

1　数据平台的总体介绍

1.1平台概述

数据集成平台需要集成 EMS、生产、GIS、调度自动化、配网主站等信息系统数据，实现调度、生产、GIS等跨系统、跨业务的数据集成平台，高效支撑配网自动化规划设计全过程。

数据集成平台主要包括数据接入、数据整合、全景数学模型、数据存储、数据发布共享服务、数据质量监测、数据平台管理监控等功能。能够实现各类关系形数据库、Excel、文本文件、XML、Webservice及特殊定制接口的数据接入功能；实现数据质量监测和容错预处理功能；实现图形化的管理监控功能；实现基于服务、数据总线、数据库中间库技术的数据全量、增量标准统一发布共享服务。

图1　配网规划软件总体架构

1.2技术架构

配网自动化规划设计技术支持应用系统建设，需要整合EMS、DMS、生产、GIS、计量自动化、营配信息集成等信息系统数据进行可靠性、经济性以及电能质量等计算任务，数据源头众多、结构多样、数据量大、数据质量差异性大，目前尚没有针对性的信息模型和数据平台支持，因此需要建立数据集成平台，对数据进行抽取、清洗、整合，保障数据质量、可靠性及可维护性。

平台采用图形化的数据整合、监控、维护界面，实现数据集成管理的可视化，提高系统的易用性；支持集群部署方式，提高集成平台的可靠性；对大数据量的整合过程可针对性的设置并发线程，缩短处理时间，提高整体整合速度；可方便接入各种关系数据库、Excel、文本文件、XML、Webservice等数据源，对于特殊数据源可开发插件进行支持；采用 java脚本、正则表达式、SQL语句等方式灵活对数据质量进行监控和容错预处理；提供基于数据库、WebService、文件等多种方式的数据订阅、推送服务。

图2　数据集成平台技术架构

1.3技术特点

1.3.1数据仓库技术

数据仓库是一个面向主题的、整合的、稳定的、并且时变地收集数据以支持管理决策的一种数据结构形式，它是信息层的数据集成方案。

数据仓库可由数据源、数据准备区、数据存储、应用工具和用户界面组成（如图3所示）。

数据源的作用是提供原始的数据，这些数据一部分来自电网内部的现有的信息系统，如EMS、DMS。另一部分来自企业外部，如第三方提供的数据等。数据源是建立数仓库的基础。数据仓库中存储的数据和数据源中的数据在格式和内容上差别很大，这个差别可由数据准备阶段的数据抽取、清洗、转换和加载来消除。应用工具OLAP、数据挖掘完成对数据仓库中数据的再次加工，然后提交给用户。元数据是数据仓库本身信息的数据，连接数据仓库的所有部分。

图3　数据仓库

数据仓库是一种紧耦合的数据集成，是一种“数据驱动”的模型。“数据驱动”是将各个数据源的数据预先集成，并存在共享库中，供用户直接查询和分析，好处是可以提高系统性能和响应速度，而且可以保存大量有用的历史数据。

1.3.2集成管理可视化

惠州供电局配网自动化规划设计技术支持系统数据的整合、监控、维护，采用图形化的界面，利用实时数据图形、动态饼图、动态表记图等实现数据集成管理的可视化，通过图形直观地分析系统数据，提高系统的易用性。

1.3.3可接入不同数据源

对于来自于不同应用系统的数据，它们的数据类型、大小可能不尽相同，因此系统必须方便接入不同的数据源，包括：各种关系数据库、Excel、文本文件、XML、Webservice等，对于特殊数据源还可开发插件进行支持。

1.3.4基于ETL的数据转化策略

数据集成是监控系统应用的重要环节，配网自动化规划设计技术支持系统开发科技项目数据集成平台各种分析数据所依赖的基础数据基本来源于其它系统，因此，能够快速获取准确、有效的基础数据是监控系统能够正常运行的基础。配网自动化规划设计技术支持系统开发科技项目数据集成平台从基础数据结构设计、数据抽取和数据转换几个方面进行了综合考虑。

2　数据平台的外部集成方案

2.1外部集成概述

配网自动化主站作为整个系统基础平台，规划设计技术支持功能模块作为配网自动化主站的一个应用存在，系统通过配网自动化主站的信息交互总线和数据平台与相关系统建立接口，获取规划技术支持模块所需的基础数据，然后进行可靠性指标的分析计算。下图是相关系统间数据流向展示图。

2.1.1数据抽取原理

数据集成平台的主要功能是对数据进行抽取、清洗、整合，保障数据质量、可靠性及可维性。需要整合 EMS、计量自动化调度、生产、GIS、营销等信息系统数据进行可靠性、经济性以及电能质量等计算任务，数据源头众多、结构多样、数据量大、数据质量差异性大。

数据仓库可以作为数据集成平台的一个独立的数据环境，需要通过抽取过程将数据从脱机的数据存储介质和外部数据源导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与各个业务系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。

源数据可以分为基础数据和运行数据。对于基础数据，基本台账数据和拓扑结构通过业务系统webserver接口经企业总线服务推送给数据集成平台，而基本用户信息利用Oracle的导入导出工具，先将存量数据由业务系统导出，再由数据集成平台数据库导入；对于运行数据，可以采用ETL工具进行批量数据抽取，这样数据集成平台可以通过kettle工具直接抽取数据，从而减少webserver推送报文的解析过程。

图4　数据流向展示图

2.1.2服务接口类型

数据集成平台的主数据来源于各业务系统，采取如下数据服务接口：

1）实时服务：数据集成平台通过业务系统提供的Web Service服务，实时更新文件服务器；

2）批量模式：数据集成平台通过oracle的导入导出工具进行传输；

3）准实时接收：数据集成平台通过ETL方式实现数据的批量传输。

图5　数据集成平台接口方案

如上图所展示，数据集成平台对外的接口可以分为几个类型：实时服务、批量传输、准实时接收。

1）实时服务接口

①接口方式：WebService

②数据内容：基本台账数据和拓扑结构

③数据源系统：配网生产系统/GIS系统

④数据存储：文件服务器

⑤同步机制:配网主站系统监控营配信息集成系统，当有一条线路的台账信息发生变更时，就通过WebService将变更信息以xml文件方式发送到数据集成平台。

2）批量传输接口

①接口方式：oracle导入导出工具

②数据内容：用户基本信息

③数据源系统：营销系统

④数据存储：oracle数据库

⑤同步机制:每个月利用oracle导入导出工具更新一次营销用户信息。

3）准实时接口

①接口方式：ETL工具抽取

②数据内容：运行信息

③数据源系统：计量自动化系统和EMS系统

④数据存储：oracle数据库或者时序数据库

⑤同步机制:计量系统每隔15分钟发送一次E文件，EMS系统每隔5分钟发送一次E文件，通过kettle抽取保存在数据库中。

2.2外部集成具体实现

下面分别对每个外部系统集成的实现及数据交换方式进行具体描述，包括与EMS系统、DMS系统、配网生产系统、GIS系统、计量自动化系统及营配信息集成系统的接口。

2.2.1EMS系统

与能量管理系统（EMS）做接口，配网主站和EMS系统之间具备了完善的双向传输功能。EMS将实时库中的全网模型数据（包含网络拓扑、网络参数）通过文本文件方式上传到数据集成平台，配网自动化主站抽取相关数据生成配网自动化主站的主网模型。

2.2.2配网生产系统

与配网生产系统做接口，在数据集成平台之上实现与配网自动化规划设计技术支持系统的无缝链接与数据、流程互通。实现设备资产全活动周期的跟踪管理。

2.2.3GIS系统

与配网GIS应用系统做接口，配网GIS应用系统主要负责提供整个配网网络图形和网络拓扑、线路及配网设备的相关参数。将相关参数数据通过Webservice方式上传到数据集成平台。实现配网信息的信息共享，并保证配网信息的规范性、准确性和完整性。

2.2.4计量自动化系统

与计量自动化系统做接口，计量自动化系统主要负责提供变电站关口遥测计量终端、大用户负荷管理终端、配变监测计量终端以及低压集抄设备采集的用电信息数据。将计量相关数据通过文本文件方式上传到数据集成平台。使用统一交互协议，一致的交互方式和协议将有效提高系统复用能力，使计量自动化接口得以快速部署和统一运维，减少故障隐患和方便日常维护管理，并且可以充分整合现有系统资源，简化计量自动化主站的开发工作量。

2.2.5营配信息集成系统

与营配信息集成系统接口，营配信息基础系统主要提供厂站相关信息、计划停电、故障停电等信息。将营销、配网相关数据上载到数据集成平台，实现营销数据实时更新以及配网自动化数据共享。配网自动化规划技术支持系统提供需要共享到集成平台的数据表以及需要ODI统一调度的WebService服务，集成平台调用配网自动化规划技术支持系统的WebService服务和把其中的数据表以WebService形式提供给其他业务系统访问。

3　结　论

文中是对配网自动化规划设计技术支持系统开发科技项目数据集成平台的研究和设计，寻找一种整合EMS、DMS、生产、GIS、计量自动化、营配信息集成等信息系统数据可靠性计算、经济性以及电能质量等计算任务的方法，迎合配网自动化智能决策应用系统建设，形成配网自动化智能决策全景模型，建立配网自动化智能决策数据集成平台。数据平台通过信息模型的支持，对数据进行抽取、清洗、整合，保障数据质量、可靠性及可维护性。实现对关系型数据库、Excel、文本、xml、Webservice等数据源的接入，实现基于数据库中间库、Webservice、数据总线的统一标准数据输出。支持集群部署、并发计算，1天内完成月度数据集成，支持过去三年未来五年的数据存储。

［1］王仲，陈晓鸥.基于XML的数据交换与存取技术研究［J］.计算机工程与应用，2015（24）:108-111.

［2］王林青，顾建炜，曹一家，等.基于CIM/CIS的电力实时信息平台设计与实现［J］.电力系统及其自动化学报，2008，20 （1）:46-51.

［3］任义，凌玉华，廖力清.基于IEC61970标准的异构数据源间数据转换方法的研究与实现［J］.安徽电力，2006，23（4）: 51-54.

［4］刘翔.中小企业数据交换平台的研究和设计［D］.武汉：华中科技大学，2006.

［5］于晓慧.J2EE架构下数据库访问的性能优化研究［J］.计算机应用研究，2005（4）:90-92.

［6］张诗军.基 于X ML WEB数据库数据发布及信息提取系统的设计与实现［D］.广州:暨南大学，2007.

［7］杨小燕，廖清远.基于数据中心平台的数据整合研究［D］.长沙：湖南大学信息科学与工程学院，2011.

［8］孙宏斌.李鹏.李矛，等.中国南方电网在线分布式建模系统研究与设计［J］.电力系统自动化，2007，31（10）:82-86，91.

Research and application of data integration platform for distribution network automation planning and design

XIAO Pei-gen1，LI Hai-tao2，ZHU Ling3，DENG Hui-hua3，HE Yi-feng3
（1.Power Application Department，Guangzhou Haiyi Software Co.Ltd，Guangzhou 510000，China；2.Power Dispatching Unit，Guangdong Power Grid Co.Ltd，Guangzhou 510000，China；3.Power Dispatching Unit，Guangdong Power Grid Co.，Ltd.Huizhou Power Supply Bureau，Huizhou 516001，China）

This paper introduces a distribution automation planning and design related data extraction and collection method. Including induction distribution automation planning and design technical support system data items，research by SOA architecture by bus and data integration platform of integration of EMS，DMS，production，GIS，measurement automation，camp with information integration and information system data method and a case；the establishment of information model and data integration platform of data extraction，cleaning，integration，guarantee the data quality，reliability and maintainability；research and development of data platform function module，the deployment of data integration platform and other system data integration.

planning and design of power distribution automation；data extraction and collection；information model；data integration platform

TN0

A

1674－6236（2016）11-0038-04

2015-06-01稿件编号：201506014

肖培根（1989—），男，广东广州人，硕士研究生。研究方向：电力配网软件。