雅砻江流域生产数据平台数据接口服务方案分析与探讨

张 竞， 宁 慧， 丁 仁 山

(雅砻江流域水电开发有限公司，四川 成都 610051)

0 引 言

随着雅砻江流域水电开发的不断深入，生产信息化建设也随之不断深入，各个生产业务单元都已经拥有或者正在建设自身的信息系统。这些系统大多为专业系统，为业务开展量身定制，有相对完整的应用、流程及数据的信息处理功能，有自己的技术优势，能较好的支撑各个业务单元工作的开展。

但是，各个专业系统由于系统设计建设的时期不同，业务模式不同，信息化建设缺乏有效的总体规划，缺乏统一的设计标准，大多数系统都是由不同的厂商在不同的平台上，使用不同的语言进行开发的，信息交互共享困难，并且不同应用间对于数据的实时性、数据量要求差异较大[1]。

因此，有必要有效整合分散异构的信息资源，消除“信息孤岛”现象，提高信息共享水平。在此背景下，雅砻江公司建设了一套电力生产数据交换平台(以下简称数据交换平台)。

2 数据交换平台数据管理现状

数据交换平台接口是平台内部、平台与其他系统间数据交换的桥梁。由于各个系统是异构的，所以系统间交互的接口功能、接口方式、接口技术、接口标准都不尽相同。数据交换平台跨越了生产、管理大区，各个节点间的数据流转均通过特定接口方式完成。

2.1 数据采集架构

数据交换平台借鉴了标准软件三层构架体系的思想，基于C/S结构的一种变化或者改进的结构，包括数据访问层、业务逻辑层、表示层。

2.2 数据流转方式

数据流转是数据在整个系统中存储的位置及传输的路径。下图展示了数据交换平台中数据从各个生产系统中采集，通过不同技术传输集成到主数据库中及应用展示的流程。

2.3 数据传输方式

(1)利用数据库连接作为数据传输的链路；

(2)利用操作系统间文件传输的通道；

(3)遵循电力行业标准104协议，建立实时数据传输通道，通过eDNA实时数据库传输计算机监控系统数据。

2.4 接口方式及标准

数据交换平台外送数据接口有推送和主动获取2种方式。目前提供3种数据接口服务技术，其他系统如果需要访问、获取数据交换平台的数据，可以根据下面列表参数和需求进行对比，选取最佳的方案。

数据服务接口标准需要包含以下内容：数据范围、数据提供方式及所用技术手段、数据提供格式、数据刷新频率及方式、安全考虑、校验方式、异常处理等。

3 数据接口服务需求及需求分析

3.1 数据接口服务需求

图1 系统数据流转示意图

表1 数据接口方案对比

随着智慧水电、数字化水电等系统平台的发展，以及上级调度管理部门、防汛管理部门的管理需求，都需要大量底层数据支撑。数据交换平台做为公司生产数据对外部系统唯一的数据出口，从数据类型、数据量需求上看会越来越大，从数据质量上看会越来越高。

3.2 数据接口服务需求分析

3.2.1 数据需求的分析

需要在技术人员和业务人员紧密协作的基础上进行可行性分析，选择最合理的数据。通常，应遵循的原则是：在满足业务需求的情况下，尽量减少数据量，数据刷新的频次。

3.2.2 数据量

一方面需要增加必要的硬件设备，而更重要的另一方面，如何建设合理的系统结构，减少不必要的数据处理环节，如何更有效的管理数据，如何设置合理的冗余，更为关键。

3.2.3 数据质量

数据交换平台数据服务提供的数据必须保证是正确的、准确的，口径也应该是一致的。

3.2.4 时间窗口

如何在指定时间窗口内提供数据服务，一方面取决于合理的数据消费需求，一方面取决于合理的数据处理流程。

3.2.5 多元化

数据消费者需求具有多样性，有些需要明细数据，有些需要汇总数据；有些需要单点数据，有些需要综合数据；有些需要未处理数据，有些需要结果数据等等。应根据不同消费者的需求，对数据进行不同纬度，不同粒度，不同内容的数据加工。

3.2.6 安全需求

从数据安全的角度出发，需要对数据进行管理，让数据消费者只能获取权限范围内的数据。从系统安全的角度出发，需要考虑在提供数据服务的同时，不影响数据交换平台现有功能的正常使用。

4 数据交换平台数据接口服务规划

4.1 数据交换平台架构调整

面对未来可能爆发式增长的数据服务需求，需要对架构进行必要的调整，在兼容目前数据交换平台功能的基础上，提升数据的处理能力，增强对外数据服务能力，并加强对数据存储的管理，使用的管理，流程的管理。

下图是对未来数据交换平台架构的设计，虚线部分是新增的部分。

图2 规划的系统数据采集架构图

4.2 接口规划方案分析

4.2.1 补录数据

补录数据功能是当数据交换平台不能满足数据服务的数据需求或自身应用扩张对数据的需求的时候，对这部分数据补充采集的一个功能。

4.2.2 生产数据仓库

(1)生产数据仓库是为生产管理服务的，其数据来源是生产数据，其系统边界指的是生产管理目前需要的数据和以后业务发展需要的数据的集合。既不能盲目扩大数据采集的范围，同时也必须保证采集数据满足生产管理及数据服务需要。

(2)数据仓库的分析数据一般分为日、周、月、季、年等。日周期数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析，因此，需要合理的区分数据采集频率。

(3)生产数据仓库需考虑未来3～5年的扩展性，数据建模也需考虑合理性，需要在数据仓库方案设置一些中间层，使海量数据流有足够的缓冲。

(4)生产系统数据通常是操作型数据，将数据按照一定的主题域进行组织，在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象，每一个主题对应一个宏观的分析领域，排除对于决策无用的数据，提供特定主题的简明视图。

4.2.3 数据服务器

数据服务器是数据平台系统与数据消费系统间做数据交互的接口服务器。增设该服务器有以下好处:

4.2.3.1 降低系统间耦合度

抛开分钟级，小时级的数据更新处理，数据交换平台服务器有繁忙的时段，相对空闲的时段。因为分析类数据实时要求不是非常高，可以存在一定异步处理，因此可以在计算机闲的时候将大量数据处理任务完成，并在要求的时间窗口前将特定数据推送到接口服务器，而数据消费系统只需要访问接口服务器资源，避免了数据交换平台忙时还需要随时响应外部系统的风险。

4.2.3.2 安全考虑

数据交换平台只需要将数据推送到接口服务器，数据消费者只需要访问接口服务器相关资源，数据交换平台和数据消费者都不需要知道对方系统的密码、账号。

4.2.4 系统调度

未来将面临数据多元化，数据量的增加，处理环节的复杂化，会导致系统处理的繁杂度增加。因此，需要引入专业的调度工具，帮助完成这些任务的配置、运行、管理。调度工具应该具备以下特征：

(1)网络支撑能力，这主要由软件核心网络架构决定，通常需要支持通过EM节点、Server节点、代理节点并以多级的方式进行网络控制；

(2)跨平台能力，支持各种主流操作系统；

(3)稳定性，需实际环境长久的考验；

(4)大规模数据支撑能力，需要支持10万级的任务量；

(5)数据集中管理；

(6)统一应用门户；

(7)图形化的操作界面;

(8)主流应用程序(JAVA，C++，.NET等)，脚本语言，数据库接口的支持。

5 结 语

通过系统架构调整，将可以应对未来可能数据多元化及大量数据发送的需求，同时，将在兼容目前数据交换平台功能的基础上，提升数据的处理能力，增强对外数据服务能力，并加强对数据存储的管理，使用的管理，流程的管理。但是，如何提高生产实时数据对接数据库效率[2]，如何在数据接口服务时，应用风险评估技术，检测网络协议、服务、设备等漏洞，对网络安全防御进行管理[3]，是下一步需要进一步研究的课题。

参考文献：

[1] 裴哲义．水电厂水情自动测报系统和电网水调自动化系统发展回顾与展望．水电自动化与大坝监测，2005.3

[2] 张闻. 实时数据处理和与数据库的接回技术及应用实例.浙江电力，1996.10

[3] 徐红梅.电网调度自动化系统与MIS数据接口.农村电气化，2008.10