基于多源数据的分布式实时数据库迁移技术

王瑾, 刘洋, 曾坚永,邓大为, 仲卫

(1.国电南瑞科技股份有限公司,南京 211106； 2.广东电网有限责任公司 电力调度控制中心，广州 510600)

基于多源数据的分布式实时数据库迁移技术

王瑾1, 刘洋2, 曾坚永2,邓大为2, 仲卫1

(1.国电南瑞科技股份有限公司,南京 211106； 2.广东电网有限责任公司 电力调度控制中心，广州 510600)

随着调度自动化系统的发展，各级调度横向集成、纵向贯通的力度不断加大，上下级模型、数据按需共享的需求不断涌现。而传统模型拼接的模型，信息共享方式操作繁琐，且对于过期模型的清理涉及商用库的操作，存在影响运行系统模型的风险。提出了基于多源数据的分布式实时数据库迁移技术，高效便捷，可有效规避上述风险。分析了目前电网调度自动化系统实时数据库迁移方式的优缺点，介绍了相关的关键技术，该技术在广东中调OCS中成功应用，提高了模型维护效率，保障了模型安全，提升了调度系统一体化运行水平，为省、地级智能电网建设提供了有力的技术支持。

实时数据库；多源数据；数据映射；数据迁移

0 引言

电力系统规模的发展对调度系统提出了更高的需求[1]，国家电网公司提出的“大运行”体系[2-3]，南方电网公司提出的OS2标准化体系[4]，使得各级调度横向集成、纵向贯通的力度不断加大，上下级模型、数据按需共享的需求不断涌现，实时数据库作为自动化系统的底层核心模块[5-6]，承担了大部分实时处理工作，实时数据库系统对横向集成、纵向贯通的支撑能力,很大程度上决定了智能调度系统之间的数据共享和交互能力。

传统上通过模型拼接等手段，借助商用关系数据库和时间序列数据库的支持[7-8]，来实现多级调度系统之间模型、信息共享的需求[9]，这种方式一方面存在着信息共享流程复杂、操作繁琐的不足，另一方面，对过期模型的清理涉及商用库的操作，存在影响运行系统模型的风险。本文提出了一种基于多源数据的分布式实时数据库迁移技术，能够有效地解决上述问题，提升上下级调度信息共享与交互能力。

在现有技术方面，文献[10]研究了一种基于公共信息模型/可扩展标志语言(CIM/XML)文件的电网模型互操作方法；文献[11]介绍了一种基于变电站配置描述(SCD)文件的变电站系统建模方法；文献[12]介绍了一种SCD文件向公共信息模型/E语言(CIM/E)文件的转换方法，这些方法或者必须依托于商用数据库进行模型信息转换、共享，或者处理的数据来源较为单一，本文所述基于多源数据的分布式实时数据库迁移技术，主要体现在可以脱离商用库和多源数据处理支持上，因此，上述技术与本文介绍的技术存在明显差别。

本文在分析现有电网调度自动化系统实时数据库系统功能和数据迁移方式的基础上，梳理各级调度自动化系统目前各种实时数据来源，研究了基于多源数据的分布式实时数据库迁移相关技术，并给出实现方案，展望了应用前景。

1 共享数据来源

实时数据库主要用来存储2类数据：一是电力系统设备模型，二是电力系统运行时产生的实时数据。目前，电网调度自动化系统主要有以下几种数据来源。

(1)CIM/XML文件。国际电工委员会(IEC)颁布的IEC 61970 CIM[13]提供了电力系统设备模型相关的若干个包与类，并且可以描述类之间的关系。在智能电网调度技术支持系统CIM/E规范形成之前，调度系统之间通常使用XML格式文件作为CIM的载体，通过CIM/XML文件来实现调度系统之间的模型交换和数据迁移。

(2)CIM/E文件。电网通用模型描述规范CIM/E语言规范是在IEC 61970-301电力系统CIM的基础上，针对CIM以XML方式进行描述时的效率缺陷所发展起来的一种新型高效的电力系统数据标记语言。 CIM/E语言与CIM/XML均一致地遵循CIM基础对象类，以XML语言描述的电力系统模型与以CIM/E语言描述的电力系统模型支持系统可以相互转换。目前,智能电网调度技术之间使用CIM/E文件进行模型数据交换和数据迁移。

(3)SCD文件。SCD文件[14-15]是符合变电站智能电子设备配置语言SCL (substation configure la-nguage)规范的文件，是变电站监控系统之间数据交换的标准语言，SCD文件和CIM/E文件可以通过多种方式实现转换。目前，来自于智能变电站系统的数据通常使用SCD文件通过模型拼接的方式迁移到上级调度系统。

2 原有的二次迁移方法

目前，实时数据迁移方式通常是一个以商用库为中间存储载体的二次迁移方式。以调度自动化系统为例，在智能电网调度技术支持系统中，电网设备模型的来源是CIM/E文件，首先通过模型拼接或模型导入，将模型数据迁移到商用关系型数据库中，再利用实时数据下装，通过模式定制和数据定制，将模型数据迁移到实时数据库中。从源头CIM/E文件到最终使用者，实时数据库经过一个二次迁移的过程，如图1所示。

图1 CIM/E到实时数据库的二次迁移

该方法是调度自动化系统和变电站自动化系统常用的实时数据迁移方法。优点是可同时处理系统内部和外部的模型数据来源，以关系数据库作为数据来源与实时数据库的中间存储载体，可以利用商用关系库成熟的建模、约束等机制。缺点是信息共享方式操作繁琐，且对于过期模型的清理涉及商用库的操作，存在影响运行系统模型的风险，扩展度低，迁移效率低，在线迁移时可能会给系统运行带来影响。

3 多源实时数据迁移的需求

目前，电网调度自动化系统存在着不同的电网设备模型来源文件，有离线来源和在线来源，其中离线来源主要是上述提到的CIM/XML文件、CIM/E文件、SCD文件等。多源实时数据迁移需要提供基于离线来源的迁移方式，提供从CIM/XML文件、CIM/E文件、SCD文件迁移到实时数据库的技术手段。目前,各级调度系统都已具有调度技术支持系统并已投入使用，这些系统中已经保存有目前的电网设备模型及参数，即在线来源，在线来源通常是商用数据库。多源实时数据迁移需要提供基于在线来源的迁移方式，提供从商用库迁移到实时数据库的技术手段。在线来源还有一个重要的来源，即实时数据库本身。基于实时数据库的数据迁移既有从商用库迁移到实时数据库的优点，又可弥补从商用库迁移效率低、在线迁移稳定性低的缺点。因此，多源实时数据迁移需要提供基于从实时数据库迁移到实时数据库的迁移手段。

随着调度自动化系统的发展，同一领域不同级别系统之间、不同领域系统之间的数据交互越来越多，实时数据迁移需要提供跨领域的、分布式的数据迁移手段，提供对多态、多应用的支持手段，实现面向分布式来源的全景实时数据迁移方法，为多级系统之间的数据交互提供技术和数据支撑。

4 多源分布式实时数据迁移关键技术

4.1基于中间文件的实时数据迁移方法

针对现有实时数据迁移方法数据依赖于商用库，操作繁琐、来源单一、扩展度低，并有可能给在线系统带来运行影响的情况，需要设计一种可满足不同级别调度自动化系统、不同数据来源的分布式实时数据迁移方法。其特征在于，可选择关系数据库、实时数据库、数据文件等不同的模型数据来源，从这些来源中获取生成实时数据库需要的结构信息、模型数据与实时数据，将这些信息首先生成与数据源无关的中间文件，再由中间文件迁移到实时数据库，完成多源数据实时库的数据迁移。基于中间文件的实时数据迁移方法如图2所示。

图2 基于中间文件的实时数据迁移方法

由于采用了多源模式，相比使用商用库的生成途径更加高效；可提供对结构、数据完整性和一致性的校验，确保了实时数据库迁移的安全性；中间文件形式与格式与数据源文件无关，支持对多数据源的扩展。另一方面，首先生成的中间文件数据不在实时系统之内，不参与实时计算，对新增加的模型数据可以选择先校验再迁移到实时数据库的方法，保证数据的正确性和有效性。

4.2多源属性映射技术

属性是实时库表模式重要的组成部分，不同的数据来源包含不同的数据属性，这些数据属性一部分是独立的，一部分是重合的。对于独立的部分，在模式生成时只需创建对应属性即可，而重合的部分主要是指同一实际属性在不同数据来源中可能存在差异，但本质是相同的属性。多源属性映射技术需要建立一种不同数据来源文件中属性的映射关系，建立多对一的映射，在实时数据模式生成中合并相同的属性，去除冗余。

在实现上，本文选择CIM/E文件作为基准，目前CIM/E已成为国际标准，以CIM/E文件作为基础加以扩展，成为映射基准文件。具体实现方式是将其他类型的数据或文件通过属性映射的方式形成CIM/E文件，再通过CIM/E文件迁移到实时数据库中。

4.3在线迁移安全技术

实时数据迁移的数据接收端是系统的实时数据库，在目前电网各个领域运行的自动化系统中，多数应用直接依赖于实时库运行。传统的基于商用库的数据迁移在系统离线情况下具有较高的安全性和可靠性，但在系统在线运行情况下，这种迁移方式有可能给正在运行的系统带来影响，主要表现在：(1)模式迁移需要重新创建实时库表实体，造成一段时间内实时库不可用；(2)由于商用库读写效率较低，部分频繁变动的实时数据在商用数据库中并不存储实际值，在数据迁移后某段时间内造成实时数据的不正确性；(3)从商用库迁移数据效率较低，在迁移过程完成之前，实时库数据的完整性、一致性、正确性受到影响。

因此，需要研究安全的在线迁移技术，消除目前基于商用库的数据迁移给在线系统带来的影响。在实现上，多源数据迁移依赖于数据源文件产生的中间文件和实时数据库自身，在在线迁移过程中不考虑模式的改变，在数据迁移过程中将中间文件中的静态信息和实时数据库自身的动态信息通过对比和整合，迁移后的数据具有数据完整性和一致性，在数据处理上采用数据修改的方式取代原有的清空插入方式，保障在线迁移过程中实时数据库的安全性和可用性。

4.4实时数据库模式迁移技术

目前，基于商用数据库的实时库迁移方法采用在商用库构建表结构再连同结构和数据一起迁移到实时数据库的方法，优点是利用了商用库中成熟的模式创建功能。基于多源的实时数据迁移方法同样需要考虑创建实时库模式的功能，做法是在中间文件中存放各个模型表结构相关信息，如表基本属性、表中域的基本属性、实时库索引基本属性和相关约束信息等，在通过中间文件迁移到实时数据库的过程中创建实时库表结构，同时创建各类型索引，索引通常独立于数据实体[16]。实时数据库模式生成过程如图3所示。

图3 实时数据库模式生成

4.5多态实时数据迁移技术

实时数据库需要支持多态模式，不同态下的实时数据库互相独立，分别满足实时运行类、事故反演类、测试类、未来规划类应用的需求。不同态下的实时数据库通常情况下在初始化生成时具有相同的电网模型数据，测试验证、未来规划等应用会针对需求增加或删除对应态下的模型数据，由于各个态下实时数据库互相独立，这部分新增或删除的模型不会对实时态下各个应用造成影响。多态实时数据迁移如图4所示。

图4 多态实时数据迁移

4.6分布式实时数据迁移技术

在电网调度自动化系统中，分布式实时数据迁移有两层含义：一是同一领域内，不同系统的实时数据迁移，如上下级调度支持系统的实时数据迁移；二是不同领域间，一体化系统的实时数据迁移，如调度/变电一体化系统中调度向变电站的实时数据迁移或变电站向调度的实时数据迁移。分布式实时数据迁移可选在线迁移与离线迁移，以调度/变电一体化系统为例，在调度与变电站一体化系统中，调度中心主站系统的机器性能和网络环境都比较好，通常采用较为稳定的方式，即从关系数据库提取所需信息生成实时库，这时无论响应时间还是对系统性能的影响都不会太大。但在变电站系统中，受现场条件的制约，系统规模较小，硬件配置和网络带宽可能不会很高，从关系数据库生成时需要耗费相当时间在数据检索及网络传输上，此时可选择从实时数据库或模型文件提取，能大大缩短响应时间，降低实时数据库数据迁移时的系统负载。

以广东电网电力调度控制中心新一代调度自动化系统(OCS)(以下简称广东中调OCS)为例，现场采用CIM/XML和目前商用数据库中存储的模型数据为数据多源，通过数据抽取、融合和映射生成中间CIM/E文件，然后再分别迁移至不同应用和节点的实时数据库中。分布式多源实时数据迁移流程实例如图5所示。

图5 分布式多源实时数据迁移流程实例

5 应用情况

目前，随着智能电网调度技术支持系统和调度/变电一体化系统的开发和应用，本文提到的多源分布式实时数据库迁移技术的技术和功能已在广东中调OCS系统等系统中实现并投入使用。

广东中调OCS原本使用基于商用数据库的实时数据迁移方式，由于模型庞大，每次迁移时间较长，而且原有基于商用数据库的实时数据迁移会重新创建实时数据库，必须应用离线操作。结合广东中调的实际情况，采用CIM/XML文件和实时数据库作为数据源，实现了本文介绍的分布式实时数据迁移，可以在线迁移实时数据，并且迁移效率有了很大的提高，效率对比见表1。

表1 数据迁移效率测试 s

注：索引数据78 065条，模型数据165 407条，量测数据983 099条。

经现场测试，使用本文提出的多源数据迁移方法在效率上比使用商用库迁移高3.7～9.0倍。

现场测试情况表明，随着“大运行”体系的进一步发展，省地一体化、地县一体化等系统的使用将会越来越广泛，多源实时数据库迁移技术作为一体化运行系统的支撑手段，具有广泛的应用前景。

6 结束语

本文分析了目前电网调控支持系统实时数据库只有单一数据来源、单一迁移手段的现状，分析了目前系统实时数据迁移方式的优缺点，提出了一种适应智能电网发展、满足调度系统发展需求的，多级调度自动化系统间数据交互的实时库迁移手段，讨论了实时库生成、多态实时数据迁移、分布式实时数据迁移等关键技术的具体实现，并结合目前省地一体化、地县一体化、调度/变电一体化系统的开发给出了应用示例。本文提出的基于多源数据的分布式实时数据库迁移技术，有效规避了现有模型拼接系统对系统运行可能带来的风险，并可针对调度、变电系统不同模型文件提供一体化的实时数据迁移手段，可以有效提升电网调度自动化系统对一体化运行的驾驭能力。

[1]辛耀中.新世纪电网调度自动化技术发展趋势[J].电网技术, 2001, 25(12): 1-10.

[2]艾琳，王超，陈为化.三华特高压同步联网及其对调度方式的影响[J].能源技术经济，2011,23(5):38-41.

[3]荣莉，徐迪，李伟云.大运行体系下智能电网调度支持系统的改革及应用[J].中国电业(技术版)，2012(11):46-49.

[4]汪际峰.一体化电网运行智能系统的概念及特征[J].电力系统自动化,2011, 35(24):1-6.

[5]陆杏全．能量管理系统的实时数据库技术[J]．电力系统自动化，2003，27(6)：1-4．

[6]张慎明，卜凡强，姚建国，等．遵循IEC 61970标准的实时数据库管理系统[J]．电力系统自动化，2002，26(24)：26-30．

[7]戴则梅，葛云鹏，张珂珩，等.电网广域监测系统的数据库集成方案[J]．江苏电机工程，2013,32(1):1-4.

[8]彭晖，赵家庆，王昌频，等.大型地区电网调度控制系统海量历史数据处理技术[J].江苏电机工程，2014，33(5)：11- 14.

[9]赵家庆,季侃,孙大雁，等.电网调度省地一体化试点工程关键技术方案[J].电力系统自动化,2012,36(23):120-125.

[10]刘崇茹，孙宏斌，张伯明，等. 基于CIM XML电网模型的互操作研究[J].电力系统自动化，2003，27(14)：45-48，74．

[11]章坚民，朱炳铨，赵舫，等．基于IEC 61850的变电站子站系统建模与实现[J]．电力系统自动化，2004，28(21)：43-48．

[12]张海东，张鸿，宋鑫，等.SCD模型到CIM/E模型的转换方法[J].电力系统自动化,2012,36(15):91-95.

[13]SAXTON T L．CIM XML interoperability test1 final report[R]．Xtensible So-lutions Inc, 2001.

[14]Communication networks and systems in substations：part 6 configuration description language for communication in electrical substations related to IEDs：IEC 61850-6—2004[S].

[15]黄浩声，许小兵，卜强生.基于IEC 61850标准的定值模型应用与测试[J]．江苏电机工程，2011,30(1):44-47.

[16]王瑾，彭晖，侯勇.基于共享内存的能量管理系统实时库非主键HASH索引[J].电力系统自动化，2011，35(13)：72-76．

(本文责编：白银雷)

2017-04-07；

：2017-05-22

TM 76

：A

：1674-1951(2017)06-0010-04

王瑾(1980—)，男，辽宁大连人，高级工程师，工学硕士，从事电网调度自动化技术相关工作(E-mail:wangjin@sgepri. sgcc.com.cn)。

刘洋(1982—)，女，广东广州人，高级工程师，工学硕士，从事电网调度自动化运行及技术研究工作(E-mail:judy_liuy@126. com)。

曾坚永(1979—)，男，广东清远人，高级工程师，工学硕士，从事电网调度自动化系统运行及管理工作(E-mail:keenwin@126. com)。

邓大为(1975—)，男，广东惠州人，高级工程师，工学硕士，从事电网调度自动化系统运行及管理工作(E-mail:davidzone @163.com)。

仲卫(1988—)，男，江苏南通人，助理工程师，从事电网调度自动化技术相关工作(E-mail:zhongwei2@sgepri. sgcc.com.cn)。