基于快照技术的场景化数据管理的研究

吴京京，丁捷，蒋小龙，孙荣西，王景燕

(南瑞集团公司(国网电力科学研究院)南瑞研究院, 江苏， 南京 211106)

0 引言

为满足智能电网一体化运行的需求，基于云计算及大数据等理念设计的调度控制系统云平台应运而生[1]。调度控制系统云平台的建设需要接入包括全业务各专业系统内的业务数据，从而为后续各级应用提供基础数据支撑[2]。目前系统间数据交互方式种类繁多、流向复杂交错。随着调度控制系统云平台的逐步开展，大大提高了数据集成工作的难度。因此，有必要从全局角度对所有数据传输任务的运行状态进行实时监视，从而提高数据集成的流程规范化及开发效率。

为了能够应对庞大的数据快照管理，实现电力系统场景化数据管理功能的深化和应用，本文开展了基于快照技术的调控云端场景化数据管理的研究。快照一般被定义为一组文件或目录在某个指定的时间节点的副本。快照技术实现了在短暂的时间段内大量数据的备份，并且能够不对应用系统的性能造成严重的影响。当备份的文件目录被移动或者进行写操作时，通过快照技术实现数据的存储，可以保证数据的完整性，不会导致备份失败。快照技术目前普遍应用在存储网络行业领域，主要是在高性能计算、人工智能技术及应用方面实施快照管理技术[3]。本文将该技术引入调度控制系统用做数据管理，实现了对大量全业务实时数据的秒级存储，对实现电网及设备画像分析提供了更加精准的实时数据源。

目前，调度系统的数据管理模式主要有2种：一种是直接在Ⅰ、Ⅱ区进行源端数据管理，再将数据分析结果上传到云端，结合Ⅲ区数据进行展示；一种是Ⅲ区同步Ⅰ、Ⅱ区数据后，再在Ⅲ区进行数据管理。并将分析结果上传到云端展示。本文提出的基于快照技术的场景化数据管理方法是将源端数据直接上传到云端，结合Ⅲ区OMS/PMS系统数据及云端气象、环保节能等共享平台数据，分不同的场景在云端进行统一数据管理、分析。该数据管理方法同时涵盖了源端及云端几乎全网全业务各个场景的数据。数据更加多元化，覆盖范围更加广泛，真正实现了对海量数据的统一管理分析。以大数据分析的视角，从时间、空间、对象等多维度展现设备或电网相关联的全维度数据规律，从而为调控生产人员更好地监测、预防与决策提供服务支撑，实现电力系统场景化数据的深度分析。

1 场景化数据管理

场景化数据管理是系统实现特定环境下完整数据的存储和管理的公共工具，便于调控生产人员使用指定场景的数据开展分析和研究。通过利用数据关键特征，对电网历史运行状况的事后分析、评价、反演，找出薄弱环节，提出优化策略，指导后续电网运行优化，为电网的规划建设提供参考。同时结合调度专业知识，运用深度学习技术，对多时间尺度下场景数据中特征信息的关联对比分析和深度挖掘，实现对电网当前状态及发展趋势的描述，给出电网异动和优化运行辅助决策[4]。

典型的场景化数据包括省、地、县三级调度机构的全业务系统数据，涉及了EMS数据、OMS/PMS数据、保信数据、DMS数据、电能计量数据、输变电监测数据、WAMS数据、气象数据、环保节能数据等，其中，EMS依托省调已经建成的模型数据中心系统，OMS/PMS系统接入设备台帐并实现与EMS一次设备模型的对应，其他系统数据接入依据名称等对应关系。其结构如图1所示。

图1 场景化数据

场景化数据按照业务数据分类包括结构化数据、半结构化数据和非结构化数据。其公共管理功能包括多种类型数据(集)及其组合的定时生成、触发生成、删除、查询、共享、对比等[5]，如表1所示。

表1中，模型数据是系统的模型和静态参数信息。商用库模型数据快照的生成和管理通过模型多版本功能实现，场景化数据管理提供根据指定时间查询最近断面内模型数据的接口。多数应用会使用到的实时库模型数据快照，通过定时全量读取，或者增量响应模型变化读取实时库数据的方式生成。

表1 场景化数据内容分类

实时数据是应用的数据信息，实时数据的来源包括即时读取实时库的记录数据和应用程序在运行中产生的内存数据，可以是全表记录或者是某张表的某几个字段的值。实时数据断面通常按一定配置规则定时保存，在一定情况下也会由应用程序触发进行保存(实时性更强)。

由于遥测变化数据的数据量巨大，采取对常态数据滚动压缩存储、对指定时段数据永久转存，并统一解压读取。

2 关键技术

数据快照是对汇集、融合后的全网全业务数据同一时间断面的数据进行切片后的全断面数据，快照管理功能具备对全省范围内省、地、县三级调度机构全业务系统数据进行快照生成、快照存储、快照管理、快照对比功能。其中，源端生成的数据通过Kafka上传到云端进行统一存储管理。首先，高级应用在调度控制系统Ⅰ、Ⅱ区进行分析计算，将结果等信息通过快速生成管理工具，触发式保存成压缩文件和参数信息。同时，在源端的快速生成管理工具还提供定时保存计算值等信息的功能。

其次，通过广播的形式，将生成的文件及参数信息由消息从Ⅰ、Ⅱ区穿过隔离发送到Ⅲ区，再由Ⅲ区通过Kafka上送到云端。存储过程如图2所示。

2.1 快照生成

利用基于同一时间断面，集中将同一时刻的模型、实时以及非结构化数据，在快照的基础上进一步分析反应电网及设备当前运行状态。快照的生成实现了在历史电网状态分析中参照历史时刻的模型及参数的功能，解决了采用历史运行数据对应当前模型及参数进行电网分析出现偏差的问题[6]。将同一时刻的全业务数据生成在文件中，解决了无法支撑所有数据汇集的问题。

图2 源端数据快照存储过程示意图

快照生成包含实时数据快照、模型快照、非结构化数据快照等。其中实时数据快照生成，通过定时/触发保存实时数据，或采用大数据SQL引擎读取指定时刻的历史运行数据来完成。模型快照生成，通过定时/触发(全量)或响应模型的变化(增量)从关系库中读取数据来完成。非结构化数据快照生成，通过定时/触发(全量)或响应非结构化数据的变化(增量)，通过分布式文件服务系统读取非结构化数据文件来完成。其中，实时数据快照生成流程示意见图3。

图3 实时数据快照生成流程示意图

2.2 快照存储

采用分布式文件系统恢复海量数据的快照的存储，通过E格式文件的方式将电网全息数据生成多个文件，不同业务数据采用统一时标，时标相同的业务快照文件存储在同一目录下作为一个完整的全网全业务快照[7]。

快照通过采用带时间戳的文件存储方式，保存在关系数据库中。实现了多活配置快照存储，在海量数据的前提下，大大优化了存储所占带宽资源，缩短保存时间以及减少数据占用的调控系统空间，提升了服务性能[8]。实现了支持多元化的数据类型的存储。快照存储示意图如图4所示。

图4 快照存储示意图

模型快照存储采用多版本的关系数据库实现。系统周期性定时存储全网模型，同时定时刷新，每隔一段时间读取一次模型，其周期及读取时间间隔都可自动设置，并且当模型有变化时，将变化的表以增量的形式保存下来。

2.3 快照管理

快照的管理通过云端的快照管理工具来实现。快照管理工具对电网快照及设备画像进行查询、分析、管理，检查数据有无损坏是否可靠等，实现了直接查询展示电力系统场景化数据，避免下装数据，减少对运行系统的影响。并且通过数据分析，定期删除不需要的数据，减少调控系统资源的占用。

根据不同的请求类型，完成快照管理的请求任务，不同的操作类型对应不同的内部函数进行处理，并最终调用数据层的快照处理功能子模块。形成返回结果后,返回到服务总线，最终到达客户端，并由客户端根据不同的请求函数生成结构化结果返回。快照管理流程示意图如图5所示。

图5 快照管理流程示意图

2.4 快照读取

以时间线为轴，在任意时间断面，以读取断面的时间点之前最近的静态快照及其之后所有变化的动态快照组合生成完整的快照。大大缩短了对海量数据读取的时间，以及减少了所占调控系统的资源。为智能分析电网快照及设备画像提供了支撑。图6是快照读取示意图。

实时数据快照可直接读取存储的断面文件；模型快照将变化的增量模型快照下装到内存库，与关系库中保存的时间点最近的全网模型快照拼接成此刻断面的完整模型；非结构化数据快照可将增量文件与时间点之前最近的全量文件拼接成此刻断面的完整文件。快照读取流程如图7所示。

图6 快照读取示意图

图7 快照读取流程示意图

3 应用案例

目前，该数据管理方案已应用于某省调控云系统平台上，为实现对电网及设备运行状态的自画像提供了数据基础，从而实现从传统的物理建模发展到数据驱动，进而演化为调度实时运行控制提供知识引导。

传统的数据管理及基于快照技术的场景化数据管理方法的对比如表2所示。

表2 数据管理方法对比

传统的数据管理方法首先在Ⅰ、Ⅱ区存储数据，每个断面的时间间隔为60 s，在源端完成数据管理及分析，并将分析后得到的结果上传至云端展示。故云端存储的是分析后的计量数据。所能够展示的数据量小，覆盖的数据范围窄。并且，云端展示的画面信息是受到网络传输延时影响的滞后的数据源。数据的新鲜度低；本文所采用的基于快照技术的场景化数据管理方法，是采用快照技术快速存储断面，每个断面的时间间隔为10 s，并将源端数据直接上传至云端，由云端进行统一的数据分析管理，实时性更强，减少了网络延时误差。数据管理几分析所包含了源端及云端的数据，数据量大，覆盖范围广。

由于传统的断面数据包含EMS源端数据，场景化数据包含了EMS、OMS、PMS、共享平台、视频系统、电量系统等多元化数据，云端的数据断面覆盖范围明显增大，每个断面约为传统断面大小的100倍。

4 总结

随着智能电网调控云系统的产生和发展，全业务的海量数据已经转变为一种基础资源。省地全网、全口径、全业务的模型、参数、环境与运行数据等越来越多的数据逐步形成了电网整体的连续运行数据快照。传统的数据管理方法已无法对省地海量数据建立设备或局部电网的运行状态画像分析模型。本文开展了基于快照技术的电力系统场景化数据管理方法的研究，开发了相应软件以应对庞大的数据管理，实现电力系统场景化数据管理功能的深化和应用。

目前，本文提出的数据管理工具可以通过用户配置按时间段定期清除所存储的断面文件。但是，由于数据分析、反演，需要保留一定时期的大量数据，所以后续该数据管理方法还有待提升和完善。可设计更加灵活的方式自动清除断面文件。例如，可配置定期清除无数据变化，无天气变化，节假日变化等信息的数据。基于快照技术的场景化数据管理方法的应用价值还可以进一步挖掘，以充分利用现有的数据源，更好地为各业务提供服务。