大型地区电网调度控制系统海量历史数据处理技术

彭 晖，赵家庆，王昌频，丁德鑫，丁宏恩

(1.国电南瑞科技股份有限公司,江苏 南京 210061；2.苏州供电公司，江苏 苏州 215004)

随着电网规模不断扩展，同时以资源集中管理、统一调控、优化配置、合理布局为核心的运行管理[1，2]体系建设不断推进，省地间电网调度扁平化管理[3-6]、地县间调控一体化[7，8]运行的需求愈发增强，地区电网调度控制系统监控的范围急剧扩大，监控测点快速增加，传统以商用数据库为基础的历史数据管理技术因占用磁盘空间大，历史数据采样密度低（分钟级），越来越不适应大型地区智能电网调度运行、管理的需求，并成为各类应用进一步拓展的数据瓶颈。这就需要电网调度控制系统[9，10]（以下简称调度系统）采用新的历史数据处理技术[11]。

时间序列数据库（简称时序库）拥有超大规模数据处理能力和高比例压缩能力，支持秒级、毫秒级历史数据存储，可实现海量历史数据[11，12]高效的压缩存储、查询检索和统计分析。结合商用数据库和文件系统，将时序库应用于大型地区调度系统，既可实现海量历史采样数据细粒度（秒级）的存取管理，又可节省磁盘空间，还可有效服务于各类应用。但是时序库表达复杂关系的能力较弱，对非关键字搜索的效率不高，所以对于占用空间相对较少的告警历史信息保存于商用库中。历史图、模CASE 这类非结构化数据，文件管理的效率较时序库和商用数据库效率更高。

国内已有中小型地区调度系统使用时序库的先例[13]，它的实现方式能较好地管理5 万及以下测点规模地调的历史数据，但是其体系架构无法满足苏州等大型地区电网调度系统（苏州76 万测点）各类应用的需要，不能以插件的方式灵活支持多种类型的时序库；在性能上无法满足大型地区调度以不低于百万级测点为目标的历史数据容量和性能需求；在可靠性上，未考虑冗余备份机制；在使用上，未能将应用和各类历史数据有机关联，使用不便。国内还有学者研究了利用第三方插件在电厂监控信息系统中使用时序库的方法[14]、时序库在广域监测系统（WAMS）中的使用[15]、南方电网时间序列库备份方式[16]，但均未涉及到历史数据内部管理技术和适宜于地区电网调度系统的应用。

为了适应地区电网的快速发展和管理模式的转变，结合以苏州为代表的大型地区调度系统历史数据管理和应用需求，文中提出了以时序库为核心，结合商用数据库和文件的历史数据管理技术，以解决大型地区调度系统历史数据管理面临的容量、效率、可靠性方面的问题，并对依赖历史数据的各类应用提供有效的支撑。

1 以时序库为核心的历史数据管理架构

以时序库为核心的历史数据管理体系采用面向服务的体系架构（如图1 所示），应用程序通过数据服务层的隔离和数据访问层的封装来实现各类应用对时序数据的访问。这种设计考虑了对主流时序库[16-18]的支持，规范了应用程序访问时序库的方式，便于对时序库访问进行统一的管理和控制，易于工程安装维护并节省购买时序库客户端的费用。

最下层的数据层是各种时序库及其访问接口，不同的时序库访问方式存在明显的差异。

数据层之上为数据服务层，它首先要封装时序库统一访问接口，以屏蔽数据层各种类型时序库访问方式的差异；其次，由于调度系统和时序库表征量测的方式不同，需要实现调度系统关键字/时序库标签的转换机制来完成采样点在调度系统和时序库之间的映射。文中所述历史数据管理架构下，提供了数据冗余备份机制和为提升容量采用的集群机制，而这2 套机制都依赖时序库监视服务。在数据服务层的上部是标签定义服务、采样定义服务、时序库提交服务和时序库查询服务。

数据访问层包括定义采样点的工具、标签定义功能和提供给数据客户端访问数据服务端的各类接口。

图1 以时序库为核心的历史数据管理架构

最上层是应用层，通过底层封装，应用不关心时序库的类型、部署情况，通过数据访问层接口方便地存取历史序列数据和获取历史断面数据。

商用库数据和集中文件数据的访问也采用了同时序库类似的4 层结构。

2 大型地调使用时序库存储关键技术

2.1 时序库访问插件技术

传统历史数据管理架构下，支持新的时序库存在复杂的设计、开发、维护工作；已投运系统更换时序库也非常困难。通过时序库访问插件技术可较好解决上述问题。该技术包含2个关键点：

（1）时序库统一访问接口。如图1 所示，在数据服务层设计了时序库统一访问接口，该接口通过工厂模式以动态库插件方式对上层服务提供一致的访问方式，屏蔽下层时序库的差异。每个插件动态库匹配一种时序库。

（2）统一的关键字/ 标签映射技术。调度系统用关键字表征数据点，时序库通过标签号来表征，针对不同时序库特点，需要一种统一的关键字/ 标签映射技术（如图2 所示）。

图2 标签定义过程

一些时序库的标签号是调度系统可以直接生成的（如eDNA、Highsoon），对于这种时序库，直接由调度系统按照一定的策略生成不重复的标签号，生成后直接通知时序库的标签定义过程，标签定义过程在时序库中记录这个已定义的标签号。

而另外一些时序库的标签号是时序库内部生成的，譬如主备2个PI时序库，对应同一个采样点的标签号可能不一样。这就需要先借助数据服务端的标签定义服务产生一个唯一且主备库一致的标签名作为桥梁，实现关键字到标签名的映射，标签定义服务将标签名告诉时序库的标签定义过程，时序库根据标签名产生内部的采样定义点和标签号。

客户端可以通过数据服务端的标签定义服务向时序库的标签定义过程根据标签名取得时序库内的标签号。关键字/标签映射也在插件动态库中。

2.2 时序库集群技术

大型地区电网调度控制系统需要海量测点/ 计算点采样处理的能力，而单台时序库服务器的处理能力是有限的，这就需要通过时序库集群的方式解决海量数据采样的问题。

如图3 所示，海量采样数据可以分为多个采样数据集，每个数据集的采样数据存入对应的时序库，多个时序库无交集地覆盖所有采样点，通过时序库集群形成一个逻辑可扩展的时序库池，满足任意数据规模调度系统的历史数据存储需要。

图3 时序库集群

系统可以自动也可手动定义每一个采样点关联到哪一个时序库。但是对于应用程序，完全感知不到系统使用的是一个时序库，还是多个时序库集群。

2.3 数据提交两级缓存技术

文献[10]中时序库历史数据管理采用了基于文件缓存方式，这种方式简单可靠，适合于中小型地区调度系统。但对于大型地区调度系统，这种方式带来的大文件I/O 不仅会影响时序库采样的性能，还会对调度系统其他模块带来影响。文中的数据提交服务使用了共享内存队列与文件缓存相结合的两级缓存机制来解决时序库高效提交的问题，同时还可保证异常情况下历史数据保存的可靠性。

如图4 所示，时序库提交服务包含内存队列缓存和文件缓存两种缓存，围绕这两种缓存有3个线程。当外部请求提交的时候，请求处理线程将请求以结构化的方式存入内存队列缓存。正常情况下，时序库提交线程会及时提交内存队列缓存中的请求，并清空内存已提交缓存队列，不会有信息写入文件缓存。但是当出现异常情况时（譬如时序库故障），已用内存队列缓存长度超过阈值后，内存转储线程将把内存队列缓存的信息写入文件缓存；当异常情况处理后，时序库提交线程将优先提交文件缓存的采样数据，然后提交内存队列缓存的数据。

图4 时序数据提交服务中的两级缓存

2.4 时序库集群动态冗余互备技术

如图5 所示，在横向上，时序库以2个集群的形式出现；在纵向上，2个时序库集群的对应单库存放内容完全一致，互为备用。

图5 时序库集群的冗余备份

这种集群的冗余互备是动态的，譬如上面集群的时序库1 故障，下面集群的时序库2 故障，系统会将下面的时序库1 和上面的时序库2、时序库3、……、时序库n 组成一个新的可用时序库集群（图5的黑实线框），从而保证了时序库集群最大程度的可用性。

时序库提交服务同时向2个时序库集群提交采样数据，当集群中某个时序库节点故障时，时序库提交服务利用3.3 节所述数据请求两级队列缓存技术缓存历史数据，待故障时序库恢复后，再补充提交。

时序库动态形成可用时序库集群，应用感知不到时序库集群的单点故障及交叉故障。

3 基于多维历史数据的应用

3.1 事件驱动的多维历史反演

文献[10]的反演功能只能手动设定反演时间，在最近画面、最新模型基础上结合时序采样数据反演事故前后的状态，不能结合事故当时的图、模，不能联动历史告警，使用上有较多不便和诸多限制。

如图6 所示，文中所述事件驱动历史反演功能中，反演总控台作为核心驱动部分，它从商用数据库获取各类历史事件，用户可以选择任意一个事件（不局限于事故），反演总控台自动根据事件所附带的时间信息，根据用户选择获取CASE 中保存的历史模型、历史图形，并提取对应时间段时序历史数据和历史告警信息，在反演总控台的指令下协调同步滚动显示。

图6 事件驱动多维历史反演原理

事件驱动的多维历史反演可以反演事件前后任意时长的整个事件经过，它优于传统基于报文回放方式的事故反演。传统事故反演事故前后的反演间隔是固定的，不能任意延长，且反演内容仅仅限于事故，而事件驱动多维历史反演不限定事件启动和终止时间，且可拓展到事故以外的其他事件。

3.2 基于精准时间断面的应用分析

依托时序库的精确历史数据保存，系统可以截取任意时刻的断面数据用于分析计算，突破原有分钟级CASE 断面局限，并可联动CASE 保存的历史模型、历史图形（如图7 所示）。

图7 基于时序库精准断面的应用分析

文中所述系统已实现基于时序库的任意时刻数据断面提取，在提取数据断面基础上可进行状态估计及后续的潮流分析、故障分析等应用功能。

正是因为有了这种灵活的数据断面获取能力，应用分析的数据来源真实可信。系统方便地获取关键时刻及其前后的断面数据，对各类分析及仿真应用的数据准备有很大的帮助。

3.3 基于时序数据的报表

基于时序数据库的报表相对于基于商用数据库的报表最大的好处在于统计数据的准确性，这种准确性是靠时序库的高密度历史数据采样保证的，这就克服了关系数据库中统计时间间隔过长的缺点。譬如，每年的极值潮流统计，统计所辖电网最大负荷和出现的时间，通过时序库就可以得到精确的结果，而传统的基于商用库的历史管理很难精确捕捉到这一类关键数据和关键时刻。

报表中的统计内容可以包括最大值、最小值、平均值、负荷率、最大值时间和最小值时间等。

4 现场应用

早期的历史数据处理技术无法满足苏州历史数据规模、历史数据提交效率和可靠性的要求，研发团队针对这些问题研发了时序库集群、数据提交两级缓存、时序库集群动态冗余互备技术，解决了系统投运初期的性能瓶颈和可靠性问题。

结合用户专家提出的生产实际需求，研发团队研发和部署了事件驱动多维历史反演、基于精准断面的应用分析、基于时序数据报表的功能。这些都成为日常运行、维护的有效分析工具。

时序库厂家就库在多个存储的部署、参数调优等方面工作开展了工作，并取得明显效果。

以时序库为核心，商用数据库、文件系统辅助支撑的历史数据管理技术已在全国最大地调苏州调度系统得到应用。该技术的使用很好地解决了苏州调度系统历史数据容量、效率、可靠性方面的问题，实现了历史数据采样密度从分钟级到秒级的跨越。新的历史数据管理机制还有力地促进了苏州地区电网调度各类应用的深化和拓展。

5 结束语

大型地区电网调度控制系统历史数据处理技术解决了集约化、扁平化运行管理体系下，省地协作、地县一体化运行带来的海量历史数据管理问题，为各类应用深化拓展提供精准的历史序列数据、历史断面数据，便于深入观察和分析电网细分阶段特性。该技术能有效促进地区电网调度自动化水平的提升，为地区智能电网建设提供了有力的技术支撑。

[1]余立军.从企业价值链看电网企业“三集五大”集约化管理[J].能源经济技术，2011，23(5)：57-61.

[2]宋晓辉，盛万兴，史常凯，等.模式化电网规划设计方法[J].电网技术，2011，35(7)：123-128.

[3]赵家庆，季 侃，孙大雁，等.电网调度省地一体化试点工程关键技术方案[J].电力系统自动化，2012，36(23)：120-125.

[4]王 彬，郭庆来，孙宏斌，等.双向互动的省地协调电压控制[J].电力系统自动化，2010，34(12)：53-57.

[5]孙大雁，丁 杰，彭 林，等.面向多级调度管理的云搜索体系架构研究[J].江苏电机工程，2013，32(6)：5-7.

[6]蒋 宇，张 勇，胡鹤轩.500 kV 主网电压集中控制模式下的调压方法[J].江苏电机工程，2012，31(3)：17-19.

[7]彭 晖，任 远，宋 鑫，等.基于双核架构的分布式地县配一体化技术支持系统设计[J].电力系统自动化，2013，37(12)：100-103.

[8]缪建国，李云鹏，徐春雷，等.地县一体化调度自动化系统在南通电网的应用[J].江苏电机工程，2011，30(5)：57-63.

[9]国家电力调度通信中心.智能电网调度技术支持系统建设框架[R].2009.

[10]刘振亚.智能电网知识读本[M].北京：中国电力出版社，2010，128.

[11]姚建国，严 胜，杨胜春，等.中国特色智能调度的实践与展望[J].电力系统自动化，2009，33(17)：16-20.

[12]汪际峰，沈国荣.大电网调度智能化的若干关键技术问题[J].电力系统自动化，2012，36(1)：10-16.

[13]黄军高，王首顶，凌 强，等.时间序列数据库在地区电网调控一体化系统中的应用[J].电力系统自动化，2011，35(23)：107-111.

[14]陈 兵，李俊娥，聂剑平，等.电厂实时监控信息系统的设计与应用[J].电力系统自动化，2003，27(8)：81-83.

[15]戴则梅，葛云鹏，张珂珩，等.电网广域监测系统的数据库集成方案[J].江苏电机工程，2013，32(1)：1-4.

[16]余 静，麦绍辉，刘立东.电力系统EMS 数据备份方案[J].电力系统自动化，2009，33(17)：101-104.

[17]淡海英.关于eDNA 实时数据库架构的一点理解[J].陕西国防工业职业技术学院学报，2012，22(4)：10-12.

[18]王 伟，杨 勇，应芳义.基于海迅数据库的应用开发方法的研究[J].电力信息化，2013，11(2)：11-14.