基于多数据源校验的配电网数据质量在线监控方法与实现

管荑 郭伟琪 沈涛 王先富

摘 要： 随着配电系统地不断扩大，配电网中地电气设备数量也急剧增加，并且对电网运行数据质量要求更加精确。由于大规模随机操作监视和控制信号数据导致活动分发网络中的各种应用程序无法快速有效地提取有用信息，对此提出基于复杂事件处理（Complex Event Processng，CEP）的智能数据处理技术，通过ETL（Extract-Transform-Load）工具制定算法库、规则库，规则库可以通过嵌套查询、组合操作和模式匹配来确定，算法库可以打包内存分区和多线程处理，融合字频统计、关键字识别和消除等算法，从而实现对多数据源校验的配电网数据质量进行在线处理。

关键词： 配电系统; 电气设备; 复杂事件处理; 在线监控

中图分类号： TP393      文献标志码： A

Method of Onlne Montorng of Dstrbuton Network Data Qualty

Based on Mult-sgnal Congeston and ts Realzaton

GUAN T1， GUO Weq2， SHEN Tao2， WANG Xanfu3

（1.State Grd Shandong Power Supply Co. Ltd.， Jnan 250001; 2.State Grd Ln Y Power Supply Co. Ltd.，

Lny 276000;3.Shandong Anxnyuan nformaton Technology Co. Ltd.， Jnan 250100）

Abstract： As the dstrbuton system contnues to expand， the number of electrcal equpment n the dstrbuton network has also ncreased dramatcally， and the qualty requrements for grd operaton data have become more precse. Due to the large-scale random operaton montorng and control sgnal data， varous applcatons n the actve dstrbuton network cannot extract useful nformaton quckly and effcently. Ths paper proposes ntellgent data processng technology based on complex event processng （CEP） through ETL （ the extract-transform-load tool）， and develops an algorthm lbrary and a rule base. The rule lbrary can be determned by nested queres， combned operatons， and pattern matchng. The algorthm lbrary can package memory parttons and mult-thread processng， combne word frequency statstcs， keyword recognton， and elmnate other algorthms to acheve onlne processng of the data qualty of the dstrbuton network for mult-data source verfcaton.

Key words： Power dstrbuton system; Electrcal equpment; Complex event processng; Onlne montorng

0 引言

由于全國各地的电网使用了不同厂家、不同类型的电气设备，各种设备产生的运行监控信号的格式和命名也不统一，而且数量巨大。这使得基于信号和信息系统集成的各个电力系统应用在构建智能电网过程中遇到了巨大的挑战，包括电网状态估计、情景分析、信号驱动模拟和其他实际需求。另外，没有统一标准的变电站二次设备和系统运行监控信号格式和变电站二次设备命名以及系统运行监控信号格式和命名，使杂波信号无法统一命名为数据存储的基础[1]。通过国内外的相关研究，对电气设备运行监测信号标准化没有一种有效的处理方法。ETL（Extract-Transform-Load）是在提取、清理和转换后将业务系统数据加载到数据仓库中的过程，其目的是将扩展、凌乱、非统一的标准数据集成在一起，以便为业务系统提供数据以备后续申请。

复杂事件处理（Complex Event Processng，CEP）[2]是一种在大数据时代兴起的智能数据处理技术，它将数据视为数据流，复杂地处理基于规则引擎在业务流程中不断生成的各种事件，从而实现 快速分析和处理连续数据。CEP引擎可以解决事务数据处理效率问题，因此特别适合采用规则库和智能学习算法处理大数据的要求，对于二次设备运行监控信号数据标准化工作，可以根据编写的规则库，采用可插拔式智能算法库，集成到CEP引擎进行处理，从而达到显着效果。

1 配电设备信号数据提取

1.1 配电网运行监控信号存储

在当前配电自动化系统中，设备运行监控信号主要以4种形式存储：实时数据库、历史数据库、通用交换文件和NoSQL数据库。存储在实时数据库和历史数据库中的信号数据采用传统的关系数据库管理模式，区别分别是物理存储方式为内存和硬盘，从而导致不同的访问效率和持久性，适用于不同的实时和数据量场景。以这种方式存储的操作监视信号表的主要内容[3-5]，如表1所示。

为了便于迁移、转换和数据访问操作监控信号的普遍性，一些应用程序使用通用交换文件格式来访问配电网络运行监控信号数据。如基于XML标准，根据其强大的可扩展性以及电力系统特性，国家相应提出了CM/E标准，致力于在各个应用系统之间进行电网模型数据的在线交换。调度控制中心的操作监控信号数据CME文件存储格式如下：

@d name vl_d pnt_type pr_flags

#122160141620511071 overcurrent 3nd plate 0001 1 3

随着配电网规模的扩大和复杂性的日益提升，运行监测信号数据量呈指数上升，呈现出大数据的趋势。传统的关系数据库和文件存储方式已无法满足读取效率等要求，因此，操作监控信号存储将向大数据存储的方向发展。因此根据智能电网发展需求，多源电网设备数据的汇集成为该业务建设亟需解决的问题之一。

1.2 监控信号按需提取操作

為了实现多源信号的定向、定制分析服务，需要根据每个场、区域、变电站、电压等级条件过滤和提取运行监测信号数据。通过对配电网运行监测信号数据存储状态的分析，将面临两种问题，即实现信号数据的按需提取[6-7]：

（1）多格式数据问题。当前的信号数据存储方法是多次的，数据不能通过统一的数据接口直接提取。

（2）数据分布式存储问题。周围的信号数据是独立分布式存储，这使得ETL工具难以进行灵活的按需数据提取操作和集中数据处理。

对于多格式数据源和分布式存储问题，采用开发多数据源接口，实现架构如图1所示。

如图1所示，对于实时数据库，历史数据库，通用文件和其他数据源，通过开发数据访问接口构成数据总线。用户将通过数据选择及提取程序选择数据源，该程序调用数据总线访问数据源接口并将数据提取到本地存储器中的数据缓冲池。数据处理引擎从缓冲池中获取流数据以进行标准化，并将结果存储到本地结果数据库中。

守护进程解决方案，实现架构如图2所示。

如图2所示，对于独立存储的数据，开发了守护进程以植入到数据服务器周围。守护进程从操作系统开始，内存驻留，其需执行的唯一任务是接收远程命令并调用本地数据访问接口。数据提取条件分为两级过滤器。远程数据提取程序根据第一级条件，即区域和工厂站条件，向每个服务器守护程序发送获取指令，守护程序调用数据服务器中的本地数据访问接口，并将数据传输到数据缓冲区队列;数据处理引擎从缓存队列中获取数据，以便根据第二级条件，即间隔和信号类型条件进行处理。该方法不仅可以提高数据提取的效率，还可以防止数据缓冲区队列过大，同时保证系统时间复杂度和空间复杂度在系统可接受范围内。

2 基于CEP引擎的运行和监控信号大数据处理架构  由于CEP引擎对复杂的事务数据处理有很好的效果，因此一直使用的操作和监视信号数据处理引擎架构主要包括输入输出模块、CEP引擎核心，规则库和算法库。根据信号数据存储的特点，输入适配器将不同服务器中的每个格式源数据提取到引擎，引擎的核心是一个容器，它可以提供输入输出接口，信号处理框架，规则库，算法库等功能。信号清理规则库的格式为XML文件或N配置文件，主要用于定义信号标准化过程中关键字提取，文本替换和文本删除等清理规则。算法库集成在RelaySghWash类中，主要用于定义和实现智能算法接口，如设备算法和信号清除，字频分析，模式匹配等。规则库和算法库是处理引擎的核心，它们设计为可插拔的，以便于维护和扩展，其架构如图3所示。

（1）数据清理规则库

信号数据清理规则库用于根据数据流流入CEP引擎后的处理逻辑标准化定义各种规则，具有通用性，直观性，易读性，易维护性等特点。

（2）设备清理规则库

所有设备清理规则都定义为XML文件，包括基本设备名称的提取规则和典型设备类型的匹配规则。文件格式定义如下：

CSC;CSR;SA;CS;PCS;WCB;WCH;UDL;FCK;DF;CA;S;PACS;CSL

a-zA-Z0-9/

＼＼s-_

设备名称清除规则包含根标记“root”和两种规则标记：“devclean”和“devname”。所有基本设备的名称都被定义为“devclean”标签中的一些关键字，因此将清除关键字前面的所有不相关内容。例如，“非电力RCS9664”将通过使用“devclean”规则清除为“RCS9664”，该规则提取“RCS”并删除无关信息“非电力”。“Character”标签用于定义所有匹配的设备模型，其中正则表达式定义方法用于表示数字、正斜杠、大写和小写字母。 “Excess”标签用于定义其他冗余字符，例如行和各种空格。同样，在此标记中应用正则表达式定义方法，其中“＼＼s”表示空格，例如制表符和多个空格，双反斜杠表示转义字符。根据此规则，原始设备名称“23/ARCS-9705-c measurement”可以智能地处理为“ARCS9705C”的规格名称。

（3）数据清理算法库

信号数据清理算法库包括许多信号清理方法，不仅可以通过CEP引擎调用，还可以独立调用。算法流程如图4所示。

该算法主要包括保护装置信息清洗和保护信号信息清洗。保护装置信息清除部分包括关键字提取和保护器名称两步中的无关信息消除;保护信号信息清除包括关键字提取和消除，信号中的保护名称消除，关键字替换和模糊匹配以及智能生成输入四个步骤。

3 总结

本文主要介绍了一种基于CEP的大數据处理方法，用于主动配电网多设备源运行信号监控。通过分析当前信号数据存储，提出了多源和分布式信号按需提取解决方案。CEP引擎中的可插拔清洁规则库和信号库是根据信号特征制定的。基于CEP引擎的监视和控制信号数据处理方法可以实现快速准确的信号清除，从而为每个信号驱动的电力系统应用提供有效的数据服务。

参考文献

[1] Wang J， Sheng W， Yang H， et al. Desgn and mplementaton of a centralzed data acquston and supervsory system for medum-low voltage dstrbuton network[J]. Automaton of Electrc Power Systems， 2012， 36（18）：72-76.

[2] MENG You， LUAN Zhong Zh， XE Mng， et al. Operator-Based Extendable Complex Event Processng Model[J]. Journal of Software， 2014，25（11）：2715-1730.

[3] 冯玉洁. 基于风险型决策的继电保护定值整定与管理研究[D].湘潭：湘潭大学，2017.

[4] 刘沅昆. 配用电系统高级量测体系与数据应用方法研究[D].石家庄：华北电力大学，2017.

[5] 郏琨琪，王治华，范帅，等.电网信息物理系统的数据驱动架构设计及应用[J].电网技术，2018，42（10）：3116-3127.

[6] 沈金青，徐光福，黄宏盛，等.区域分布式光伏运行监控系统设计及应用[J].电力安全技术，2018，20（8）：43-47.

[7] 王雷，李乐为，史金伟，等. EMS与DMS间数据交互的数据传输与安全控制操作方法研究[J].电力系统保护与控制，2018，46（10）：75-80.

（收稿日期： 2018.11.21）

基金项目：国网山东省电力公司科技项目（SGSDLY00FCJS1800728）

作者简介：管荑（1979-），女，济南市，研究生，高级工程师，研究方向：电气工程及其自动化。

郭伟琪（1988-），女，临沂市，本科，工程师，研究方向：电气工程及其自动化。

沈涛（1980-），男，黄骅县，研究生，高级工程师，高级技师，研究方向：电气工程及其自动化。

王先富（1978-），男，商河县，本科，高级工程师，研究方向：计算机应用。文章编号：1007-757X（2020）01-0030-03