智能电网监控运行大数据分析系统总体设计

冷喜武， 陈国平， 白静洁， 张家琪

(1. 国家电网有限公司, 北京市 100031； 2. 南瑞集团(国网电力科学研究院)有限公司， 江苏省南京市 211106；3. 北京科东电力控制系统有限责任公司， 北京市 100192； 4. 国网物资有限公司， 北京市 100120)

0 引言

随着大数据应用的迅速发展，各行业均利用大数据技术积极地实现信息技术(IT)向数据技术(DT)的技术转型，其在工业、商业及医疗行业领域均取得显著应用效果[1]。近年发展迅速的智能电网产业，其业务数据已从传统单一应用数据发展为各级系统互联互通后的海量数据集形式，电力大数据应运而生，并伴随着多源、高维、先验、异构等特点[2]。而作为电力大数据分支的监控大数据，是调控中心唯一具备从大电网运行管理角度对电网实时运行态势，实现主动感知的数据资源。随着无人值守变电站建设的推进，实时汇集的监控信息量剧增，需要实时分析的告警信息业务激增，迫切需要降低传统监控业务对专责、监控员人工经验的过度依赖，提升监控业务智能分析水平[3]。

截至目前，针对监控业务数据分析，智能电网调度控制系统(又称D5000系统)完成了监控信息采集、综合智能告警等多套监控业务应用系统建设，实现了全局数据的采集共享和对单个业务的有效支撑[4]。但是随着电网规模的不断扩大，原有基于人工的电网监控运行分析方法已不能满足大电网协同控制和一体化运行的发展要求[5]，主要包括以下几个方面。

1)支撑监控业务分析的相关数据范围有限，缺乏变电站、输电线路全景数据及营销、运检、气象等外部业务数据的有力支撑。

2)现有业务数据多源、多地、多时序的分散性异质异构存储，存量数据缺少规范，数据质量不高，数据间缺乏关联，难以开展监控业务的深化应用。

3)监控专业的不同分析角度缺乏在理论层面的突破，需要由传统电力系统的经验模型转变为基于大数据分析的概率模型，实现从经验驱动到数据驱动的转变。

4)现有系统不具备大数据分析能力，缺少对非结构化数据的有效存储手段，及海量数据的并行计算方式。

基于上述问题的解决思路，文献[6]认为开展大数据应用首先要解决数据的存、通、用的问题，提出在制定数据标准、明确主体数据的基础上进行关联映射的技术路线。文献[7-8]认为实现高效数据共享是开展智能分析的基础，提出建立统一的公共信息模型、接口规范和信息对象编码，实现信息标准化管理。然而目前的研究成果仍缺乏对电网协同监控的全局考虑。应整合各业务系统，实现传统电力系统故障异常的被动接受向主动发现模式转变。

本文紧扣业务数据关联融合及数据驱动建模理念，开展智能电网监控运行大数据分析系统的研究建设，结合大数据及云平台技术优势，从监控全局角度分析数据多维多源特性，采用数据到模型、模型到应用的方式，设计电网监控运行大数据分析系统整体架构及功能体系，研究规范化数据接入、全过程数据处理及大数据因果分析建模等关键技术，实现监控运行大数据系统的建设应用，全面提升电网设备监控管理水平，为大数据技术在电网调控其他专业的应用分析提供有效借鉴。

1 总体设计

1.1 整体架构

开展智能电网监控运行大数据分析需要从全过程、全方位的角度深入挖掘数据价值，寻找数据间的关系。系统依托现有云平台及各类业务系统，应用大数据技术，从数据接入至业务应用自下而上实现整体架构，如图1所示。

图1 监控运行大数据分析系统整体架构Fig.1 Overall structure diagram of monitoring operation big data analysis system

1)数据接入层：系统汇总整合的数据来源涵盖能量管理系统(EMS)、生产管理系统(PMS)、调度管理系统(OMS)、气象系统、配电系统及云平台等多个系统，数据类型具有结构化、半结构化及非结构化的异构特征，系统将常规的JDBC，FTP，MQ，WebService等数据接入方式与大数据的Sqoop，Kafka，Flume等方式结合，完成数据全量抽数，同时配合校验规则引擎及数据提取转换加载(ETL)工具实现抽取数据的清洗、标准化，该种数据接入方式保证了调控相关数据的全面性、统合性、高质性，为上层数据存储奠定基础。

2)数据存储层：系统结合传统关系型数据库及内存数据库，利用大数据Hadoop生态圈中列式数据库HBase以及分布式文件系统HDFS完成对调控业务非结构化数据的高效存储[9]，提升了对调度视频、音频、文本文件等非结构化数据的存储手段，成为系统对非结构化数据分析的前提。

3)公共服务层:系统以大数据并行计算框架为基础，通过安全、分析、计算、管理、展示五方面集成了系统业务层依赖的公共服务组件，提供了用户权限、传输加密、数据备份的安全服务；专家分析、算法库等分析服务；结构化查询语言(SQL)计算、离线计算、批处理、流式计算的计算方式服务；元数据、运行监控、资源、配置的管理服务；搜索、地理信息、交互分析、数据仪表的展示服务[10]。系统引入大数据并行计算框架MR及Spark，以及相应的流式计算框架，大幅提升业务计算效能，使业务间的关联分析和数据挖掘更加行之有效；并且大大丰富业务的展示及交互方式，使得系统的使用更加人性化。

4)业务模型层：系统以监控运行实际业务需求为基础，整合预处理、分类、回归、聚类、关联规则等大量数据挖掘算法，基于公共服务层中分析及计算单元进行多业务建模，形成五大业务的51项应用模型，主要包括运行风险趋势预警类模型、监控设备异常侦测类模型、电网事故协同处置类模型等。相对EMS以外业务模型较为死板化的情况，系统为模型层提供了维护入口，可根据业务场景变更实现模型的变更。

5)业务应用层：系统基于分析模型，按照不同的功能类型形成大数据四大中心，包括数据对比统计分析中心、设备趋势性故障预警中心、运行检索中心、可视化展示中心。

1.2 功能体系

本文基于整体架构中的业务应用层构建了监控运行大数据分析系统的四大应用功能中心，提出了从多源多维业务数据到业务应用自动转化的功能体系，包括统计分析中心、趋势预警中心、智能搜索中心及可视化展示中心四大类，旨在有效提升监控运行分析智能化水平，提高设备监控整体业务能力，保障电网安全稳定运行，如图2所示。

1)统计分析中心：基于数据模型标准化以及数据采集、存储、治理一体化的结果，通过建立关联统计和分析模型，对多源异构的结构化电力监控业务相关数据进行统计分析和挖掘，相对现有系统，扩大并提升了统计数据源的维度及质量，使传统的数据分析从 “单一数据点”向“多点对比关联分析”的方向改进；借助相关分析与因果分析相结合的策略，实现对常态化监控业务和异常事件发生原因的推断，以及多维度对比关联性综合评价，相对传统系统的数理统计手段，引入了基于因果关系的检测方法。

图2 监控运行大数据分析系统功能体系Fig.2 Function system of monitoring operation big data analysis system

2)趋势预警中心：通过运用基于数据挖掘、时序预测、机器学习和深度学习的大数据分析技术，构建对电网态势、设备状态进行趋势研判的应用模型。相对现有系统被动式问题的检测手段，将设备运行故障异常趋势预警能力转化为主动发现的能力，实现电网安全防线从“事后分析”到“事前预控”的改变。

3)智能搜索中心：提供灵活、全方位的信息获取手段，相对现有系统，增加重要事件、用户预订信息的智能推送能力；引入语义分析及推理技术，运用大数据深度学习算法、相关性分析法和离散事件分析方法，对用户行为进行分析、挖掘，获得用户偏好模型，大大提升系统在搜索方面的人性化及实用度，实现信息搜索从“对象检索”到“行为检索”的改变。

4)可视化展示中心：采用两维平面全景、三维实景虚拟与视频数据虚实综合等展示技术，将统计分析中心、趋势预警中心、智能搜索中心的分析结果进行可视化展示，在时间尺度上，构建了实时-准实时-非实时-离线的综合业务监视一体化展示技术。相对传统系统，在展示因素上，通过对关联业务和专业习惯的挖掘，实现多模块、跨业务、多数据库联合的全因素透视展示方法，从而提升对电网统计数据、系统运行、设备状态的掌控水平，实现数据展示从“单模弱表达”到“多模强表达”的改变。

1.3 技术路线

监控运行大数据分析系统以监控业务需求为牵引，采用“数据到模型，模型到应用”的技术路线[11]。从多维数据源中经过相关性分析、因果关系检测技术，生成基于数据驱动方法的初筛大数据模型；按照业务实际应用，通过人工经验(信息分析师)完成初筛大数据模型与具体业务的对接，完成数理统计模型向更加精准的因果型业务模型转化，支撑电网监控运行实际工作，实现了研究数据与数据的关联性，到研究模型与业务关联性的转变，如图3所示。

图3 监控运行大数据分析系统技术路线Fig.3 Technical route of monitoring operation big data analysis system

1)数据源端规范处理：针对业务数据多时空多业务分布等特点，在数据源端及接入过程完成对电网模型数据命名、电网设备对象标识、电网数据对象结构等方面的规范化处理，保证大数据平台数据接入的标准化，确保数据间可通过对象为中心实现关联。

2)全过程数据处理：针对源端规范后数据接入大数据平台的方式，提出从规范化的通信协议技术，到调度主站数据虚拟化技术，再到数据混合计算模式的数据全过程处理技术体系，为不同时间频度、不同业务维度的各类业务分析应用提供大数据级的数据处理技术支撑。

3)大数据应用模型构建：针对大数据技术在电力系统监控业务的深度应用存在的电力系统毫秒级实时数据分析及电网监控因果系统分析等挑战，提出从相关性分析到因果关系检验的监控运行大数据应用模型自动建模方法，解决大数据分析技术在因果关系占主导的监控业务中不适用问题。

4)大数据分析功能研发：基于监控运行大数据分析系统的技术效率及数据融合基础，针对监控运行大数据分析业务需求，构建业务处理模型，应用大数据展示技术，实现统计分析、趋势预警、智能搜索及可视化展示四大应用功能，并上线完成智能电网监控运行大数据分析系统研发及试点应用。

2 关键技术

在以上总体设计的基础上，提出了规范化数据接入、全过程数据处理和大数据因果分析三项关键技术，本文对其进行概述性的介绍，技术的应用方案及效果验证将在后续系列文章中进行详细阐述。

2.1规范化数据接入技术

系统所需数据源分散在跨部门的多个业务系统中，如图4所示,包括:电网监控运行相关的EMS、配电自动化系统和OMS；电网设备运维监测相关的输变电设备在线监测系统、山火监测系统、PMS、雷电监测系统和覆冰监测系统；用户侧的用电采集系统和营销95598系统；以及气象台支撑的水文气象外接系统。

图4 监控运行大数据分析系统数据流框图Fig.4 Data flow diagram of monitoring operation big data analysis system

数据接入技术包括数据源端规范和静态数据点召两部分。

1)数据源端规范技术

经对数据源现状分析，现阶段不同系统间同一数据对象采用的建模方法不同，数据模型不一致，数据间难以实现关联。针对数据源的多源、多维、全时间尺度特征，设计提出数据源端规范技术，实现对模型命名、设备信息对象化和全数据结构的统一规范，采用面向对象的方式，以设备为中心的完成数据组织，确保数据信息的标准化接入[12-14]。

2)静态数据点召技术

现阶段从变电站子站上传至监控系统(主站)的监控数据由监控信息表进行配置，对变电站各类遥信、遥测数据进行了抽取、合并等后续加工，并非对变电站静态数据完全再现，失去了设备运行部分详细信息，不利于设备缺陷深层次原因的追溯，本文设计静态数据点召技术，利用通用服务协议[15]的扩展性，开通除监控信息表外的第二数据交互方式，对静态数据实现多点、分时段召唤，作为重要的数据源为基于监控数据的设备运行大数据分析应用提供数据支撑。

通过规范化数据接入技术，有效地解决了数据范围有限和数据关联缺乏的两个问题，扩展了监控业务分析的相关数据范围，包括变电站、输电线路全景数据及营销、运检、气象等外部业务数据；应用数据源端规范技术和静态数据点招技术，实现多源、多地、多时序业务数据的关联融合，提升数据质量，为开展监控业务的深化应用提供强有力数据支撑。

2.2 全过程数据处理技术

系统完成所需信息接入，并不能立刻支撑应用层的大数据分析业务，数据处理的好坏将直接影响上层数据应用的质量和效率。本文在对现有大数据处理技术研究[16]的基础上，根据数据特征，提出了全过程数据处理技术，主要包括自荐式自适应全寿命数据标签技术、数据集技术及混合计算技术。

1)自荐式自适应全寿命数据标签技术

自荐式自适应全寿命数据标签技术对接入大数据系统的数据，根据业务需求，添加对应数据标签，实现多源多维数据分类标识。同时标签技术具有时间、业务的自适应能力，能够根据历史统计自动推荐业务标签，具备标签自荐能力。

2)数据集技术

数据集技术是对标签后的数据归集成数据集[17]，同时生成交互数据的元数据和数据源清单，实现数据结构管理和数据源安全管控，同时支持数据对外发布。其中，可交付数据集根据组织机构的需要自动生成可交互数据集，并响应大数据分析算法和功能应用的需求，自动提供数据服务。

3)计算技术

根据监控业务的工作特点，对大数据计算技术进行优化，对增量数据采用混合式计算技术，在正常运行情况下采用定时批量计算，在设备故障等紧急情况下采用实时流式计算。

2.3 大数据因果分析技术

大数据究其本身是统计分析的方法，能够分析出现象之间关联的表面规律[18]，但无法检验逻辑上的因果关系，属于数据驱动的研究范畴；电力监控系统是一个因果关系系统，属于模型驱动的研究范畴，因此直接将大数据分析模型应用到电力监控运行生产中存在挑战[19]。

本文提出大数据因果分析技术，在挖掘出大量数据间隐藏的相关性的基础上，应用格兰杰因果检验法筛选出具有潜在因果关系的关联因素组，实现从数据中自动生成因果模型。大数据因果分析技术应用逻辑如图5所示，分为5个步骤。

图5 监控运行大数据因果关系应用逻辑图Fig.5 Application logic diagram of big data causal relationship mining operation

1)设备监控业务影响因素相关性检测

分析电网设备运行过程中出现的事件与可能影响其发生的因素的全关联集合，如图5第①步，将集合作为相关性匹配检测模型输入，判明与该事件发生的强关联因素，如图5第②步。

2)格兰杰因果关系假设检验

如图5第③步，采用事件回归方程和影响因素回归方程对二者的时间序列进行回归处理，并通过相关性方程对每一影响因素与事件间的相关性真伪进行检验。

3)贝叶斯因果网络建模

将步骤③得出的与事件具有显著因果关系的影响因素，通过有向图表征，对有向节点集进行条件依赖编码，使用联合概率分布为无有向边连接的节点集进行条件独立编码的步骤，构建贝叶斯因果网络。如图第4步，完成从全量数据中生成大数据因果模型。

4)业务模型转化

如图5第⑤步，在自动生成的大数据因果模型基础上，通过信号分析师根据人工经验，对大数据模型和经验模型进行结合，完成大数据统计模型向电网因果模型的转化。即通过人工经验，推动数据驱动模型转化为监控业务模型。

本文通过大数据因果分析技术，有效地解决了监控分析缺乏理论层面突破的问题，实现针对设备实时监控单项业务的数据驱动建模。

3 应用成效及展望

针对系统基础数据层面，在系统建设前期，本文应用规范化数据接入及全过程数据处理两个方面的技术，投入大量工作进行基础数据清洗与整合工作。系统在江苏示范应用时，接入3 107座变电站、3亿条告警信息和PB级遥测数据。针对数据多源、弱关联、信息孤岛、噪点数据等问题，进行深度清理与整治，建设监控信息映射字典库，规范告警信息，同时推进OMS-PMS-EMS数据关联与区域互备数据清洗，最终建设完成监控数据中心，支撑上层应用及多维系统数据服务。

在系统应用层面，针对不同类型的监控运行业务,系统应用大数据因果分析技术，构建业务大数据分析模型，通过定义模型的数据输入类型、数据输入方式、模型计算过程和模型调用间隔等内容，完成各分析业务的实际应用。截至目前，监控运行大数据分析系统已完成4大中心5类应用51个功能模块的研发，包括运行风险趋势预警模型、监控设备异常侦测、电网事故协同处置、监控业务流程管控和监控报表统计分析模型等类型，其中电网跳闸检索、监控信息关联性侦测、设备监控运行实时评价等36个功能模块已经在江苏、浙江、天津、四川、辽宁五个试点调控中心上线运行，尚有15个功能处在实用化过程中，基于系统构建的开放平台，新的业务应用将结合生产需求不断扩充。

监控运行大数据分析系统经过近两年的建设，现已初见成效。在数据处理方面，应用规范化数据接入和全过程数据处理技术，实现对主站端设备模型、缺陷、故障、告警等多源数据，及子站端的故障录波、设备全景模型和状态点召等历史数据的大数据关联存储及监控特征的标签化处理；在业务分析模型方面，应用大数据因果分析技术，实现对主变油温故障趋势侦测、变电站直流系统异常侦测、电力设备缺陷性故障预警、连锁跳闸故障诊断预测等业务分析模型的构建及应用；在监控业务管理方面，实现日常监控运行由完全依赖人工经验向大数据辅助研判的转变，监控工作模式由单一统计分析至多维数据挖掘的优化，加强对监控专业的管理力度，提升监控工作效率。

截至目前监控运行大数据分析系统研究与应用仍处于起步阶段。大数据是一门技术，更是一个提升专业管理水平的平台，但仍需加强数据综合治理，不断提炼规律，深化应用，增值服务，推进大数据在电网运行管理中的全维度应用。下一步将从三个方面进行系统应用深化，一是开展事件化技术研究，二是深化监控运行评价，三是完善监控全景管理。其中事件化技术是在监控大数据平台的基础上，提炼事件化的规律和经验，形成设备信息分类汇集处置的规则，避免多源数据融合下的单一事件重复处理，提升信息处置效率和监控运行宏观掌控能力；监控运行评价将建立变电站监控运行多维评价体系，对设备实时运行状态进一步评估，为调度员、监控员、监控分析师以及检修管理者提供更加直观的决策支持。

参考文献

[1] MANYIKA J, CHUI M, BROWN B, et al. Big data: the next frontier for innovation, competition, and productivity[R/OL]. [2017-05-01]. https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/big-data-the-next-frontier-for-innovation.

[2] 中国电机工程学会信息化专委会.中国电力大数据发展白皮书[M].北京:中国电力出版社,2013.

[3] 薛禹胜,赖业宁.大能源思维与大数据思维的融合:(一)大数据与电力大数据[J]. 电力系统自动化,2016,40(1):1-8.DOI:10.7500/AEPS20151208005.

XUE Yusheng, LAI Yening. The fusion of thinking of big energy and big data: Part one big data and power big data[J]. Automation of Electric Power Systems, 2016, 40(1): 1-8. DOI: 10.7500/AEPS20151208005.

[4] 辛耀中,石俊杰,周京阳,等.智能电网调度控制系统现状与技术展望[J].电力系统自动化,2015,39(1):2-8.DOI:10.7500/AEPS20141008024.

XIN Yaozhong, SHI Junjie, ZHOU Jingyang, et al. Technology development trends of smart grid dispatching and control systems[J]. Automation of Electric Power Systems, 2015, 39(1): 2-8. DOI: 10.7500/AEPS20141008024.

[5] 姚建国,杨胜春,单茂华.面向未来互联电网的调度技术支持系统架构思考[J].电力系统自动化,2013,37(21):52-59.

YAO Jianguo, YANG Shengchun, SHAN Maohua. The thinking about architecture of supports system for power dispatching technology for future interconnected network[J]. Automation of Electric Power Systems, 2013, 37(21): 52-59.

[6] 梁寿愚,胡荣,周华锋,等.基于云计算架构的新一代调度自动化系统[J].南方电网技术,2016,10(6):8-14.

LIANG Shouyu, HU Rong, ZHOU Huafeng, et al. A new generation of power dispatching automation system based on cloud computing architecture[J]. Southern Power System Technology, 2016, 10(6): 8-14.

[7] 荆铭,许洪强,梁成辉.智能电网信息标准化在调度中心的应用[J].电网技术,2010,34(10):15-19.

JING Ming, XU Hongqiang, LIANG Chenghui. Application of information standardization of smart grid in power dispatching center[J]. Power System Technology, 2010, 34(10): 15-19.

[8] 赵云山,刘焕焕.大数据技术在电力行业的应用研究[J].电信科学,2014,30(1):57-62.

ZHAO Yunshan, LIU huanhuan. Application research of big data technology in power industry[J]. Telecommunications Science, 2014, 30(1): 57-62.

[9] 覃丽媛.电力大数据全景实时分析关键技术探讨[J].电信科学,2016,32(4):159-168.

QIN Liyuan. The discussion of key technologies in the real-time analysis of power big data[J]. Telecommunications Science, 2016, 32(4): 159-168.

[10] 彭小圣,邓迪元,程时杰,等.面向智能电网应用的电力大数据关键技术[J].中国电机工程学报,2015,35(3):503-511.

PENG Xiaosheng, DENG Diyuan, CHENG Shijie, et al. The key technologies for power big data for smart grid application[J]. Proceedings of the CSEE, 2015, 35(3): 503-511.

[11] 周邺飞,徐石明.智能变电站数据中心初探[J].电力系统自动化,2011,35(18):57-61.

ZHOU Yefei, XU Shiming. A preliminary investigation on data center in smart substation[J]. Automation of Electric Power Systems, 2011, 35(18): 57-61.

[12] 电力系统厂站和主设备命名规范:DL/T 1624—2016[S].2002.

[13] 电网设备通用模型数据命名规范:GB/T 33601—2017[S].2002.

[14] 国家电力调度控制中心.电力调度通用数据对象结构化设计[R].北京:国家电网公司,2017.

[15] 电力系统通用服务协议:GB/T 33602—2017[S].2017.

[16] 张引,陈敏,廖小飞.大数据应用的现状与展望[J].计算机研究与发展,2013,50(增刊):216-233.

ZHANG Yin, CHEN Min, LIAO Xiaofei. Big data application: a survey[J]. Journal of computer research and development, 2013, 50(Supplement): 216-233.

[17] 曹阳,姚建国,杨胜春,等.基于模型集和差异模型的电网模型多版本管理方法[J].电力系统自动化,2014,39(5):142-146.DOI:10.7500/AEPS20140422009.

CAO Yang, YAO Jianguo, YANG Shengchun, et al. A multi-version management method of grid model based on model set and difference model[J]. Automation of Electric Power Systems, 2014, 39(5): 142-146. DOI: 10.7500/AEPS20140422009.

[18] 赵国栋,易欢欢,糜万军,等.大数据时代的历史机遇[M].北京:清华大学出版社,2013.

[19] 薛禹胜,赖业宁.大能源思维与大数据思维的融合:(二)应用及探索[J].电力系统自动化,2016,40(8):1-13.DOI:10.7500/AEPS20160311004.

XUE Yusheng, LAI Yening. The fusion of thinking of big energy and big data: Part two applications and explorations[J]. Automation of Electric Power Systems, 2016, 40(8): 1-13. DOI: 10.7500/AEPS20160311004.