高性能在线分析计算现状与协同计算关键技术

郭 健, 周京阳, 李 强, Yousu CHEN, 罗雅迪, 郎燕生

(1. 中国电力科学研究院有限公司, 北京市 100085; 2. Pacific Northwest National Laboratory, Seattle 99352, 美国)

0 引言

能源领域变革、电力工业进步和信息通信技术(ICT)发展进一步推动着能源生成转化效率、电网互联控制模式和高速通信网的深度融合[1],未来会逐渐形成一个超大规模物理信息混合网络即能源互联网[2]。能量流、信息流、业务资金流的多元、多向、实时流动使得电网调度和控制形态也相应地会发生重大变化[3],源—网—荷互动运行形态需要对一张电网的一套模型进行一体化协同计算分析,以实现广域级优化调度和实时闭环控制决策。

目前调度技术支持系统独立地配置在各级调度中心,虽然实现了信息共享和分层控制,但本地局部计算分析和独自决策的调度模式不能很好地满足控制决策对逻辑上一体化计算分析的要求,而提高监控信息的综合应用水平和全网态势感知能力需要实现对暂态稳定、电压稳定分析和继电保护校核等计算量较大的传统离线计算的在线化应用[4]。过去在指定运行方式和预想故障集下的离线计算方式,也难以适应随机性事件发生概率越来越高的未来电网实际运行状况[5-6],实时获取整个电网状态信息、安全运行裕度和定值校核都给在线分析带来了新的计算挑战。

并行计算、分布式计算和云计算等高性能计算模式为实现精确、快速的一体化计算分析提供了必要的技术手段,在不改变分层分区管理模式下能够实现多级调度中心间任务分发、数据交互和计算协同[7],但其应用与研究侧重点不同,并行计算侧重于计算实时性,分布式计算侧重于可靠性,而云计算则是在平台虚拟化、分布式存储、并行计算的基础上实现计算服务化和在线分析终端化。电力系统各类业务功能对计算需求千差万别,在实时性和可靠性的前提下如何实现一体化协同计算,以适应新一代调度控制系统对在线分析提出的新要求是亟须深入研究和解决的问题。

本文总结了电力系统高性能计算模式以往的相关研究内容,从计算级的分解协调方法与数值并行,平台级的硬计算架构与软计算模式,不同层面的不同方向对近年来国内外学者在状态估计、潮流计算和在线动态安全分析的研究现状进行分析提炼,提出调度云模式下实现一体化协同计算技术路线图的三个演进阶段和关键技术,在云计算服务环境下设计高性能在线分析协同计算场景,为后续研究与开发提供参考。

1 电力系统高性能计算模式

电力系统高性能计算模式是对涉及电力系统分析问题的数学物理建模与求解问题而采用的计算机软/硬件架构、数值求解、编程模型和数据同步机制,最终实现结果输出与展示的一系列方法的综合。它属于数据、计算和通信密集型科学计算类应用,包括本地并行和以网格、对等式(P2P)为主的广域分布式计算两类,而云计算则是在分布式并行的基础上提供高性能计算服务。

1)本地并行

并行作为高性能的代名词,研究最早[8-9],学术成果最丰富,集群/多核/众核计算是本地并行的主要形式,其硬件与网络架构如图1所示。

图1 集群并行架构Fig.1 Cluster parallel architecture

多核/众核计算是在单机单服务器上基于共享存储的多线程并行计算模式,对应编程模型有共享存储并行编程(OpenMP)、POSIX线程(Pthreads)、统一计算设备架构(CUDA)等,适用于计算同步性要求较高的细粒度级线性方程组、局部因子修正等并行求解。集群计算则通过高速以太网或定制网络实现多机多服务的互联互通,消息传递接口(MPI)是在数据分布存储方式下实现多进程并行的编程模型,适用于计算同步性要求较低的粗粒度级N-1、连续潮流等并行求解。随着硬件性能提升,使得结合CPU侧重逻辑判断和图形处理器/通用计算图形处理器(GPU/GPGPU)侧重数据并行处理的计算优势能进一步提高潮流和暂态稳定的计算速度[10-14],是目前的应用研究热点。

2)广域分布式计算

广域分布式计算是相对于本地并行在物理空间维度的广域化扩充,它与电网和调度管理自身的分布式特点一致,各级调度系统在一定程度上也具备了分布式系统的特征。与本地并行不同,它需要考虑通信延迟或失效对计算性能的影响,这限制了其在计算同步实时性和可靠性要求较高的细粒度并行计算的应用,分布式计算适合计算量很大、计算过程相对独立的粗粒度批处理类计算,“分解聚合、异步独立可随机重复计算”是其计算特征。

网格计算和P2P计算是广域分布式计算的两种类型[15-16]。网格计算侧重计算资源的整合和动态分配,集成度高、实现复杂;P2P计算侧重文件共享存储和搜索,更强调计算的独立性,耦合度较低,只需接入P2P网络即可实现P2P计算,两种方式互为补充能进一步提高计算可靠性[17]。针对它们的研究成果较多,由于实现复杂,计算可靠性得不到保障加上技术和管理条件限制,使得它们都没能获得大范围的工程应用。

3)云计算

云计算技术是广域分布式和本地并行计算的发展,在系统规模上实现了广域范围内计算存储资源的互联互通,在软技术积累维度,它是客户/服务机(C/S)计算架构,标准化协议和编程语言,企业服务总线(ESB)中间件技术,浏览器/服务器(B/S)架构和面向服务架构(SOA)的综合,为终端用户提供按“需”数据存储和计算服务,如图2所示。

图2 云计算演进Fig.2 Evolution of cloud computation

云计算将硬件、存储和网络资源虚拟化成一个实时可靠运行的“网络版”操作系统,降低了高性能计算实现的门槛,使得用户无需关心数据存储位置和详细计算过程,只要一个终端即可按“需”及时地获取计算和存储服务。云计算为新一代调控系统下分布式数据存储和一体化在线协同计算带来了成熟的理念和技术手段,从而实现了电网调度运行的“云计算化”即调度云,它一方面要对不同电压等级电网模型和数据进行统一存储管理,并根据请求/响应提供按需访问服务,另一方面还能够整合调用各级调度中心的网络计算硬件资源,提供统一的在线分析计算服务。

2 高性能在线分析计算应用研究现状

在线分析计算是实现电网智能化安全分析和调度计划的基础,状态估计和潮流计算为后续分析提供基态断面数据,暂态稳定计算则是在毫秒级仿真时间尺度下求解电网电气量变化值,它们都是对稀疏线性方程组的连续求解[18],静态安全分析本质上则是N-1情况下的重复潮流计算[19-20]。针对它们的高性能研究集中于分解协调方法、数值并行求解和负载均衡策略上,分解协调从物理连接关系图划分和边界数据交互优化策略来考虑,数值并行求解则是从稀疏方程组并行求解入手,N-1分析则更多关注负载均衡策略研究[21]。据此对国内外参考文献研究分类如表1所示,自上而下的研究层次关系如图3所示。

表1 国内外参考文献分类Table 1 Classification of references at home and abroad

图3 研究层次关系图Fig.3 Hierarchy of research summary

将关于高性能在线分析应用的研究分为三个层次,即功能级、计算级和平台级。功能级对应于各个具体的在线分析业务,针对平台级的应用研究是计算级实现的基础,主要包括硬计算架构和软计算模式,其中硬计算架构是不同软计算模式实现的前提条件,它提供设备、网络、多核/众核/集群编程模型等不同硬件之间互联互通和高性能使用的手段和方法,软计算模式是对硬计算架构的进一步封装,能对各类资源进行动态管理和监控,为计算级的各类计算问题提供分布式或并行的求解方案。

在计算级层面,由状态估计和潮流高性能计算研究现状分析,状态估计可以看作广义潮流计算,目的都是为了求解系统状态量和线路潮流,在计算级能相互借鉴共享分解协调方法上的相关研究成果。由于状态估计形成的是量测方程组,潮流计算形成的是PV和PQ节点方程组,这导致求解潮流形成的雅可比系数矩阵是稀疏方阵,而求解状态估计的是稀疏型“长条”矩阵。因此在数值并行直接法求解方面,基于LU分解的前推回代的并行化是潮流高性能计算的主要研究内容,考虑到计算存储性能和数值稳定性,QR并行化分解是高性能状态估计的研究难点。迭代法不用考虑计算过程中复杂的依赖关系,只需要矩阵向量乘运算,具有天然的并行性,预处理共轭梯度(PCG)方法和Krylov子空间法在求解大规模电网潮流和状态估计计算上体现了性能优势,是目前的研究热点。考虑到迭代法的收敛性问题,结合直接法的预条件处理是进一步提高迭代法收敛速度的有效手段。

暂态稳定计算是涉及动态模型对应微分方程组差分化与网络方程组的联立求解过程,计算量更大,对高性能计算的需求更明显,其在计算级分解协调方面主要从静态空间分解协调、动态时间分解协调及它们之间的结合为主要研究内容,在数值并行求解方面的研究与状态估计和潮流计算是共通的。当前暂态稳定在线化分析还是通过对预想故障集的快速计算以获取电网运行稳定裕度和薄弱区域,与N-1静态安全分析类似,可以通过粗粒度进程级和细粒度线程级负载均衡加快计算速度。

综合来说,当前在线分析高性能计算还处于功能级、计算级、平台级紧密依赖的各自独立计算阶段,层级耦合度较高,计算同质化倾向明显,平台级硬计算架构资源重复建设,软计算模式适用范围有限,而计算级通用的分解协调和数值并行方法也没有实现模块化、服务接口化以便统一调用。

3 高性能在线一体化协同计算技术路线图

协同计算即在空间和时序上相对独立的计算主体,按照预先设定的互联互通模式、交互方法与技术、计算策略步骤,共同完成某项计算任务的一种计算行为。根据计算颗粒度,将协同计算分为业务级、流程级和服务指令级三类协同计算模式,其中业务级是完成某类在线分析业务所包含的各计算功能间的协同计算,流程级是实现某一在线分析功能的协同计算,而服务指令级协同则是在将各功能原子级模块封装成服务模块后,通过编写流程指令完成在线分析计算服务的协同计算。现有调控系统为实现在线计算协同化提供了统一的基础数据交换平台[3,46]。在此基础上实现在线一体化协同计算需经历三个阶段,如图4所示。

图4 高性能在线计算协同化技术路线图Fig.4 Technical roadmap of high-performance on-line computing cooperation

1)数据/文件转发的本地协同计算。计算特征以集群并行为主,通过请求响应和周期性数据/文件转发,为在线计算分析提供模型和实时数据,由本地系统独立完成求解过程,是业务级协同计算模式。

2)计算流程分解协调的分布式协同计算。计算特征以分布式并行为主,将计算流程分解,其中分布式负责协调计算同步/异步过程,包括数据准备、计算启动、数据交互和计算过程监视等。具体数值求解则根据电网规模以本地并行/串行计算为主,是流程级协同计算模式。

3)模型数据存储与计算协同的调度云协同计算。计算特征同样以分布式并行为主,在对全网模型和数据实现分布式存储和集中统一管理的基础上,建立在线分析业务功能计算工作流引擎和分解协调消息服务总线,形成逻辑上通过模型云、数据云和计算云深度耦合的服务指令级协同计算模式,实现一张电网只需一次计算,各调度机构依据管理权限的订阅机制获取各自电网的运行信息。

在线计算协同化路线图的三个阶段是逐渐递进升级的关系。阶段1是粗放的协同计算形式,实现各级调度中心间广域分布式数据通信;阶段2进一步完善数据交互通道的服务质量(QoS)机制[47-48],保证通信实时性可靠性,通过在线计算功能流程分解,降低数据重复传输和拼接整合的通信量,从而实现跨调度中心的多级协同计算;阶段3则在阶段1和阶段2的基础上,将在线计算功能模块化、服务化、接口化,状态估计、N-1、潮流和暂态稳定计算等功能与相应业务配置文件对应,由计算工作流引擎驱动在线分析计算请求响应的一体化协同计算。分配映射机制、分解协调计算服务、模块服务化和数据交换规范是实现高性能计算协同化的关键技术,下文将详细阐述。

4 协同计算关键技术

4.1 分配映射机制

分配映射机制用以实现电网模型和实时数据存储与在线计算的动态绑定,是实现高性能在线计算的关键和难点。根据计算颗粒度和计算过程依赖程度分为任务级粗粒度和流程级细粒度分配映射两类,如图5所示。

图5 分配映射机制Fig.5 Assignment and mapping mechanism

任务级粗粒度分配映射用于有批处理计算内容的在线应用,如在状态估计和潮流输出结果上,基于故障集的动态/暂态稳定和N-1分析的高性能计算,它通过将大的计算任务分解为可被计算进程独立执行的子任务,而完成子任务只需若干计算进程的线性叠加。为减小数据通信量,启动计算进程应与数据的存储位置尽量一致,最后只需对计算结果进行汇总得到最终结果。以N-1情况为例,选取某地区电网物理母线1 772条,线路673条,发电机556台,进行多进程计算模式下的N-1分析,计算时间与加速比值如表2所示。

表2 多进程N-1分析计算结果比较Table 2 Results comparison of multi-processN-1 computation

流程级细粒度分配映射则用于单一完整的在线计算应用,如状态估计、潮流计算等。通过将计算功能流程模块化,每一模块的输入是上一模块的输出,同时也是下一模块的输入,由进程/线程来完成每一模块的具体计算功能,启动模块运行同样根据数据的存储位置或依靠配置文件获取输入输出,模块间的依赖关系使得完成一次计算需要各功能模块的线性组合。以某9 241节点的牛顿—拉夫逊法潮流计算为例,采用多线程模式对雅可比系数矩阵作并行三角分解,计算时间和加速比值如表3所示。

表3 多线程潮流计算结果比较Table 3 Results comparison of multi-threadpower flow computation

电力系统在线分析所涉及的计算内容,本质上都是对高维稀疏矩阵方程组的连续重复/部分修正后的求解。在完成任务级粗粒度的分配映射后,还可以进一步对矩阵求解的流程级细粒度分配映射机制进行细化,从而进一步提高计算效率。

4.2 分解协调计算服务总线

分解协调计算服务是在消息总线基础上,实现在线分析的分布式并行计算服务封装,采用主/从式计算架构,其中主控节点解析搭建在线计算流程模型,并交由计算驱动引擎跟踪处理。同时,根据计算颗粒度选择任务级或流程级映射分配机制及对应的负载均衡策略,生成与各从计算节点交互数据的消息路由配置信息,并将从节点间数据交互配置信息通过监控通信适配器发送给其他从节点,监控整体计算过程、统计日志信息、启动计算,通过消息传输通道完成分解协调计算服务功能,如图6所示。

图6 分解协调计算服务总线结构Fig.6 Framework of decomposition-coordination computing service

从计算节点负责完成具体计算的数据预处理准备和数值计算功能,包括网络拓扑分析、导纳阵和雅可比矩阵生成与存储,发电机、负荷等动态模型的差分线性化处理与存储,节点排序向量生成,基于迭代法和直接法的线性方程组高性能求解。通过消息路由配置和计算管理功能实现与主控节点和其他从计算节点的数据交互,并上传计算日志到主控节点。

为提高可靠性,在计算、存储、网络等基础资源虚拟化的前提下,采用P2P对等机制的虚拟化硬计算架构,当主节点或从节点通信失效情况下,能够实现主/从节点的递补和功能自动切换,保证计算顺利执行。

4.3 模块服务接口化

模块服务接口化是实现高性能在线计算协同的基础[49]。将在线应用分析归类后的计算流程封装成标准的功能模块,通过各功能模块的排列组合即可完成某一类应用计算,主要功能模块如图7所示。

图7 计算功能模块组合Fig.7 Combination of functional computing modules

其中网络拓扑分析模块通过开关/母线物理模型信息生成节点/母线计算模型,为后续生成导纳阵和雅可比矩阵提供拓扑连接关系,其实现方式分为统一全网和分布式局部拓扑两类。统一全网拓扑是基于完整的物理模型信息生成全网节点/支路计算模型;分布式局部拓扑则是通过分布式的物理模型信息,先进行局部拓扑,然后通过相邻节点和支路连接关系组合成全网模型。

节点排序模块根据系数矩阵的非零元素分布特征生成排序向量,以减小其在基于高斯消元法的三角分解中非零元素填充度和前推回代的稀疏向量高度。针对3 120节点和9 240节点电网数据潮流计算雅可比矩阵,进行Tinney1,Tinney2和AMD排序,其性能比较如表4所示。

表4 排序方法性能比较Table 4 Performance comparison of differentsorting methods

其中填充度大小表征三角分解计算效率,其值越大,计算效率越低;而高度则反映了前推回代的计算过程,其值越小,前推回代计算过程越快。

数值求解模块则实现对以电网雅可比矩阵为常数项的稀疏线性方程组的求解,包括直接法和迭代法两类。以牛顿—拉夫逊法潮流计算时形成的不同维数系数矩阵为例,求解时间如表5所示。

表5 直接法和迭代法计算时间比较Table 5 Calculation time comparison between directand iterative methods

在省级及以下规模电网数值求解时,直接法有计算优势,迭代法的并行效率较高,在网级以上规模计算中才能显出优势。采用基于高斯消元的类直接法的预处理技术能保证迭代法求解的数值稳定性。

其他基础功能模块如稀疏矩阵存储与访问模块实现按列/行稀疏存储和访问修改功能,矩阵分析与处理模块包括矩阵的奇异性和可观性分析,条件数计算和局部因子修正功能,数据请求与回传则负责计算前的数据准备和计算结果回传。

4.4 数据交互规范

分解协调计算服务总线需要统一数据交换格式，以便分解协调计算过程中数据的交互与通信,基于已有消息总线传输的数据规范如表6所示。

表6 数据交互规范Table 6 Data interactive format

消息分为消息头和消息体两部分,其中消息头按顺序排列为标志位、应用编号和流程编号。根据标志位将消息体内容分为配置消息、数据消息和监控消息三类结构体：监控消息包括对分解协调计算当前环境的网络连接情况、设备利用率评估后生成可利用的计算资源信息,计算过程的启动、结束、成功和失败信息,负载信息和计算日志;数据消息则是计算过程所需的故障集、网络拓扑结构、计算矩阵和稀疏向量等消息结构体;配置消息用于实现任务级/流程级分配映射路由配置消息数据映射存储消息的下发。

5 调度云模式下高性能在线计算应用场景

云计算通过虚拟化技术实现硬件、平台和软件资源的服务化,提供按“需”存储访问与计算服务[50]。它在电力系统分析计算中尚处于应用研究开发阶段[51-52],形成了逻辑上包含模型云、数据云的“调度云”雏形,在调度云环境下高性能在线分析应用场景如图8所示。

图8 调度云模式下高性能在线计算场景Fig.8 Scenario of high-performance on-line computing under dispatching cloud mode

5.1 在线数据管理与计算协同

在具体实现上,将在线分析计算服务分为模型/数据存储与管理服务和分布式/并行计算协同管理服务两部分：前者包含对模型和实时数据的定位、查询和调度功能；后者包括计算资源的获取与动态调度、计算任务映射配置和算法组合选择得到配置信息和算法接口,并能对算法库进行编辑和修改。最终由分解协调计算服务总线生成服务实例,实现在线协同计算服务,如图9所示。

图9 在线数据管理与计算协同Fig.9 On-line data management and computing cooperation

当请求在线分析计算服务时,由模型/数据存储管理模块根据服务请求信息,查询定位模型/数据的存储位置。若是第一次请求,则由计算协同管理模块根据参数信息对计算进行配置部署,由分解协调计算服务总线执行,并将计算服务部署和配置信息保存,方便以后同样的计算服务请求与访问。

5.2 状态估计计算服务

由在线计算服务驱动引擎响应计算服务请求,研究态下能够根据请求服务类型驱动相应计算功能,具体计算实现则通过分解协调计算服务总线与模型云和数据云的数据交互来完成。而在实时态下,则由在线分析计算服务引擎周期性地按顺序驱动各功能模块完成计算,如完成状态估计后则通知服务引擎启动后续N-1和暂态稳定计算。由于是两类不相关业务,服务引擎可以将针对它们的计算请求指令发送给分解协调计算服务总线同时计算,以提高计算速度。以状态估计为例,其计算服务实现方式如图10所示。

图10 状态估计计算服务Fig.10 Computing service for state estimation

状态估计计算流程由在线分析计算服务引擎驱动,其中状态估计启动服务负责定位搭建计算和存储环境,减少与数据云和模型云之间不必要的数据传输量,拓扑分析服务和计算模型生成服务负责基于静态电网模型和量测数据的实时电网拓扑结构生成校验和电网计算模型,状态估计算法提供加权最小二乘法、抗差状态估计和卡尔曼滤波等选项,计算矩阵生成服务是在计算模型基础上获取稀疏存储的计算矩阵,线性方程组求解服务负责数值求解过程,满足收敛精度后则由状态估计结束服务负责结果回写、资源释放和计算日志生成。

在调度云模式下,通过在线分析计算服务引擎和分解协调服务总线提供实现基于模型云和数据云的在线分析计算服务。通过功能模块服务配置化,以“搭积木”的方式响应用户事件和周期性计算请求,是高性能计算云的一种实现机制。

6 结语

不论离线还是在线分析,电力系统分析与问题求解对高性能计算的需求迫切且永无止境,实时性和可靠性是高性能计算的特征。相关学者在借鉴应用最新信息通信技术的基础上,从电网物理特征图分割、优化理论和数值并行求解三个方面进行了大量卓有成效的研究。

本文在对近年来国内外高性能在线分析计算研究现状进行分析归类和总结后,基于当前实际运行的国、分、省调控系统,提出了在线高性能计算协同化技术路线图演进的三阶段,保证目前在线分析功能的顺利迁移,并详细研究了所需关键技术和具体实现方案。在调度云计算环境下,通过排列组合功能计算模块的方式,设计了分布式并行的在线计算服务应用场景和状态估计计算服务流程。后续待研究相关问题如下。

1)基于功能计算模块组合方式的模型分块方法、边界等值和优化松弛类方法在分解协调计算服务总线中的实现和性能分析。

2)基于消去树的直接法并行求解和基于类直接法预处理技术的迭代法并行求解方法,以提高数值求解的计算效率和稳定性。

3)处理N-1分析、连续潮流、暂态稳定等批处理类计算时任务级和流程级映射分配的配合机制,实现任务级的并发处理和流程级的并行计算。

4)小干扰分析、优化经济调度、静态电压稳定等其他离线/在线分析计算流程建模及对应的计算功能模块的实现与应用分析。

5)调度云计算环境下,针对模型云和数据云的存储和计算资源搜索与定位机制,以尽量减小计算过程中不必要的数据传输量。

[1] 周孝信,陈树勇,鲁宗相.电网和电网技术发展的回顾与展望——试论三代电网[J].中国电机工程学报,2013,33(22):1-11.

ZHOU Xiaoxin, CHEN Shuyong, LU Zongxiang. Review and prospect for power system development and related technologies: a concept of three-generation power systems[J]. Proceedings of the CSEE, 2013, 33(22): 1-11.

[2] 董朝阳,赵俊华,文福拴,等.从智能电网到能源互联网:基本概念与研究框架[J].电力系统自动化,2014,38(15):1-11.DOI:10.7500/AEPS20140613007.

DONG Zhaoyang, ZHAO Junhua, WEN Fushuan, et al. From smart grid to Energy Internet: basic concept and research framework[J]. Automation of Electric Power Systems, 2014, 38(15): 1-11. DOI: 10.7500/AEPS20140613007.

[3] 姚建国,杨胜春,单茂华.面向未来互联电网的调度技术支持系统架构思考[J].电力系统自动化,2013,37(21):52-59.

YAO Jianguo, YANG Shengchun, SHAN Maohua. Reflections on operation supporting system architecture for future interconnected power grid[J]. Automation of Electric Power Systems, 2013, 37(21): 52-59.

[4] CHEN Yousu, HUANG Zhenyu, YAN Liu, et al. Computational challenges for power system operation[C]// 45th Hawaii International Conference on System Science, January 4-7, 2012, Hawaii, USA: 2141-2150.

[5] ROBERT C G, WANG Lingfeng, ALAM M. Applications and trends of high performance computing for electric power systems: focusing on smart grid[J]. IEEE Transactions on Smart Grid, 2013, 4(2): 922-931.

[6] 严剑峰,于之虹,田芳,等.电力系统在线动态安全评估和预警系统[J].中国电机工程学报,2008,28(34):87-93.

YAN Jianfeng, YU Zhihong, TIAN Fang, et al. Dynamic security assessment & early warning system of power system[J]. Proceedings of the CSEE, 2008, 28(34): 87-93.

[7] 张松树,陈勇,李芳,等.电力系统运行方式计算协同系统的功能设计与实现[J].电网技术,2012,36(10):270-274.

ZHANG Songshu, CHEN Yong, LI Fang, et al. Functional design and implementation of collaborative system for power grid operation mode calculation[J]. Power System Technology, 2012, 36(10): 270-274.

[8] DANIEL A B, TYLAVSKY J. Parallel processing in power system computation[J]. IEEE Transactions on Power Systems, 1992, 7(2): 629-638.

[9] 李亚楼,周孝信,吴中习.一种可用于大型电力系统数字仿真的复杂故障并行计算方法[J].中国电机工程学报,2003,23(12):1-5.

LI Yalou, ZHOU Xiaoxin, WU Zhongxi. A parallel complex fault computation algorithm for large scale power system digital simulation[J]. Proceedings of the CSEE, 2003, 23(12): 1-5.

[10] 刘洋,周家启,谢开贵,等.基于Beowulf集群的大规模电力系统方程并行PCG求解[J].电工技术学报,2006,21(3):105-111.

LIU Yang, ZHOU Jiaqi, XIE Kaigui, et al. Parallel PCG solution of large scale power system equations based on Beowulf cluster[J]. Transactions of China Electrotechnical Society, 2006, 21(3): 105-111.

[11] ZHAO Li, DONDE D V, TOURNIEL J C, et al. On limitation of traditional multi-core and potential of many-core processing architectures for sparse linear solvers used in large-scale power system applications[C]// IEEE Power and Energy Society General Meeting, July 24-28, 2011, Detroit, USA: 8p.

[12] JALILI-MARANDI V, DINAVAHI V. SIMD-based large-scale transient stability simulation on the graphics processing unit[J]. IEEE Transactions on Power Systems, 2010, 25(3): 1589-1599.

[13] 周挺辉,严正,唐聪,等.基于多核处理器技术的暂态稳定并行算法[J].电力系统自动化,2013,37(8):70-75.

ZHOU Tinghui, YAN Zheng, TANG Cong, et al. A parallel algorithm for transient stability computing based on multi-core processor technology[J]. Automation of Electric Power Systems, 2013, 37(8): 70-75.

[14] 陈德扬,李亚楼,江涵,等.基于道路树分层的大电网潮流并行算法及其GPU优化实现[J].电力系统自动化,2014,38(22):63-69.DOI:10.7500/AEPS20131014009.

CHEN Deyang, LI Yalou, JIANG Han, et al. A parallel power flow algorithm for large-scale grid based on stratified path trees and its implementation on GPU[J]. Automation of Electric Power Systems, 2014, 38(22): 63-69. DOI: 10.7500/AEPS20131014009.

[15] 张伟,沈沉,卢强.电力网格体系初探:(一)电网监控从集中计算到分布处理的发展[J].电力系统自动化,2004,28(22):1-4.

ZHANG Wei, SHEN Chen, LU Qiang. Framework of the power grid system: Part one development of power network monitoring from centralized to distributed processing[J]. Automation of Electric Power Systems, 2004, 28(22): 1-4.

[16] 方华亮,毛承雄,金海,等.潮流计算的对等式计算模式研究[J].高电压技术,2007,33(3):32-36.

FANG Hualiang, MAO Chengxiong, JIN Hai, et al. Research on P2P computing model of load flow computation[J]. High Voltage Engineering, 2007, 33(3): 32-36.

[17] ZHOU H F, WU F F. Data service in grid-based future control centers[C]// International Conference on Power System Technology, October 22-26, 2006, Chongqing, China: 6p.

[18] 李亚楼,周孝信,吴中习.基于PC机群的电力系统机电暂态仿真并行算法[J].电网技术,2003,27(11):6-12.

LI Yalou, ZHOU Xiaoxin, WU Zhongxi. Personal computer cluster based parallel algorithms for power system electromechanical transient stability simulation[J]. Power System Technology, 2003, 27(11): 6-12.

[19] 郭琦,张伯明,王守相.基于EMS的动态安全分析系统[J].电力系统自动化,2004,28(8):57-62.

GUO Qi, ZHANG Boming, WANG Shouxiang. A dynamic security analyzing system based on EMS[J]. Automation of Electric Power Systems, 2004, 28(8): 57-62.

[20] KHAITAN S K. A survey of high-performance computing approaches in power systems[C]// IEEE Power and Energy Society General Meeting, July 17-21, 2016, Boston, USA: 5p.

[21] HUANG Zhenyu, CHEN Yousu, NIEPLOCHA J. Massive contingency analysis with high performance computing[C]// IEEE Power and Energy Society General Meeting, July 26-30, 2009, Calgary, Canada: 8p.

[22] GOMEZ-EXPOSITO A, ABUR A, JAEN A V, et al. A multilevel state estimation paradigm for smart grids[J]. Proceedings of the IEEE, 2011, 99(6): 952-976.

[23] REZA E, ROSS B. State estimation distributed processing[J]. IEEE Transactions on Power Systems, 2000, 15(4): 1240-1246.

[24] GEORGIOSB V, GIANNAKIS G B. Distributed robust power system state estimation[J]. IEEE Transactions on Power Systems, 2013, 28(2): 1617-1625.

[25] 王永,郭志忠,彭茂君,等.基于分解协调算法的互联电力系统状态估计[J].电网技术,2008,32(10):79-83.

WANG Yong, GUO Zhizhong, PENG Maojun, et al. A new decomposition and coordination algorithm for state estimation in interconnected power system[J]. Power System Technology, 2008, 32(10): 79-83.

[26] 卢志刚,张静,程慧琳,等.基于分解协调及外网浓缩等值的多代理状态估计[J].电力系统自动化,2012,36(14):23-29.

LU Zhigang, ZHANG Jing, CHENG Huilin, et al. Multi-agent state estimation based on decomposition and coordination and external network concentration equivalence[J]. Automation of Electric Power Systems, 2012, 36(14): 23-29.

[27] 张海波,易文飞.基于异步迭代模式的电力系统分布式状态估计方法[J].电力系统自动化,2014,38(9):125-131.DOI:10.7500/AEPS20130514003.

ZHANG Haibo, YI Wenfei. Distributed state estimation method for power systems based on asynchronous iteration mode[J]. Automation of Electric Power Systems, 2014, 38(9): 125-131. DOI: 10.7500/AEPS20130514003.

[28] 马平川,沈沉,陈颖,等.基于伪量测型协调变量的分布式状态估计算法[J].中国电机工程学报,2014,34(19):3170-3177.

MA Pingchuan, SHEN Chen, CHEN Ying, et al. Distributed state estimation based on the pseudo-measurement coordination variables[J]. Proceedings of the CSEE, 2014, 34(19): 3170-3177.

[29] CHEN Yousu, SHUANG Jin, RICE M, et al. Parallel state estimation assessment with practical data[C]// IEEE Power and Energy Society General Meeting, July 21-25, 2013,Vancouver, Canada: 5p.

[30] 朱永兴,张步涵.电力系统潮流分解协调并行计算[J].电力系统及其自动化学报,2010,22(5):97-101.

ZHU Yongxing, ZHANG Buhan. Decomposition and coordination power flow parallel calculation[J]. Proceedings of the CSU-EPSA, 2010, 22(5): 97-101.

[31] 万黎,陈允平,徐箭.基于节点迁移的电力系统并行计算优化分割策略[J].电网技术,2007,31(11):42-48.

WAN Li, CHEN Yunping, XU Jian. Node migration based optimized network partitioning strategy for power system parallel computation[J]. Power System Technology, 2007, 31(11): 42-48.

[32] 李传栋,房大中,杨金刚,等.大规模电网并行潮流算法[J].电网技术,2008,32(7):34-39.

LI Chuandong, FANG Dazhong, YANG Jingang, et al. New research on parallel power-flow calculation for large-scale power system[J]. Power System Technology, 2008, 32(7): 34-39.

[33] 陈颖,沈沉,梅生伟,等.基于改进Jacobian-Free Newton-GMRES(m)的电力系统分布式潮流计算[J].电力系统自动化,2006,30(9):5-8.

CHEN Ying, SHEN Chen, MEI Shengwei, et al. Distributed power flow calculation based on an improved Jacobian-Free Newton-GMRES (m) method[J]. Automation of Electric Power Systems, 2006, 30(9): 5-8.

[34] CHAN K W, DUNN R W, DANIELS A R. Efficient heuristic partitioning algorithm for parallel processing of large power systems network equations[J]. IEE Proceedings: Generation, Transmission and Distribution, 1995, 142(6): 625-630.

[35] 赵文恺,房鑫炎,严正.电力系统并行计算的嵌套分块对角加边形式划分算法[J].中国电机工程学报,2010,30(25):66-73.

ZHAO Wenkai, FANG Xinyan, YAN Zheng. Nested BBDF partitioning algorithm in power system parallel computation[J]. Proceedings of the CSEE, 2010, 30(25): 66-73.

[36] 丁明,张晋波,汪兴强.提高预处理共轭梯度法计算大型电网潮流时并行性能的方法[J].电网技术,2008,32(13):15-19.

DING Ming, ZHANG Jinbo, WANG Xingqiang. Method for parallel performance enhancement of power flow computation for large-scale power grid by use of preconditioned conjugate gradient method[J]. Power System Technology, 2008, 32(13): 15-19.

[37] 谢开贵,张怀勋,胡博,等.大规模电力系统潮流计算的分布式GESP算法[J].电工技术学报,2010,25(6):89-95.

XIE Kaigui, ZHANG Huaixun, HU Bo, et al. Distributed algorithm for power flow of large-scale power systems using the GESP technique[J]. Transactions of China Electrotechnical Society, 2010, 25(6): 89-95.

[38] 洪潮,沈俊明.求解大型稀疏线性方程组的一种并行算法及其在并行潮流计算中的应用[J].武汉水利电力大学学报,2000,33(4):29-34.

HONG Chao, SHEN Junming. A parallel algorithm for solving large sparse matrix equations and its application to parallel power flow calculation[J]. Journal of Wuhan University of Hydraulic and Electric Engineering, 2000, 33(4): 29-34.

[39] 林济铿,李杨春,罗萍萍,等.波形松弛法的电力系统暂态稳定性并行仿真计算[J].电工技术学报,2006,21(12):47-53.

LIN Jikeng, LI Yangchun, LUO Pingping, et al. Parallel calculation for power system transient stability based on waveform relaxation method[J]. Transactions of China Electrotechnical Society, 2006, 21(12): 47-53.

[40] 陈颖,沈沉,梅生伟,等.基于Jacobian-Free Newton-GMRES(m)方法的电力系统分布式暂态仿真算法[J].电力系统自动化,2006,30(10):12-16.

CHEN Ying, SHEN Chen, MEI Shengwei, et al. Distributed dynamic simulation algorithm for power systems based on a Jacobian-Free Newton-GMRES (m) method[J]. Automation of Electric Power Systems, 2006, 30(10): 12-16.

[41] SHU Jiwu, WEI Xue, ZHENG Weimin. A parallel transient stability simulation for power systems[J]. IEEE Transactions on Power Systems, 2005, 20(4): 1709-1717.

[42] 徐得超,赵敏,江涵,等.用于大规模电力系统机电暂态实时仿真的并行网络拓扑算法[J].高电压技术,2016,42(1):296-302.

XU Dechao, ZHAO Min, JIANG Han, et al. Power system parallel network topology algorithm applied to electromechanical transient real-time simulation of large-scale power system[J]. High Voltage Engineering, 2016, 42(1): 296-302.

[43] 张宁宇,高山,赵欣.基于GPU的机电暂态仿真细粒度并行算法[J].电力系统自动化,2012,36(9):54-60.

ZHANG Ningyu, GAO Shan, ZHAO Xin. A fine granularity parallel algorithm for electromechanical transient stability simulation based on graphic processing unit[J]. Automation of Electric Power Systems, 2012, 36(9): 54-60.

[44] 周挺辉,赵文恺,严正,等.基于图形处理器的电力系统稀疏线性方程组求解方法[J].电力系统自动化,2015,39(2):74-80.DOI:10.7500/AEPS20131115005.

ZHOU Tinghui, ZHAO Wenkai, YAN Zheng, et al. A method for solving sparse linear equations of power systems based on GPU[J]. Automation of Electric Power Systems, 2015, 39(2): 74-80. DOI: 10.7500/AEPS20131115005.

[45] 宋新立,陈英时,王成山,等.全过程动态仿真中大型线性方程组的分块求解算法[J].电力系统自动化,2014,38(4):19-24.DOI:10.7500/AEPS20130423007.

SONG Xinli, CHEN Yingshi, WANG Chengshan, et al. An algorithm of large linear equations based on block matrix for whole process dynamic simulations[J]. Automation of Electric Power Systems, 2014, 38(4): 19-24. DOI: 10.7500/AEPS20130423007.

[46] 辛耀中,石俊杰,周京阳,等.智能电网调度控制系统现状与技术展望[J].电力系统自动化,2015,39(1):2-8.DOI:10.7500/AEPS20141008024.

XIN Yaozhong, SHI Junjie, ZHOU Jingyang, et al. Technology development trends of smart grid dispatching and control systems[J]. Automation of Electric Power Systems, 2015, 39(1): 2-8. DOI: 10.7500/AEPS20141008024.

[47] TOMSOVIC K, BAKKEN D E, VENKATASUBRAMANIAN V, et al. Designing the next generation of real-time control, communication, and computations for large power systems[J]. Proceedings of the IEEE, 2005, 93(5): 965-979.

[48] HUANG Zhenyu, NIEPLOCHA J. Transforming power grid operations via high performance computing[C]// IEEE Power and Energy Society General Meeting, July 20-24, 2008, Pittsburgh, USA: 8p.

[49] ORESTE V, TUMEO A. A high performance computing network and system simulator for the power grid: NGNS2[C]// IEEE High Performance Computing, Networking Storage and Analysis, November 11-15, 2012, Salt Lake City, USA: 313-322.

[50] EKANAYAKE J, FOX G. High performance parallel computing with clouds and cloud technologies[C]// First International Conference on Cloud Computing, October 19-21, 2009, Munich, Gernamy: 20-38.

[51] 赵俊华,文福拴,薛禹胜,等.云计算:构建未来电力系统的核心计算平台[J].电力系统自动化,2010,34(15):1-8.

ZHAO Junhua, WEN Fushuan, XUE Yusheng, et al. Cloud computing: implementing an essential computing platform for future power systems[J]. Automation of Electric Power Systems, 2010, 34(15): 1-8.

[52] 王德文.基于云计算的电力数据中心基础架构及其关键技术[J].电力系统自动化,2012,36(11):67-71.

WANG Dewen. Basic framework and key technology for a new generation of data center in electric power corporation based on cloud computation[J]. Automation of Electric Power Systems, 2012, 36(11): 67-71.

郭 健(1987—),男,通信作者,博士研究生,主要研究方向:电力系统高性能计算、电网调度自动化。E-mail： guojian_715@126.com

周京阳(1962—),女,博士生导师,教授级高级工程师,主要研究方向:经济调度、电网调度自动化、负荷预测。

李 强(1966—),男,博士,主要研究方向:电力系统状态估计、电网调度自动化。