电力企业中台云化构建及大数据分析研究

2020-07-10赵增涛梁成辉

水电与抽水蓄能 2020年3期

赵增涛，罗勇，梁成辉

（1.南方电网调峰调频发电有限公司，广东省广州市 510630；2. 天生桥二级水力发电有限公司，贵州省兴义市 562400；3.威海欣智信息科技有限公司，山东省威海市 264209）

0 引言

智能电网、能源互联网和泛在电力物联网的提出和持续发展[1-3]，推动着电力企业数字化转型走向纵深。组织机构、系统、设备、部件等各个维度的所有与电力系统运转相关的现实世界对象（Real World Object，RWO）以及管理、协调这些RWO的对象，都经由数字化相互联系、彼此协作，形成企业宝贵的数据资源，支撑着电力系统能量流和信息流的不断优化[4]，提高电力系统安全性、稳定性、经济性和智能化水平。

电力企业为提升数据资源价值和管理有效性的工作一直在进行，并随着信息和网络技术的发展和数据资源总量的增长，数据资源利用和数据及服务共享适应性地采用了各种可用的主流技术。从早期电力系统自动化采用的大主机模式，到基于分布式网络，再到建设调控云[5]、采用分布式计算和大数据技术建立企业级海量数据平台、大数据平台[6-8]，以及建立基于统一公共信息模型的对象化在线监测或配用电网全域数据平台等[9-11]，一定程度上消除了业务系统数据的“烟囱”效应[12]，促进了信息共享。

电力企业数据资源规模增长的趋势是越来越快，电力企业通过建设大数据平台、海量数据平台等手段，一定程度上仍然会受限于特定的平台构建技术，导致技术升级的阻力变大。基于特定的平台选型，维护工作涉及平台虚拟资源调度、分布式计算管理、数据流式处理、消息递送等全栈技术，其难度、复杂度以及带来的工作量都非常巨大。

企业中台是融合多条线业务系统数据的信息共享和服务发布平台，利用已有业务的数据、通过共享服务体系推动业务创新[13-14]。中台内的数据是相对稳定的、非快速变化，是企业运转过程中沉淀下来的极具价值的资产型数据。基于云计算平台构建电力企业中台能够避免引入过多基础技术方面的问题，从而使团队可集中力量解决数据资源管理、共享服务方面的问题。在提高新技术迭代更新水平、计算资源利用效率、系统安全性等方面，企业中台具有极大的优势。

本文研究基于云计算环境构建电力企业中台。分析阿里云可用的云服务，结合中台数据管理和服务体系构建的需求，在企业中台内实现元数据管理、数据资源管理、共享服务发布等关键功能。利用阿里云大数据计算提供的数据集成、大数据计算服务，完成中台管理业务系统数据的综合分析统计。大数据分析形成的结果数据作为新的数据资源补充到中台，作为新型业务的基础数据。云化构建电力企业中台，实质性提升数据资源的整合和共享能力，为业务快速响应变化提供助力。

1 云计算服务对中台的支持能力分析

云计算利用计算机集群构成统一协调的计算资源，为用户提供按需、便捷访问共享资源池（计算设施、存储设备、应用程序等）的服务[15]。云计算平台的核心服务层提供的服务包括基础设施即服务（IaaS，infrastructure as a service）、平台即服务（PaaS，platform as a service）、软件即服务（SaaS，software as a service）[16]。其中IaaS提供实体或虚拟的计算、存储和网络服务，PaaS提供应用程序部署与管理服务，SaaS提供应用程序，企业可以租用进行信息处理。

出于高安全性的考虑，电力企业中台构建所基于的云计算服务通常基于企业私有云。采用公有云技术的私有云提供的服务具有同样的服务能力。中台需要部署业务系统、存储业务数据、规范化合并业务数据、利用云平台的大数据分析服务分析数据等，需要使用从IaaS、PaaS到SaaS的各层服务。

阿里云作为主流的云计算产品[17]，提供了丰富的产品可供选择以构建电力企业中台。表1列出了主要使用的服务或产品。

除表中列出的模块，与数据处理及共享不直接相关但必需的服务或产品还包括访问控制、负载均衡等。

表1 构建中台主要使用的阿里云服务或产品Table 1 Major products or services needed

基于云计算环境构建中台，可随时按需要加入功能组件，如图像、语音识别等人工智能组件、物联网设备接入和身份认证组件等。中台的能力扩展以软件升级和组件添加的方式进行，具有良好的连贯性，能有效避免重复建设造成的资源浪费。

2 电力企业中台构建

电力企业构建中台实现信息系统向共享式架构转换，通过共享服务支撑业务。服务共享的内容是业务运转沉淀的数据，以及基于沉淀的数据再加工获得的能滋养业务创新的衍生数据。因此，中台管理的核心内容是数据和服务，以及抽象描述数据和服务及处理的元数据（见图1）。

图1 中台服务共享的核心内容Figure 1 Main content of service sharing in middle platform

根据云计算环境提供的服务，元数据管理使用了RDS和ODS服务；数据整合管理使用了RDS、ODS、ECS、MaxCompute、DataWorks；服务共享使用了ECS、EDAS；在数据视图构建方面使用了QuickBI等。

2.1 元数据管理

元数据是数据的“数据”，对数据及信息资源进行描述、解释、定位，并使其更方便检索、使用或管理的数据[18]。元数据有指示存储位置、资源寻找和文件记录等功能，是数据共享和交换的基础与前提。

电力企业中台作为大型系统，中台内各类资源统筹管理需要强化的元数据管理，通过元数据作为顶层抽象控制层，对中台内的数据和服务进行全方位管控。

中台是数据资源和服务共享中心，原则上不涉及具体业务功能的直接支持，因此中台元数据强化技术元数据的管理（不强调业务和管理元数据）。元数据主要内容包括：①基础数据模式。即业务数据导入、整合到中台后形成的基础数据的模式信息。中台管理的数据资源的形式是多样的，有按关系或对象模式管理的结构化数据，也有大量非结构化数据。②数据服务描述，包括中台基础数据服务和分析结果数据服务描述两部分。中台基础数据服务基于RDB、Web服务以及电力行业所采用的IEC 61970、IEC 62541等标准规定的标准服务（对象数据基于OPC UA统一地址空间管理并支持系列访问接口）[19-21]，分析结果数据服务主要采用微服务形式[22-23]。分析结果数据通过提炼、回补成为基础数据一部分之后，可通过平台基础数据服务访问。③数据分析逻辑、任务描述。数据分析逻辑通过配置建立，由大数据分析引擎或基于ECS自定义的数据处理任务执行相应的分析任务。④分析结果模式。以关系或对象模式描述的数据分析结果元数据。这部分模式在需求稳定后，与数据管理相同步，融合到①中。⑤视图、应用描述。视图和应用使用中台的数据内容、方式的描述。

元数据的获取采用自动和手动获取两种方式。自动获取是利用元数据获取接口（如数据库访问库表结构的接口）或导入标准化文件格式（如IEC 61970501）存储的信息模型[24]。通过人机界面录入无法自动获取的元数据。

元数据采用中台规定的格式存储，通过界面查看、修改。应用需要使用元数据时，可通过元数据访问服务读取。除可整体管控平台内数据、服务内容外，元数据还被广泛用于数据质量分析、服务授权等方面。

2.2 业务数据整合管理

中台的数据源自安全生产管理、发电控制、电网调度、电力营销等各业务系统。根据业务系统提供数据的方式，将源端数据整合到中台中管理。

关系型业务数据通过数据抽取转换导入中台的RDS。对象型数据依据企业公共信息模型进行规范化，包括对对象包含路径、对象关联等进行规范。这些业务数据是原始数据，通过RDS和对象数据访问服务发布。

进入到中台RDS的关系型业务数据，在企业公共信息模型覆盖范围内的，编写运行于ECS上的数据规范化汇集任务进行对象化转换。对象化转换后的业务系统数据与直接引入的对象型数据作为待处理的整体，按照层次、关联、分类多级匹配的方式，实现多源系统的数据的匹配、关联，完成一体化数据的规范化整合，消除业务系统数据间的关联障碍。

中台内已有数据通过服务共享提供给外部应用使用的同时，为提升数据质量和数据价值，在平台内通过大数据引擎或自行开发的数据分析软件进行综合分析应用。分析结果构成中台数据的组成部分，结果数据的元数据经提炼后整合到平台基础元数据中。通过这样分析、补充的循环，丰富中台管理的数据内容。分析结果直接通过服务方式提供也方便了应用对统计分析类数据的取用。

业务数据整合管理完成后，中台提供三大类可用数据：①业务原始数据；②融合后的全域对象数据；③统计分析类数据。

2.3 服务体系

电力企业中台提供多样的符合国际标准、行业标准和企业标准的共享服务满足各类数据访问需求（见表2）。关系型、对象型以及非结构化数据均配备多种类型的服务。

除关系型数据基于RDS所固有的数据库表访问接口外，所有类型的数据都配备了微服务和Web服务（OSB Web）。

对象数据访问支持IEC 61790第一代的通用数据访问（Generic Data Access，GDA）和作为IEC 61970 CIS第二版的OPC UA服务[25]。GDA提供类似SQL语言的对象访问语义支持，便于按类批量、按关联链导航查询[26]。OPC UA是工业互联网通信层的核心标准[27]，在统一地址空间管理对象的模型、实时、历史、事件数据，能基于安全通道以二进制编码方式高效传输数据。在应用端对数据访问效率要求极高时，可考虑优先使用OPC UA服务。

服务部署方面，RDS数据服务由RDS服务器提供，OPC UA、GDA、Web服务、FTP（S）等在ECS上部署，微服务部署到EDAS。

2.4 中台的建设路径

云化构建电力企业中台，应随数据导入、数据分析和服务架设的需要，申请相应的计算资源。

中台建设和共享服务体系构建应结合平台类应用上云，一种可行的路径是：充分利用企业现有大数据平台、海量数据平台及各类专业性数据管控平台的建设成果，平移这些平台已整理的数据和已建成的服务到云环境后，通过元数据层抽象管理，再根据数据分析和业务创新的需求优化、扩展。

电力企业现有的基于大数据负荷预报、设备运行状态评估、智能运检等应用[28-30]，可以移植到基于中台实现，丰富中台数据和服务。

3 大数据分析

企业中台的数据整合管理中，非常重要的一环是基于已有数据进行运算，获取统计分析结果支持管理应用和业务创新。

云化构建的企业中台除沿用常规的可移植到ECS中的数据分析模块之外，大数据计算应充分利用云服务以提高开发效率。阿里云的DataWorks是数据开发/大数据分析的完整环境（见图2）[31]。

图2 大数据分析过程Figure 2 Big data analysis process

大数据分析的步骤包括数据源设定、数据集成、大数据计算、数据服务发布等环节。

3.1 数据集成

数据集成将需要计算的数据从可用数据源导入到MaxCompute存储空间[32]。数据源设定用于指明数据来源，数据来源可以是关系数据库、非结构化存储等。常用数据源是中台ECS中自行安装的数据库，或RDS数据库。

通过数据同步将数据源中的数据导入即完成数据集成。数据同步过程包括在工作区中建立目标数据表、定义数据源与目标的映射关系、配置相应的同步任务。

3.2 计算分析

大数据的分析、统计、处理逻辑通过编写数据分析脚本实现。建立数据处理流程，在流程中增加数据处理节点。在数据处理节点中编写MaxCompute SQL语句，测试通过后，提交到业务流程。MaxCompute SQL语法类似于SQL，能完成数据查出、缓存及利用内置函数计算。对于基本语句无法完成的复杂处理，可编写自定义函数（User Defined Function，UDF）实现功能[33]，然后将UDF融合到MaxCompute SQL中使用。

MaxCompute作业提交后会有几十到数分钟的等待排队调度的时间，因而大数据分析计算一般不用于实时或准实时的数据分析（对实时性要求高的分析计算可编写程序在ECS上执行），最适用于衍生统计及指标类数据。

3.3 数据服务发布

计算结果存储于MaxCompute的存储中，通过配置名称、分组、路径、协议、访问方式和访问内容、返回类型等信息即可创建数据访问API。

图3 数据服务发布Figure 3 Data service publishing

生成的API能注册到数据服务平台统一管理和发布。数据服务可直接发布API网关。数据服务与API网关为应用提供安全稳定、易用的数据开放共享服务（见图3）。

通过数据服务支持应用访问之外，价值高的计算结果导出至指定数据源以供进一步展示或分析。数据导出的配置过程与数据导入类似，仅源与目标角色对调即可。导出计算结果数据到RDS中，可实质性地为企业中台增加新的数据内容，也方便商业智能及其他基于数据库方式的数据再利用。典型的数据资源管控及指标分析等类型的应用，可直接取用分析结果，配以QuickBI的可视化展示[34]，极大地提升应用构建速度。