基于数据中台的数据在线服务设计及应用

2021-05-28胡聪洪德华刘翠玲王鹏

现代计算机 2021年11期

胡聪，洪德华，刘翠玲，王鹏

（国网安徽省电力有限公司信息通信分公司，合肥230041）

0 引言

随着电力企业数字化转型升级加速，电网已经建成了覆盖发电、输电、变电、配电、用电等全领域的专业应用信息系统，为电网数字化提供了有效的支撑[1-2]。伴随着新型业务的发展，以及大数据、云计算、人工智能能新技术的兴起，电网业务系统已不能较好地适应新业务的应用需求，业务系统之间存在较为突出的数据共享壁垒，各个业务系统沉淀的数据资产无法有效性的挖掘内部潜在的价值，业务系统业务和数据的服务化水平较弱，新业务构建速度延后[3-4]。同时电网沉淀的数据资产分散，没有形成电网数据资产管理体系，数据资产维护难度大，缺少统一的主数据维护体系，数据质量评估体系及流程还不完善[5-6]。

为破解上述难题，本文重点研究数据中台的服务设计方法，突破数据服务定义分解、资产自动化循环管理等关键技术瓶颈，构建电网数据资产标准目录，从顶层加强业务系统的统一数据模型执行力度，落实数据模型应用，从理论技术上解决业务系统至今数据共享、贯通等难题，进一步促进电网数据资产整合利用，加快构建数据贯通的数字电网。

1 现状分析

企业中台是企业级能力复用的服务共享平台，由一个或多个共享服务中心组成，每个共享服务中心由一组具备复用、共享能力的服务组成[7-8]。企业中台按照服务能力类型划分共享为业务中台、数据中台。其中数据中台整合电网业务数据，按照电网业务贯通发展需求，强化电网数据共享、数据分析应用，将电网通用的数据服务进行沉淀形成共性服务能力。数据中台能力架构图如图1 所示。

图1 数据中台能力架构图

电网数据中台按照能力划分，可以划分为电网数据接入能力、电网数据存储计算能力、电网数据分析能力、电网数据服务能力、电网数据资源管理能力、电网运营管理能力。

2 数据分析服务方案

数据中台服务设计和拆分方法从企业级数据模型的基本定义和架构、模型涵盖的业务价值、模型方法的设计等角度分析，整合统一电网数字化体系标准，分步骤将电网数据模型进行统一建模，不断迭代数据标准体系，将传统的电网业务概念转换成软件的类型、类型的属性、行为等，进而可以有效地降低电网数据服务业务设计的难度，并且数据服务可以拥有良好的可扩展性。

2.1 总体架构

电网数据分析服务依托电网数据中台的统一构建，电网数据服务数据存储在云平台，以Web 方式向用户提供服务检索和查看，通过电网数据中台统一数据分析服务（API 接口）向电网业务系统、电网各类业务中台等提供电网数据分析服务；同时基于电网数据中台构建的分析场景，可发布为服务，实现一线班组及管理人员对业务分析数据的在线查看。数据分析服务体系架构如图2 所示。

图2 数据分析服务体系

基于数据中台的数据分析服务能力主要包括服务设计、服务构建、服务应用和服务管理四方面。

服务设计是服务分析能力建设的基础，通过业务场景及服务需求分析，对数据分析服务体系、服务构建标准及服务应用策略进行标准化设计。

服务构建是服务分析能力建设的核心，包括结果数据集、算法模型服务和分析场景构建。结果数据集构建是依托数据中台共享层、分析层业务数据，基于数据中台技术组件能力，经过数据处理、服务开发等过程完成服务的构建；算法模型服务构建是依托中台算法模型组件构建的算法模型服务；业务分析场景构建是依托数据中台自助式分析组件经过业务逻辑加工形成业务分析场景后，发布的服务。

服务应用是服务分析能力建设的关键，包含服务注册和服务调用两个阶段。已构建的结果数据集服务和算法模型服务，在数据中台服务目录上进行服务注册，已构建的业务分析场景进行发布；注册或发布成功后，通过Web 应用向最终用户提供数据服务分类展示、服务推荐/订阅等应用能力，用户在授权范围内调用所需的数据分析服务。

服务管理是服务分析能力建设的保障，贯穿服务构建和服务应用的全过程，基于数据分析服务全生命周期过程进行统一运营管理，包括数据服务应用审批等管理能力，并进行统一服务运维。

2.2 服务设计

电网数据中台的数据服务设计方法：电网数据中台服务化设计分为数据服务中心规划、数据服务识别、数据服务设计、数据服务实现、数据服务治理。

数据服务中心规划：依托电网业务领域模型的输入，结合数据服务中心规划方法以及决策流程和指标明确数据服务中心。

服务识别：依赖电网业务需求推导出多级流程、电网业务时序图、电网业务规则、电网业务功能等当成数据服务识别的输入项，结合各种需求输入对应的数据服务梳理方法梳理潜在的数据服务。从潜在的数据服务做数据加工处理形成电网数据中台的服务模型，另外从数据服务的非功能需求中，推导出电网业务中台技术支撑能力。

服务设计：依托数据服务识别过程中形成的数据服务模型，构建对外开放的数据中台服务接口，给出不同数据服务中心的数据模型结构。

服务实现：根据电力信息系统代码开发规范、业界微服务开发典型实践经验，进行数据服务接口的代码业务逻辑设计、开发以及测试。

服务治理：数据服务运行全程调用日志、运行监控数据、链路跟踪数据，分析服务运行调用效率。当数据服务存在依赖关系太多时，该数据服务则为不稳定服务需要进行优化；当服务调用频率，响应速度较快，说明该服务满足业务系统的主要需求；该服务上线后无业务系统调用，说明该服务属于伪需求，不存在使用者。通过服务治理，可以发现服务之间的血缘关系，通过服务之间的关系，判断服务的拓扑结构，更加可靠的运维服务。

2.3 服务构建

数据分析服务的完整构建流程包括从需求收集到服务下线共8 个环节，电网数据分析服务构建流程如图3 所示。

图3 电网数据分析服务构建

电网数据分析服务涵盖电网数据分析服务需求收集、电网数据分析服务设计、电网数据处理、电网数据分析服务开发、电网数据分析服务第三方测试、电网数据分析服务对外发布、电网数据分析服务更新、电网数据分析服务下线。

2.4 服务应用

基于业务需求，服务提供者开发数据分析服务，在统一门户中进行编目发布。服务使用者通过查询，获取所需服务信息，经授权后，调用相应数据分析服务，获取分析算法模型或分析成果数据集。服务使用者可对服务进行评价，为服务优化提供依据和参考。服务管理者进行相应的服务监控与维护管理工作。数据分析服务应用流程如图4 所示。

图4 数据分析服务应用流程

基于电网业务驱动提取数据分析服务新需求，进行数据分析脚本开发，并将分析过程或分析结果等封装成服务；服务注册/注销：将服务注册于数据分析服务目录，或根据业务需求变化要求，从目录注销；服务编目：根据服务元数据信息，对服务编排目录层级位置；服务发布：更新或调整目录结构及服务信息后，正式对外发布，供服务使用者获取最新服务信息；服务检索：数据分析服务使用者，在数据中台上进行服务检索，寻找需要的数据分析服务；服务发现：数据分析服务使用者寻找到所需的服务，获取服务元数据信息及服务调用、使用方式；服务评价：反馈电网数据分析服务的质量、安全等问题。

3 实验验证

本文依托国网安徽电力公司数据中台进行测试验证[9-10]，模拟验证数据在线服务流程，在配置后台数据服务解析流程后，数据在线服务访问过涉及到数据校验、唯一性判断、查询服务、修改服务、删除服务等，配套工具通过脚本方式实现服务实例化，与具体的主数据对象关联应用，数据在线服务满足相关要求。具体验证效果如图5 所示。