基于数据中台的智能视图探索的应用与研究

李雅洁，明 涛，胡新苗

（国网新疆电力有限公司，新疆 乌鲁木齐 830002）

0 引 言

随着数据中台建设的不断深入，按照“一平台、一系统、多场景、微应用”的整体技术路线，已基本建成企业级统一云服务平台和数据中台，初步实现平台资源和跨专业数据共享，推进源端业务融合，提升数据质量、增强数据共享，为电网各类分析决策提供完备的数据资源、高效的分析计算能力及统一的运行环境[1]。如何深入挖掘数据价值、实现跨专业的高效计算、智能分析，提升精益化管理水平显得更为迫切。本文提出了一种基于数据中台的智能视图探索技术的解决方法，通过智能视图可视化探索，建立起数据与业务中间的桥梁，支撑业务应用创新涌现，降低数据使用难度，充分挖掘数据有效价值信息，提升公司经营管理水平[2]。

1 技术介绍

1.1 智能视图探索概念

智能视图探索是以业务模型为基础，通过业务模型的智能发现，建立企业全数据统一视图，将数据关系转化为业务关联的发布功能，构建企业全景式业务关系模型。为业务人员屏蔽底层复杂计算存储资源的理解，从业务角度出发，以业务关系为基础进行数据贯通，在业务模型探索结果的基础上，允许用户探索业务关系视图，进行面向业务的数据分析演练，挖掘数据有效价值信息，从而获得对数据的深度认识[3]。

（1）业务模型：以图形方式描述企业管理和业务所涉及的对象和要素、以及它们的属性、行为和彼此关系，是实现数据（模型）跨计算域、业务域管理的基础。模型是由实体、关系和标签组成。

（2）实体：具有不同ID但却代表真实的异构数据源、信息源的业务模型中同一对象，并将这些对象归并为一个具有全局唯一标识的实体。

（3）关系：实体彼此之间相互连接的方式，描述多个实体之间发生的某种行为。

（4）标签：标签是业务人员最容易理解的一种数据形态，是高度精炼的特征标识。

实体用一个全局唯一确定的ID来标识，标签用来刻画实体的内在特性，而关系用来连接两个实体，建立他们之间的关联[4]。模型被看作一张巨大的图，图中的长方形标识实体，而图中的菱形标识关系，构建成围绕业务场景的业务视图。

1.2 智能推荐难点

智能推荐加速构建业务模型，通过深度学习方式，采用BP算法利用梯度下降法训练网络，直至收敛[5]。采用无监督式的逐层训练方法，对业务库日志挖掘，自动地发现可能的实体和关系，并根据关系的强弱切割成不同的子图，发现关键的业务模型。辅助业务开发人员批量快速地生产实体关系图，对物理层面数据和业务逻辑的关系进行智能推荐，形成推荐业务模型。

1.3 模型探索

通过关键词探索，定位到实体、关系、属性，进行业务模型探索，发现实体与实体之间的关系，发现属性与实体、关系的归属关系，完善推荐业务模型。不同业务域的实体关系模型，沉淀出不同业务域标签模型以及标签分类体系，来形成各业务域的知识库。同时它不仅仅是模型层的单个业务域模版，它会和上层业务模型联动，形成从模型层到应用层一整套业务模型。基于各个业务域的整套模型，可以沉淀出一套跨专业、多维交叉分析全景业务模型。在相同业务域输出时，可以基于这个业务模型快速的客户数据需求和数据有效价值信息充分挖掘。

2 技术方案

2.1 总体思路

基于数据中台的智能视图探索目标是为了构建一个面向全计算域、业务域的数据和业务模型探索工具，挖掘数据有效信息价值，支撑业务应用创新涌现，降低数据使用难度，提升公司经营管理水平，放大协同效应价值。

智能视图探索是以业务模型[6]为基础，依据国网企业信息模型（SG-CIM4.0）[3]标准，透过企业业务的视角，将数据进行重新梳理和整合，建立企业数据统一视图[7]，将数据关系转化为业务关联，构建企业全景式业务关系模型和数据关联模型，消除企业内部的冗余信息，为业务人员实现数据探索屏蔽底层复杂计算存储资源的理解，降低数据使用难度，为不同业务部门之间搭建数据沟通的桥梁，促进业务融合提升，有序实现数据共享，增强数据价值的挖掘水平，为电力行业发、输、配、变、用电各环节建设和业务发展提供科学指导，提高电网安全生产能力和供电优质服务水平。

2.2 技术架构

各个业务系统数据通过数据采集工具/数据同步工具进行数据加工后批量集中存储至大数据计算平台[4,5]。智能视图探索工具经授权后获取数据中台的元数据信息，借助智能推荐及人工确认、梳理的业务模型和标签中心提供的标签，把底层的物理存储映射成业务逻辑模型，并基于工具提供的模型探索和数据探索功能，并在此基础上衍生出其他功能，对外提供各类整合分析服务。其基础架构如图1所示。

图1 智能视图探索工具技术架构

3 关键实现技术

3.1 数据分析技术

大数据分析技术的根本是将数据转化为信息，信息提炼为知识，以知识促进业务和智能决策能力的提升。借助于大数据的分析技术，从数据中台的海量数据中找出数据背后规律，为电力不同业务部门之间搭建数据沟通的桥梁，促进业务融合提升，有序实现数据共享，提高对相关业务应用建设的支持效率，增强数据价值的挖掘水平[8]。

分析查询引擎是智能视图探索工具的核心技术，基于Facebook使用的Presto[9]进行交互式的查询分析。分析查询引擎采用定时刷新的机制读取数据源的DBLog并解析以获取技术元数据信息，并将其与业务元数据关联和存储，任何基于“表、字段”的数据源都可以被OTM以解析DBLog的方式获取物理元数据。Presto是一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions）。图2展现了简化的Presto系统架构。客户端（client）将SQL查询发送到Presto的协调员 （coordinator）。协调员会进行语法检查、分析和规划查询计划。计划员（scheduler）将执行的管道组合在一起，将任务分配给那些里数据最近的节点，然后监控执行过程。客户端从输出段中将数据取出，这些数据是从更底层的处理段中依次取出的。

图2 智能视图探索工具可视化技术

3.2 数据可视化技术

数据可视化技术的基本思想，是将每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，增强数据的呈现效果，方便用户以更加直观的方式观察数据，从而对数据进行更深入的探索和挖掘，发现数据中隐藏的信息。

智能视图探索工具可视化展示结合FineBI、FR、Tableau等智能分析工具，实现渐进式的智能交互、自助式智能分析高级应用。支持多种类型的数据源，既可以连接DWS、RDS等云数据源，也支持连接Oracle、MySQL、PostgreSQL等关系型数据源。分析查询引擎内置了智能查询加速引擎，从而实现了对海量数据进行实时在线分析，无需提前进行大量的数据预处理，就能流畅地进行海量数据分析，完成数据可视化展示。支持拖拽式操作和提供丰富的可视化图表控件，轻松地完成数据透视分析、自助取数、业务数据探查等工作。

4 智能视图探索应用

目前已基于数据中台完成了设备资产精益管理系统[10]、营销业务系统、ERP、用电信息采集系统等多套核心业务系统数据的全量接入，从业务域技术角度梳理业务数据模型，形成数据资源地图，方便业务人员和技术人员随时产寻和应用数据分析域的数据资源，支撑统一数据服务的构建。在大数据分析场景应用方面，围绕资产、物资、客户、电网等多个业务领域，实现了多个分析场景的构建工作，支撑业务部门不断变化的业务需求，形成了一套大数据分析构建方法论，从而支撑分析应用的快速构建。

4.1 帮助业务人员快速理解新业务与现有业务关联关系

随着电网日益增加的复杂性和各专业业务的不断发展[11]，数据体量的不断扩大、数据类型的不断丰富，亟需一个有效的数据探索工具，来帮助业务人员快速解新增业务，以及与现有业务间的关联关系。

数据智能探索工具是在现有业务及数据关联基础上，及时发现业务系统数据模型的变化，实时同步，及时保持业务模型与数据模型的最新状态。同时能够为新增业务和现有业务快速建立关联关系，帮助业务人员快速理解业务，为业务专业的辅助决策提供有力的支撑。

4.2 为电网智能分析决策提供辅助支撑

现有的数据分析工具及手段无法帮助业务人员快速开展大数据场景分析工作，以电网运检智能分析决策系统为例：作为运检管理人员从事设备运维检修工作的支撑平台，集成了多个业务系统的数据，借助于运检定制化大数据分析工具模块进行了多维分析、统计分析、挖掘分析等工作。随着运检专业数据体量的不断增大以及运检专业对大数据分析业务的不断加深，现有运检定制化大数据分析工具所提供的分析方法、分析手段等不足以支撑快速发展的运检大数据分析要求。

依托电网运检智能分析决策系统已有的成果[12]，结合数据智能探索工具模型探索和智能发现的功能，对电网运检智能分析决策系统集成数据进行整合分类，并通过工具生成运行状态分析评价模型，对设备运行状态进行实时分析，及时发现设备潜在运行风险，为电网智能分析辅助决策提供有力的支撑[13]。

5 结 论

本文探讨通过智能视图探索技术构建企业全景式业务关系模型和数据关联模型，进而实现数据探索，发现数据规律，实现跨专业的高效计算、智能分析，为电力数据的高效挖掘及在线分析决策提供了技术支撑，将推动基于大数据的智能视图探索技术在电力系统的应用和发展。