基于电力行业的大数据时代下元数据管理方法探究

2021-11-30尹君代作松王文哲

科学与信息化 2021年17期

关键词：电力行业数据管理储存

尹君代作松王文哲

1. 国网乌鲁木齐供电公司新疆乌鲁木齐 830000

2. 南京南瑞信息通信科技有限公司江苏南京 210003

3. 中国葛洲坝集团国际工程有限公司北京 100025

1 元数据的基本概述

所谓的元数据，指的是一种描述性数据，是对系统进行理解和使用的重要资料，也就是说所有对系统进行描述的数据都属于元数据，如文档、手册等。从使用者的角度进行划分，可以将元数据分为业务与技术两种；从记录形式上划分，可以分为结构化与非结构化两种。元数据最主要的作用就是对系统进行描述，从而帮助系统使用人员准确全面的了解系统的各项功能。如果系统中缺少了元数据，那么系统中所收集的和储存的数据将会失去它的作用[1]。

2 元数据管理问题

由于各平台间存在的差异，元数据的获取方式各不相同，要想获得完整准确的元数据，存在着一定困难。各企业所建立的大数据平台都有一定的闭源性，特别是平台相关的元数据获取十分困难。第二，系统自动获取的元数据信息只对技术进行了描述，而缺少业务类的元数据信息，这不利于大数据平台的数据提取与挖掘工作。第三，平台元数据模型出现变更，通常是事后才发现，这会对数据中心的数据质量造成较大的影响。企业业务变更频繁的同时，元数据模型也需要进行频繁的更新，在对元数据进行管理中需要保证模型与业务数据的同步，如果管理中出现问题，将会影响到系统对元数据的采集，从而影响了数据的质量。通过上述问题可以看出，在大数据平台日常的管理过程中，企业通常忽视了元数据管理的重要性，在需要使用时才发现元数据出现了问题[2]。

3 元数据的管理方法

3.1 技术层面的管理措施

3.1.1 技术型元数据的自动获取。电力行业的大数据平台一般使用关系型数据库进行元数据的储存。其具体的储存情况如下：视图信息、索引表的基础信息、Hive表、储存表都储存在TBIS之中；视图授权信息以及属性信息储存在平台的储存库中。根据表与表之间的关联性对表内信息进行整合，从而获取表内的字段、视图等技术型元数据信息，在获取这些元数据信息以后，通过业务表模型与业务字段模型来对电力行业大数据平台的元数据信息进行储存。

3.1.2 元数据关联性信息的分析。其具体的分析过程如下：第一，在日志文件中对HIVESQL数据进行读取，获取到需要进行处理的数据信息。第二，对数据信息中的关键信息进行分块处理，从而形成信息的逻辑分块。第三，从形成的逻辑分块中获取到被处理信息的目标、源、逻辑以及字段等信息，然后对这些信息进行整合，形成元数据的基本信息，同时对数据的流向信息进行记录，进而组建信息的关联性。第四，在完成元数据信息的提取后，可以将这些信息封装在平台的任务之中，实现大数据平台对元数据处理的自动化执行。在大数据平台实际进行数据信息的处理时，由于数据量较大，需要分析的工作量是巨大的。这时就可以采用日志切分法、多线程处理法等多种处理方式，提高数据信息分析处理效率，从而满足电力行业数据处理的需求。

3.2 管理层面的管理措施

以技术部门为管理主导。元数据的管理工作与其他管理工作不同，其管理方式更偏向于技术活动。需要专业的技术人员对其进行开发与维护，在大数据平台建设之初就需要对元数据管理工作进行建设，并对其具体工作流程进行明确的规定。

制定元数据的管理制度。管理制度中需要包含元数据的具体管理要求以及相关的注意事项，具体内容：第一，在元数据管理系统建立之初，就需要对业务型元数据的属性进行补充，且补充的内容要准确、全面并符合元数据补充规范，在系统完成后需要相关技术人员对补充的元数据信息进行审核。第二，当大数据平台的业务信息、数据结构以及相关功能发生变更时，需要对相关的元数据进行及时的更新，保证元数据信息与系统信息的一致，同时需要注意对历史版本进行保留。第三，大数据平台建设时，相关开发人员需要参照相关元数据的内容，避免平台后期开展的业务活动，与元数据信息的脱节。第四，当大数据平台中相关业务下线时，要对相元数据进行保存，以方便后期的查阅。

充分利用元数据管理系统。对元数据信息的利用，不仅局限于分析数据的关联性以及版本的管理等，上述功能更偏向于为技术人员提供服务。在元数据的实际使用中，应该充分挖掘元数据的利用方式。只有充分利用元数据，才能体现出这些数据的价值，元数据的管理工作是为了更好的对其进行利用，在利用过程中出现的问题又能反向的对其管理工作进行完善。电力行业管理人员以及技术人员要养成使用元数据的习惯，从而更加充分的对其进行利用。