数据中台的数据资产管理体系研究

2022-11-17周永博张文轩

无线互联科技 2022年1期

周永博,张文轩

(国网甘肃省电力公司互联网事业部,甘肃兰州 730050)

0 引言

现代企业的快速发展,企业内部的业务更加多元,伴随产生了大量的业务数据,企业业务数据化和数据业务化发展出现了更多的可能。如果企业仍然按照以往的理念搭建大数据平台,则是无法满足现代企业的发展需要。如何实现数据信息的标准化管理成为企业需要思考和解决的问题。在这样需求下,具备应用数据技术能力和管理能力的数据中台应允而生。为了能够更好地促进现代企业管理发展,文章就数据中台在数据信息处理中的应用问题进行探究。

1 数据中台内涵

数据中台是指借助数据技术对海量数据进行采集、计算、存储、加工,同时统一标准和口径。在数据中台将数据信息统一在一起之后会形成标准化的数据信息,数据信息的存储和应用有了新的标准支持,在企业内部形成了数据资产层,能够根据客户的需要来为其提供高效率的服务[1]。

广义层面上的数据中台是数据信息处理技术,具体涉及对海量数据信息的收集、计算、存储和加工处理。当前,数据中台的形成涉及数据模型、数据算法服务、数据产品加工、数据管理等。数据信息的使用和管理与企业的业务发展存在密切的关联,是企业业务和数据信息的沉淀使用,在数据管理的时候不仅能够减少重复性建设,而且还能够充分彰显自身差异化优势。

2 数据中台打造的重要原因分析

2.1 实现对数据的重用

在数据中台的支持下不管数据信息多么复杂,在使用的时候总是能够追溯到最根源的数据基础,由此能够帮助人们更好地认识数据的应用,在使用数据信息的时候能够避免数据信息的重复性开发,也能够节省数据重复开发利用成本。

在数据中台的作用下能够实现对数据信息的多元化备份处理,包含报表备份、数据仓库备份等,所有数据信息的使用管理都有统一的要求,在这统一要求的作用下能够实现对数据信息的汇聚处理,由此来解决数据信息的互通诉求,更好地发挥数据信息应有的作用[2]。

2.2 数据中台的打造能够满足更多业务发展需要

数据中台能够更为快速地支持数据信息的响应和应用,打造出能够支持多个领域信息使用需求的信息模型。在数据信息不断积累的过程中会打造出独属于企业的模型资产。

以报表为例,企业报表成千上万的原因往往也是没有沉淀造成的,针对一个业务报表,由于不同的业务人员提出的角度不同,会形成不同的报表。在数据中台的支持下就能够为数据报表的综合整理和管理应用提供重要支持。对于一个业务、一张报表的制定来说,现有的业务报表在使用的时候是不能够被随意修改或者新增的,在数据中台的支持下数据报表能够不断被完善,最终会发展成为且基础报表目录[3]。

3 基于数据中台的数据资产管理体系打造

3.1 总体架构

基于数据中台的数据资产管理体系整体架构自下而上分为3 层,分别是数据层、中台层和应用层。在数据层,基于公司起家的另类数据,既提供了数据采集的工具集,也提供了包括宏观数据、另类数据和资讯数据的数据集。平台还可以为金融机构客户提供采集配置服务和结构化定制等定制化数据服务。

在数据中台层面设置了数据中台、算法中台、知识中台3 个中台方面的内容,在这几个中台的作用下能够为客户提供聚合搜索和舆情监督控制支持。在这几个数据平台的支持下能够为客户提供聚合搜索数据信息展示,并打造出对应的舆情监督控制系统、知识管理系统[4]。

3.2 多源异构数据信息采集和接入管理平台

3.2.1 大量数据信息的采集

竞争的本质是数据信息的整合管理,数据信息的不对称是一系列竞争开展的基点,基于数据中台资产管理体系在打造的过程中需要将所有信息整合到数据资产管理体系中,由此打造出完善的数据生产平台,在数据信息生产平台的作用下能够实现对海量异构数据信息的全面收集和细致化监督控制,从而公开获得数据信息的咨询、管理和应用[5]。

为了能够更好地处理纷乱的数据信息,基于数据中台的数据资产管理体系采用了云原生架构来构建大数据采集系统,整个系统是以Kafka 作为消息中心,采用事件驱动的模型构建在k8s 集群上。整个系统分为4 个大模块,分别是用户控制台、数据采集引擎、数据存储服务和监控与认证服务。

3.2.2 数据源的快速扩展

基于数据中台的数据资产管理体系,科技信息采集队伍会和算法采集队伍合作交流,通过合作交流打造出完善的、智能化的网页抽取系统。网页抽取系统能够从大量信息搜索引擎中抽取特定区域的文本资源信息,比如对于咨询数据来说会分清楚数据的标题和内容,提供了网页的url 后,能够自动识别出网页中的文字、标题和日期所在位置,在获取这些信息的时候需要一个页面一个页面地去配置和管理[6]。

3.2.3 AirWorks 数据智能平台

AirWorks 数据智能平台是基于数据中台的数据资产管理体系的核心组件平台,该平台面向资源整合利用方面,本质是让前台仁和园能够以一种高效率、低成本、全面的方式来应用到业务数据,实现对数据信息的高效率整合利用。同时,通过数据信息的分层处理还能够确保业务人员的需求能够及时被响应。