基于银行数据仓库的元数据管理体系研究

余叶兰

(闽江学院 软件学院， 福州 350011)

基于银行数据仓库的元数据管理体系研究

余叶兰

(闽江学院 软件学院， 福州 350011)

在数据仓库技术领域，元数据管理是其研究的重点。本文讨论了元数据相关概念及应用，并基于银行业务背景，分析了元数据管理系统的设计原则，设计了一种基于银行数据仓库系统的物理架构，给出了系统的数据模型设计，且从用户及安全分组两方面论述了系统的实施安全。

数据仓库系统；元数据；元数据管理；元模型

1 引言

某银行为了实现不同系统之间的数据同步，使业务流程和数据流程实现标准化，进行了应用与数据整合元数据管理项目建设。通过对某银行的业务流程、各业务系统应用及数据的分析，对某银行数据仓库项目元数据管理项目建设进行规划和建议，并提出可实施性计划，根据此计划完成所涉及范围的元数据管理项目的建设。元数据管理系统最终将为整个企业提供元数据管理，实现企业级的操作环境视图。

元数据管理以数据仓库的数据环境为核心，贯穿于系统的整个生命周期，包括规划、业务分析、设计、实现、维护、扩容。元数据协助银行的规划和设计，为系统开发提供指导。本文基于此背景，构建该环境下的数据仓库系统的元数据管理体系结构，分析了元数据管理系统的设计原则、系统的物理架构及该管理系统的数据模型设计，并从用户分组和安全分组两方面论述了系统的实施安全。

2 数据仓库元数据定义、分类和作用

元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据(Technical Metadata)和业务元数据(Business Metadata)[1，2]，通过有效的元数据管理，不仅可以提高业务人员与技术人员的沟通效率，而且可以帮助数据管理工作者提高对数据的管理的深度，提升管理效率，因此，元数据需求对象不仅包括业务用户和技术用户，还包括数据管理用户。

在数据仓库系统中，根据元数据工作机制，本身含有五类系统管理功能，而元数据管理系统的构建，不仅能实现信息资产的有效管理和使用，使企业信息在经营层面可得到有效的整合，而且在软件应用的全生命周期内发挥作用。加强了业务部门和IT部门的沟通，为业务部门提供实时有效的应用信息，帮助企业成长为数据驱动型企业,帮助企业解决数据孤岛问题，创建知识传承的平台并统一指标定义和管理，明确管理人员的职责。

3 元数据管理及应用

元数据管理包括了元数据定义、元数据集成、元数据存储以及元数据变更管理四个部分。元数据定义即元数据数据源范围确定，确定后的范围包括了数据源系统、ODS系统、DDS系统、ETL系统、数据模型、前端应用六个部分的相关技术和业务元数据。元数据集成主要是指元数据桥接器(MetaBridge)的设计及实现。元数据桥接器一般包括CLI桥接器、Excel桥接器、XML桥接器三类元数据集成工具。元数据存储主要包括对元模型设计、容量规划、数据库用户及权限规划等。元数据变更管理用于管理和控制整个数据仓库系统的变更，包括ODS、DDS、ETL系统、前端应用系统等各个系统组件的变更，以及与数据仓库系统相关数据源的变更。通过变更管理，不仅保证物理数据的完整和正确，同时也确保了元数据系统中数据的一致和完整。

元数据的应用可分为三类，分别是元数据查询、报表、分析。元数据管理包括管理功能(GOVERNANCE)和指导功能(GUIDANCE)两大基本功能[3]。根据元数据业务、技术以及管理需求，元数据应用将分为五大模块：数据结构管理、元数据查询、数据架构管理、数据模型管理、业务信息管理以及变更管理。

4 元数据管理系统的系统结构

元数据管理系统包括用户需求(needs)、元数据管理(deeds)、元数据应用(seeds)、元数据集成(Feeds)四个主要部分组成的。该体系架构设计以其两大功能为出发点，以数据环境和元数据需求为基石，通过设计合理的元数据存储架构(Metamodel)，有效地进行元数据集中，实现元数据的统一管理，并在此基础上，针对元数据需求，规划元数据应用，制定元数据操作流程,并通过集中的权限管理和用户配置管理，使用户获取应该得到的信息。

元数据管理系统是一个完整的数据信息管理系统，构建其体系应包含从需求分析、应用设计，再到用户规划的整个过程。所以，构建元数据管理系统应遵从五个步骤：元数据需求定义、元数据管理实现、元数据应用实现、系统管理定义及系统运行维护定义。经过五个步骤的构建，元数据系统将涉及元数据应用模块、元数据管理模块、元数据展现模块、系统管理模块及系统运行维护模块。

5 元数据管理系统的设计原则

在元数据管理系统的建立过程中应尽量OMG组织的CWM标准,增加系统的可扩展性。本文研究的元数据管理系统的设计原则应遵循以下四点：

(1)选用元数据驱动的数据仓库构建策略，数据模型、ETL[4]、以及数据质量的相关信息应保存在元数据中，通过元数据管理系统来实现数据的同步。

(2)考虑到元模型设计的灵活性和可扩展性，应为进一步的系统升级及应用程序，提供可扩展的方案。

(3)元数据管理的前端建立在应用服务器上，提供网页形式的页面供用户读取，用户通过本地的IE浏览器对指定的数据页面进行浏览。

(4)通过元数据管理系统，整合元数据的管理流程。

6 元数据管理系统物理架构

本文的数据应用工具采用WEB方式，即用户访问为B/S方式。元数据管理系统的范围应涉及数据仓库的全环节。元数据管理系统物理架构主要分为四个层次，用户层、统一认证层、应用系统层、数据库层。如图1。

图1 元数据管理系统物理架构

7 元数据管理系统的数据模型设计

数据库模型应切实遵循标准的三范式。在数据模型物理化的过程中可以考虑从性能问题进行降范式处理，将数据操作、业务逻辑封装在宏内，对数据库的操作通过宏来实现，在应用中尽量不含有业务逻辑。建议平台数据库空间不少于10G，可在平台建设初期划分2-4G用于元数据存储库。针对本文的元数据管理系统设计的系统总实体如图2。

图2 系统总实体-ER关系图

8 元数据管理系统的实施安全

可将元数据系统管理分为用户分组和安全分组两个部分。元数据用户分为系统用户和应用用户，其中应用用户又分为普通用户和数据管理用户。普通用户中包括业务用户和技术用户。其架构如图3，普通用户是元数据查询用户，包括了技术用户和业务用户，该类用户仅能查询相应区域的业务元数据和技术元数据。数据管理用户是各个元数据源的数据管理员，该用户应拥有修改数据源系统的权利，他同时也是该部分元数据的管理者，他可以在得到元数据管理员(MDA)许可的情况下，更改其管辖的元数据。系统用户是指元数据系统的管理者，包括加载用户和管理用户。加载用户负责元数据的加载和更新。管理用户负责数据及用户安全。

图3 用户分组架构图

安全分组即对数据的安全进行分组，在MDS元数据管理系统[5]中，数据的安全是通过用户与安全配置(Security Profile)共同来完成的。在安全配置中，可以定义多个用户，拥有不同的权限。同时，每个元数据对象都有一个安全配置。通过这种组合，实现用户对不同的元数据对象有不同的权限。元数据源包括：Oracle数据源系统、FlatFile数据源、ETL系统、ODS系统、DDS系统、数据模型、前端应用系统和业务信息源。因此，对于每个元数据源应调配独立的安全配置(Security Profile)。所以，在元数据系统中，至少需增加7个安全配置，分别对应不同的元数据源。

9 总结

本文通过构建元数据管理系统，利用元数据的整合，使维护人员、管理人员以及系统开发人员能够完整地认识数据仓库的数据定义及系统架构。当元数据加载到元数据系统后，数据发生变化时，有效地预期数据的影响范围。尤其近年来，对数据质量控制的高要求，进一步凸显了元数据管理的重要性。

[1](美)David Marco著，张铭，李钦等译.元数据仓储的构建与管理[M].北京：机械工业出版社，2004.

[2]K.Brigitte and G.Olvier．Models for Metadata or Metamodels for Data[C]．The Second Proceeding of Metadata，1997．

[3]黄展辉,项颖. 数据仓库元数据管理研究[J]. 福建电脑,2010,(1):53-54.

[4]廉博. 数据仓库中ETL技术的研究与实现[D].沈阳工业大学,2006.

[5]谢福成,王备战,史亮,姜青山. 基于银行数据仓库的元数据管理系统[J]. 计算机工程,2009,(9):79-81.

Metadata Management System Based on Bank Data Warehouse

YU Ye-lan

(Software School, Minjiang University, Fuzhou 350011, China)

In the field of data warehouse technology, metadata management is the research focus. This paper discusses the concepts and application of metadata, analyzes the design principle, designs a physical architecture based on bank data warehouse and presents data model design of metadata manage system. What’s more, this paper discusses the implementation safety of the system from two aspects of users and security group respectively.

data warehouse; metadata; metadata management; meta-model

2017-01-02

余叶兰(1986-)，女，福建仙游人，助教，硕士，研究方向为软件工程。

TP31

A

1674-344X(2017)2-0038-03