基于数据库元数据管理系统的设计与实现
2019-07-01杨永信
杨永信
摘 要:本文以TSV-SSM元数据管理平台为基础,通过元数据管理平台设计,能够实现企业对元数据管理体系的有效建立,并保证其具有可靠性、便捷性。此平台建立可帮助企业能够进行3层解题数据地图的绘制,同时平台还具有实现血统、影响度分析、对比增量储存的功能,进而能够更加有效地实现对信息资产的开发及利用,以保证更加高效的分析及决策,实现对项目风险的有效控制。
关键词: 软件工程;元数据管理;ssm框架;Mysql extjs
文章编号: 2095-2163(2019)03-0312-03 中图分类号: TP311.13 文献标志码: A
0 引 言
随着现代科学技术的不断发展,各行各业相应的数据量在不断增加,在庞大的数据环境下,企业的各类数据环境之间具有非常复杂的关系。当前有关数据管理的相关研究以及数据管理的平台设计还处于以元模型建立的基础上,相对来说对于数据的开发利用难度较大,相应的维护成本也较高,特别是对于数据的可视化开发来说,相应的难度及成本更高。
1 元数据管理原理分析
1.1 元数据及管理分类
在传统数据字典中,包含有索引及表等模式对象信息,元数据的概念提出也始于此阶段,所以就保证相关内容具有一定的沿袭,主要的目的就是为了能够实现对数据的描述。在元数据库中,对于业务数据的存储,主要以数值为主,在元数据库进行数据特征的存储,可以对环境信息进行描述。若要对包含商业规则、数据转移等的信息实现整理和归纳,就需要对元数据做出有效的管理,进而保证数据的高效性。
1.2 TSV概述
TSV,即Three Step View,是三层阶梯视图的英文缩写。企业在对数据进行应用的过程中,主要有3个方面,即:领导、业务人员及开发人员。对于TSV的应用来说,其在企业中的应用因为企业各个阶层用户需求的不同,对数据库数据流的重视程度也就不同,业务人员所产生的主要数据多是针对生产者和消费者,而管理者所关注的则是大数据之间的相互关系及流向,同时开发人员侧重的却是数据的精细化走向,所以,TSV是以企业实际应用为基础进行的。
2 基于TSV-SSM的元数据管理流程
当前对于元数据的管理可以按照一定的流程展开设计,对此可做阐释如下。
步骤一,对元数据的来源进行确定,即对元数据管理体系中的系统进行规划。
步骤二,对底层元数据库进行参数的设置及采集任务的制定,因为此时的元数据库证明是成功链接的原因。
步骤三,对元数据库进行建模及存储,并以cwm标准研发实现。
步骤四,设计中加上对元数据库的变更及运维。
步骤五,对数据做到有效追踪,并在应用层面上实现对数据的宏观纵览及管控。
3 元数据管理平台设计与实现
3.1 功能流程設计
在进行平台功能流程设计的过程中,需要保证相关的设计能够符合元数据的存在周期,而对于以企业数据分散为基础的企业的功能流程研发设计过程中,就需要对存储体系加以提炼、简化及采集,并通过搭建元数据树结构来对元数据进行深入挖掘,再通过3层阶梯视图对元数据进行有效管理。本次研究给出的功能流程设计如图1所示。这里可得研究内容分述如下。
3.1.1 元数据导入配置
(1)在任务采集前,就需要对悬挂点进行配置,进而实现对元数据浏览数的构建,这也是悬挂点配置。
(2)实现对数据源类型、链接信息及账户信息的配置,接下来通过相应的链接测试来有效配置数据源,进而开启任务采集过程。
3.1.2 元数据采集
元数据采集是元数据管理的基础和前提。只有所采集的数据源达到一定数目时,才能够进行对元数据系统的完备及完善设计,同时还要全程监控元数据不会丢失,保证数据地图具有完整性。
3.1.3 元数据浏览
(1)对于已经配置好的悬挂点可以在左侧元数据树状结构中进行显示,进而可以保证对相应结果进行直观的查看,以3层阶梯视图为基础,元数据同样可以分为3层,即:系统层、系统对应数据库层及各库下属表层。
(2)实现对对应库所属表名及创建时间的展示。
(3)当需要对表进行双击时,就能够查看此表的详细信息,具体包括有字段、约束、索引、视图等,并以下拉菜单的形式进行显示,这样就能够实现对元数据信息的有效查看。
3.1.4 采集任务管理及数据分析
采集任务结束后,就能够详尽记录自动采集和手动采集的各类信息,并以列表的形式进行展示,同时也可以进行详细日志的查询,为后期执行过程中存在问题的修改提供了保障。
3.1.5 元数据检索及元数据维护
元数据检索时,就需要进行筛选范围及键入关键词的设置,进而获取对元数据的有效查询。而元数据维护主要是对元数据中各个数据节点进行维护,同时还需要对采集数据的数据源进行维护。
3.2 架构设计及应用
技术架构的信息源主要有6个方面,即:数据源层、采集层、存储层、应用服务层、门户管理层、用户层。其中,第一层可以提取系统信息,第二层可以有效地整理归纳所采集的数据,第三层可以将采集的数据汇总到数据库中进行存储和管理,第四层和第五层能够将已通过安全认证的信息进行存档,并通过安全访问的方式实现对文档的存储,从而满足用户的浏览需求。
4 应用案例及分析
2018年,某证券公司在进行内部数据治理过程中,与某软件技术开发公司积极展开合作,同时为软件技术开发公司提供了元数据等诸多数据治理内容。
首先,该软件技术开发公司在全面调研后,将元数据管理范围确定为5个核心系统,并将元数据实体及其关系整合、元数据采集及其统一管理等,作为该项目的最终目标。
其次,该合作项目通过TSV-SSM元数据管理平台,有效构建了元数据管理浏览体系,从而形成一个全面的元数据树结构。
再次,对该证券公司的数据库进行整理后,生成了五千多张工作表单,将其作为元数据来源,并全面导入到元数据管理系统中,用以构建一个完整的元数据库。
最后,采用3层阶梯视图法对数据模型和关系进行梳理,并规划了定期采集任务,进一步加强对元数据的应用,同时深入挖掘其使用价值,进而形成元数据创建、分析与维护体系。
5 结束语
综上所述,对于企业中的数据管理已经成为企业发展的重要组成部分,企业想要发展就必须对数据实施科学管理。本文通过对以TSV-SSM为基础的元数据管理平台的不断升级建设,除了对数据做到有效治理外,还能够对数据体系进行有效梳理及挖掘,从而保证企业对数据应用效率的提升。未来若要在各个领域中实现对元数据管理系统的建设,还需要在实践中大胆探索,并陆续推出各类应用创新成果。
参考文献
[1]张勇,蔡璐,李月明. 非物质文化遗产数字资源元数据标准应用的研究和思考[J]. 图书馆,2016,42(2):38-42.
[2] 樊友洪,邓韧,李生林.一种基于泳道数据流图的数据需求分析方法[J]. 中国科技纵横,2015,11(2):24-26.
[3] 周燕玲. Spring MVC框架开发WEB应用程序的探索与研究[J]. 科技广场,2016,28(6):25-28.