数据整合在宏观经济监测预测系统中的实现

2016-08-09马小微河北能源职业技术学院河北唐山063004

商业经济研究 2016年13期

■ 马小微（河北能源职业技术学院河北唐山 063004）

数据整合在宏观经济监测预测系统中的实现

■ 马小微（河北能源职业技术学院河北唐山 063004）

内容摘要：在宏观经济监测预测系统建设过程中，常常存在着数据难以有效共享、数据信息不完整等问题，这主要是由于现有的宏观经济数据大都是存储于不同的经济主管部门数据库中，各个数据库之间不能实现共享和互通，数据不完整、分散、异构等情况比较突出，这极大地制约了宏观经济监测预测系统的建设质量和使用效益，也影响到了宏观经济监测预测系统的功能的发挥。基于此，进一步优化、整合宏观经济数据，实现数据在宏观经济监测预测系统中的共享和使用，成为宏观经济监测预测系统建设的最重要内容和环节。

关键词：数据整合宏观经济监测预测系统实现

引言

不断健全完善的市场经济体制，对于政府部门进行宏观经济研究提出了越来越高的要求，相关政策制定者在政策制定上也越来越依赖于宏观经济研究和宏观经济监测预测。在此基础上宏观经济监测预测有了较快发展，同时为了有效解决宏观经济研究中的信息孤岛问题，实现在统一的访问接口进行宏观数据的共享和传输，有必要进一步强化宏观数据的有效整合，切实加强相关经济部门之间数据库的应用集成和数据共享，在此背景下，强化数据资源的优化整合成为宏观经济监测预测系统的关键环节。

实现宏观经济数据共享，不仅能够很大程度上降低数据整理和归集成本，减少数据采集的时间，同时也能够使得更多的宏观经济数据分析人员获得经济数据，实现数据共享，提高数据使用效率和使用效益。在实施宏观经济监测预测系统过程中，要实现数据整合和数据共享存在一定的难度。这主要是由于宏观经济数据都是各个政府主管部门为了满足自身管理需求而单独开发和维护的，存储在不同的信息系统和数据库内，数据库的管理系统、数据模型以及数据结构、模式设计等各个方面都有所不同，宏观数据整合中的数据异构、命名异构以及数据结构异构等问题比较突出，这在很大程度上制约和影响了宏观经济数据在各个管理系统中的共享和使用。

宏观经济数据源的特征

宏观经济数据监测预测系统中所需要整合的数据基本上都是来自于各个政府主管部门，由于部门之间相互独立，所建立的信息系统都是为了满足自身管理需求而进行开发的，系统之间相互兼容性比较小，数据在格式以及结构上存在着不小的差异。具体来讲，宏观经济监测预测系统中的数据具有以下几个方面的特征：

第一，自治性。这主要是指宏观经济监测预测系统中的数据在进行整合时会涉及到多个部门，这些部门所使用的信息系统和数据库相互独立，彼此之间没有实现数据共享和数据关联。同时，原先各个部门所使用的信息系统也不能够因为宏观经济监测预测系统中的数据整合而受到影响，这就要求在进行系统建设时要确保各个系统在数据管理上具有自治性。

第二，异构性。这主要是指宏观经济监测预测系统所涉及的部门比较多，各个部门都是围绕自身需求进行的系统开发，因此在数据库版本和应用系统上都具有很大的不同，数据存储在oracle、access、dbf、sql等不同的数据库中，这就会导致经济数据在结构以及形式等方面都具有很大的不同点，使得经济数据具有异构性特征。

第三，不完整性。对于宏观经济监测预测系统建设来讲，所需要的数据量比较大，并且数据来自于不同的管理部门，相互之间具有独立性，数据存储在不同的数据库管理系统中，没有一个管理部门能够完整地提供出所有的宏观经济数据，就具体部门的宏观经济数据来讲，都具有不完整性的特征。

第四，分布性。分布性特征是指宏观经济监测预测系统进行数据整合时所面对的数据源是分布式的结构。各个经济主管部门的宏观经济数据都是相互独立、彼此分散的，存储在不同的数据库系统中，这些经济数据在地理位置上具有分布式的特征。

宏观经济数据整合的总体设计

由于宏观经济数据在结构上具有异构性特征，使得对这些数据进行整合时常常都是基于XML异构数据整合方案来进行操作。按照数据源层、数据整合层、数据仓库层以及数据应用层这四个层次进行总体架构的设计。

数据源层是整个宏观经济数据监测预测系统的数据提供者，在所有的层级中处于最底层，数据源层基本上是由各个经济主管部门以及地市相关数据、其他宏观经济数据组成的，在数据源组成特征上属于异构类型。对于宏观经济数据监测预测系统来讲，需要整合的数据大都是在数据库中进行存储和管理。同时，这些数据源层的经济数据也可以存储于网络的不同区域，在网络环境下实现对经济数据的管理以及日常维护。

表1　宏观经济数据整合在数据异构方面主要存在的情况

数据整合层是宏观经济数据监测预测系统发展升级的重要环节，也是该系统中最为重要的一个数据层级。依靠数据整合层能够实现对数据源更高层次的异构性屏蔽和分布性屏蔽。由于数据整合层处于数据仓库层以及数据源层两者之间，因此在对数据整合层进行处理时都是依靠XML格式文档充当数据源整合的中介，在此基础上实现数据的映射、数据的转换以及数据的整合工作，并在此环节之后将相关的整合数据存储到宏观经济数据管理数据库中。对于数据整合层而言，其基本结构是由数据包装器以及数据整合适配器两者构成的。

图1　宏观经济监测预测系统中的数据整合过程

数据仓库层主要是用于对宏观经济数据进行仓储的，它也是宏观经济监测预测系统中的中心数据层级，所存储的数据是围绕宏观经济信息以及相关的经济信息来开展存储工作的，实现对数据仓库层的开发利用也是进行宏观经济监测预测的必要前提和基础性工作。

数据应用层位于宏观经济监测预测系统的最顶层，能够实现数据库与用户之间的相互对接，在内容组成上包括了宏观经济监测预测系统以及浏览器这两个方面，数据使用者依靠浏览器作为接口实现对宏观经济数据的访问和利用，能够对数据库中的数据仓库层进行实时访问和浏览。从整个数据库系统的组成和功能定位来看，应用层是数据库系统与用户之间的沟通桥梁，也是宏观经济监测预测系统为用户提供数据访问服务的通道和平台。依靠应用层实现数据整合层与数据源层的相互沟通和共享。

宏观经济监测预测系统数据整合的流程

围绕系统中数据整合层的基本功能，就可以对宏观经济监测预测系统的数据整合流程进行规划和设计。总的流程来讲，依靠数据源访问器实现对整个宏观经济数据的访问，并基于异构数据库对相应的宏观经济数据和必要的异构数据类型进行分析和提取，结合数据库管理系统中的XML技术实现对XML文档的编译，并在此基础上依靠整合适配器完成对宏观经济数据的转换和翻译。与此同时，在整合宏观经济数据的基础上还需要围绕数据整合相关规则，将数据加载成为能够在数据库中进行整合的标准化语言，实现对整个宏观经济预测监测系统数据的加载。强化对宏观数据监测预测系统等数据整合，实现多角度、多层次的宏观经济数据分析，切实解决数据整合中的数据异构、命名异构以及数据结构异构问题，确保宏观经济数据管理平台的高质量、高效益。

总的来讲，基于宏观经济数据所具有的分布性、独立性以及异构性等特点，在实践中主要还是依靠XML技术来对数据进行转换和映射，围绕数据整合流程进行规划设计，并合理制定必要的规则引擎，实现对整个数据库系统数据整合规则的定义和完善。具体来讲，宏观经济监测预测系统中的数据整合过程如图1所示。

宏观经济监测预测系统中的数据整合规则

宏观经济监测预测系统的数据整合主要是围绕宏观经济数据以及相应的宏观经济数据库来开展的，基于此，在对宏观经济数据进行转换就需要紧紧围绕整合规则来进行，并在此基础上实现将宏观经济数据向经济数据库中进行有效加载。正是由于宏观经济数据在整合规则上常常会发生一些变动，使得数据管理者在对宏观经济数据进行整合时应当合理引入必要的规则引擎，依靠规则引擎的介入有效解决宏观经济数据变化所导致的规则难以兼容问题，需要明确的是，经济数据的整合是一个复杂过程，合理引入科学的应用规则引擎能够实现数据整合规则的优化、完善，提高数据整合效益和效率。

整合规则主要是出于解决数据源宏观经济数据异构而制定的，依靠整合规则能够满足对不同结构、不同类型宏观经济数据的整合。结合宏观经济数据异构情况，能够总结出宏观经济数据整合在数据异构方面主要存在的情况，如表1所示。

数据整合规则主要是研究宏观经济数据库SMED中的数据表字段以及目标经济数据库TMED中数据表字段之间的相关映射关系，同时也明确了每一类映射关系本身都对应着一类数据整合规则。

经济数据的整合是一个复杂过程，合理引入科学的应用规则引擎能够实现数据整合规则的优化、完善，提高数据整合效益和效率。直接映射规则是将目标宏观经济数据库与源宏观经济数据库进行映射的最基本规则，依靠这一方式能够实现宏观经济数据中存在的结构异构以及命名异构问题，通常情况下这一数据不需要再进行单独的处理和数据转换工作，能够实现数据库中的源字段直接映射为目标字段。

规则1：TMED与IFSMED在所对应的属性上其列数据值一致的情况下，THEN可以不经过相关数据转换和处理就可以进行映射。

规则2：TMED与IFSMED在所对应的属性上其列数据值不一致的情况下，THEN需要经过相关数据转换和处理将其调整为TMED字段，在此之后进行数据的映射。

规则3：TMED与IFSMED在所对应的字段在数据格式上存在不一致的情况下，THEN需要经过相关数据转换和处理将其调整为TMED字段，在此之后进行数据的映射。

规则4：TMED与IFSMED在所对应的字段在数据值单位上存在不一致的情况下，THEN一般都是需要依靠转换公式将其转换为TMED字段，在此之后进行数据的映射。

同时，对于数据整合的规则范式可以参照下面格式进行：

综上，强化对宏观数据监测预测系统等数据整合，实现多角度、多层次的宏观经济数据分析，切实解决数据整合中的数据异构、命名异构以及数据结构异构问题，确保宏观经济数据管理平台的高质量、高效益。基于此，进一步优化、整合宏观经济数据，实现数据在宏观经济监测预测系统中的共享和使用，成为宏观经济监测预测系统建设的最重要内容和环节。在提升宏观经济数据流动性和共享性的基础上，更好地为政府部门进行宏观经济管理和经济决策提供有力支持和帮助。