数据资源整合系统的应用实现

赵晓丽（长治学院计算机系，山西长治，046011）



数据资源整合系统的应用实现

赵晓丽
（长治学院计算机系，山西长治，046011）

摘要：随着信息化程度的提高，各行各业的积累数据量急剧增长，基于各行业对数据资源整合的需求，提出了一种数据资源整合系统的应用设计架构。该系统采用分层框架技术对资源整合系统的架构进行设计与实现，灵活地解决了各类数据资源整合的问题。结合教育考试数据的资源整合系统的功能模块的设计与实现，实现数据资源整合系统的测试，展示了分层架构设计的灵活性和优势。

关键词：数据源整合；数据采集；应用整合协同；框架

0 引言

随着信息技术与互联网技术的发展，大量的数据在各行各业中积累着，这些针对业务操作的数据资源自成体系，数据格式不尽相同，利用率非常低，对这些海量数据进行综合性利用，是现在各行各业共同关注的焦点。为了综合利用这些数据信息，达到充分的资源利用，需要针对现有的数据进行科学的研究和分析，进行大量的数据沉淀和数据集中，从而达到对数据资源进行优化整合的目的。

文章对数据整合的现状进行深入分析，提出数据资源整合系统的架构设计。利用应用整合协同概念，采用基础平台策略和各种框架技术如：Webwork框架、Hibernate框架、Spring框架，形成较为统一的数据资源整合系统平台。最后，详细介绍了某考试院数据资源整合系统的功能实现。通过数据采集、数据管理、业务应用，将不同的考试数据信息进行分类，整合成一个大而全的数据资源库，进而面向各部门，相关领导和社会公众提供综合查询、统计服务和决策支持。

1 数据资源整合

1.1数据的整合

数据整合，不是对原有技术和模式进行颠覆，而是把各类数据资源整合成统一、无冗余的数据资源系统。主要通过数据收集、数据的整理、数据的分析、数据转换四个步骤完成。

数据整合的目标的是通过分析各种数据库系统的数据结构分析，建立具有一定意义的综合分析数据结构，建立数据之间的关系，从而形成一个大而全的数据资源系统。不仅增强各部门间业务流程的灵活性、准确及时和透明度，还有利于业务分析和领导决策，大大提高数据的利用率。

图1 数据资源整合图

1.2应用的整合

传统的数据资源整合，仅仅是通过硬件技术或软件技术把独立的数据库系统单调的组合起来，但无法构建完整、系统的业务服务和辅助决策体系。

数据整合过程中，除了整合各类信息数据之外，还需要整合不同的业务应用。这需要从大量的业务信息数据中抽取公共业务应用，形成统一的业务应用规范标准。包括业务流整合、业务数据整合、应用接口整合。因此，采用框架技术把相关的应用抽象整合到系统平台中，有利于系统功能的实现、扩展和其他应用系统的集成。

2 数据资源整合系统的总体架构

2.1框架模式

框架是一个应用软件系统的部分或整体的可重用设计，由一组抽象构件及构件实例间的相互作用方式组成。利用Spring提供的IoC机制和AOP技术实对Webwork和Hibernate的整合，将视图、控制器与模型彻底分离，把业务逻辑层和持久访问层独立。三种框架技术的构建关系模型如图2：

数据资源整合系统平台采用采用分层的框架模式，可以充分发挥Spring，Hibernate和Webwork框架的优势，降低各层之问的耦合度，有利于系统的灵活性、扩展性和可维护性。

2.2数据资源整合系统的架构

数据资源整合的目的是达到一个具有更多业务驱动价值的数据资源系统，以成本较低的方式来达到更好地为业务服务的目的。

数据资源整合系统以MVC框架设计模式为基础、组件技术为手段，设计了一套完整、先进、成熟、可伸缩、可扩展的系统设计架构。该系统的层次结构分为五层，分别为信息访问、表现逻辑、业务处理逻辑、数据持久、数据资源。具体的数据存取过程如图2：

1）信息访问层

是一组JSP页面，提供不同用户操作的友好界面。

2）表示逻辑层

系统与用户交互的界面，负责数据录入，数据显示等。

3）业务处理逻辑层

用于做一些有效性验证的工作，以更好地保证程序运行的健壮性。采用DAO设计模式将业务逻辑层和数据持久层进行分离，只负责将用户的业务请求处理提交，对处理的具体操作代码交由下一层实现。

4）数据持久层

利用Spring的IOC反向控制模式，结合Hibernate持久技术对底层数据进行对象的持久封装。该层通过映射数据资源的数据结构进行对象的持久化，从而来提高数据查询和检索服务的效率。

5）数据资源层

负责存储数据，提供数据访问的接口。包括数据资源库和业务数据应用系统的整合接口。对各种业务基础类信息数据、文档资料类信息数据、系统支撑类信息数据等信息，进行数据抽取、迁移形成数据资源库。

图2 Spring、Hibernate和Webwork的框架模型

五层的系统结构对于系统的维护及管理是方便、灵活的。将用户访问层与实际访问的数据资源库进行隔离，使得用户端通过加强权限分配来控制访问数据库。这样对数据资源进行有效的安全管理，还可以有效防止非法用户的恶意攻击。

3 考试数据资源整合系统的功能设计

我国各类考试数据杂而多，构建统一的数据资源应用系统标准体系是非常重要的。通过各类考试的历史数据标准进行梳理，对考试数据资源整合系统制定标准的应用体系。

图3 系统的层次结构图

根据系统的建设目标，数据资源整合系统以考试数据资源为中心，建设计算机网络及硬件平台、应用基础支撑平台两个平台、三个体系，并在此基础上搭建数据采集、数据管理、综合查询、统计分析四个业务应用，面向管理人员和相关领导提供统一的内网信息门户，面向社会公众提供外网信息门户。系统的逻辑功能框架图如图4

图4 系统的逻辑框架图

3.1信息门户模块

建立信息门户作为整个系统的前台表现，允许系统各级用户通过身份认证后，进入系统界面，并访问各自权限内的信息，为用户提供一个统一的、个性化的访问窗口。

3.2数据采集

考试数据资源大致可以分为考试业务类信息库、命题业务信息库、文档资料类信息库、业务基础类信息库、系统支撑类信息数据五大类信息。

数据采集模块包含数据迁移和信息填报，对原有系统或数据库中的信息数据，采用数据迁移的方式实现，保持同构和异构数据库之间的数据同步。对于人工参与采集报送的信息内容，利用应用管理组件构建构建信息填写平台完成。数据迁移是把数据从一种系统环境移入到另一种系统环境中。实际应用中，需要对数据格式进行转换。数据采集模块就是对数据源中的各类数据进行交换和字段重组，把不同数据源中的数据形成整体。模块的主要功能包括

1）识别数据源的类型。可以指定一个数据源，也可以指定多个相同或不同类型的数据源。

2）确定字段映射。通过映射建立源数据与目标数据之间的字段匹配。包括：

①源数据间的转换映射关系。

②数据集成的各组成字段间的对应关系。

数据转换过程中，不仅可以根据实际需求丢弃部分字段，也可以拆表和合并表。

3）用户自定义规则。包括用户自定义转换规则和汇总统计规则。转换规则包括与整合目标数据库主关键字不一致、长度不匹配时所遵循的处理规则、截断或填充规则等。汇总统计规则是指进行分类汇总统计的标准，可以是一个字段或多个字段。

3.3数据管理

数据管理模块提供数据资源库的表结构管理和数据信息管理。包括数据表、字段、数据记录的新增、修改、删除、查询等基础管理功能。支持对各种数据信息间关联关系的定义和维护，支持结构化数据和非结构化数据的统一管理。如XML、Excel、PDF等多种格式的导入和导出、定制打包等数据操作。

3.4业务应用

1.综合查询

综合查询模块提供固定条件查询以及自定义条件查询等方式，查询教育考试数据资源中的各类业务信息，根据用户权限不同返回不同的信息检索结果，支持对于检索结果导出、保存等功能，并且支持用户定义结果的显示内容，灵活的升降序调整。

2.统计分析

统计分析模块应根据业务的要求利用报表设计工具设计出固定格式报表或自定义格式报表，提供多种形式的报表输出显示，并且对于统计汇总的结果可以支持多种格式的输出和保存，提供精确的报表打印功能，对于统计结果支持丰富的图表展现形式。如：将各项统计分析需求按照考试类型和业务类型进行分类，同时提供重点关注统计分析要点的功能，利用对于统计分析的点击率统计，动态对各类统计分析内容进行排序，将不同用户最为关注的分析结果更直接的展现出来。

3.决策支持

提供各种数据挖掘工具的应用接口，可以对整合的数据资源进行数据关联性挖掘，找出可以面向部门、领导和社会公众的有价值的预测性数据。

因此，业务应用模块会通过综合查询模板设定、统计分析模板设定和报表定制，根据系统用户的需求查询统计业务基础信息、文档资料信息等。如图5所示。

图5 报表生成过程图

3.5全文检索模块

全文检索模块主要实现对于信息门户内的信息进行快速、准确的全文检索，并且将检索结果与用户的权限结合，利用更加安全有效的检索机制保护信息资源，提供高级检索和自定义检索等功能。

3.6信息发布模块

信息发布模块应支持模板技术，使信息资源和表现形式相结合，保证资源系统内的相关信息的发布的同时，提供所见即所得的页面编辑工具，降低页面编辑的难度，更好的实现信息发布和共享。

4 结束语

目前，对各行各业的信息数据资源的整合开发，已经成为我国信息化建设的重要方式。本文结合数据整合的实际需求，提出了数据资源整合系统的架构设计。利用基础平台策略和各种框架技术，详细介绍了数据资源整合系统的功能实现。该系统的架构设计已经成功应用于政府考试数据整合建设的实际项目中。

参考文献

［1］董宇峰.基于 MVC 设计模式的 Web 应用框架研究及其实例［D］.吉林：吉林大学， 2005年

［2］孔芳.数据迁移工具的设计研究［J］.苏州大学学报，2004，24（2）：51-54

［3］朱庆伟，吴宇红.一种对象/关系映射框架的分析和应用.电子科技.2004年第1期

［4］何铮，陈志刚，对象/关系映射框架的研究与应用［J］.计算机工程应用，2003，26：188：194

［5］周志逵，徐先传.数据仓库中数据抽取、转换及加载工具研究［J］. 北京理工大学学报，2003，23（6）：720-723.

中图分类号：TP18

文献标志码：A

作者简介

赵晓丽（1980-），女，（河北省临西县）人，讲师，主要研究方向为计算机网络应用技术；信息安全。

基金项目：山西省高等学校教学研究项目（J2014113）；长治学院教研项目（JY201505）；

Application and implementation of data resource integration system

Zhao Xiaoli
（The Computer Department of Changzhi University，Changzhi Shanxi，046011，China）

Abstract：With the improvement of information，The accumulation of data rose sharply in different walks of life.This paper proposed a application design architecture of data resource integration system，based on the needs of the industry to integrate data resources.This system design and implement the architecture of the resource integration system using the layered framework technology，which can solve the problems of the integration of various data resources flexibly.Combined with the design and implementation of function module resource integration system of education and examination data，system testing shows the flexibility and advantage of hierarchical architecture design.

Keywords：data integration；data collection；application integration； framework