浅谈数据整合技术在水利设计中的运用
2013-08-15周勇
周勇
(广西恒广建筑工程有限公司,广西 南宁 532200)
对于决策开展的分析工作所需的信息均是一些统计性的内容,不过在目前的信息体系之下很是繁琐。具体原因:第一,开展一个决定一般要查询很多信息体系以及外在的体系,而且要开展分析工作,活动量很多,信息的李永兴较低,同时还会发生一些差错现象。第二,目前的体系平台和开发设备并不是兼容的,要想直接的获取此类信息的话很是繁琐。第三,所有的体系不具有综合化的接口,也不具有相关的信息标准和规定等,所有的数据库是不能够有效的集成发展的。第四,开展的统计分析活动要靠着非常多的历史内容,不过这些内容不是很综合。
1 关于数据资源的探索
1.1 综合办公管理数据集是实现人员基础信息统一管理的基础数据集。主要包括:a.个人基本信息:包括个人信息库等。b.单位基本信息:包括单位基本信息库、单位所属分支机构信息库等。c.参数信息库:包括代码库、图表分析生成库等。
1.2 计划经营管理数据集主要包括:a.市场信息:包括顾客信息资源库、市场动态信息库、竞争对手信息库等。b.招投标管理信息:包括招标信息库、投标信息库、专家信息库等。c.合同信息:包括合同信息库、收付款项信息库、产品交付管理库等。d.资质管理信息:包括资质信息库、资质审核库、资质借用管理库等。
1.3 项目设计流程管理数据集主要包括:a.项目信息:包括项目立项信息库、任务下达信息库、项目组人员任命库等。b.项目任务分解:包括项目任务分解资源信息库、关键路径控制等。c.网络虚拟办公室:包括项目动态信息库、中间成果管理库、动态分析库等。d.产品管理信息:包括产品校审信息库、成果交付信息库等。
1.4 图档管理数据集主要包括:a.归档管理信息:包括资料预归档管理库、资料归档管理库等。b.整编信息:包括档案整编信息库等。c.借阅信息:包括人员信息库、档案借阅信息库等。d.电子档案信息:包括电子档案授权库、电子档案借阅管理库等。e.销档信息:包括销毁档案信息库、销毁人员信息库等。
2 关于整合的获取措施
2.1 数据库开发技术。利用数据库开发技术的数据整合主要指利用数据库本身的功能,如触发器、PL/SQL存储过程、DBLINK等功能完成,完成对各个信息系统所需要数据的抽取、查询和关联等。
所有的整合工艺都具有一些优点。第一,能够适合相同数据库间的信息综合。第二,花费的费用不多,通常均是借助于开发工作者的编程来实现的,只是要借助于开发资金。不过它的获取也存在一定的干扰。第三,不具有较高的扩展能力。因为均是通过人工的模式来开展的编程,它的后续时间段的费用非常多,尤其是出现变动问题的时候,要靠着开发工作者对于代码进行修整。第四,关于效率。因为其均是由开发商来设置的,在体系不断变大的状态之中,在面对繁琐的信息整合事项的时候,功效无法确保。
2.2 ETL技术。通过ETL技术及专业ETL软件,即数据抽取(Extract)、转换(Transform)、装载(Load)能将数据从原系统数据库经过抽取,进行转换,最后加载到目标数据库,实现系统数据之间的整合。
此技术有很多的优点。第一,效率非常高。ETL软件相关的信息抽调以及加载等的效率十分高,尤其是对那些较大的信息量的分析。第二,完善了数据的品质。可以结合多种状态来分析信息的品质,同时对于垃圾内容清理。第三,扩展管控功效。可以经由管控页面等对数据抽取策略执行制定时间触发方式,对抽取结果进行分析等。第四,多平台、多数据源支持。支持各种平台、各种数据库系统(如ORACLE、SQLServer等)以及不同版本数据库之间的数据抽取。最后,有很多的转换控件,可以开展多种繁琐的转换活动。不过它也面对很多的不利现象。比如费用很多,落实时间比较久。
3 关于整合的落实
3.1 首要时期对于信息体系的初始内容分析。为了可以更为综合的分析数据内容的定义,获取有关的文档内容,要对体系的初始内容开展分析。此时期涵盖了解需要采集的数据结构定义和数据表之间的设计联系。例如:我们对包括非电子数据、excel格式数据及其各种不同数据库格式数据进行分析。
3.2 其次是设计的落实时期。为了不干扰初始信息模式的变化和使用,并确保其稳定性,此时期关键是论述数据整合信息和方法等的落实。
3.3 然后是数据校验时期。为了确保不会出现不综合的或是不正确的内容,所以在其运作以前的时候,要设置综合化的校验体系,以此来确保生产以及整合信息相同。比如,对于导入的内容积极的校对,关键的标准是设计方的标准,而且对于得到的信息不断的分析,关键是经由人工法来分析。
3.4 最后是体系上线时期。把计算好的整合步骤公开,而且要明确落实步骤,体系的管控工作者可以经由监控模式,开展任务的监管工作。结合规定,管控工作者还可以将规划变更,积极地排列转换要素,进而能够在设定好的时间之中开展好全部的活动。
结语
该项整合活动会将过去的那种以机构和项目为关键点的信息孤岛形势变革,进而确保所有的设计机构的信息可以整合。之前的部分级别等的一些运作体系,会导致所有的项目的技术不完全的一样,同样也会使得其进展速率靠着开发工作者的编码功效,进而导致设计机构的功效不是很高。开展了整合工作之后,就可以在设计方的自身统一技术规定之内,积极的体现出团队的活动性。经由从整合而开展的信息移值等,会使得设计机构的整合费用变低。
[1]蒋东兴,刘启新.数字校园信息整合之我见[M].北京:清华大学计算机与信息管理中心,2003.
[2]周志达,徐先传.数据仓库中数据抽取、转换及加载工具研究[J].北京理工大学学报,2003,23(6):720-723.