Informatica助力上海煤炭交易所实现多元数据整合
2018-09-10Informatica
上海煤炭交易所(以下統称“煤交所”)作为我国唯一一家国家级煤炭交易所,随着业务的发展,煤交所内外部结构化数据、非结构化数据激增。数据来源多样且复杂,加之煤交所没有统一的数据管理平台,系统之间的数据交互工具也是多种多样,非常依赖人工维护,尤其在发生人员变动时,数据管理就会存在缺口。
因此,煤交所迫切需要性能好、效率高的数据集成工具,去提升数据抽取、转换和加载性能,搭建起统一的数据管理平台去满足现有数据管理需求,进而更好地为业务服务。
这样的背景下,作为一款核心数据整合引擎,Informatica 数据集成平台很好地解决了煤交所的问题,实现了业务数据的统一采集、抽取和清洗,消除了信息孤岛,实现了数据共享。且其整个过程完全自动化,只需少量的运维工作,在节省人力成本的同时,确保了数据管理的连续性不会因为人员变动而产生影响。
通过Informatica实现多元化数据整合
在数据环境复杂、多样的环境下,Informatica数据集成平台提供了广泛的跨平台覆盖能力,包括元数据管理、调度管理、安全管理与监控、异常管理等,可以快速响应和部署,实现数据的统一管理和分析,提高数据处理的效率和准确性,实现可控的数据管理和维护。
Informatica产品能够对各系统之间的数据进行梳理、集成与整合,实现了跨系统的数据采集,降低了数据抽取的复杂性。该数据管理平台可支持各种主要数据库类型,从SQLServer、Oracle到网上数据,支持多种格式的数据源,适用于煤交所的结构化和非结构化数据的处理和管理,并把这些不同来源、格式、特点性质的数据有机整合起来,解决了煤交所数据环境多样性的难题。通过提供数据整合服务,Informatica 数据集成平台实现了完整跨平台、跨系统的数据统一集中管理。现在,各种取数和报表不需要到业务系统数据库中直接抽取,生成复杂报表的时间大为缩减。同时,统一的数据平台对于报表制作人员来说,也不再需要了解各个业务系统的数据结构,只需借助图形化的界面,通过拖拽就能实现场景化应用,其使用门槛大大降低。
此外,Informatica 数据集成平台作为一个分布式、可扩展的平台,可以实现与现有业务系统的集成,独立性强,即使面对最为复杂的数据环境也能及时、准确、经济有效地完成数据共享任务,完全保证了业务连续性。
数据治理分两步走
通过引入Informatica数据集成平台,煤交所实现了数据的统一集中管理,让数据管理流程更加稳定和常态化,为未来的数据治理打下良好基础。在煤交所看来,数据治理是每个企业都要做的工作,一般来说,数据治理可以分两步走:首先是确保数据管理工作的正常运转,提高效率的同时降低成本;其次要规范数据管理流程,减少信息泄露等风险,整体上提升数据治理能力。
通过Informatica数据集成平台,煤交所在三个层次都有所受益:首先,是效率的提升,自动化数据处理流程大大提升数据抽取效率,为进一步通过数据深度挖掘来指导业务发展、提供决策支持打下基础;其次,降低了运维成本,减少了对人力的依赖,大大降低管理成本和运维成本,几乎不需要人工维护;最后,构建起一个有效的数据管理平台,促进各系统业务联动发展和创新。当不同业务部门需要数据及服务时,可以随取随用,简化和规范了数据管理流程,进一步提升了企业的数据治理水平。