云鼎科技“智慧云”数据中台上线
2021-01-28徐天宝通讯员陈峰田兆燕傅莹
□ 本刊记者 徐天宝/通讯员 陈峰 田兆燕 傅莹
本刊讯 10月30日,山东能源集团旗下云鼎科技股份有限公司(以下简称“云鼎科技”)研发的工业互联网数据中台V1.0成功发布,并在山东能源集团调度信息化项目中实际部署应用,迈出了云鼎科技工业互联网平台建设的关键一步。
据介绍,数据中台是前台和后台之间的数据桥梁,是创新性应用与传统数据之间的纽带,是解决应用开发和数据开发不协同问题的工具。云鼎科技工业互联网数据中台是一系列数据整合产品集合,包含数据采集、数据交换、数据转换清洗、数据质量管理、数据比对、统一数据服务、数据资产、应用数据连接等功能。数据中台支持使用系统的方法来解决企业面临的信息整合难题,提供一体化的解决方案,透明地管理各类系统中庞杂的数据;支持各种类型业务系统数据的整合、交换和共享,形成一套准确、干净、完整的数据产品集合。
数据转换与清洗平台是所有集成方案的数据集成基础,包括数据仓库、数据迁移、数据同步等,通过单一方式访问、转换、清洗和加载数据,支持海量数据的分布式并行处理。通过图形化拖拽方式配置数据清洗过程,提供类型转换、字段拆分、字段合并、字符串处理、日期转换、算术运算、码表转换等方式实现特色的数据转换处理。
数据质量平台通过大量内置的数据质量规则模型,及时发现数据的完整性、一致性、准确性等质量问题。支持多种校验逻辑,提供表级及表间的复杂校验;采用多线程并行处理技术,充分利用资源,基于并行查询与处理技术,实现分钟级处理千万级数据量;通过智能记忆和扫描已配置规则,依据业务相似度智能匹配和推荐校验规则,大大提高规则定义效率,提升开发人员生产力。
数据比对工具通过可视化方式及时发现、修复交互双防的数据差异,保证数据一致。通过比对的方式分析两个数据源的差异性,生产差异分析报告,同时支持数据的合并。支持生成动态以及静态比对报告,以可视化的方式展现数据差异结果;支持查看差异数据,基于报告结果,通过配置策略对差异数进行补齐;提供多种比对方式,支持基于表结构比对识别结构化差异、数据量比对识别数量差异、数据项比对识别信息内容差异,支持表、视图、自定义SQL。
数据资产为数据提供方和数据需求方提供一套自服务的数据共享和交换平台,提供统一的注册、发现、查询、定位、获取数据资源的入口。基于元数据管理技术,支持多项核心元数据和业务元数据的定义和描述;支持集中式与分布式的部署模式,构建完善的信息资源目录体现,满足多部门、多用户、跨平台的数据访问需求。
据了解,云鼎科技数据中台通过对企业内、外部多元异构的数据进行采集、治理、建模、分析、应用,对内优化管理、赋能业务,对外开展数据合作,释放数据价值,是企业数据资产管理和服务中枢。
数据中台的成功上线,是云鼎科技在工业互联网平台建设方面继续前行的一大步,平台的成功建设与发布进一步提升了公司工业互联网平台的服务化支撑能力;提升了工业互联网平台技术优势和市场竞争能力;提升了公司数据治理能力,加强了各业务板块生产现场、服务过程等数据动态采集;建立起覆盖全业务链条的数据采集、传输和汇聚体系。加快数据中台建设,创新数据融合分析与共享交换机制,为公司研究和探索工业互联网平台架构体系与工业机理提供了强力支持。