制造型企业数据资产管理平台的设计与实现

苏 萍,王 凯,江涌涛

(江苏自动化研究所,江苏 连云港 222006)

0 引言

近年来,大多数制造企业都已先后完成项目管理(Project Managment,PM)系统、企业资源管理(Enterprise Resource Planning,ERP)系统、产品全寿命周期产品数据管理(Product Data Management,PDM)系统、制造执行系统(Manufacturing Execution System,MES)等信息系统建设,打造了贯穿立项、策划、设计、制造等环节的计划管理体系,实现采购、生产、计划、成本、质量等要素业务流程规范化、信息透明化和管理精益化,为制造生产任务的高质量交付提供先进的技术支撑[1]。随着信息系统的推广使用,企业已经积累了大量的业务数据,如何对这些数据资产进行充分利用已经成为目前信息化建设发展面临的重要问题,具体表现为以下几个方面:(1)数据分散在不同业务系统中,数据存在冗余、不一致等问题,难以满足数据资产分析利用需求;(2)来自外部和内部数据集成需求越来越多,目前点对点的集成方式存在重复工作现象,耗费大量人力;(3)缺乏运营管控的可视化手段,无法及时全面地进行管控分析,导致决策难。

因此,亟需构建数据资产管理平台,通过与现有业务系统集成,制定统一数据标准,打造与未来业务发展紧密融合的数据资产目录,实现数据资产集中管控和数据资源高度共享,同时构建符合业务管控需求的指标模型库,满足越来越多的外部系统集成需求和各项业务数据报表及管理运营数据可视化分析需求[2-3]。

1 总体架构设计

1.1 技术架构

数据资产管理平台建设采用“资源层+服务层+应用层”的3层架构设计体制,基于微服务思想,结合制造型企业的信息化建设现状,集成已有功能,进行标准化、规范化和定制化的设计。鉴于本单位业务数据量不多且都为关系型数据,因此平台存储采用关系库即可,后续有需求再扩展至当前主流的关系库与大数据库的混合架构。平台采用的技术路线为基于微服务架构,后端使用Java语言,前端使用VUE语言,使用关系型数据库进行系统相关数据存储,技术架构如图1所示。

图1 数据资产管理平台技术架构

1.1.1 资源层

资源层主要为数据资产管理平台提供软硬件资源支撑,包括存储资源、计算资源、网络资源等。本平台可基于基础资源部署应用,且能满足国产自主可控要求,其中,存储资源采用国产化达梦数据库,承载全部数据资产的存储;计算资源采用中标麒麟国产服务器,主要用于平台本身的计算、查询、分析及应用。

1.1.2 服务层

服务层依托于微服务框架SpringCloud,按照统一规划的技术体制和标准规范,根据数据资产管理平台的计算存储需求以及平台通用组件定制共性支撑类微服务,并根据业务需求定制业务管理类微服务,实现集数据采集、数据管理、数据服务为一体的数据资产管理平台建设。

共性支撑类微服务提供平台通用组件服务和数据计算与存储组件服务,为上层应用开发提供通用业务组件支持。在平台基础组件中,提供鉴权、权限、组织机构、角色、日志、运维、工作流等平台管理功能;在通用功能组件中,提供元数据、任务调度、血缘分析、标签、搜索等业务功能。业务管理类微服务为应用层功能提供可直接调用的服务,按业务类型分为数据集成管理微服务、数据资产管理微服务、数据共享管理微服务。

1.1.3 应用层

应用层在服务层构建的基础之上,通过服务的定制,基于通用功能,建设实现集数据集成管理、数据资产管理、数据共享管理、系统管理为一体的数据资产管理平台。实现PM、ERP、PDM等各类数据源的数据汇聚,形成数据资产地图,并为上层智能应用提供统一的数据交换共享接口。

1.2 数据架构

数据架构自下而上可分为数据源、数据存储与管理、数据应用3层以及一个数据标准体系,其数据架构如图2所示。

图2 数据资产管理平台数据架构

在数据标准的规范指导下,以各类数据源为基础,构建数据资产管理平台的数据体系。

首先,运用ETL技术抽取数据源层的企业经营所需的流程数据,即从PM、ERP、PDM等系统中抽取合同信息、项目信息、财务信息、生产信息、质量信息等结构化业务数据,也支持抽取XML、EXCEL等非结构化数据,存储在数据存储层的ODS中[4]。其次,按照业务主题进行整合、计算,得到合同、项目、财务、生产、质量等主题域模型,为上层数据集市提供整合后的、高质量的数据。最后,结合资产目录创建粒度、统计分析结果以及明确的上层需求建立数据集市,定期对DW进行加工、汇总、更新,为各类数据分析场景提供数据支撑。

2 平台功能实现

数据资产管理平台采用B/S架构开发系统,主要功能包括数据集成管理、数据资产管理、数据共享管理、系统管理等。

2.1 数据集成管理

数据集成管理功能负责各业务系统中抽取合同、项目、计划、生产、采购、质量、财务、人力等业务数据,经过简单的清洗、转换后存储到数据仓库。对于一些无系统承载的业务数据,也支持通过Excel、XML等文件格式进行定时导入。对于一些实时性要求较高的数据,可通过适配改造源业务系统,以接口服务的形式将相关数据发送给资产管理平台。数据采集功能主要包括数据源管理、元数据管理、数据采集与调度管理等。

2.2 数据资产管理

数据资产管理即参照前期数据资产梳理结果,按照合同、项目、生产、采购、财务、质量、人力等业务域将其相关的业务模型和数据进行集中管理,建立清晰合理的数据资产目录,提供数据检索、查阅、数据血缘分析等功能,同时支持可视化的模型构建,辅助业务人员快速实现数据资源的整合利用。数据资产管理主要包括数据目录管理、数据建模管理、血缘分析等功能。

2.3 数据共享管理

数据共享管理可实现数据应用的自助、高效、复用特性,更好地支撑数据消费,确保数据消费者更便捷、更安全地获取数据。该功能支持可视化、零代码快速生成API服务,且支持服务调度、预警统计等数据应用的全生命周期管理。数据共享管理主要包括服务概览、服务管理和服务日志3个子模块。

2.4 系统管理

系统管理功能包括菜单管理、角色管理、用户管理、日志管理4个子模块,实现用户角色管理、登录鉴权、菜单配置、审批流配置、日志监测、基础数据管理等功能。系统管理功能模块主要为平台提供菜单管理、组织管理、角色管理、用户管理、日志管理等平台基础功能,从而实现系统的统一管理,包括用户登录、功能权限、资源权限等。

3 结语

本文在技术层面实现了数据采集、数据管理、数据共享和可视化分析的全流程信息贯通,通过项目实施实现了数据资产集中管控和对外服务能力,实现业务数据的综合展示,提升决策支撑能力。

本文的研究成果弥补了制造行业在数据资产管理和可视化看板展示方面的不足,同时也为全面推动企业的数字化转型升级奠定基础,进而实现大数据分析算法在科研管理各个领域的应用,推动智能化决策模式落地应用。