企业通用基础数据管理技术研究及方案设计

李燕 谭广洪 林健光

（中车广东轨道交通车辆有限公司 广东省江门市 529000）

1 企业数据管理现状分析及存在问题

伴随先进生产技术的不断发展，大多企业逐渐重视信息技术在生产运营中的支撑作用，信息系统数量日益增多。一般企业均具备如人力资源系统、OA 系统、ERP 系统、采购及客户服务等系统。受专业性影响，许多系统各由不同供应商实施，系统间的数据信息会出现格式不统一、数据重复等现象，主要的问题表现如下：

1.1 基础数据多系统管理，系统间数据标准不统一

同一项数据信息在不同系统中具有不同数据结构，比如在OA 系统和人力资源系统中均存在人员信息，但两个系统对相同信息可能采用不同的编号规则、关联项目等。导致系统间没有统一的数据格式标准，极易造成基础数据混乱，难以满足企业高效精准管理的需要，给企业的运营效率和管理水平均造成了一定的提升障碍。

1.2 系统集成缺乏统一接口标准和平台

对于基础主数据的分散存储，使得系统集成均采用点对点接入方式，实现集成的双方系统需要明确知道对方的底层数据结构，导致系统接口集成、维护工作变得非常艰难。同时系统间分散的集成方式难以明确各自系统责任，集成接口开发工作容易出现相互推诿。

1.3 企业内部的基础数据完整统一和共享存在难度

企业中的系统由不同的供应商实施建设，基础数据难以同步更新，容易形成信息孤岛，不利于企业基础数据的共享和互通。统计和汇总基础数据的时候难度增加，对于数据的计算和分析、企业精准决策均形成一定阻碍。

2 企业通用基础数据管理系统建设的必要性

面对企业在基础数据管理中存在的上述问题，建立通用基础数据系统在业务和系统层面都是非常必要的。

（1）通过搭建统一的数据管理、运营、接口平台，为企业中的各应用系统统一了基础数据视图，实现基础信息格式的标准化。

（2）通过收敛企业业务系统中的运营数据，可以更进一步进行整合分析，提升基础数据质量，为企业经营分析提供统计、监控和考核等精确化报表工具。

（3）企业核心系统提供了标准化的数据接口，有效减少系统之间独立接口的重复性，标准化的接口模式降低了开发技术的复杂程度，提高系统集成的效率与质量。

（4）在基础数据收敛过程中，可以同时完成“数据品质校验”和“数据标准统一”两项数据质量管控工作，进而保障企业基础数据的一致性、完整性、正确性。

3 方案设计

3.1 设计方案构想

结合上述分析，企业在基础数据管理工作中应当实现三方面统一：统一数据模型、统一数据标准、统一数据视图。打破各业务系统间的数据壁垒，通过建立“通用基础数据系统”来履行“数据中心”的管理职责，通过“统一汇总、授权使用”的方式实现企业基础数据的共享互通。

3.1.1 统一数据模型

搭建符合企业经营管理业务实际的数据结构模型，标准化各信息系统之间数据逻辑模型并实现统一。企业在不断新建或升级系统的过程中，各新建或升级系统的数据模型务必向“通用基础数据系统”中已存在的标准化数据模型靠拢。标准化的数据模型是企业各个信息系统及自动化设备之间交互的基础范式，通过数据模型的标准化统一，可以有效减少信息系统及自动化设备之间复杂的转换，提高系统、设备、接口的运行效率。

3.1.2 统一数据标准

企业应建立标准的基础数据目录和通用字段编码，接入的源头系统中的数据模型应当依据“通用基础数据系统”中标准化的数据目录编码，经过数据格式调整后进入“通用基础数据系统”中存储，从而实现企业基础数据的标准化管理与统一存储管理。

3.1.3 统一数据视图

对于企业中所存储的基础信息数据，应当同时建立统一的数据视图，使的企业中无论是生产制造，还是综合管理、财务管理等各个业务层面的用户在获取基础数据时，虽然展示的数据属性因权限和业务范围而不同，但实际得到的数据信息属性视图保持一致。

3.1.4 建立统一的企业基础数据采集和应用接口

在实施企业基础数据统一管理工作时，应注意建立统一的基础数据采集和应用接口，一方面应根据不同业务的实际需要，定义数据采集标准指标，同时通过集成接口技术对各信息系统实施数据采集。

同时建立基础数据应用接口，面向各集成方系统的实际需求，提供经过企业审批并通过后的数据指标。进一步提高企业总体应用系统的数据使用率和数据支撑能力，为企业经营生产提供真实有效的数据支撑。

3.1.5 建立企业通用基础数据的综合应用功能

通过对企业采集的基础数据信息按照结构化的标准目录进行清洗和加工，对用户组和使用人员设定不同的操作权限以授权操作、查询和分析数据。同时系统应支持报表的灵活设计，并且系统应建立数据计算机制功能，可以为各业务层面的用户提供满足实际业务需求的报表和视图，进而为企业的经营管理等业务提供支持。综合应用的功能设计包含“查询应用”、“报表应用”、“计算应用”三项。

3.1.6 基础数据实现质量管控

通过建立基础数据的统一模型，计算应用机制、授权使用、以及统一采集和应用接口等，在企业基础数据的收敛过程中逐步实现数据质量管控的目标。

“通用基础数据系统”搭建过程中，应根据规则对系统所存储的数据在数据统一性、数据完整性、数值正确性等方面进行校验，形成数据校验结果并通过接口回传至源业务系统中。同时建立企业基础数据管控的业务流程引擎，流程化逐级审批的方式对数据质量进行监督和管控，达到数据质量逐步提升的目标。

3.2 总体设计

所有的企业基础数据归集到“通用基础数据系统”，通过数据清洗、数据转换、数据质量管理等环节处理，各数据指标包括经营类数据指标、生产类数据指标、质量类数据指标等通过数据中台的数据交换层，经过使用申请、使用审批等程序，最终面向上层企业各业务系统实时数据共享互通，方便企业各业务系统实时推送和调用，同时通过安全保障体系对于调用的过程进行监督和质量管控。

数据中台的建设工作中，通过对企业业务数据及企业各信息系统实施标准化整合，在数据资源层对数据进行统一的接入、管理、处理、发布，并通过数据图谱技术建立各种数据资源的关联关系，生成分析结论和判定结果，为企业的业务开展提供有效的数据支撑，为企业各业务系统提供数据及其产品的标准化统一管理、接入、存贮、共享、访问和决策支持等服务。

各种企业内部业务系统数据、外部自动化设备数据先归集到数据源层，加以统一化、实时化、标准化、安全化等标准操作后存储起来形成数据湖层，数据湖对于原始数据进行处理和体系化归类，转化为数据资产，数据资产层包括数据仓、指标、标签、主数据等；最后将沉淀的可复用的数据资产提供给数据应用层，提供BI 应用、AI 应用、数据产品应用。

3.3 功能设计

3.3.1 数据采集

支持接口集成的方式从各数据属主系统中采集数据，同时支持Excle、数据库导入的形式进行手工数据采集。对于采集后的数据应当按照标准进行数据整合、校验、计算，统一数据模型。

3.3.2 数据推送、导出

支持接口集成的方式向各业务系统中推送数据，同时支持Excle、数据库导出的形式进行手工数据推送。对于推送的数据应当按照标准统一数据模型。

3.3.3 数据计算

按照设定好的业务规则进行部分属性数据计算，保障数据模型的统一。面向各种报表、视图的需求，可通过计算后实现。数据计算功能应提供可配置的维护界面，不需进行程序代码的变更。

3.3.4 数据维护

具备可视化的数据维护界面，包含增加、修改、变更等功能，同时支持数据批量维护。数据的维护可划分业务范围后授权不同单位维护所管理的基础数据。数据维护应实现审批流程管理。

3.3.5 数据查询

具备可视化的数据查询界面，同时支持数据批量查询和导出。数据的查询可划分业务范围后授权不同单位查询所管理的基础数据。数据查询应实现审批流程管理。

3.3.6 报表及视图

提供固定和动态两种形式的报表。固定报表提供维度和指标固定的统计结果展示，通过即时生成的模式满足高实时性要求。动态报表在后台通过作业的方式提前自动生成，在需要时立即展现结果，适用于实时性要求不高的报表，以节约系统性能和资源开销。

具备报表工具，报表和视图应提供可配置的维护界面，不需进行程序代码的变更。

3.3.7 权限及角色管理

可划分业务范围后授权不同单位不同的操作权限。应具备系统角色和权限管理功能，提供可配置的维护界面。授权对象包括基础数据、系统角色、系统用户，如数据使用授权，用户操作授权、报表和视图的展现授权等。

3.3.8 流程管理

对于接口以外的数据变更、增删等维护操作，以及数据导出等操作，提供可以灵活配置的审批流程。流程的变更工作应当不需要进行程序代码的变更，可以通过流程配置的方式由系统管理员配置各个流程审批环节以及权限处理、权限控制和业务处理方法。

3.3.9 标准化管理

建立标准的基础数据目录和字段代码，标准的审批流程、权限管理。企业的基础数据依据标准化的数据目录进行编码，之后传输至“通用基础数据系统”中存储，从而实现企业基础数据的标准化与统一存储。

3.4 接入数据指标

在企业建设通用基础数据管理相关系统平台时，应充分合理的设计接入系统中的数据指标。接入数据的指标范围不宜过大，避免数据漫无边界造成系统计算资源的浪费。数据指标库的建立应当充分参考企业现有的经营生产活动数据，通过内部价值链体系的梳理、整合，根据企业的发展目标确定建立每个数据指标的标准化基本属性和维度属性。

企业建立基础数据指标可以从经营、市场、生产、质量、安全、人员六大领域出发制定。

3.4.1 经营类数据指标

主要来源于企业的ERP 系统、财务系统等，如企业的营业收入数据、年度财务预算、月完成比例数据、净利润、毛利润、利润率、销售，管理，研发等相关指标数据。

3.4.2 生产类数据指标

主要来源于企业的MES 系统、ERP 系统、供应链系统等，如生产计划数据、计划完成率数据、产品产量数据、自动化设备连线数据、物料定额数据、物料配送数据等。生产类数据指标的有效管理和展示，可以为企业提供生产车间更为直观的生产线运行状态，配合工艺流程图、动画、3D 建模等形式来表达，后续可通过系统间的集成以及数字孪生技术将分析的指标数据与生产线设备联动展示。

3.4.3 质量类数据指标

来源于企业CRM 客户关系管理系统中的产品运行质量数据，以及来源于企业QMS 系统中的质量检验数据、供应商来料质量数据等。包括产品一次性交检合格数据、产品故障数据、供应商产品合格率等数据。质量类数据通过企业通用基础数据系统的归集后，可以用于企业设置相应的KPI 指标，从因质量问题产生的效率或成本损失来设置KPI 指标，通过不同的维度，对企业产品的质量进行评估。

3.4.4 市场类、安全类、人员类数据指标

市场类、安全类、人员类数据指标主要来源于企业的人力资源系统、流程管理类系统、客户关系管理系统等。包含如市场订单数据，回款数据、项目进度数据、环境安全监测数据、人员信息数据等。

4 关键技术研究

4.1 数据结构设计

目前在用的主流数据库类型有SQL Server、Oracle、HANA 等，HANA 适用于ERP 等大规模、计算复杂的系统，Oracle 虽然性能较好，但成本费用高。考虑到运算对象为“基础数据”范围，对计算复杂度和数据吞吐量的要求不是特别高，因此建议采用易用性更好的SQL Server 数据库。

接入“通用基础数据系统”数据应当经过充分的需求分析和评估，接入后建立统一的数据模型。对于接入系统的评估主要考虑接口方式，对于集成数据的评估，应统一数据结构标准，并评估数据量和增长速度。如图1 所示。

图1：数据结构及数据归集设计图

4.2 运行资源架构设计

如图2 所示“通用基础数据系统”设备包括中心数据库服务器、应用服务器。整体运行环境涉及用户客户端、其他业务系统服务器、交换机等网络设备。系统 “中心数据库服务器”管理所有的基础数据，对数据进行存储和计算，“应用服务器”自动通过局域网网络连接提供系统功能，同时进行数据的“请求”和“返回”。

图2：系统运行资源架构图

4.3 接口标准

由于“通用基础数据管理系统”需要与企业众多的业务系统进行接口集成，同时面向各业务系统进行数据采集和传输，因此“通用基础数据管理系统”对于接口标准的要求标准较高。系统开发要求同时支持Web API、RFC、中间库三种标准接口方式。同时系统接口开发人员应掌握上述三种接口的开发技术。对于接入的业务系统，优先采用Web API 方式进行开发集成。

4.4 数据备份方式

系统的备份应提供手动和自动两种方式，备份内容包括基础数据、业务应用、接口、操作日志等内容。应备份所有中心数据库数据和应用服务器中的数据，并通过配置参数，对备份计划进行管理，配合服务器Windows 计划任务，自动执行数据备份。

在未来的规划中，“通用基础数据管理系统”应该接入专用的备份存储系统，确保企业数据的安全性。同时备份的数据应可提取系统应用环境，以便在硬件损毁的情况下恢复“通用基础数据管理系统”。

4.5 移动端应用

作为企业通用基础数据管理系统的升华，企业可以适时开发移动端应用。移动端应用的业务范围呈现的数据建议是企业领导最关注的数据，或者是企业职能部门最关键的核心数据，可以通过移动端的展示，用户直观的掌握数据重点、形势走向，以便及时做出精准判断，有效决策。通过实时图形化展示业务指标数据，能够直观地监测企业运营情况，并对异常关键指标预警和挖掘分析，实现决策分析无处不在的实时动态管理，为企业管理人员和各级领导提供及时准确的信息获取和沟通渠道。

5 总结

数字经济时代，数据资源已经成为企业的核心资源和核心竞争力，各类企业信息化建设的重心正从 IT（信息技术）向DT（数据技术）转化。企业对于业务数据的要求逐步提高，也给大数据应用管理技术提供了展现能力的平台。本文通过对于通用基础数据集成系统方案的设计以及关健技术研究，期望能够为企业建设实现跨地域、跨部门、跨系统的信息资源共享与交换提供思路，发挥数据的价值，支撑企业的发展。