制造业中智能数据中台的设计与实现

文 啸

（博世汽车部件（长沙）有限公司，湖南 长沙 410000）

1 引言

数字化、智能化是当前全球发展的最强驱动力之一，数字化、智能化的建设不仅决定了企业自身战略水平，也是影响数字经济、数字社会发展的关键变量[1]。智能数据中台的建设以数据为基础，实现各个业务系统的数据融合打破数据壁垒，对海量的生产实时数据进行采集，对供应链系统数据、销售数据进行融合，从而建立实时、离线的分层级数据仓库；以实际的业务应用场景为落脚点；利用云计算的可扩展性、弹性和低成本等优点，为智能数据中台的数据处理和存储提供强有力的支撑；将自研机器学习、深度学习算法模型为核心，实现边缘计算，云端存储及数据挖掘，对产线用户端进行数据服务，从而打造最与企业自身需求相契合的智能数据中台，帮助企业实现转型的同时，达到提质降本的最终目的。

2 研究与方法

2.1 企业数据应用的问题分析

在工业4.0提出以来，各个传统制造业企业数字化转型迅猛发展，在飞速发展的背后业难以避免地产生了一些问题和新的数据需求。

1）制造业数据现状。制造业是一个数据密集型行业，数据化程度高，生产过程中会产生大量的数据，包括生产线上的传感器数据、机器人数据、质量检测数据和生产计划数据等。从数据类型来看，非结构化数据占比逐步上升，其中产线上传感设备采集的实时信号数据、震动数据，具有高频、严重依赖采集时间、检测点多、数据量大并且稳定性高的特点。如果没有一个数据管理平台，这些数据将难以被有效地利用，从而影响制造企业的运营和管理。

2）数据源现状。传统制造业的业务数据往往分散在不同的系统和部门，数据格式和标准不统一，数据之间缺乏有效的共享和交流，难以实现数据的集成和统一管理。数据中台可以通过标准化的数据采集手段将企业内部和外部的数据汇聚到一个平台上，进行集中管理和统一数据标准，从而打通数据孤岛，为企业提供更加全面和准确的数据。

3）数据分析现状。由于上述制造业数据现状，制造业数据呈多样性和复杂性，数据分析往往需要借助多种技术和工具，比如机器学习、人工智能和大数据分析等，并且要全方位收集数据。数据中台可以将不同来源的数据进行统一存储和管理，为企业提供统一的数据分析接口，降低数据分析的复杂度和成本，提高数据分析的效率和准确性。

4）数据服务现状。现阶段制造企业中数据服务分散在各个业务系统中，数据交互错综复杂，并且缺乏统一的数据服务标准。数据中台可以将企业内部的数据与外部的数据进行整合，开放数据接口，为企业提供更多的业务合作和商业机会，加速业务创新，提高企业竞争力。

汽车零部件制造企业作为典型的传统流程型企业[2]，在实际生产、运营过程中实际面临上述问题。建设智能数据中台，帮助工厂对生产制造数据、运营数据、物流数据和客户数据进行统一收集，再提供海量实时数据分析服务及统一标准化的数据服务，帮助企业在生产、运营、管理和销售环节提供数字化的决策支持；实现数据流、物流、原材料流和服务流的高度集成，来解决数据孤岛问题、提高数据质量、加速数据分析和支持业务创新等，从而提高企业的运营效率和管理水平，增强企业的核心竞争力。

2.2 智能数据中台的构建与技术

智能数据中台是一种数据集成、数据挖掘、人工智能和数据应用的平台，其主要特点包括强大的数据整合能力、数据智能分析和数据智能应用[3]。在企业中，智能数据中台可以帮助整合各类数据源，包括结构化数据、非结构化数据和实时数据等。同时，利用大数据分析技术和人工智能技术，智能数据中台可以对数据进行精准分析和挖掘，以发现数据中隐藏的规律和价值。最后，将分析结果转化为智能应用，以帮助企业实现业务增长、提高效率等目标。其中适合汽车零部件制造企业的数据中台整体的数据架构图，如图1所示。

图1 汽车零部件制造企业的数据中台整体的数据架构图

在汽车零部件企业的智能数据中台的架构中，具有数据收集、数据仓库建设、数据计算及数据应用与服务[4]。图1中右侧为实现具体过程需要依托的技术或者组件，但在传统的制造业企业往往是缺乏大量IT技术人员与运维人员。根据企业实际情况，综合分析利弊，对智能数据中台基础组件建设提出了三种技术方案，进行详细对比，分析优劣，见表1。

表1 企业中数据中台建设常见方案对比

从表1中三个方案来看，方案3利用云端PaaS服务作为建设智能数据中台的基础，从成本、可行性和运维的角度综合分析为最佳解决方案[5]。

（1）数据集成 汽车零部件企业数据集成方案的设计和实施，是构建智能数据中台的重要组成部分。在整个生产过程中，会涉及到多个部门和环节，每个环节都会产生大量的数据，这些数据来源复杂、数据结构各异、存储方式各不一致，所以导致了难以进行有效的整合和管理。因此，需要一种高效、可靠的数据集成方案，来实现数据的整合和共享，提高数据的价值和利用率。数据集成数据流向图如图2所示。

图2 数据集成数据流向图

在汽车零部件制造企业中数据包括：MES、SAP、物流系统和质量系统等数据。根据实时性将数据分成两类：实时数据和非实时数据。实时数据如生产制造的过程数据、MES设备上的传感器数据，通过推送Kafka集群的不同Topic的方式，实现实时数据的采集，再将实时数据上传至云端。非实时数据如SAP、物流系统、质量系统和销售系统中的数据，主要通过ETL工具或定制化开发的同步程序，将数据同步到对应的离线数据存储服务器中，处理后再将这部分数据同步至云上数据工厂进行数据加工[6]。此外，还有少部分外部数据，如天气、气温等数据，通过爬虫程序每日定时获取，存储于云端。

（2）数据仓库建设 在数据集成至云端后，要完成智能数据中台建设中重要的一步，数据仓库建设，数据仓库可以对不同来源的数据进行转换，包括数据格式的转换、数据类型的转换、数据清洗和数据合并等。下面阐述在传统汽车零部件制造企业中数据仓库建设的具体方法，主要分为4个数据层级[7]。

1）数据贴源层。数据源层是指从企业各个部门、各个系统中获取数据的层级。数据源可以是企业内部的ERP系统、CRM系统、MES、SAP系统、产线设备上传感器采集的实时信号数据，也可以是企业外部的供应商、客户、天气和温度数据等。在这一层级的数据格式保留与原始数据一致，不做任何的加工。

2）数据抽取、转换和加载层（ETL层）。ETL层是指将数据从数据贴源层将原始中抽取出来，并对数据进行清洗、转换和整合等处理，最终将处理后的数据加载到数据仓库中的过程。ETL层是数据仓库的核心层级，负责确保数据的质量和一致性。在数据转换、整合的过程中过与业务部门和数据分析师进行详细的需求分析，明确数据仓库的目标、功能和使用场景。

3）数据存储层。数据存储层是指存储处理后的数据层级，通常采用星型模型、雪花模型等方式进行建模。数据存储层是数据仓库的主体，存储了历史和当前的数据，并依托云端资源支持复杂数据的分析和查询，并实现快速响应。

4）数据应用层。数据应用层是指存放直接提供用户使用的数据表，与存储层相比属于较为轻量化的数据层级。这里的用户包括系统用户和数据查看用户，为数据查看用户提供报表、仪表盘和图表等直观的数据展示，帮助其做一些决策支持，可以根据用户需求进行定制。为系统用户通常提供标准化的API接口服务，供系统获取实时或批量数据，供自身系统使用。

通过数据仓库的建设，帮助企业统一数据视图，帮助企业内部共享数据、协同工作，提高业务流程效率和决策质量，提高数据质量和数据一致性，这有助于企业减少数据错误和冗余，提高数据准确性和可靠性；提供统一的、标准化的数据服务，同样提高工作效率；最后，形成核心数据资产，通过数据挖掘与分析帮助企业制定更合理和有效的业务决策。

（3）数据挖掘 在智能数据中台中，数据挖掘是重要的组成部分，是指从大量数据中提取有价值的信息和知识，以支持企业的决策和业务发展。具体而言，数据挖掘通常包括几个阶段[8]：

1）数据清洗与预处理。数据将被预处理以确保其质量和可用性。数据清洗包括数据去重、数据填充、数据转换和数据集成等，以确保数据的一致性和准确性。在数据预处理中，数据特征将被选择和提取，以便于后续的数据挖掘分析。

2）数据挖掘算法选择。根据不同的业务需求和数据特征，选择适合的数据挖掘算法，如分类、聚类和关联规则挖掘等。其中分类算法用于将数据划分为不同的类别，聚类算法用于将相似的数据分组，关联规则挖掘则用于发现数据中的关联关系。

3）数据模型训练和评估。根据所选的算法和数据集，训练模型并对其进行评估，以确定模型的性能和精度。在训练过程中，数据集将被分为训练集和测试集，以验证模型的准确性和泛化能力。

4）数据模型应用。将训练好的模型应用到实际数据中，以获得预测结果、关联规则或聚类结果等。这些结果可以用于支持企业的决策和业务发展。

在智能数据中台，上述机器学习模型训练好部署在云PaaS服务中，如图3所示，云端数据模型结果通过标准化的API服务返回到用户端、产线端进行调用。在新的数据模型驱动下，产线、用户端产生新的数据，新的数据又采集到数据中台中，数据模型再根据新的数据对模型就行调优与适配，整个过程，实现算法端的自动优化与调整。

图3 数据模型数据流示意图

利用云端部署算法模型除上述优点之外，还有云端硬件资源优化[9]，云上合理分配CPU、GPU及内存等计算和存储资源；通过云端PaaS服务，合理分配相关资源，进行并行计算、分拆计算，提高计算效率；此外，在云端部署机器学习算法还能实现对算法系统的监控，第一时间发现和解决性能瓶颈，优化系统性能和有效提高效率。

2.3 智能数据中台的应用

汽车零部件制造企业属于数据密集型的制造业行业，本文提出的智能数据中台可以帮助制造业企业更好地管理和分析生产和供应链数据，提高生产效率和产品质量等。其中的智能数据中台的应用场景很多、很广，下面结合实际案例对智能数据中台的应用进行详细介绍。

1）预测性维护。智能数据中台可以对设备数据进行监控和分析，从而实现预测性维护和设备管理。在汽车零部件制造企业，生产制造过程中有很多易耗品，如刀具、皮带及砂轮等[10]。智能数据中台通过收集和分析设备数据，可以实现对这些高价值易耗品的寿命分析、故障预测，从而及时进行维护，避免设备停机和生产损失。以某一高价值刀具为例，详细阐述分析过程。

智能数据中台预测性维护分析示意图如图4所示，首先在高价值刀具产线上安装三轴振动传感器，以高频采集产品加工过程中X，Y，Z三个方向实时的振动信号。自动化信号实时采集后传输至云端，在云端进行的步骤：①特征提取程序对原始信号的异常值检测与移除；②提取出可代表产品生产状态的时域、频域和时频域，实现原始数据的降维，输入后续的机器学习模型进行分类；③模型基于特征，输出对当前设备状态处于不同状态的概率；④若系统判断设备故障，维修人员会根据状态概率的排序，按建议的维修顺序，对设备零部件进行故障排查。

图4 智能数据中台预测性维护分析示意图

高频时序信号处理，使得故障预测可行的关键在于找出能够代表当前工况，与其他工况有明显区分度的指标。本方案中使用高频的采集频率，使得高频段的特征提取成为可能。但高采样频率带来的大数据量，对数据传输、存储、特征提取和模型建立都是一种挑战，因此基于云端搭建的数据中台是实现本案例的关键所在。

在实际操作中，可能出现很多问题，本案例中就有传感器不稳定导致产生很多异常噪声点，在图4中，首先通过非参数异常值检测及孤立森林的算法，对异常噪点进行移除后再利用线性插值法对删除的异常噪声点进行补全。以时域上描述波形的统计量（如均值、偏度和峰度等）结合处理过的原始信号经快速傅里叶变换后，在不同频段的能量分布作为当前工况的表征。不同工况条件下振动曲线的特征向量被用于训练随机森林分类器，模型在单产品数据上的分类准确率达到99%。为进一步提高分类准确率，本案例中还针对大数据量传输过程中不可避免地出现的随机数据缺失情况采用了动态时间规整算法，衡量波形在时域上的相似程度，作为随机森林分类器的补充判断。

除了上述案例之外，近年来在碳中和的大背景下，对工厂能源消耗进行预测可以在满足生产的前提下实现能源消耗的最小化。智能数据中台能源预测示意图如图5所示。

图5 智能数据中台能源预测示意图

传统汽车零部件制造企业，生产过程中许多加工工艺需要手动配置相关的工艺参数，目前多数工艺参数调整的方式为工艺工程师结合经验对其认为的对当前失效模式影响最大的参数组合进行一一组合尝试，当产品质量测试结果达标后，以该参数结果作为最优组合持续使用，直至下一次参数需要调整的场景出现。这一过程要求工艺工程师的全程参与，对工程师的专业知识要求高，可复制性较低。通过参数自调整功能，设备自动找到当前工况下的最优参数，产线员工无需等待工艺专家的帮助，可节约调参时间，保证产品品质。

首先，根据历史数据及工艺专家的经验，建立产品品质测试结果与工艺参数、实时工况之间的关联模型。然后，MES将产品品质测试结果与工况数据通过Kafka传递至智能数据中台，通过对产品品质测试结果和工况的实时监控，结合时序分析方法，提取变化趋势。最后，将关联模型部署在智能数据中台，根据测试结果、工况数据实时判断是否需要调整参数及如何调整参数，将结果回传至制造执行系统。PLC通过调用MES的接口信号，实现对工艺参数的调整[11]，具体过程如图6所示。

图6 智能数据中台工艺参数自调整示意图

传统的制造过程中，工程师通常会手动调整焊接温度，以保持其在预设范围内。然而，在实际生产过程中，焊接温度会受到多种因素的影响，如气候变化、不同材料的热传导性、电子元件的尺寸和位置等，这些因素会导致焊接温度波动并超出预设范围。为了解决这个问题，我们可以采用基于机器学习的工艺参数自调整方法。具体而言，在生产过程中实时监测焊接温度，并将其与预设范围进行比较。然后，将监测到的焊接温度和相关的生产参数（如电子元件的尺寸和位置、环境温度等）作为输入，利用机器学习算法建立一个模型，预测下一步需要调整的焊接温度幅度，并自动调整焊接设备的功率，以使焊接温度保持在预设范围内。

在具体算法尝试中，主要有两种方法：

1）传统寻找最优参数组合的方法为固定其他参数，调整一个参数，通过对比调整前后产品品质的变化，确定调整方向。这种方法的缺陷在于，当参数种类多，可取值多时，所需要进行尝试的组合量非常大，难以找到具有全局最优解。

2）遗传算法通过赋予表现较好的参数组合更高的权重，使得模型每次建议的参数都为向最优解的一种可能逼近。这一寻找最优解的过程，可被视为工艺专家实际调参的过程一种模拟，其优势在于整个过程可以控制设备自动进行，无需人为干预。

结合生产实际运用中，综合来看遗传算法是较为适合工艺参数自适应的算法。

在数字化、智能化浪潮的驱动下，除上述场景之外，还有数字孪生、备件库存优化和客户画像等应用场景。总之，智能数据中台肩负着数据采集、融合、加工和挖掘，最终提供数据服务的责任。

3 结束语

智能数据中台是企业数字化转型的关键基础设施之一，它是实现数据共享、数据交换、数据治理和数据价值挖掘的重要手段。总体来说，在智能数据中台的建设中，需要充分考虑企业业务的特点和发展需求，制定科学的战略规划和实施方案，提高数据的质量和可用性，建立高效的数据管理和治理机制，构建完善的数据生态系统。

同时，智能数据中台的建设还需要根据企业自身具体情况择优依托现代技术手段，包括大数据、人工智能和云计算等，加速数据处理和价值挖掘的速度和效率。此外，智能数据中台还需要关注数据安全和隐私保护等方面，确保数据在收集、存储、处理和应用的整个生命周期中得到充分保障和合规性。

总之，智能数据中台的建设是一个系统工程，需要全面考虑多方面因素，充分发挥数据的作用，促进企业数字化转型和创新发展。未来，随着数据技术的不断发展和应用场景的不断拓展，智能数据中台将成为企业数字化转型的重要推手，为企业提供更智能、更高效和更有竞争力的数据服务。