基于大数据平台的可视化建模分析机制研究★

丁世来，罗剑武，葛智君，曹宇，李浩波

（1.工业和信息化部电子第五研究所，广东 广州 511370 2.工业装备质量大数据工业和信息化部重点实验室，广东 广州 511370）

0 引言

近年来，全球掀起以智能制造为主导的工业革命新浪潮，工业智能化将成为未来工业体系的关键点。数据作为工业智能化时代新驱动要素的作用日益凸显，对海量异构的工业现场数据和信息进行智能分析并处理，可以推动制造业企业向基于工业大数据分析与应用智能化的产品需求、设计、制造、销售和服务的转型[1]。

在工业互联网环境下，对于工业大数据的处理与分析中仍存在着数据建模难度系数高，建立的模型在精度、适用范围和知识面等方面不尽人意，模型的投入率低等问题，因此其容易很快地被边缘化，甚至被放弃。

围绕上述问题与挑战，亟需开展工业互联网大数据处理与分析平台技术研究，提出一种基于大数据平台的可视化建模分析机制，充分地挖掘工业大数据的价值，结合行业知识，构建可移植、可扩展的知识型大数据分析平台，赋能面向“双跨” “行业” “区域”和“特定领域”的工业互联网平台，支撑工业智能化升级改造，为企业由传统制造业向数字化、智能化、网络化的工业企业战略转型提供驱动力，实现资源优化配置。

1 国内外技术发展现状

随着工业互联网平台的发展初具雏形，国内外很多行业开展了大数据处理与分析技术，结合工业互联网平台，形成基于工业互联网平台的大数据处理与分析技术研究工作。以美国、欧洲和亚太地区为首的国家和地区积极布局并持续地带动工业互联网平台技术创新，虽然已经取得了一定的成果，但是也面临着许多的困难与挑战[2]。工业互联网大数据在数据建模方面具有局限性，缺乏与面向工业互联网应用场景的行业领域知识的紧密结合力，以及缺乏数据建模手段，造成数据分析深度和维度不足，严重地浪费了工业互联网大数据的价值。

1.1 国外技术现状及发展趋势分析

国外主流的工业互联网大数据处理与分析技术在支持多框架、多语言方面虽已取得了一定的成果[3]，但是在领域知识的工业互联网大数据处理与分析方面、工业大数据分析微服务化封装、调用和发布方面，其技术研究和产业化应用尚未成熟。

以通用电气（GE）公司Predix云平台为代表的美国工业互联网大数据处理与分析平台具有工业大数据处理和分析、Digital Twin快速建模和工业应用快速开发等各个方面的能力，应用开发者能够使用Java、.NET、Python、R等编程语言快速地编写大数据/数据科学和移动应用。平台虽然提供一系列可以快速地实现集成的货架式微服务，但是，在基于微服务化的工业大数据可视化建模分析方面能力不足，以及分析算法动态组合的能力不足。

以西门子公司Mind-sphere平台为代表的德国工业互联网大数据处理与分析平台具有对垂直市场有深度理解的能力，帮助用户实现从产品设计到仿真、生产规划、生产制造、再到最后维护服务设备全生命周期的能力，形成一个数据的闭环。但是，在将数据转化为高价值的工业互联网分析模型时，尚存在结合领域知识能力方面不足，以及工业大数据可视化建模分析能力不足。

1.2 国内技术现状及发展趋势分析

我国的工业化需求持续地促进工业互联网平台发展，从而使工业互联网环境下大数据处理与分析平台技术也正在积极地开展探索性研究工作，但局限于垂直细分领域，工业互联网大数据可视化建模分析和微服务化封装的技术研究也尚处于探索性阶段。

航天科工集团的航天云网大数据平台具有建模微服务、工业可视化、工业模型微服务、组态工具、报表工具和工业知识组件等微服务等能力，但是在分析算法动态组合能力方面仍有欠缺，工业互联网大数据可视化建模分析方面尚未成熟[4]。

昆仑数据的KMX机器大数据管理分析平台具有机器大数据湖（MDL：Machine Data Lake）、机器数据全生命周期生产线（MDR：Machine Data Refinery）和资产模型框架（AMF：Asset Model Framework）等功能，可以支持机器大数据分析应用的快速开发和扩展，但是不支持图形化的工业互联网大数据可视化分析建模应用。

三一重工股份有限公司的装备工况大数据平台具有面向特定工业应用场景下大数据分析，以及实时地监测并可视化地显示设备运行情况等功能，但是在工业互联网大数据可视化分析建模方面，其技术研究尚未开展。

为了解决上述存在的问题与挑战，亟需开展工业互联网大数据处理与分析技术研究，提出一种基于大数据平台的可视化建模分析机制，重点突破工业大数据可视化建模分析能力，基于领域知识的建模分析能力、可移植和可扩展性能力等关键难点，为企业从传统制造业向数字化、智能化和网络化的企业战略转型提供驱动力，实现资源优化配置。

2 总体框架

当前，工业互联网大数据采集、集成、分析和应用已初具规模，但仍难以考虑不同任务剖面的领域知识对工业互联网大数据可视化建模分析结果的影响，以及缺乏工业互联网大数据的微服务化封装、调用和发布手段，已经严重地影响工业大数据的高效、深度应用，造成工业大数据的价值流失，无法实现可观的业务价值[5]。因此，亟需研究工业互联网大数据处理与分析技术，提出一种基于大数据平台的工业互联网大数据可视化建模分析机制，总体框架由用户交互层、业务逻辑层、系统模型层和模型微服务化层组成，如图1所示。

图1 工业互联网大数据可视化建模分析机制总体框架

工业互联网大数据可视化建模分析机制是以“自外而内”和“自内而外”这两种方式进行数据分析。其中， “自外而内”方式是指从用户交互层→业务逻辑层→模型微服务化层中，将用户面向工业特定应用场景的不同业务需求转换为对应的工业互联网大数据可视化建模需求，并逐层地向底层模型微服务化层寻求模型服务； “自内而外”方式是指从模型微服务化层→业务逻辑层→用户交互层中，将大量的工业技术原理、行业知识、基础工艺、模型工具规则化、软件化和模块化，并封装为可重复使用的微服务组件，逐层地向上层用户应用服务层提供模型服务。这种双向交互方式，可以提高生产制造的效率，降低库存，为智能制造的个性化生产提供基础。

2.1 可视化建模分析框架环境搭建

在工业互联网大数据应用的开发运维一体化（Devops）环境的基础上，搭建微服务架构环境、可视化分析建模环境和领域知识图谱构建环境等开发环境，实现快速构建和部署定制化的工业互联网大数据处理分析微服务组件，形成可扩展、可移植的应用框架，可适用于多系统、多平台环境下进行工业互联网大数据可视化建模分析。以图2所示工业互联网大数据可视化建模分析微服务组件持续地部署分布过程为例，开发人员将借助DevOps工具链能力减少重复性工作，加快研发速度，当工业互联网大数据分析服务源代码提交到源代码仓库后立即触发微服务化封装过程[6]，通过技术自动构建、自动测试生成工业互联网大数据分析微服务组件，一方面结果将反馈给开发人员，另一方面微服务组件将继续组件测试、预发布、交付等持续部署的过程，以多种发布方式动态地更新对应的工业互联网大数据可视化建模分析微服务组件。

图2 可视化建模分析微服务组件的持续集成/部署示意图

2.2 可视化建模分析微服务化架构

在微服务架构下，将多元化的工业互联网大数据分析工作内容，按照微服务最佳实践原则，以适当的服务粒度拆分，形成一系列的可复用的工业互联网大数据可视化建模分析微服务组件库[7]，所提供的多种大数据可视化建模分析微服务包括以下几种组件。

a）分析算法模型微服务组件

包括KNN模型、拟合回归模型、LSVM模型、类神经网络模型和主成分分析/因子模型等算法模型微服务。

b）数据处理微服务组件

包括数据融合、数据类型转换、数据集成、数据排序、数据过滤和数据填充等数据处理微服务。

c）数据采集微服务组件

包括MySQL数据库、SQL Server数据库、Oracle数据库、MongoDB数据库和文本文档等数据采集接口微服务。

在此基础上，最终形成以微服务组件形式存在的工业互联网大数据可视化建模分析组件库。该组件库提供其微服务组件的复用支持和通信接口模型，开发者和使用者能够依照特定的工业互联网大数据可视化建模分析应用场景的实际需求，将相应的工业互联网大数据可视化建模分析微服务组件组合起来，以容器化部署微服务组件的方式，快速地构建出面向特定工业互联网大数据分析场景的定制化大数据可视化建模分析模型，形成可扩展、可移植的应用框架，可适用于多系统环境下进行工业互联网大数据可视化建模分析，如图3所示。

图3 工业互联网大数据可视化建模分析微服务化架构

以图3所示的工业互联网大数据可视化建模分析为例，工业企业业务信息系统（ERP、MES、OA、PDM和QMS等）具有零散化特点。首先，用户通过工业互联网大数据可视化建模分析机制，在应用界面内拖拽可视化建模分析微服务组件，通过数据采集接口微服务组件获取生产环境信息数据、设备故障运维数据、产品零部件装配工序参数和生产执行系统设备信息数据等多源异构数据；其次，通过数据集成、数据类型转换和数据融合等微服务组件对多源异构数据进行数据处理；然后，通过KNN算法模型、拟合回归模型和LSVM算法模型等算法模型组件对处理后的数据进行数据建模分析；最后，通过模型结果可视化微服务组件对工业互联网大数据进行可视化展现。

2.3 可视化建模分析机制构建

可视化建模分析机制主要包括用户交互层、业务逻辑层、系统模型层和模型微服务化层，具体的内容如下所述。

a）用户交互层

用户交互层主要包括可视化建模应用界面、建模组件映射规则和建模组件库。用户在基于可任意拖拽布局的可视化建模界面内通过拖拽建模组件进行可视化建模分析时，使用到的建模组件按对应关联规则从建模组件库内自动地匹配出对应组件的模型，该建模组件库内含有多种可视化建模分析组件，如数据采集、数据处理和算法模型等微服务组件。

b）业务逻辑层

业务逻辑层主要包括业务链与数据链关联映射实例，通过基于机器学习的自动关联匹配方法，首先抽取出组件模型与业务逻辑层中实例内模板模型间的关键特征值，再通过机器学习算法处理，最后形成组件模型库内的模型与实例之间的关联映射关系，根据所选取的组件模型种类及个数，自动地优化匹配出实例库内对应的实例模板模型。

在这一过程中，若实例库内有满足用户个性化需求的实例模板模型，则自动地从实例库内调用并生成满足用户个性化需求的实例模板模型；若实例库内无满足用户个性化需求的实例模板模型，则用户可自行建立实例模型，实例模型会经过封装、调用、发布的方法处理后入库，更新原有的实例模型库，最终形成一个不断迭代更新的实例模板模型库。

c）系统模型层

系统模型层主要涉及到的实例模型包括业务链模型和数据链模型，分别从不同的角度来描述企业的业务与数据。其中，业务链模型描述为完成某一业务目标所需要进行的一系列活动，常用的业务链建模方法有IDEF3、UML的活动图和BPEL4WS。数据链模型描述为企业的静态数据、数据联系、数据语义和一致性约束，常用的数据链建模方法有ER、对象模型和IDWF1[8]。

在企业业务链中，涉及到大量的数据传递与访问操作。因此，首先，在业务链模型的构建过程中，建立抽象流程模型，再进一步地修改、精化，得到可执行的业务链；然后，提取出业务链模型与数据链模型中的关键属性，通过自上而下的领域知识图谱方法建立起业务链模型与数据链模型间的关联映射关系，从而自动化地构建出业务链模型与数据链模型间的关联领域知识模型；最后，将面向特定应用场景的领域知识模型优化并形成领域知识库[9]。

d）模型微服务化层

模型微服务化层主要为系统模型层领域知识库内提供微服务化封装好的底层应用模型，将Java、Python和R等编程语言研发的工业机理模型，以及领域知识模型等工业分析模型微服务化封装，把技术、知识、经验等质量特性设计资源固化为可移植、可复用的微服务组件，形成通用的模型微服务组件库。

2.4 可视化建模分析应用案例

在我所已建的“赛宝质云”工业互联网大数据平台的基础上，面向电子、机电等行业的产品设计、工艺优化等场景中开展应用验证。

用户梳理与分析面向机电、电子等行业的业务需求，选择企业项目的业务需求中某个业务环节（如总装部分）进行可视化建模分析，选择该业务环节后会自动地打开可视化建模分析应用界面及其与业务环节匹配的现有可视化建模分析的实例。

用户进入基于拖拽式布局的可视化建模分析应用界面后，对生成的可视化建模分析实例与业务需求进行比较，对满足业务需求的实例中的可视化建模组件仅需要修改参数，而对不满足的组件需进行组件替换并重新配置参数，依据机器学习流程以任意拖拽的形式拖拽建模组件放置于可视化建模程序框内，然后重新连线组件以构建出工业互联网大数据的可视化分析模型，最后将形成的具有特定应用场景的工业互联网大数据分析新实例，加入到实例库进行迭代更新，不断丰富实例库内的工业互联网大数据可视化建模分析实例量。这样可以极大地节省用户进行建模分析的时间成本，提升建模分析的效率。

3 结束语

结合需求分析及工业互联网大数据体系中梳理的可见的、不可见的影响因素分析情况，本文提出了一种基于大数据平台的可视化建模分析机制，研发工业互联网环境下基于大数据的可视化建模分析应用工具，实现对工业大数据分析服务的封装、调用、发布，并建立工业大数据的领域知识库，形成在领域知识前提下进行可视化建模分析机制，加速了工业数据分析方式的创新突破，提升工业互联网大数据分析平台赋能效果。未来将主要在领域知识库建设方面开展工作，提升领域知识库在精度、适用范围、知识面的性能，向更多的单位进行应用与推广。