基于数字孪生的离散制造车间可视化实时监控方法

吴鹏兴，郭 宇+，黄少华，杨能俊，熊伟杰,郭具涛

(1.南京航空航天大学 机电学院，江苏 南京 210016;2.上海航天精密机械研究所，上海 201600)

0 引言

物联网、大数据、人工智能、5G通讯技术等新一代信息技术的迅速发展，推动了制造业由数字化、网络化向智能化的跨越式发展。美国工业互联网、德国工业4.0、中国制造2025等制造战略的提出表明，智能制造已经成为全球制造业的变革潮流与趋势，而数字孪生的出现为智能制造增添了新的生命力。数字孪生自2003年由Grieves教授提出以来[1]，受到了学术界的广泛关注，其对推动离散制造生产模式变革具有重要作用。因此，如何加快推进数字孪生技术在离散制造行业落地应用，成为人们关注的热点。

离散制造车间从事的是由不同零部件加工/装配子过程或并联或串联组成的生产活动[2]，其零部件众多、产品结构复杂、设备使用及加工工艺灵活。缺乏有效的车间监控往往导致在制品管理不透明、管理层与执行层出现信息断层、实时调控能力差，成为制约生产加工效率的一大瓶颈。传统的离散制造生产监控模式主要以软件二维图表为主，信息反应滞后，监控界面人机交互和可视化程度差，管理员难以及时掌握车间的实时生产情况。随着我国制造业的快速发展，真实可靠的可视化实时监控技术成为各企业必须解决的问题。有效的可视化实时监控可以帮助管理者及时掌握车间生产制造状态，快速应对突发情况，调整生产计划，从而提高生产效率，创造更大的经济利益。当前，随着制造物联技术的日渐成熟[3]，大量的车间数据得以发掘，结合数据建模与三维可视化监控技术，国内外学者从不同角度在可视化监控系统方面进行了大量研究。刘明周等[4]采用面向对象的方法构建了制造资源本体模型和支持生产系统实时监控的对象模型，开发了实时信息驱动的可视化监控平台；Schroeder等[5]使用AutomationML模型构建用于信息交换的数字模型，并以阀门为实例验证了其有效性；张涛等[6]提出了基于实时问答机制的介入式三维实时监控，并在Unity上进行了实例验证；尹超等[7]利用Flexsim跟踪监控机加车间生产任务执行情况，开发了一种能动态反映生产情况的可视化监控系统；庄存波等[8]引入工作流管理和电子看板技术，针对复杂产品装配车间构建了动态实时监控系统；Huang等[9]构建了实时监控制造车间运行状态和动态变化的虚拟车间地图，将制造资源的时空信息与动态事件关联起来，用于生产物流优化。然而，现有的可视化监控系统的目标是对现场生产状况和生产数据进行可视化显示，缺乏对物理车间多维运行逻辑的表达与多尺度场景的重现。数字孪生技术的出现为离散制造车间的可视化实时监控提供了新思路，陶飞等[10-12]首次提出数字孪生车间概念，阐述了其组成、运行机制、特点、关键技术，此外，其团队还对数字孪生常用的使能技术和工具进行了研究和总结，为数字孪生未来的应用提供了技术和工具参考；Bao等[13]提出了一种在制造环境下的数字孪生建模和数字孪生模型间的互操作方法，并对所提方法进行了性能评价；丁凯等[14]研究了基于数字孪生的虚实映射建模方法、复杂多维时空下制造过程及数据建模方法。在数字孪生技术的理论框架下，越来越多的学者围绕数字孪生车间的可视化监控作出初步探索。赵浩然等[15]分析了数字孪生车间与可视化监控间的关系，提出了多层次三维可视化监控模式，并在Unity上开发了原型系统；柳林燕等[16]构建了车间生产过程数字孪生系统的体系架构，使生产过程透明化，并在车间实际生产线上进行了验证；郭东升等[17]提出了基于数字孪生的车间建模框架，通过对物理车间的监控，有效提高了车间的物流及时率、设备利用率，缩短了产品加工时间；Zhang等[18]提出了基于数字孪生的中空玻璃自动化生产线个性化快速定制方法，可对中空玻璃生产线状态进行监控，推动了数字孪生的落地应用。

综上所述，国内外学者围绕车间可视化监控、数字孪生车间构建取得了许多有价值的研究成果，但目前仍存在以下不足：①当前可视化监控旨在构建一个镜像车间，缺乏数据建模与逻辑关联模型来体现物理车间全要素、全流程的组织结构和运行逻辑;②车间数据显示主要以数值分析与二维图表为主，监控界面人机交互和可视化程度差，无法多层次多细节反映物理车间情况;③针对数字孪生车间的研究还处于初步阶段，理论逐步完善但缺乏落地应用的具体实施方法。为此，本文提出一种基于数字孪生的离散制造车间可视化实时监控方法，围绕其具体体系架构，总结了关键实现流程，并逐步对其中4个关键实现方法进行了研究。

1 基于数字孪生的可视化实时监控方法体系架构

数字孪生车间通过物理车间、虚拟车间、孪生数据的连接与集成，实现虚实双向映射与交互，以及车间全要素、全业务、全流程数据的集成融合，在满足特定约束和目标下，通过虚实迭代优化，达到车间生产和管控最优。在数字孪生落地应用之初，需完成虚拟车间对物理车间高度真实的刻画和模拟，即实现基于数字孪生的车间可视化实时监控。本文参考数字孪生五维模型[19]，构建了基于数字孪生的离散制造车间可视化实时监控方法体系架构，通过数据层连接物理层与虚拟层，通过服务层实现人机交互，如图1所示。

(1)物理层是整个监控体系的基础，结合监控需求，将物理层分为各类支撑资源(传感器、射频识别系统等感知资源；无线网络、智能网关等网络资源；机床、

自动导引小车(Automated Guided Vehicle, AGV)等控制和执行资源；企业资源计划、制造执行系统等软件资源)，工艺过程(工艺链、工艺参数等)和产品(半成品、成品等)。物理层主要体现各类资源通过组织、协调及管理，经过整个加工工艺路线，将原料由半成品逐步加工为成品的过程，其中感知模块负责采集车间的资源信息、工艺信息、产品信息，将各类动态变化的实时信息通过网络模块上传至数据层，控制和执行模块可以接收来自上层结构的信息数据，服从上层反馈的信息命令，通过嵌入式控制器或直接控制设备，调整控制车间运行。

(2)数据层是监控体系的蓝图与交通枢纽，主要负责数据的建模规划与数据交互传输处理。在虚拟层搭建前期，生产系统规划员建立整个车间的拓扑结构AutomationML数据模型[20]，机械工程师基于初始的拓扑结构完成机械部分的数据建模，电气工程师结合车间拓扑和机械数据模型，完成车间的电气部分数据建模，以此不断完善车间数据建模。数据模型是对物理层的设计、提取和抽象，能够将复杂的信息和数据归纳形成一个清晰简单的轮廓，通过早期的数据建模能初步完成虚拟层的快速构建。在车间生产过程中，离散制造过程环境复杂，整个生产过程涉及的制造数据具有多源异构的特点，通过对物理层实时采集的生产过程数据进行清洗和增值处理，得到更符合车间需求的有效数据，将处理过的数据按照数据模型要求提交到AutomationML数据库中，基于数据模型以中间格式构建形成OPC UA服务端，结合虚拟层中OPC UA客户端，使整个数据模型具备标准化数据传输接口，实现数据的有效实时传输。在生产制造活动中，不断地完善和填充数据模型，形成强大的数据模型内核，是虚拟层动态映射的基础与支柱。

(3)虚拟层是物理层在虚拟空间的表现形式。通过三维模型、物理属性、工艺参数、相关事件4个方面来刻画虚拟空间的几何模型、物理模型、逻辑模型、行为模型。将虚拟层多维多尺度的建模规则与数据模型一一对应，用虚拟层中孪生模型的动态交互与融合来实现对物理层的刻画与描述。同时，虚拟层包含完整的资源信息、工艺信息、产品信息，能满足不同层次组织人员的监控要求。整个虚拟层具有交互、协调和控制属性，能对生产现场的各类生产活动进行真实重现，包括资源位置、动作以及工艺过程。在满足生产现场要求和符合生产过程逻辑的情况下对各类生产活动进行孪生级的仿真与监控，实现物理层生产活动在虚拟层的分析、优化与决策，通过模型校核、验证和确认来保证虚拟层的一致性、准确度、灵敏度等。最后，建立专用模型库，结合实例化技术，以实现快速场景搭建与优化。

(4)服务层是建立在物理层、数据层和虚拟层之上，面向用户服务的层级。在数字孪生车间生产活动中，物理层各类生产设备协调运行、互联协作，虚拟层模型实时映射，在虚实交互的过程中将产生大量的孪生数据。通过车间运行的实际情况与实际需求，依靠大量的数据存储与处理，模型的学习与演化，算法的优化与丰富，能够满足对生产现场全要素全流程的三维实时监控、多维多角度的仿真分析、海量数据的大数据分析与提供完善的解决方案，以供专业人员作出决策。

基于上述体系架构，将基于数字孪生的车间可视化实时监控实现过程总结为：物理车间构建、数据处理、虚拟车间搭建、监控结果输出4个方面，具体实现流程如图2所示。与传统可视化监控不同的是，基于数字孪生的车间可视化实时监控不只是对物理车间的单向映射，还应该在不断积累物理车间实时数据的基础上，结合车间工艺及计划，体现车间要素运行逻辑与演化过程。为了准确描述离散制造车间的各类生产活动，对车间全要素信息进行采集，既包括生产过程所需的“人、机、物、料”等关键信息，又包括各类实时状态数据，通过实时制造数据处理技术，将其清洗、分类、增值，建立数据模型并统一数据描述结构后，用于虚实映射。在虚拟层中以几何模型刻画物理车间、行为事件表现车间动态过程、逻辑模型表达车间运行逻辑，通过模型的动态变化，真实反映物理车间的生产行为，最后在可视化监控结果输出模块中，既实现车间运行情况监控又可通过对数据的统计及分析，发现车间运行规律。

2 关键技术

本文围绕数字孪生车间可视化实时监控的体系架构，按照其关键实现流程，逐步对4个关键技术进行了研究。在实时数据的驱动下，采用AutomationML与OPC UA的数据建模及传输方法实现数据的有效组织，通过事件驱动的虚实交互方法实现物理与虚拟车间的映射，在此基础上，通过基于复杂事件处理(Complex Event Processing, CEP)[21]的车间逻辑模型表示车间运行逻辑，最后以信息可视化及推送完成人机交互，实现了基于数字孪生的离散制造车间可视化实时监控。

2.1 基于AutomationML与OPC UA的数据建模及传输方法

离散制造车间数据量大且数据类型多，数字孪生的出现对数据的管理与传输提出了新的要求，建立完善的数字孪生场景的基础在于数据模型的建立。数据模型能完全体现数据间的层次与关联关系，表达车间制造过程。本文采用AutomationML+OPC UA的方式实现数据模型的初步构建与传输。AutomationML遵循面向对象的信息存储方式，可将生产系统的物理和逻辑组件建模为数据对象。对象之间有层次关系，每个对象可以包含拓扑、几何、运动、逻辑等多种属性信息。将物理车间从资源、工艺、产品3个角度建立数据模型，可形式化描述为：

PSF::=SRni+STnj+SPnk;

(1)

SRi={NUid,NMid,Rtype,RGet,RSet,

ACTet,RDet,SIet,Info};

(2)

STj={NUid,NMid,Ttype,TSet,TPet,

TTet,TCet,Info};

(3)

SPk={NUid,NMid,Ptype,PL,PP,PCet,

PGet,SIet,Info}。

(4)

其中：PSF表示物理车间；SRni表示车间资源集合，包括加工、运输等设备资源和生产管理系统等软件资源；STnj表示车间工艺过程集合，包含工艺链、工艺参数等；SPnk表示车间中各类产品；+表示资源、产品、工艺之间的关联关系；SRi表示资源集合中第i类资源，各类属性集包括资源编号NUid、资源名称NMid、资源类型Rtype、几何集RGet、状态集RSet、动作集ACTet、数据集RDet、数据接口集SIet、其他信息Info等；STj表示工艺过程中第j类工艺，各类属性集包括工艺编号NUid、工艺名称NMid、工艺类型Ttype、工艺标准集TSet、工序集TPet、时间要求集TTet、约束集TCet、其他信息Info等；SPk表示产品集合中第k类产品，各类属性集包括产品编号NUid、产品名称NMid、产品类型Ptype、产品位置PL、产品父级PP、产品子级PCet、几何集PGet、数据接口集SIet、其他信息Info等。在实际生产活动中，将物联网采集的各类实时数据，引入AutomationML数据交换格式，并按照以上数据描述层次，从实例层次(Instance Hierarchy, IH)、角色库(Role Library, RL)、接口库(Interface Library, IL)、系统单元库(System Unit Class Library, SUC LIB))4个角度建立统一的数据模型。其中：系统单元库包括车间、产线、工位等层级，由可重用的系统组件模板构成;角色库包括不同的接口与属性;接口库定义基本接口及其规则;实例层次通过引用系统单元库和接口库，使角色库实例化，最终使用内部元素(Internal Element,IE)对生产系统中的物理组件进行建模，如图3所示。以数据模型为基础，通过中间格式可扩展标记语言(eXtensible Markup Langu-

age, XML)建立形成相应的OPC UA服务端，在此基础上，OPC UA客户端可直接对保存于服务端地址空间中的一个或多个节点属性进行读取或对持续变化的数据进行订阅和监听。结合AutomationML技术和OPC UA技术能够有效解决异构数据之间的数据集成，加强监控系统数据模型的可用性。不同设备、不同工艺、不同阶段产品的数据能够有条不紊地整合在一起，数据模型将数据有序分析组合使其能够真实地反映现实生产制造活动。

2.2 事件驱动的虚实映射方法

在数据模型的基础上，实际生产活动中不断发生资源向产品转化的过程，数据模型不断丰富，需要在虚拟车间建立相对应的孪生模型，将数据模型与孪生模型一一对应，建立对应的映射规则，将物理车间的某种变化以空间或时间敏感的形式反映在虚拟车间中，实现两者在时空上的紧密相互作用。而这些交互通常由事件控制，事件是在特定时间范围内在受监视环境中的特定时间点的事实状态的显著变化[22]，在物理车间中发生的事件，可以通过实时属性与映射规则自主反映在虚拟车间中。

(1)几何模型 几何模型是数字孪生虚拟层的重要组成部分，建立孪生模型的首要任务是建立精确的几何模型，设备的几何模型是数据模型的外在“躯干”。建立几何模型时不仅要保证准确、真实、满足约束规则，还要兼顾计算机资源消耗、模型的扩展与动态行为的实现。本文结合纹理映射技术对单个三维模型进行表面优化，利用父子节点关系建立模型内的相互运动关系，具体关系为“父节点变化必定影响子节点变化，子节点变化不会影响父节点变化”。利用层次细节技术，采用距离标准对场景进行显示优化。

(2)虚实映射 依据OPC UA客户端对不同节点数据的提取，可对几何模型添加对应的属性值、数据接口，建立模型与数据的联系，作为孪生模型的基础。同时孪生模型的“物理”“行为”“逻辑”需在“几何模型”中进行体现、关联与集成，达到物理车间与虚拟车间的初步融合，可形式化描述为：

VSF::=VMm+VPnj+VBnk+VInz;

(5)

VMni←VPnj▷◁VBnk▷◁VInz;

(6)

(7)

ONVEj

THENVBk。

(8)

现以零件在两个加工工位上进行加工为例，说明虚实映射中事件驱动的业务流程机制，如图4所示。AGV接收物流任务，属性值发生实时变化，按照条件规则判断是否触发对应事件，之后执行对应事件下的动作，当发生故障事件或事件异常时，可根据算法库直接做出决策或提供解决方案给管理人员从而作出决策。通过属性的实时更新，CEA规则的事件驱动机制，算法库的不断丰富，解决当前物理空间与信息空间虚实映射程度低的问题。

2.3 基于CEP的车间逻辑建模

传统的可视化监控旨在构建一个与物理车间同步的、高度形似的镜像车间，而基于数字孪生的可视化监控除了“形似”以外，更重要的是通过高保真、“神似”的逻辑关联模型来体现物理车间全要素、全流程的组织结构和运行逻辑。本文采用CEP技术，依据物理车间工艺过程及生产计划，通过分析基本事件间的时间、空间和因果关系，制定规则和约束来实现车间逻辑模型的表达。同时可持续地从基本事件序列中分析得到更复杂的复合事件，或通过追溯成员事件，了解该复杂事件产生的起因，形成车间逻辑闭环，提高车间的推理与决策水平，可形式化描述为：

[(VEm,1,…,VEm,k,…,VEm,n)▷◁

(9)

(10)

(11)

关联匹配矩阵的列表示工艺路线上的基本事件，行表示时间窗口。通过定义标准关联匹配矩阵模板，可描述工艺加工过程，判断工艺事件发生与否，追溯异常工序。Abt的展开形式为：

Abt=[aij]n×n;

(12)

SRi={V1,…,Vk,…,Vm},∀k∈[1,m]。

(13)

其中：VK表示第i类资源的第k个设备资源；aij表示以Vi为起始点，以Vj为终点的工艺数量；矩阵的行表示单个工位对应下一加工阶段工序情况，列表示单个工位对应上一加工阶段工序情况。通过资源间的有向图邻接矩阵，可描述资源间的相互关联情况，根据时间和空间的变化，物料在工位内和不同工位间流转，依照加工工艺要求，车间每个生产资源都有一系列自身内部的事件变化和与其他资源的组合事件变化，如图5所示。

2.4 信息可视化及推送

车间可视化监控反映了车间全要素、全流程的生产状态，既包括各类生产资源的实时运行状态信息，也包含各类统计和分析信息。为了满足车间可视化监控的各项需求，本文通过不同的方式向不同角色提供不同生产状况下的信息可视化及推送，体现信息的有效性和合理性，最终帮助用户解决问题，如图7所示。

数据层主要包括数字孪生车间下针对各类资源的模型实时属性数据；针对工艺的各类工艺数据；针对产品的订单数据和质量数据；其他数据，如各类环境数据。根据车间监控的实际需求，以不同采集频率对实时数据进行数据管理。

信息关联匹配层中部分数据可直接进行显示利用，部分数据需要进一步处理,体现各类数据之间的关联匹配层次，分为数据集间关联、数据因果关联、数据变量关联3个层次，可分别形式化描述为：

Xi↔Yi↔Zi;

(14)

Xi⟺{X(i,j-1),X(i,j),X(i,j+1)};

(15)

Z(i,j+1)。

(16)

显示层围绕角色和生产状态两个角度，以不同维度和不同尺度进行信息推送。对于车间管理人员，依据其监控需求，主要通过全息展示、警示弹窗、悬浮框、统计图表等对生产进度、设备利用率、人员出勤情况、质量情况等宏观信息进行监控；对于普通工人，则主要通过全息展示、警示弹窗、悬浮框等对设备状态、加工任务、物料信息等与工位加工密切相关的信息进行监控。同时，根据生产状态的改变，实时更新推送信息类别，保证推送信息的有效性和及时性。

通过信息可视化及推送模块，实现了车间实时运行状态显示和实时数据统计分析，为用户提供了主动、及时、个性化、高效的服务方式，满足各类监控需求。

3 系统应用验证

某航天产品机加车间是典型的离散制造车间，具有产品结构复杂、突发情况多、计划变更频繁的特点。由于缺乏有效的车间监控，导致故障反应时间长、生产进度掌握困难，严重影响和制约了企业的生产效率。针对以上问题，在机加车间部署了大量的物联信息采集设备，实时采集各类动态信息，并基于本文方法开发了一套生产车间的可视化实时监控系统，该监控对现场动态数据实现有效的组织，提高了车间实时性和可视化程度，使车间各级组织人员都能快速掌握车间生产情况，实现车间的精准管控。该车间的主要制造设备包括：10个加工工位，10台数控机床，1台AGV，12个边线库以及夹具、刀具、人员、大量的物联网采集设备等辅助资源。

本系统依据车间生产情况，首先采用AutomationML对各类数据建立了角色类库、属性以及实例层次模型，如图8所示。依据数据模型，将机床和传感器数据，使用KEPSERVER形成一级OPC UA服务端，对于RFID、UWB等物联网设备，一般具有专用的数据传输接口，本文借助RFID中间件和MQTT客户端进行数据传输处理，最终形成OPC UA服务端。

同时，虚拟车间采用SolidWorks、CATIA等三维建模软件对物理车间进行等价造型，通过中间格式将模型导入Unity3D引擎平台，利用C#和JScript开发语言，初步形成了模型的自定义属性与事件脚本，最终封装成为模型库，支持虚拟场景的快速搭建，如图9所示。

结合物理层采集的实时数据，实现模型属性与事件脚本的动态变化，通过脚本实现车间作业逻辑与作业流程，同时采用实例化技术与纹理映射技术，优化场景显示。新工件进入车间时，根据工件角色类型调取对应的模型库模型，确定其工艺流程，由脚本体现逻辑模型，调用实时数据驱动配套模型运行。手工工位则只需执行操作动画，通过不同工位的加工，工件外形不断发生变化，直至加工结束。虚拟车间构建了各类悬浮框、警示弹窗，可依据角色与生产状态对车间各类信息进行个性化推送。系统监控情况可通过PC端或移动设备端进行实时查看，方便管理员实时掌握车间运行情况，图10为监控系统的实时运行监控画面。在此基础上，对各类实时数据进行统计分析处理，实现了对设备利用率、任务进度、库存统计等信息的有效实时监控，可根据具体需求，改变算法库规则，进而实现数据更深层次的分析挖掘，数据分析显示如图11所示。通过本系统的初步实施与应用，目前基本实现了物理车间信息的动态采集，虚拟车间物料及设备的动态映射，生产过程的有效监控等功能，有效解决了线边库存管理混乱，故障反应时间长，关键资源实时定位跟踪难等问题。模型库中模型包含95%以上的物理车间资源，虚拟车间与物理车间的相似度在95%以上，虚实映射时间延迟小于2 s。

4 结束语

在企业发展智能化车间需求强烈的背景下，本文针对车间生产运行状态实时监控困难问题，提出一种基于数字孪生的车间可视化实时监控方法，构建了其完整的体系架构。在实现数据建模、虚实映射、逻辑建模、信息可视化及推送4个关键技术基础上，开发了监控原型系统，为加快促进数字孪生技术落地应用进行了初步阶段性的探索。但是数字孪生技术的完全实现还需要跨领域、跨专业技术的集成与融合，需要广大学者的不断努力。目前，5G、AR、大数据分析等技术的不断发展将给数字孪生技术带来更多可能，后续的研究将聚焦于通过关联规则对海量孪生数据进行分析挖掘，探索各类属性间的影响规律，找出异常属性参数变化对重要属性参数变化的影响，提供数字孪生场景下生产预警功能。