面向生产过程管控的数据建模、集成与存储技术

孙 云 江海凡 丁国富

西南交通大学先进设计与制造技术研究所，成都，610031

0 引言

车间生产管控系统通过对数据采集和监控系统(supervisory control and data acquisition，SCADA)、制造执行系统(manufacturing execution system，MES)、产品数据管理(product data management，PDM)等系统的业务数据进行集成和分析，实现生产多层次信息的集中化展示，达到了辅助管理者决策的目的。生产过程数据是管控系统的核心业务对象，故从技术上打通过程数据的模型构建、采集传输、存储分析等环节是实现生产过程智能管控的关键。然而，随着车间数字化、智能化的加速发展，车间生产设备和测控元件愈发多样，随着更多车间信息系统的开发和部署，生产管控系统在数据建模、数据集成、数据存储的实施过程中面临着缺乏通用数据模型、多通信接口维护管理难、传统存储架构性能低下的问题[1-3]。

针对上述问题，学者们展开了广泛研究。在数据建模方面，周亚勤等[4]借助统一建模语言(unified modeling language，UML)建立了针织生产智能管控的通用数据模型，并梳理出设备监控/制造执行/生产计划中的数据流，为针织生产智能管控提供了技术指导；王亚辉等[5]基于标准语义模型搭建了云架构下的制造车间数据采集和融合系统，实现了生产设备的泛在感知。在数据集成方面，张培等[6]借助面向对象方法和ETL技术提出了数字化车间多源异构数据的集成方案；李文俊等[7]构建了数据中台对装备基础数据、器材数据、维修数据进行集成，通过统一数据视图来提供数据集中管理服务，实现了装备保障数据的集成共享。在数据存储方面，YE等[8]用Hadoop生态圈框架搭建了工业大数据存储平台，实现了海量生产过程数据的存储；潘明阳等[9]使用非关系数据库MongoDB构建了船舶历史数据库，实现了基于船舶大数据的船舶监控、航道管理及海事管理等地理位置服务；赵炯等[10]基于Redis设计了盾构远程监控系统，实现了盾构数据的高速缓存、高容灾和高可用。上述研究主要聚焦于特定车间生产过程中设备数据的集成和存储技术，较少从多维度对生产过程数据进行全面描述；同时数据感知/集成方式主要面向SCADA/MES等系统制定，难以适应管控系统对车间多信息系统集成适配的需求；在数据存储方面，当前研究着眼于采用一种存储工具来实现海量数据的高速读写，较少从多存储工具协同运行的角度进行架构设计。

综上所述，本文以生产过程管控系统为载体，面向车间多源数据，对系统实施中的数据建模、数据集成、数据存储技术进行深入研究。

1 车间数据特性分析与数据建模

生产车间不同网络层次设备及数字化系统的监控数据由于描述语义、结构层次各不相同，使得生产过程管控系统从中集成到的数据不能基于统一数据模型一致地解析及存储。通过构建生产过程数据模型，对生产过程监控数据进行梳理和组织，并定义统一结构层次的可视化描述标准，是解决上述问题的关键。然而，当前对生产车间数据建模的研究多针对生产设备展开，处于设备控制阶段，主要用于解决设备间互联互通的问题，没有针对车间计划下达—产线作业调度—设备生产执行的生产管理流程来系统、全面地描述监控对象；同时，当前生产数据建模往往针对特定制造领域展开，模型可重用性差，管控业务面向不同制造领域展开将会增加额外的数据建模工作。

针对上述情况，本文将车间生产过程划分为多个子过程，并对各子过程的数据特性进行分析，以明确生产过程数据建模的问题域；在此基础上，借助图形化数据描述工具EXPRESS-G构建生产过程数据模型，定义了共性的生产过程监控对象及其内涵、属性、结构层次，将生产过程多维数据以统一的层次结构映射到生产过程管控系统中，为集成数据的统一解析和传输提供模型依据。

1.1 车间数据特性分析

本文将车间生产过程划分为设备生产、产线执行、车间管理3个子过程。其中，设备生产过程主要包含开工条件核查、作业任务执行、生产情况反馈等业务内容。产线执行过程主要包含作业排程及调度、质量检测、物料配送、资产维护等活动。车间管理过程主要包含生产计划/设计文件的下达及工艺路线制定等业务。生产过程管控系统即面向设备生产、产线执行、车间管理3个子过程中设备级数据、产线级数据、车间级数据展开数据建模、数据集成及数据存储。表1对各维度数据的监控对象、数据来源、采集方式、采集特性、数据格式、存储方法进行了分析，分析结果显示了车间生产过程数据的海量、多源、异构的特点。

表1 车间生产过程数据特性分析

1.2 车间数据建模

本文基于车间管理—产线执行—设备生产的生产执行过程，自上而下将车间数据模型进行分解，建立与之对应的3个子模型。在此基础上依据过程监控需求对各子模型中涉及的关键数据信息进行抽象，建立相应的抽象实体，并明确各抽象实体包含的属性及其关系。抽象实体对生产过程包含的监控对象进行共性表达，并可通过属性拓展实例化为具体监控对象，进而对生产过程进行全面描述。

EXPRESS-G是一种图形化数据描述工具，较多地应用于系统开发前的数据需求描述。下面将通过标准化图形建模语言EXPRESS-G对各子模型中的抽象实体、实体属性等要素进行定义，该过程需要保证各子模型没有业务重叠，且对各抽象实体设置拓展属性以应对监控需求变化。

1.2.1设备级数据模型

设备级数据模型从设备设计、运行、维护3个维度对设备生产过程中的服役状态进行描述，为设备监控看板的实时及历史状态监视提供模型支撑。建立设备静态信息、设备运行信息、设备组成信息、设备维护信息4个抽象实体，并对其属性和对应关系进行定义，如图1所示。图中[1∶1]表示一对一关系，[1∶n]表示一对多关系。

图1 设备数据建模

设备静态信息包含设备名称、类型、出厂日期、设备型号等设备出厂固有(或生产系统建立时已配置好)且长期保持不变的属性；设备运行信息包含闲忙状态、加工时间、动作指令、实时能耗等随生产实时变动的属性，能反映设备在生产中的加工状态、工艺参数、能耗情况等，是设备监控的重要部分；设备组成信息包含组成设备的机构及其测控系统的基本信息、状态信息、拓扑结构、模型信息等；设备维护信息包含故障时间、故障代码、维修人员、维修时间等设备服役后的故障及维护信息。

1.2.2产线级/车间级数据模型

产线级数据模型依据产品质量管控要素人、机、料、法、环、测来构建，为产线执行过程中影响产品质量主要因素的明确提供模型支撑，包含人员信息、设备统计信息、物料信息、生产作业信息、环境信息、质检信息6个抽象实体，各抽象实体包含的对象属性及关系如图2所示。人员信息定义了工作人员的基本信息和工作状态；设备统计信息不同于1.2.1节中设备级数据模型的描述内容，通过对设备状态信息进行分析处理，提取出设备综合效率(OEE)、设备故障率等参数用于设备生产效能的评估；物料信息对在制物料的静态信息、加工状态进行定义；生产作业信息描述了产线内生产作业的具体内容、执行要素、执行情况及异常信息；环境信息包含温度、湿度等影响产品加工质量的参数；质检信息对产线内质检活动的检测内容、物料对象和检测结果进行描述。

车间级数据模型依据订单下达—任务调度—工艺规划的车间管理流程展开，包含订单管理信息、生产任务信息、工艺设计信息、仓储信息4个抽象实体，各抽象实体包含的对象属性及关系见图2。订单管理信息主要包含产品订单的客户信息、产品数量、成交额、完成进度等基本信息；生产任务信息对车间内生产任务的具体内容、执行要素、完成情况进行描述；工艺设计信息包含车间工艺流程的设计文档、加工对象和执行要素等；仓储信息涵盖车间内仓储的基本信息、在仓物料和物料进出情况等。

图2 产线/车间数据建模

2 基于通信适配的生产数据集成

生产过程管控系统面向车间物理设备、数字化管理系统等数据源，从设备、产线、车间多个维度进行数据集成，以保证监控数据的全面性。然而不同车间数字化建设情况各异，各数据源所提供的数据通信接口各不相同，通信方式主要包含面向物理设备采集(通过串口通信、TCP/IP、RFID等)和面向信息系统集成(通过数据库、消息中间件、文件系统、ETL工具等)两种，多数据接口适配是生产数据集成必须解决的技术问题。另外，当前开发模式直接调用数据源所提供通信接口，各通信接口的调用流程、输入/输出参数均不相同，系统需单独开发与之对应的通信调用层以实现数据接口适配，这将使生产管控系统通信层与数据层高度耦合，新数据层的引入将会改动通信层程序源码，大大增加了系统开发工作量。同时，数据层源码及其所依赖的资源文件内嵌在通信层源文件内部，这将影响程序的编译/执行效率，也使通信现场部署及测试变得困难。

因此本文将数据通信过程中的共性业务逻辑抽象为通信适配层，将系统对多个通信调用层的开发维护工作变为仅对通信适配层展开，从而实现系统通信层和数据层的分离，后续新的数据层的接入不需修改上层应用程序源码。同时，将常见通信协议封装为动态库可实现代码的重用，现场通信仅需将动态库加载到指定环境目录中即可实现便捷的通信部署及测试。由此可见，通信适配层具备可重用、易拓展和易维护的特点，实现原理如图3所示。

图3 通信适配层实现原理

2.1 通信适配层设计

通信适配层的本质是基于面向对象设计(oriented object design，OOD)中依赖倒置、开放封闭、单一职责的原则，根据数据接口类别对其共性业务流程进行抽象，建立数据通信基类，定义其基本通信功能，如环境初始化、数据读取、通信日志、断开连接等。而具体的数据通信协议类则继承自该基类，基于不同通信协议提供的通信开发包对具体方法进行实现，派生出不同通信协议的适配器，如MTConnect适配器、OPC适配器等。上层应用调用基类的抽象接口，基于多态原理实现子类方法的自动调用，从而实现上层应用与底层数据的分离。采用通信适配层既可对通用标准协议OPC-UA、MTConnect等进行适配，实现设备数据的互联互通和同构采集，还可对车间信息系统的数据接口进行适配。通过对多数据接口的通信和管理，实现对设备/产线/车间多层次异构数据的集成，保证监控数据源的丰富性，并降低数据接口的开发和维护成本。

基于上述方法对通信适配层进行设计。通信适配层包含接口管理器、抽象接口、适配器、适配接口4个部分，基于UML建立其组成模型，如图4所示。

图4 通信适配层UML图

适配接口是由车间通信组件开发商提供或自行封装的通信客户端类，如武汉华中数控股份有限公司提供的HNC-8、OPC基金会提供的OPCDAAuto.dll等，调用其API对车间信息系统的数据服务器进行连接访问，实现业务数据的通信采集。

适配器是实现抽象接口集成适配接口的中间环节。通过继承并实现抽象接口中的标准通信接口以生成OPCAdapter、TCP/UDPAdapter等适配器类。各适配器实例对应一种具体的适配接口，将适配接口中的通信API封装到其标准通信接口中，实现配置属性、初始化、读取数据等操作，并根据配置信息将集成数据转化成统一数据格式。

抽象接口是接口管理器所依赖的抽象集成类，根据车间主流数据源建立通信协议、数据库、消息中间件和文件系统4个抽象类，各抽象类根据业务特性封装有不同的标准通信接口，并保留未定义功能的方法，以便于该类抽象接口的功能拓展。

接口管理器通过人机交互界面个性化选择要适配的通信接口，对现有通信接口进行匹配、测试和通信，并通过抽象类指针多态地调用同类适配器类中的通信方法，实现多源数据的适配和管理。

2.2 数据集成流程

基于通信适配层的多源生产过程数据集成框架如下：生产设备及测控元件如机器人、数控机床、AGV、PLC、RFID等生产的底层数据可由OPC-UA协议统一采集和管理，或者通过SCADA、DCS等工控系统对底层数据进行间接集成。产线执行、车间管理等业务数据则通过适配MES、ERP、PDM等信息系统提供的数据接口来获取。集成得到多层次生产过程数据由适配器依据车间信息模型统一转化为JSON格式存入管控系统存储模块，也可将数据上传至生产大数据平台中，为大数据分析、挖掘提供数据支持。技术框架如图 5所示。

图5 多源数据集成架构

进一步地，以OPC-UA、HBase两种常见通信接口为例，对数据源适配过程进行阐述。

2.2.1OPC-UA协议适配

OPC-UA因具备统一对象模型、命名空间、层次管理等机制，被作为工控标准通信协议广泛应用于设备层数据的统一管理和传输。管控系统通过通信适配层对OPC-UA协议进行适配，可远程对车间工控系统的OPC服务器进行数据访问。适配过程如下：①适配接口类动态加载OPCDAAuto.dll，建立OPCServer对象并连接到OPC远程服务器，依据OPCGroup对OPCServer命名空间中已定义的具体车间设备进行访问，调用读取事件获取相应OPCGroup中的OPCItem值；②继承通信协议类抽象类生成OPC-UA适配器类并将①中通信过程封装到其标准通信接口中，包含创建客户端实例、初始化通信环境、配置通信参数、接收增量数据、发送数据、数据格式转换等，将封装结果生成为动态库；③将返回车间数据项与设备实例化对象的映射关系写入配置文件，同时，调用OPC-UA适配器动态库，根据配置信息将数据统一以JSON格式返回，完成数据格式转换。

2.2.2HBase数据库适配

以HBase为代表的NoSQL数据库为车间信息系统提供了海量业务数据存储与查询服务，正在生产车间中得到普及，对其进行适配可使管控系统对车间各信息系统进行业务数据访问和集成。具体适配过程如下：①适配接口类在加载Thrift数据库驱动后，创建HBase客户端对象并连接到数据库服务器，通过客户端所提供的Scan、Get等方法获取返回参数以实现过程数据读取；②继承数据库类抽象接口生成HBase适配器类并将①中通信过程封装到其标准通信接口中，包含创建实例、连接服务器、映射关系配置、订阅增量数据、写入数据、数据格式转换等，将封装结果生成为动态库；③建立服务器元数据结构和实例化对象的字段映射关系，以csv文件的格式保存，调用HBase适配器动态库，加载csv文件信息将集成数据统一转换为JSON格式，实现车间异构数据的同构集成。

3 基于Redis-MongoDB-HDFS架构的生产数据存储

当前生产数据存储框架主要采用传统关系型数据库MySQL、Oracle等。关系型数据库适用于查询过程复杂、数据量不大的结构化数据管理，难以应对非结构化数据(如图片、视频等)和大规模数据的存储。由1.2节车间数据特性分析可知，生产过程管控系统集成的生产数据包含结构化数据、半结构化数据、非结构化数据，若仅采用传统关系型数据则难以实现异构数据的高效存储。同时，设备工艺状态等数据刷新频率快，读写频繁，要求数据库具备高速读写能力，而车间运行过程产生的历史数据则要求数据库具有大规模数据存储与分析能力，当前研究多采用一种数据存储工具，难以较好地满足上述需求。

针对当前问题，本文将NoSQL数据库及分布式文件系统引入生产数据存储中。其中，NoSQL数据库采用Key-Value、面向Document等存储结构，具备较好的拓展性，能应对TB/PB级结构化/半结构化数据的高效存储。分布式文件系统将数据文件分布于多个存储节点，主要用于海量非结构化数据的存储和管理。本文设计了基于Redis-MongoDB-HDFS的生产数据存储架构，根据生产实时数据、生产历史数据及生产文件各自的特点选择合适的数据库，并定义了各数据库间的交互及协同关系，以实现异构数据的高效实时读写及历史数据冗余。

生产数据存储架构将通信适配层集成得到的海量数据按照一定组织进行分类存储，为生产管控系统的生产实时监控、历史数据分析、现场视频回顾等业务模块提供数据支持。该架构包含集群环境、实时数据存储、历史数据存储、文件存储4个模块，通过Redis-MongoDB-HDFS架构协同实现对海量生产数据的实时存储和高速读取，总体框架见图6。

图6 基于Redis-MongoDB-HDFS的生产数据存储框架

集群环境模块为整个存储框架提供了硬件运行环境，基于交换机、虚拟路由等网络硬件将多台服务器或虚拟终端的网络地址设置到同网域，实现网络互通；将指定版本Redis、MongoDB、Hadoop的数据存储服务、集群管理服务部署到各服务节点上，在单一节点内通过配置文件的形式设置主从角色、读写权限等参数，实现集群的数据备份，保证生产数据的安全存储，并将读写操作定向到同一节点的不同数据存储服务上，提高集群的读写速度。同时，集群通过线性增加服务节点，实现存储容量和读写吞吐量的水平拓展。

实时数据存储模块为生产实时数据提供缓存和高速读取服务，通过Redis实时数据库来实现[10]。在存储结构上选择String结构，以Key-Value对进行存储。将监控实例对象ID作为Key，Value部分对应通信适配层的数据输出格式，是包含内嵌结构的JSON串，有Timestamp和Entity等多个Map对象，其中Timestamp为当前时间戳，Entity为监控对象包含的实体名，其值为实体包含的所有属性集合，属性集合的层次结构由实例对象模型决定，定义存储格式如表2所示。

表2 实时数据存储格式

管控系统调用通信适配层中的方法将原始数据转换成上述JSON格式并写入Redis服务器完成过程数据的实时存入。为保证生产过程信息的实时展示，Redis集成的最新实例对象数据会覆盖历史数据，使内存中始终保存各监控实例对象最新的属性信息，从而保证服务器的读取性能。

历史存储模块负责构造生产历史数据集并提供查询分析服务，借助MongoDB数据库实现[9]。首先对历史数据的存储结构进行定义，基于车间、产线、设备3个监控层次建立Workshop、Production-line、Equipment 3个Database。然后根据监控实例模型的结构在Database中创建相应Collection，并按照一定频率读取并解析Redis中实例对象的Timestamp和Data，全量地插入到对应的Collection中，完成历史数据写入。

文件存储模块为视频、图片、文件等非结构化数据提供存储和读取服务，借助HDFS实现[8]。首先按照监控主题、监控日期、监控内容的层次生成生产文件管理树，然后在HDFS根目录中以车间、产线、设备为主题建立文件目录，各主题目录中每天以当前日期为文件名添加日期文件目录。在日期文件目录中创建生产文本资料、生产监控视频、文件图片副本等内容筛选目录，各筛选目录可根据实际情况继续嵌套。集成得到的生产文件以“监控主体_监控日期_文件内容”的格式重命名并存放到相应的文件目录中。通过获得该文件的索引，将索引、文件名、文件路径信息作为一条Document插入MongoDB中，方便根据文件名快速查找文件。

4 实例验证

实例车间主要生产任务为亚克力雕刻件和合金结构件的粗精加工，并分设雕刻件产线和结构件产线。以雕刻件产线为例，该产线包含了雕刻机、AGV、机械手、五轴加工中心等生产设备及传感器、RFID、控制电机等测控设备。车间生产信息系统包括SCADA、MES、ERP。SCADA配置有Kafka队列作为数据传输接口，MES、ERP则为管控系统提供MySQL的读取权限。若采用OPC-UA协议对设备数据进行直接采集，则只能完成对设备级数据的监控，而采用常规设计模式对每种数据接口编写耦合的数据通信层又将使数据接口的拓展和维护变得复杂。同时，车间单班制运作，部署有数据监控点100多个，每日产生实时数据1.2 GB，约300万条，视频、图片等文件数据3 GB。若采用传统关系型数据库对车间数据进行存储，则由于其横向拓展性差、数据模型约束复杂，不能较好地应对生产管控中变动的监控需求，且对视频等大型非结构化数据文件的读写性能较差。同时，当存储数据量达到TB、PB级后，关系型数据库的吞吐性能将显著下降。基于该车间遇到的问题，将本文提出的海量异构生产数据的建模、集成和存储方法应用到车间管控中，并对管控系统的存储/集成模块进行实现。

4.1 车间数据建模实现

基于车间信息模型，依据实际监控对象，对监控对象各抽象实体进行实例化。以华数机器人为例，建立机器人实例模型，如图7所示。

图7 机器人数据建模实例

在此基础上，以实例车间雕刻件产线为例，对产线级数据模型进行拓展和重用，建立雕刻件生产线实例模型，如图8所示。

图8 雕刻件产线数据模型

4.2 车间数据接口及通信

基于通信适配层技术，对Kafka、MySQL两种客户端接口进行适配，将librdkafka.lib及Msado15.dll中的通信API按照其通信逻辑封装到通信适配层的标准通信接口中，并生成KafkaAdapter.dll及MySQLAdapter.dll两个动态库，将动态库放置到生产过程系统指定的文件目录下。

系统通过增量数据订阅的形式调用通信适配层中相应的动态库，对生产线上已部署的SCADA、MES、ERP系统进行数据集成，而SCADA系统则采用OPC-UA统一对车间底层设备进行数据采集。集成数据格式依据实例化模型统一转换为JSON格式后写入Redis中进行实时缓存。Redis以每秒一次的频率将全量数据写入MongoDB中形成生产历史数据。视频、生产文件等数字则按天批量导入HDFS中，构建车间通信网络拓扑结构，如图 9所示。

图9 车间通信网络拓扑图

4.3 数据存储平台部署及测试

存储模块利用虚拟化组件VMware在工控服务器上搭建，配置了3台虚拟节点，并依据负载均衡、主从备份、读写分离的原则，将Redis、MongoDB、HDFS相应的存储、管理服务进程部署到虚拟节点上，完成存储框架的搭建。配置情况如表3所示。

表3 集群性能配置

基于上述配置，使用性能测试工具Redis-Benchmark、YCSB、Sysbench模拟50个线程并发，对Redis、MongoDB、MySQL服务器进行查询操作，以测试存储架构的读取性能。首先在各服务器中导入有300万条信息的生产过程数据表，单条记录大小为1 kB，并将查询总次数分别设置为10万、100万、1000万，分3组测试服务器每秒查询率(queries-per-second，QPS)，最终测试结果如表4所示。由测试结果可知，在相同硬件配置环境下，Redis和MongoDB在应对GB级数据查询的性能远优于关系型数据库MySQL，且尚未出现性能瓶颈。

表4 集群吞吐量测试结果

4.4 车间生产管控系统实现

基于通信、存储环境部署，对生产数据集成、存储模块进行实现。首先，基于MFC框架开发了通信适配集成模块的管理界面。通过人机交互可增加、修改、删除接口实现动态管理；同时，对已定义的接口添加配置文件实现字段映射、结构转换等功能，并在此基础上进行连接测试和数据通信。存储模块通过部署在工控服务器上的存储服务进程实现对通信适配层和管控系统业务层的读写响应；采用RedisDesktopManager、Studio 3T和WebHDFS分别对Redis、MongoDB、HDFS进行可视化管理，实现各存储框架的元信息构建、数据操作和权限授予等功能。最后，将上述模块作为数据服务端为生产管控系统应用层提供数据读取、分析等服务，进而实现生产过程数据集中化展示、生产状况实时监控、历史数据关联分析等应用功能，实施效果如图 10所示。

图10 数据集成、存储模块设计与实现

5 结论

本文从生产过程管控的实际问题出发，使用EXPRESS-G建立了车间信息模型，从设备生产、产线执行、车间管理3个层次对生产过程进行了抽象描述，结合柔性制造车间对所有监控对象进行实例化，较为全面地反映了生产过程监控所需的关键信息；借助通信适配层对柔性制造车间的Kafka、MySQL接口进行适配，对车间SCADA、MES、ERP数据进行结构转化和统一集成，保证了生产过程监控数据的丰富性和同构性；提出Redis-MongoDB-HDFS架构，将通信适配层集成的JSON数据按照统一的逻辑结构写入数据库中，应用案例表明，该存储架构能满足车间每天4 GB增量数据的实时写入，并可实现实时/历史数据的微秒级查询，保障了大规模生产数据的高性能存储与读写。

在生产数据建模、采集、集成和存储的基础上，深度融合制造技术、工业大数据与新一代人工智能是实现车间智能管控的关键和趋势，也是下一步研究方向。