基于增强现实的制造数据记录系统设计与实现

孙卓见，李红卫，左 康，赵 飞，梅雪松

(1.西安交通大学 机械工程学院，西安 710049；2.西安飞机工业(集团)有限责任公司，陕西 阎良 710089)

0 引言

智能制造现已成为各国制造业发展的重要方向，我国在2015年推出“中国制造 2025”战略。智能工厂作为工业 4.0 的核心，已成为了各国研究的重点。

在传统加工制造业的车间生产过程中，许多工艺流程的过程记录涉及设备仪表数据的读取。制造过程数据是生产质量管理和控制的重要信息来源。但由于目前我国工厂内现存老旧设备较多，改造阻力大，多数生产流程还采用人工记录纸质表格的方式传递冗杂的数据，这种方式耗时耗力，并存在不透明短板，已经成为工厂生产工作的痛点。智能工厂建设离不开数字化依托，制造数据是实现数字化车间的关键所在，设计一种数字化制造数据管理系统，规范制造过程数据记录流程备受关注。

近年在多数工业4.0和智能制造的规划文件中，增强现实(AR，augmented reality)技术都被屡次提起[1]。增强现实技术的理念旨在将虚拟系统信息和现实世界融合显示，将增强现实技术应用于生产制造过程中，解决工作痛点，提高工作效率是近年的热门方向。增强现实应用多见于生产培训、辅助装配检修和远程指导等场景，作为独立环节的辅助工具。德国卡尔斯鲁厄理工学院提出了基于显示屏的产线AR装配引导方案[2]，给予了增强现实在实际生产中应用很好的启发；坦佩雷理工大学展示了一种基于 AR 的实验室场景人机识别与交互模型[3]，探索了工业环境下的人机交互方式；伦敦帝国学院在工业条件下的 AR 导航路径规划做出了实验和探索[4]，为AR应用的拓展做出了良性探索。

随着大数据、云计算技术的加入，智能工厂的概念已经日益扩充为庞大的体系框架，在工业数字化转型实现智能制造的过程中，AR工具不仅是孤立环节的辅助工具，更是数字孪生系统与个人虚实交互的媒介[5]。业界期盼成熟的AR应用出现在生产过程中，助力减少工作量，充分发挥人的作用，提高生产效率，促进加工产线向网络化、自动化、智能化方向发展。

为解决上述问题，提出了基于增强现实的设备运行状态监测系统，系统通过软件架构设计和人工智能方法的应用，实现了设备运行状态的自动化识别、上传和录入。结果表明：系统切实提高了生产效率，辅助了生产质量管控，在加工制造业有一定的可靠性。

1 系统结构及原理

1.1 系统总体架构设计

制造技术的发展需求变化，带来制造业核心竞争力的深刻变化，制造需求向多品种多批量、高质量低成本、柔性制造快速响应、节能环保发展。我国工业自动化基础薄弱，虽然各企业进行了自动化流程投入，部署了不同的制造管理系统，但大部分企业自动化没有为信息化布局，造成数据采集、管理、利用的难题，没有真正实现系统融合。企业数字化转型的现状面临着设备庞杂、系统多元异构、通讯协议规范不统一的现实问题。从系统架构的角度分析，采用前后端分离架构，使工业系统的各功能模块解耦，在一种通用的连接协议下实现交互是提高系统开发效率，实现程序复用的有效方式，也是实现良好兼容，打通系统信息孤岛的可持续发展模式。

旨在使延迟和网络交互最小化，同时使组件实现的独立性和拓展性最大化，系统方案采用RESTful[6]风格的前后端分离架构。采用HTTP方法基于统一接口和通用载体，通过数据库、应用和RESTful API的交互来完成各种事务功能的实现，统一采用JSON格式作为载体承载数据，即使应用客户端与服务器端技术构造不同，也不会影响通信。架构基本形式如图1所示。

图1 系统总体架构

设备仪表图像通过架设工业相机采集，通过工业网关存入服务端工艺数据库。工艺数据库存储生产任务信息、生产工艺流程信息、工作人员信息、工厂设备信息、制造过程数据等多维度数据，以支持多工艺流程制造和厂房设备人员变动情况下的生产过程数据记录。另外，服务端部署基于深度学习的OCR识别模块和后台数据库管理模块，利用服务器算力优势减少终端负载，通过RESTful风格，其他模块只需要向API发出抽象的请求而不用关心相应的数据库逻辑实现，各应用模块之间实现了解耦，可以运用灵活的技术栈实现需求功能。工作人员在生产过程中通过AR终端登录系统，按照生产任务提示操作，即可完场制造过程数据的记录保存，企业ERP系统通过与服务器端的API交互同步数据，即可获得制造数据，实现了生产流程中过程数据记录的数字化。

1.2 工艺数据库及管理系统设计

工艺数据库是系统的重要组成模块，基础数据用于支撑系统功能逻辑的实现，生产过程数据的存储和交互完成记录流程的数字化。工艺数据库包含多维度的制造数据信息，其中生产任务信息实时与企业的订单管理相关系统同步更新，实时监听并生成系统内部任务，派发至指定车间和工作人员；生产过程工艺流程及相关规范数据通过数据库后台管理系统录入，按数据库格式形成工艺执行文件，以便根据产品类型提取，在生产中实现引导式呈现；工作人员信息、工厂设备信息等工厂基本信息通过对企业已有系统的数据交换或后台录入，以支撑系统角色权限管理和任务下发；制造过程数据包括生产中所需记录的图像信息，识别结果，数据曲线图，数据表等形式，分别来源于相机采集，识别模块和AR终端。工艺数据库的关键数据如图2所示。

图2 工艺数据库设计

后台管理系统使用REACTJS编写，用于工艺数据库与其他系统同步数据与系统多维信息的手动录入和维护，仅限管理员用户登录。除工厂基本设备、人员信息，工艺执行文件外，后台管理系统还维护系统额外铺设的相机和终端信息，给予了系统良好的拓展性。

2 关键技术阐述

生产过程中除了需要记录日期、时间等基本数据，多数流程还涉及设备仪表的读取，通过工业相机实现自动化图像采集，可以减少一线工作人员的记录负担。由于实际工作场景干扰因素较多，使用传统的数字图像处理方法鲁棒性较差。因此采用深度学习的方法处理图像，以达到较好的检测识别效果，并为系统向多工艺流程的推广奠定基础。

字符识别分为字符的检测和识别两个具体步骤，分别采用改进的CTPN[7]神经网络框架和CRNN循环神经网络实现，编程语言为Python。

2.1 仪表文本检测和预处理算法

结合文本行一般以水平长矩形的形式存在，而且文本行中每个字都有间隔的特点，近年的文本检测论文中提出了文本检测任务拆分的思想：首先检测某小部分是否属于文本行，最后将属于同一文本行的部分合并，便得到预测线框[8-10]。一个完整的文本框中多个小文本框集合可以视作序列模型，可以使用RNN模型。因为一个小文本框的预测同时依赖于左右两边的预测结果，因此采用BiLSTM做预测准确率会大大提升。

图3 文本检测算法流程

传统的CTPN网络采用VGG16网络作为特征提取框架，而后来出现的残差神经网络(ReaNet)能更好地防止模型退化，增强学习效果。使用 ResNet50[11]的前5层卷积层作为特征提取骨干网络,用于提取图像空间的语义信息,得到特征图。卷积后的特征将送入BiLSTM继续学习，最后接一层全连接层输出参数：2k个纵向坐标y，用于小边框定位；2k个评分，分别是该线框内容是文本或背景的评分，用于评估文本置信度；k个x的水平偏移量，用于水平边缘修正，提高线框精确度。

文本行构建过程将置信度 >0.7的连续选区相连接。定义一个选区 Bi的邻居Bj：Bj水平距离上离Bi最近；该距离效应50像素；二者垂直重叠 >0.7。如果Bi、Bj同时互相满足邻居关系，两个选区聚集为一个线框，文本行由连续具有相同选区的线框连接构建。对最终获得的文本行区域分割结果进行过滤，得到仪表数据区域，对其进行灰度和二值化处理，以提高后续识别的精确度。处理后的图片如图4所示。

图4 图像分割和预处理结果

2.2 文本识别算法

文本识别分为单字切割和分类两步[12]，采用CRNN+CTC识别机制。如图5所示。

图5 文本识别算法流程

卷积层CNN网络用于提取输入图像特征图，在VGG16的第3第4个最大池化层CRNN采取的是1×2的矩形池化窗口，有别于经典的VGG16的2×2的正方形池化窗口，因为文本图像多数都是高较小而宽较长，所以其特征图也是这种高小宽长的矩形形状；循环网络层RNN是一个深层双向LSTM网络，在卷积特征的基础上继续提取文字序列特征。对于RNN输出如果使用常见的Softmax Loss将带来巨大的标记对其样本工作量，所以采用CTC Loss训练网络。CTC本质是一种通过递推，快速计算梯度的计算方法，不需要额外对齐样本。

3 系统软件设计

3.1 RESTful API设计

RESTful API基于NestJS框架进行搭建开发，并使用TypeORM与数据库连接，编程语言为TypeScript。API函数处理关系流程如图6所示。

图6 API函数处理流程

NestJS是一个Node.js服务器端的应用程序框架，支持TypeScript，可以配合数据库关系映射TypeORM快速开发接口网关。随着时间的推移，应用程序会变得越来越大，因此类型检查非常重要。TypeScript是一种强类型语言，弥补了JavaScript的弱类型特点给数据库交互带来的不便。TypeORM是连接数据库的关系映射工具。数据库的逻辑实现和管理交互都可以通过ORM中间件，实现使用面向对象的编程操作关系型数据库，减小业务量的同时便于更新维护。

3.2 AR端软件设计

为了不限于硬件情况使用，AR终端应用基于移动端广泛的Android平台编写，支持包括AR眼镜、平板电脑、手机等多种终端设备进行交互。系统用户角色分为普通工作人员和管理员。工作人员负责生产过程中使用本系统进行图像采集和数据记录，管理员负责检视数据记录，管理异常记录。系统交互和角色关系如图7所示。

图7 AR端应用逻辑流程图

移动端应用程序作为系统前端应用，为了获取最大的设备兼容性和跨平台能力，没有使用Android原生的Java/Kotlin语言进行应用开发。而是基于当前流行的Vue.js语言前端框架，按应用逻辑编写了Html5页面及其脚本，页面数据的请求和获取完全通过与前文API的交互实现。利用JavaScript在前端领域的优势，通过尽可能简单的 API 实现响应的数据绑定和组合的视图组件，可以快速构建包括动态图表元素的用户界面。

然而浏览器模式的应用往往在性能方面表现不佳，工程中往往采用第三方打包工具将前端转换为原生应用。目前常用的uni-app页面灵活性较差，因此采用了APICloud工具打包，利用 “混合渲染”和模块化机制，为APP提供与原生几乎一致的性能。程序功能包括但不限于任务监听、用户登录、任务与工艺的匹配、工艺流程的引导式呈现、多维数据录入，网络通讯等功能。

工人携带AR终端进入生产车间，登录系统后根据生产任务，在车间制造场景中通过应用程序操作提示进行生产操作并记录过程数据，采集相应图片信息，服务器端实时分析输出识别结果，通过无线网络呈现在AR终端，实现场景信息的虚实融合，工人可以对结果进行人工修正和添加备注。管理员登录后可以查看各项生产任务的数据提交情况和图像信息，并有权改变提交记录的生效状态，对错误作业进行驳回。

4 实验结果与分析

4.1 实验步骤和方法

实验以热处理生产线为试点对象，探索在设备与涉密生产管控网络隔离条件下，研究传统生产线设备基于机器视觉识别的生产过程控制和原始记录的留存方法，避免对传统设备改造的复杂过程和高成本的付出。在一定程度上提高生产效率，减轻一线员工的工作负担，实现如下目标：

通过数据同步的方式，同步园区网和工业网数据，实现生产任务下达，工艺规程数据同步、任务数据提交的功能。部署数据管理服务，组织和重新映射同步过来的生产数据，统一管理视觉识别设备、虚拟设备，实现整个生产过程需要的数据组织管理的功能。部署视觉识别服务、生产过程执行管控与操作指导服务，进行数据实时采集、识别、反馈，实现生产管控和记录的功能。

4.2 系统部署与应用实现

在实际热处理流程中，根据生产订单的不同，各种类型的热处理工艺流程不尽相同，工人需要根据当前生产任务选择合适的热处理方法，查阅工艺流程卡片或说明书，进行实际生产操作并手动记录过程数据填写纸质表格。

在部署本AR系统后，后台管理系统支持数据同步，按约定的数据表和字段，将数据进行编码，实现多表数据同步，同步数据包括但不限于系统用户、用户卡号、基于组织机构与设备管理层次的设备类别、设备、设备安装位置、配置仪表、仪表示数、结构化工艺执行文件、任务数据。实现了生产任务、工艺流程、生产设备、人员的自动对应。支持将系统本身的数据访问能力以第三方接口的方式提供给用于二次开发的用户，以配置的方式接入到其他相关业务场景中，实现和其他系统的低耦合集成。

移动终端支持按用户名和密码或刷卡方式登录。系统提供菜单导航功能，显示当前登录用户的任务状态及任务数据统计。系统提供任务列表功能，以卡片的形式展示任务列表，显示任务的简单信息。按当前登录用户角色显示当前任务列表，可在导航菜单中查看和筛选当前的任务。系统提供工序列表功能，展示当前任务所属工艺执行文件的详细说明和工序的列表，以颜色区分工序状态，显示该工序所需要记录的记录信息。系统提供多种实测数据记录方式供配置选用，记录方式包括：文本框、日期选择框、下拉选择框、设备获取、电子曲线等。根据原始记录中的各理论值与对应实际值的关系，自动判断热表处理过程的合格与否，自动进行后续处理。

4.3 实验结果分析

经过培训后，热处理试点车间工作人员开始将AR系统应用到实际生产中，在按规范提示生产作业的同时通过系统记录相应数据，进行多型号产品混线生产，并通过后台将数据提交至西飞质量管控系统。

使用基于AR设备的设备状态检测系统，解放了工作人员的双手，只需按AR端引导操作，点击记录按钮，在规范生产流程的同时即可实时记录各种所需的过程数据，并保存相应的现场证据以供查证，减少人工环节提高效率的同时减少了失误率，实现了无纸化流程。

由于工厂设备环境下字体固定，视角扭曲较少，识别任务较为简单，仪表数据基本达到无误差识别。结果文本与处理后的图片一起存储入库，与该任务其他相关数据形成记录表，以供检验查询。企业的质量管控系统通过后台的数据库同步便可直接获得真实的制造数据，所有流程都基于电子设备和网络通讯完成，初步实现了生产过程数据数字化。

5 结束语

在西安飞机工业(集团)有限责任公司基于AR的设备运行状态监测研究项目中的应用结果表明，本文涉及的基于AR的设备运行状态监测系统，利用AR终端设备解放双手，结合深度学习方法实现图像识别，通过虚实信息融合进行生产引导和数据记录、通过数据库联动实现生产订单的智能处理和与质量系统的数据交互，提供了全方位的生产过程数据记录解决方案，规范了多工艺混线生产流程，实现了无纸化操作，提高了飞机生产车间工作效率和记录准确率，具有重要的现实意义和应用价值。

介绍了基于AR的设备运行状态监测系统及其在飞机制造厂商的应用。该系统采用AR 增强现实技术，构建了标准化生产车间多维数据的工艺数据库，引入了深度学习算法，结合LSTM和CTC算法，发挥增强现实技术在虚实融合、智能引导、手势语音交互等方面的技术优势，用于车间生产工作人员的辅助，可以解决传统生产车间数据记录工作中操作冗杂、人员效率低、数据存在真实性疑问、响应时间慢等质量管理痛点，提高了现场作业的规范性；可大幅减少人工记录的工作量，提高车间生产工作效率和数据记录准确率。