基于AR眼镜的卷烟工厂制丝设备智能化 点检模式的研究与应用

吴晓东，刘帆，宋贺萱，曾庆辉，刘田，栗翔

湖北中烟工业有限责任公司，湖北武汉，441003

0 引言

增强现实（AR）作为一种新的人机交互技术，可以更直观地展示现实场景中的物理对象和数据信息[1]。经过长期的技术积累，AR已从实验室走向了工业界。卷烟工厂制丝车间设备种类繁多，如各类机械、电气及仪表设备，且多设备和多系统间存在复杂耦合关系，维持各类设备的正常运行能保障生产的顺利进行，设备点检是维持设备稳定运行的主要因素。在实践过程中，大部分卷烟工厂仍采用传统的纸质点检或平板点检方式，这类工作方式人为影响因素大，对点检人员的责任心有较高的要求。同时，由于传统点检方式存在点检记录查询困难、点检记录利用率低等问题，点检过程中数据统计不完善、点检过程发现异常无法及时通知维修人员和设备点检员巡检不认真、不到位、不全面等不良情况常有发生。针对制丝设备专业点检和保养过程中的难点和问题，结合AR和室内定位技术的智能点检模式可提升设备点检质量和效率，并能为其他工艺线设备点检提供借鉴和技术支持。

鉴于此，针对卷烟工厂对制丝设备智能化点检的应用需求，本文以空间定位技术和图像识别为基础，实现了一种基于AR技术的制丝设备智能化点检方法。从点检模型、设备识别、数据传输、数据分析等方面详细阐述，以简便的操作实现了制丝设备的专业点检智能化，提升了设备点检效率和过程数字化、流程化水平；车间环境精确定位系统的实现增强了对点检工作人员的监管力度，并为点检员提供精准丰富的点检位置信息服务。

1 相关工作

1.1 点检系统研究现状

设备点检对维持设备正常运行具有重大的意义。随着卷烟工厂智能化建设进程的加快，卷烟制丝车间对设备管理和维护的要求随着智能化建设进程的加快而不断提高，未能及时发现故障和故障的延误处理都可能导致严重的安全和质量问题，由此，移动智能点检这一概念应运而生。工业领域移动智能点检的应用提高了自身的市场竞争力和创新力，2017年包钢钢联股份有限公司炼钢厂通过手持移动智能点检仪的使用，规范了麦窑风机的点检工作，对风机实施了精密点检[2]；2019年河北新启元能源技术开发股份有限公司引进并全面应用设备智能点检技术，逐步实现了企业设备的智能化管理[3]；2019年河钢宣钢物流公司通过创新铁路智能点检管理模式提高了铁路运输设备的点检效率和准确性[4]。

1.2 室内定位研究现状

精准的室内位置信息有助于卷烟工厂制丝设备专业点检中人员/物品的高效管理、保障安全及提高工作效率。超宽带定位技术、蓝牙定位技术和WiFi定位技术等主流室内空间定位技术经过近十几年的飞速发展，实现了从“特定设备、特定技术、高成本”到“普适性定位、低成本定位、高精度定位”的发展[5]。其中，蓝牙定位技术难以实现传输距离长、环境相对复杂等情况下的精确定位[6]；WiFi定位技术以其室内传输距离远、使用方便等优点成为常用的室内定位技术。然而，卷烟工厂车间设备“广、长、高”及车间环境噪声较大、车间相关信息密度较大、干扰信息较多影响了WiFi定位的精度且增加了定位系统的能耗。

1.3 AR技术

AR通过图像处理、可视化和传感技术将虚拟对象准确放置到现实中，实现现场与虚拟场景的叠加，让真实世界和虚拟物体共存。微软公司开发的头戴式AR设备Hololens眼镜实现传统2D屏幕向3D全息图界面的显著转变，且因其便携等特点有助于获得实时、高质量的深度数据[7]。在工业领域Hololens眼镜已在各大工厂展开应用[8]。2017年国家电网湖北省电力公司检修公司将AR智能眼镜技术应用于电力设备巡检，有效完成了智能巡检[9]；2019年湖南中烟工业有限责任公司通过基于Hololens头戴式双目视觉设备上设计的系统方法实现了传统烟草工业制造设备运维升级的智能管理[10]。AR技术同样适用于卷烟工厂制丝设备标准化的专业点检和保养，提升点检的工作质量和效率。卷烟工厂制丝设备传统点检现存问题如下：

（1）点检工作效率低，现场工作人员需在点检工作中填写纸质报告，并将其录入数据库中，此过程导致工作效率低，且信息录入时错录、漏录情况时有发生；

（2）难以实现点检数据的实时共享，点检过程中设备故障时无法及时通知维修人员，相关维修人员无法第一时间了解故障设备的具体信息，包括故障设备位置、故障参数、故障时长等；

（3）点检人员管理存在盲区，点检人员到岗情况无法及时监管，点检工作开展情况无法实时掌控，错检、漏检、不检等情况时有发生；

（4）点检作业中，由于设备繁重、环境复杂等情况导致点检人员对危险源不清楚，点检环境存在潜在的安全隐患。

2 AR眼镜智能化点检

2.1 点检模型

以现代设备点检管理的需求为基础，以智能制造、数字孪生、工业互联网和大数据等关键技术和先进理论为指导思想，并结合当前的制丝设备点检标准规范、工艺流程、点检制度要求，建立制丝设备点检模型，该模型主要包括点检标准、点检内容和制丝设备图像数据。点检模型作为卷烟工厂制丝设备点检过程中的关键数据，指导点检员的日常点检工作，在保障自身及设备安全情况下，进一步提高点检效率。通过三维空间建模和图像识别技术将制丝设备及相关点检部件图像数据存储于AR眼镜中，便于AR眼镜进行点检设备识别、定位，并指导点检员精确定位、精确识别，识别内容主要包括设备对象（设备、子系统、部件、零件）及点检内容等。基于AR眼镜的卷烟工厂制丝设备智能化点检系统主要分为制丝设备专业点检系统和AR端两个部分，图1为基于AR眼镜的智能点检系统框架图。

图1 基于AR 眼镜的智能点检系统框架图

2.2 设备识别

在点检过程中，设备点检员可借助AR眼镜和混合现实应用程序无限制地进行协作、精确操作，并提高工作效率。首先，基于Unity引擎和C语言完成场景的搭建，引入MRTK包完成AR项目的制作，将项目文件发布到AR眼镜中。AR眼镜的内置语音命令使设备点检员根据智能导航提示快速进入需点检的设备位置，AR眼镜将会采集点检设备所在位置的场景图像，将实际图像和项目文件中的训练图像进行匹配，经过比对得到和采集的场景图像吻合程度最高的训练图像。在实地场景图像和训练图像计算匹配过程中，AR眼镜通过其外部环境锚定功能，随着点检员的移动锚定不同位置的图像，进而通过存储模型实现不同位置场景图像与训练图像的匹配，从而实现设备的定位。在此过程中，提示点检员的设备相关信息等数字内容会持续存在，锚定在工作的物体或表面上。在点检过程和点检员移动过程中，人的头部运动由AR眼镜中的头部姿态传感器捕获，由此实现对点检设备的实时跟踪，使得点检设备及虚拟信息能较好地融合。在识别出待点检的制丝设备后，由眼镜中内置的点检工作路径和具体点检内容对点检员进行提示和实时指引，从而实现标准化点检工作。AR的现实捕获功能[11]可以用照片或视频记录实现与他人的实时共享，这能保证点检员与远程同事的实时联系，并在覆盖于物理环境中的大幅全息画布上协同工作，快速解决点检过程中的问题。

2.3 数据传输

点检标准、点检内容等数据通过WiFi和5G技术进行数据传输，在WiFi覆盖范围内AR眼镜会自动上传和下载数据，实现低延时和高可靠的数据传输。首先，将会传输点检流程，该数据通过制丝设备专业点检系统下发到AR眼镜中，用于指导设备点检员对制丝设备进行点检，提高工作效率。其次，点检员在点检过程中，通过AR眼镜对需要点检的制丝设备全面识别，通过匹配项目文件信息，显示识别到的制丝设备属性、设备相关参数和设备器件组成等信息。设备点检员根据下发的点检工作任务和点检工作流程完成点检工作后，AR眼镜会自动将点检数据上传至制丝设备专业点检系统中。

2.4 数据分析

该模块对上传至制丝设备专业点检系统中的点检过程数据进行统计分析，对设备异常点位信息、点检员任务完成情况以及是否达到点检标准等数据采用柱状图、折线图等方式进行可视化展示。设备异常点位数据折线图可显示设备异常点位随时间的变化趋势，对一段时间内频数较高的异常设备点位进行预警，使点检员及时实施检查、诊断和维修；点检员任务完成情况柱状图能准确清晰地展示各个点检员的任务完成情况，进而对点检员实施有力的监督。

3 AR眼镜点检流程

点检任务模块提供多种功能，包括：新建点检任务、规划点检计划、点检任务处理及点检任务统计查询等。在制定好点检计划后，系统会自动生成点检日、周等任务。设备点检员登录AR眼镜后，待执行的点检任务会自动下载至眼镜中，点检员根据眼镜中的任务和提示进行点检作业，确认待点检设备是否出现异常，若出现问题则进行拍照，并填写异常原因，任务完成后，将点检数据统一提交至制丝设备专业点检系统。点检任务流程如图2所示。

图2 点检任务流程图

（1）在制丝设备专业点检系统中创建新的点检任务，填写任务内容、任务计划开始时间、截止时间、点检员等基本信息，并明确本次点检设备、待点检的零件及任务流程和任务内容。

（2）点检员佩戴AR眼镜进行点检作业，AR眼镜将自动下载待执行的点检任务，点检员根据任务流程开展点检工作，如逐条检查任务项是否符合要求，保存点检结果。

（3）在任务执行过程中，如发现异常，则以文字或者拍照的方式记录异常原因。

（4）所有任务项完成后，提交任务结果，完成点检任务。

4 总结

本研究设计的智能点检系统具有以下优势。①解放双手：点检过程中无需携带设备纸质资料或提前了解点检内容，与点检任务相关的信息能显示在AR眼镜中，且点检过程数据会上传到系统中，不需要再次录入点检数据，解放点检员双手，让点检员专注于工作本身。②直观呈现：采用AR技术为点检员开启了人、计算机和制丝设备间自然直观的3D交互。AR眼镜通过制丝设备空间映射和定位点的环境，将点检中的设备信息转换为图文信息，实现远程指导和协同，指导设备点检员执行点检任务。③知识共享：制丝设备专业点检系统可以将点检方法、点检标准等内容通过AR眼镜共享给分布在各处的设备点检员，指导点检员根据标准规范执行相关的点检任务作业。④专业督导：利用AR眼镜指导点检员按时、按量完成点检任务，节省专业点检员的培训时间和人力成本等。

依据AR眼镜点检设计模式，在某卷烟工厂进行了试点应用部署，服务端（制丝专业点检系统）部署于内网，同时提供若干台AR眼镜，构建了一套完整的基于AR眼镜的卷烟工厂制丝设备智能化点检系统，并投入使用。分析该系统试运行期间内的各项点检任务执行时间及点检效率，系统试运行期间，点检任务执行时间缩短了20%，点检效率提高了20%。结果表明，研发的制丝设备智能化点检系统大幅度降低了人力成本、提高了点检效率，进而提升了卷烟工厂制丝设备的稳定运行率。