基于AR 技术的工业控制交互的智能化协同应用

沈 毅 李华明 吴 罡 焦 亮

（湖南中烟工业有限责任公司长沙卷烟厂，湖南 长沙410007）

1 概述

当前烟草工业对烟机装备的管理维护处于精耕细作的状态，但对于信息化和信息化技术的融合运用，依存在传统制造和精益化制造的实施阶段，处于厂家配套加现场调配维修等平台的系统状态，对现有MES 系统的改善和拓展，停留在稳步探索的迭代阶段。而面向行业未来装备的实际保障需求，因为设备资产面临跨专业、跨平台融合智能单机协同的工业升级挑战，包括无人操作、AI 协同[1]、大数据等研究的技术推进，提供了烟草工业主要装备维护改进的优化空间及可选方案，包括设备的远程管理和协助控制的可视化用途研究，为目前工业生产控制的进一步诊断提供了拓展空间。

2 案例研究和存在问题

德国西门子某工厂通过提出远程专家协助系统的优化需求，研发了AR（Augmented Reality）远程标准化作业系统，通过使用AR 智能眼镜传输数据，指导工程师进行设备安装、维保、检修等工作，主要案例包括运用AR、MR 远程专家系统实现的德国克虏伯电梯维修实例[2]。实际工作中，发现问题在于AR 眼镜选配环境的适应性，眼镜电池用量、可观察视距与视野FOV、语音控制的噪音干扰等都有影响。

中船某工厂远程数据可视化监控系统，利用虚拟现实及现场三维图像采集技术[3]，以沉浸式虚拟现实的方式实现监控工厂现场情况，便于用户随时随地使用系统观察厂房当前环境。该系统实现了远程工作人员的作业监控指挥、远程三维可视化数据的实时同步、远程协同作业等，及时性数据的获取提升了车间作业的效率，降低车间人员的管理成本和专业资源投入。此案例不足在于，设备及产线的变化修护无法同步到监控系统获得远程信息的及时更新，缺乏移动式便携操作的灵活性和可控度。

湖南中烟某工厂由于集中采购、设备利旧与发展阶段的原因，其制丝、卷接和包装、甚至于高架库仓储等生产车间主力装备，多年未曾批量更新，同时，该厂设备维修的一线技术人员普遍存在年龄偏高、面临未来离退休交接班的调整。由此，企业面临生产装备和维护团队的更新瓶颈，提升主力装备的持续平稳，培养接班人的知识转换和经验积累，是企业制订未来五年计划重点攻关目标的明确方向。

解决问题的目标方案，就是对于某厂用户的终端需求，研发一款适用于便携式系统，能够运行在智能眼镜和平板电脑平台上的AR app[4]，通过采用设备维修的若干新技术，构建一个多功能集成前沿技术的AR 系统应用，归纳问题库、答案库的收集，培育维修人员和设备专家的经验库和知识库，检验远程专家的多方协同交互功能，是否满足需要。

3 解决方案与效果分析

3.1 系统设计

系统交互设计，AR 远程专家系统的用户，通过语音和指示实时指示相应的表达目标，在智能眼镜端的移动视野中发布指示图标，达到辅助双方指示目标的作用。

系统安全设计，确保远程操作被记录，传输数据被安全加密，只能选择VPN 或堡垒主机进行认证传输。设备维护的过程记录，将作为车间用户对某台设备的维修记录，进入设备经验库予以保存使用。网络访问通过云应用进行授权和处理，通过某工厂域控制内网实现远程访问单点控制。确保专家在任何地方远程解决突发故障时，无须赶到现场。

系统功能设计，现场设备用户或设备维修专家在AR app发起联机远程协助的申请，通过AR 眼镜或安卓平板电脑，操作APP 远程查验故障案例，提供人工干预的动作指导，完成远程协助控制的共享交互操作，共同实现未识别故障的远程维修。

3.2 架构设计

AR app 远程协助和交互控制功能分四类：（1）远程视频通话：通过视频了解现场的状况，通过语音了解对方的需求并解决问题；（2）远程指导：在远程端通过绘图或者图标指引的方式，配合语音，指点现场员工操作并解决问题；（3）绘图或图标：引导双方，确定重点，避免错误理解；（4）远程专家会诊：多专家远程会诊故障，并提出相应解决方法。本文AR-App 系统架构设计原理如图1。

图1 AR app 智能化场景远程协同的系统架构设计图

3.3 设备操作运行维护保养的远程协助服务功能设计

设备生态场景化维修：利用增强现实技术，将用户维修过程中针对所有的零部件发生过的故障形成经验库，让用户通过现场戴上AR 眼镜，在设备维修中，辅导维修工循序渐进完成维修作业。

设备远程专家协助：通过流媒体技术将维修现场和非现场进行实时音视频互动[5]，实现专家通过系统的远程指导操控、多人会诊并实时辅助维修现场的具体维修工作。通过AR 增强现实技术，将具体操作步骤或者零部件操作维修方法推送给一线的设备维修工，辅助指导维修人员完成维护作业。AR-App 远程专家经验库录入如图2。

图2 AR app 远程专家经验库操作界面图

3.4 远程跨平台多方视频通话

3.4.1 网络视频框架。远程协助功能是实施远程通话和桌面分享等作用，根据当前系统使用人员情况，系统利用P2P 打洞技术，并将所有底层的、复杂的、繁琐的细节统一封装，构建安全接口，系统通过接口形成网络视频框架。用户只要连接到系统服务器，将随时可以访问任何一个在线用户的多媒体设备。

图3 智能工具端远程协助功能定制P2P 路由图

（1）P2P 打洞技术原理。当服务端之间相互通信时，网络视频框架会自动进行P2P 连接，如果P2P 通道能创建成功，该两个客户端之间的后续通信都经过P2P 通道进行。通过P2P 打洞技术，在带宽一定的情况下，实现视频音频的高速传输。本文远程视频P2P 路由原理如图3。

（2）1 对1、1 对N、N 对N、N 对1 远程协助的功能。在系统中，每一个用户都有Traveler 和User 双重身份。当用户作为Traveler 时提供自身的桌面、摄像头、话筒等多媒体，当用户作为User 时可以访问其他用户的Traveler 功能[6]。

1 对1：当2 个用户同时开放自己自身的双重身份，使用User 身份访问对方的Traveler 的时候就实现了1 对1 的远程协助；

1 对N：当一个用户只使用User 身份，访问其他用户开放Traveler 身份，就实现了1 对N 的远程协助。

N 对N、N 对1 同理。本文1 对1、1 对N、N 对N、N 对1 远程协助的功能原理如图4。

图4 1 对1、1 对N、N 对N、N 对1 远程协助功能原理图

3.4.2 远程协助实时空间点标注。在实际通话过程中，语音的描述并不能快速定位到工程师所指示的位置，系统加入实时空间点标注功能。在远程协助过程中，工程师点开空间点标注功能并标注具体位置，标注数据就会发送给对方。本文AR-App远程协助实时标注空间点功能如图5。

图5 远程专家协助实时空间点标注功能效果展示图

图6 HoloLens 端视频协助效果

3.4.3 HoloLens 端远程协助设计。AR 眼镜端作为一个被动接受的学习端，在操作过程中并不需要设计过多的操作手势及命令，主要是接受远程工程师的指导意见，有效合理沟通。AR眼镜端在联网之后会自动从服务器获取远程工程师在线列表，通过P2P 技术直接与工程师端进行数据通信，效果[7]如图6。

3.4.4 移动端/PC 端远程协助设计

移动端/PC 端视频协助，使得单方或多方远端专家可以通过PC、平板、手机多种形式接收远程支持请求。在远程专家端，专家可以利用快速查询功能，快速在文件资料库中调取需要的文件并发送到主叫方。本文AR-App 远程专家/视频协助原理和效果引述如图7。

图7 AR-App 远程协助专家原理图

3.5 故障经验库

故障库收录历史设备故障及维修故障过程的信息，存管工程师多维度状态的维修经验，通过数据分析在设备正常运转的情况下判断故障部位和故障原因，为未来状态进行预防维修提供依据，故障库的运行设计思路即与设备诊断的安全高效逻辑具备强相关性。

操作工根据机器的当前故障，通过故障任务提交系统，拍摄当前机器的故障部位的视频，图片等，并在图上标注出来故障部位，详细填写故障的可能原因、故障现象、故障名称等。提交给故障维修人员，可指定维修工程师，可提交公共维修小组，由小组指派人员维修。操作人员实时查看当前故障的解决进度，关注追溯是否有人接受相关的任务，维修人员及设备配置情况等。AP app 故障任务系统的录入功能设计如图8。

图8 AR-App 故障任务系统录入流程

3.5.1 故障库智能录入

信息智能录入：通过蓝牙定位技术，判断智能眼镜端用户所处机台位置，每次远程协助结束时，只要被人工判定为一次有效通话，系统自动读取系统登陆用户信息、系统时间、机台位置、机台数据等信息完成录入。

智能语音管控辅助录入：系统加入智能语音识别技术辅助简化录入过程，用户只需要语音描述，系统自动匹配数据库匹配专业词汇，减少用户录入工作量，简化录入过程。

3.5.2 故障库定制服务

AI 技术具备学习训练能力，因故障库存储随机倍增，AR app 提供用户定制化服务。AI 模型自动学习用户的操作习惯和职业规律，为用户提供不同的定制化归集数据方案，预测用户行为。用户无须检索或仅需输入关键信息，快速感知设备维护所需的信息。AI 技术的运用研发，减少设备运维团队查找数据所消耗的时间，提高学习效率。

3.6 远程控制

AGV 小车具备自身零排放和全自动化的主要特点[8]，是烟草工业生产过程中的自动化运输机器人以及柔性生产的关键设备。

随着工业制造升级的自动化需求，对于AGV 要求高效和灵活，担负更多自动装卸和搬运任务。某工厂在生产现场研究改进AGV 自动物流小车，结合图形图像算法、空间扫描、三维重建、人工智能识别等技术的室内空间定位系统，认为在技术配置上可优化导航设备，有效提升AGV 小车运用的范围，通过5G蜂窝移动通信技术，利用高带宽、低时延等特性，实现AGV 小车全栈控制的智能化应用[9]。

3.6.1 AGV 远程控制示例

某工厂计划在配送作业的优化流程中，将AGV 小车改造成为“全能型配送员”，不受计划行径的约束，而是在用户指定范围内自由行走，不需要划定所属部门和工作区域。每一台AGV 小车拥有自检功能，只要用户有需求进行远程“下单”，每一台AGV 小车自行完成条件判断：“自身是否有搬运任务”、“自身状态能否完成搬运距离”、“是否距离目标点最近”、“任务优先级是否最高”等，并选派最合适的一台机器去执行任务。

在此系列“配送“作业中，AGV 小车将自身传感器数据通过5G 移动蜂窝传送给远程终端，远程终端把传感器数据通过数字孪生技术进行还原，反馈给用户。用户通过电脑端、移动端、AR眼镜等远程终端实时监测到AGV 小车的行为，反馈一系列命令给AGV 小车而达到远程控制的目的，本文AR-App 手机端远程控制物流小车原理如图9。

4 总结与展望

本文在智能眼镜端/PC 平板端的AR app 定制化设计研发中，实现了某工厂围绕“远程专家、物流小车AGV 改进、经验库智能维修”等创新应用的研究，经过系统测评，该厂设备维修专家和一线操作员工，都能在两类终端操作AR 支持的智能化应用，远程控制实现设备故障部位的智能识别和经验信息库的整理提取，进一步协助老员工经验的转移及保存，AR app 将维修现场和外地专家进行实时音视频互动，支持远程专家指导、多人会诊并实时辅助维修现场的具体维修工作，利用设备零部件的VR 拆装功能实现用户的辅助培训。未来在该工厂制造流程的智能维修场景，AGV 改造、远程交互智能化、员工辅助培训是最实用的示范功能。

由于智能眼镜或平板电脑的硬件设备、计算性能的设计局限，本文的研究难点，体现在设备出厂限制、HoloLens 瓶颈、数据模型的智能分析、语音识别与操作等区域，如何破局？下一步，首先需要进一步突破技术限制的难关，完善解决方案，聚焦关键技术及架构设计。其次，智能化的目标应用，实现核心在于打通供应链和生产系统之间的数据节点，让数据运行得到合理真实的数据汇总，形成AI 智能生态维修体系。最后，研究和推进增强现实技术的意义，在于解放双手，解放生产力，实现虚拟信息的增强可视化，提高现实社会的智能化应用实例，实现对现实世界人机交互的多重辅助效果。