基于增强现实技术的设备远程协同维修系统

陈睿泽 梁剑涛 惠博涵 任宇

摘要：传统模式下的大型机械维修往往需要对维修工人耗费大量时间培训，维修时，工人仍需查阅厚重的维修指南。对于更为精密的设备，专家还需专赴现场进行指导。本文介绍了一种通过增强现实（AR）技术构建的维修指导平台，适用于复杂机电装备的远程指导装配与维修。工作时，维修工人通过AR眼镜等设备接受来自专家端的AR标志及来自电子手册的维修指导，以快速寻找到故障点并维修，减少传统方式所需的人力物力及财力。

关键词：增强现实;远程指导;装配维修

中图分类号：TP391.9                                    文献标识码：A                                  文章编号：1674-957X（2021）10-0166-02

0  引言

增强现实（AR）技术借助计算机图形图像与数据交互技术，将虚拟信息实时映射到真实场景中，两种信息相互补充，增加了人类感知真实场景的信息量与理解程度。将AR技术应用于复杂装备维修，可在一定程度上解决新型复杂装备维修人员少、技术资料海量等问题，提高维修效率。

在维修业内，无论是在技术培训中还是远程维修协作中，或是预览产品构型，AR技术的应用前景正在日趋扩大。所以，我们欲结合AR眼镜等硬件，配合软件辅助，搭载成集远程技术指导、解放双手的自然交互以及辅助决策的维修平台。

1  相关研究

2000年Fussell等[1，2]的研究表明基于实时视频流的协同模式可以提高任务完成的效率。在此之后，结合投影仪和可穿戴AR设备的工作模式开始出现。2008年Desney[3]等人描述了远程交互方式的的效率性以及其评价方法，并通过实验测试了不同交互方式的效率。2012年，John[4]等人试图研究以机器人为中介的远程交互，研究表明，人类能够理解远程机器人手势，并且重要的是，可以将这些手势与共同出现的语音相结合，论证了机器自主推送维修方案的可能性。Wang Peng[5]等又提出了一种基于投影仪的混合现实远程协作系统，该系统使远程用户可以使用手势和头部指向协作完成物理任务，并验证了其效率性。国内的柳有权[6]等学者也设计了多种手势指向使得远程协同维修更具直观性。以上大量理论性的研究为此后AR远程协同交互的具体应用打下了基础。

在实际应用领域，众多国际先进制造企业也已经着手利用AR技术提高维修工作和技术培训的效率[7]。空客利用手持式的AR设备上的传感器跟踪使用者的运动和所处环境，在产品上显示相关部件的3D模型以及相关数据和信息，帮助工程师顺利完成施工和检查。法荷航维修工程公司在所有维修人员培训中使用混合现实和虚拟现实技术，受训者只需要5天时间便可完成全部培训课程。

2  本文方法

2.1 调研结果及分析

结合前期市场调研的反馈结果，我们总结出装备的远程维修主要存在以下需求：①产品现场故障诊断困难，普通技术人员较难解决;②现场维护人员技能培训需要较长周期，且流动性大;③传统产品使用手册查阅难、搜索难、理解难;④产品故障现场经常出现“小问题，大成本”的现象;⑤产品售后技术支持不及时，影响客户满意度及品牌形象;⑥技术专家的宝贵知识与经验较难保留和传承。

根据以上结果，该平台应达到以下目标：①使现场可视化：专家端可以以第一视角的方式看到工作现场，实时给予指导，降低错误率，同时也省去了专家往返两地的时间与路费。②支持解放双手的自然交互方式：现场操作人员头戴AR眼镜，通过凝视、手势、语音方式与专家端交互。③支持辅助决策：针对设备的操作规程及维修步骤，制作基于AR的三维可视化的交互式电子手册，系统会根据要求自动推送正确操作的流程。

2.2 系统结构化设计

本平台分为操作端、服务端以及专家端三模块，并且整合了AR眼镜等硬件设备实现远程提供技术指导和辅助决策，从而快捷、高效地进行设备的远程维修指导，工业巡检等工作。

2.3 操作端设计

操作端作为产品的前端，主要有数据采集和数据展示的功能。操作端采集第一人称视频，并与专家端双方实时通话;接收专家发出的圈注、标记。基于5G通信的高速率、低延时，实时画面较为流畅。

现场维修人员头戴AR眼镜通过凝视、手势、语音方式与虚拟设备进行交互，此操作也可在手机、平板上进行。而且当图像识别匹配当前有故障的零部件或故障点时，还可自动激活电子手册专家库中与当前故障部件相关的操作、维修或保养方式的指导程序，进行辅助决策。

AR智能眼镜完全解放了装配人员或维修人员的双手，特别是做攀爬的维修作业时，使其集中精力完成任务，根据装配人员或维修人员的需求，随时将信息推送到眼前，從而提高工作效率。

2.3.1 数据采集

数据采集包括音视频采集、音视频处理和音视频发送。通过操作端设备自带的相机和麦克风等追踪用户的声音、动作和周围环境，并利用声网提供的软件开发工具包（Agora Video SDK），调用其中函数并做处理，借助工具包中丰富的应用程序编程接口（API）组合，运用视频通话等接口，实现音视频处理及发送。

2.3.2 数据展示

平台集成声网视频会议SDK，通过Vuforia处理信息，在AR眼镜中或者手机客户端软件内显示专家发送的三维标注。每一次维修案例都是宝贵的经验，维修人员可以通过截屏以及录屏等方式保存指导过程，并可以通过时间、故障类型、专家姓名等方式进行检索。此外，维修人员还可在操作端选定三维可视化的交互式电子手册专家库，查看工作流程，在用户进行任务时，系统自动检测用户的每一步操作，并进行步骤提示。

2.4 服务端设计

服务端是部署在服务器上的后台管理软件，为客户端和专家端提供服务，如管理用户ID，充当数据转发中介以及储存电子手册专家端信息等。

2.4.1 后台管理服务

后台管理系统最大的作用是对用户进行管理，其数据库对每个用户的使用情况进行追踪，实现用户ID与动态ID绑定，建立用户ID列表，并使用My SQL语言实现对用户角色访问权限的控制。

2.4.2 数据转发

平台集成Agora Video SDK中的Chat接口以及文档、图片发送等通道，同时也在Unity平台上将Agora Video SDK和AR标注的功能集成，从而形成数据传输服务器来实现技术人员和专家之间的实时视频通话交流。

数据传输服务器是一种计算机实施的信息传输方法，包括在服务器上对选择规则进行评估，以便选择数据流和确定数据流内容。该方法还包括将数据流内容送至另一个计算机以便向用户呈现。

2.4.3 电子手册专家库

电子手册专家库支持专家自主构建术语、图片、视频等维修知识库。可由专家端入口上传，在操作员进行维修任务时，系统自动检测用户的每一步操作，并进行步骤提示。

2.5 专家端设计

专家端是部署在移动设备及个人电脑上的专家指导客户端软件，可以由一位或多位技术专家参与远程指导技术。专家可以在专家端软件界面看到来自操作端维修人员第一视角的视频，通过实现冻屏标注、三维标注等功能指导维修人员参与维修。

专家端上可进行冻屏标注，进行二维手势交互，将标注内容采集保存后将其处理成若干个坐标点发送至服务端。利用服务端中在Unity平台上将Agora Video SDK和AR标注的功能集成，通过手势识别算法，结合操作端采集的三维空间信息，将绘制的线条转化为相应的动态三维标识，再转发到操作端设备上。区别于普通的二维标识，该标识具有三维信息，可从各个视角观察。

3  实验与分析

为了验证该平台的确可以为使用者节省时间以及提供便利性，本文设计了智能小车装配的实验。

本实验选取了五十位从未接触过智能小车装配的人员，平均分两组参加实验。一组通过该平台由一位经常进行小车装配的“专家”进行远程指导，另一组作为对照组只提供纸质版的装配手册，分别记录两组的装配时间。在装配完成之后，各组组员再分别从直观性和便利性两方面为两组装配指导方式进行评分。

①将定时器插头插入主板接收孔里。

②将定时器固定到指定位置。

③逆时针拧紧螺丝。

④将车轮固定至指定位置。

结果显示，使用本文方法的人员平均装配时长为237.8秒，直观性平均分为7.6分，便利性平均分为7.6分;而使用传统纸质手册的人员平均装配时长达到303.4秒，直观性与便利性平均分仅为3.8分与4.4分。

由实验结果可知，在用户反馈之中，无论是直观性还是便利性，使用本平台都要远优于传统纸质书方法。另外，使用本文的方法可提高约22%的装配效率。

4  结语

本文根据前期调研，提出了一种基于增强现实技术的远程协同维修系统。使用时，操作端的维修工人可以通过AR眼镜等设备收到来自专家端具有空间锚点功能的三维立体指导以及来自服务端自动推送的电子手册专家库步骤提示。较大程度地提高了效率以及直观性和便利性。

未来平台将继续拓展电子手册专家库，并向信息分享模式化的方向上进步。计划到达项目中期时，专家库中将获得较大规模操作信息，可向外部租用或分享数据库。到达项目后期，平台将融入人工智能及深层思考技术，使平台完全自主推送维修教程，无需专家加入。

参考文献：

[1]FUSSELL SR， KRAUT RE， SIEGEL J. Coordination of communication： effects of shared visual context on collaborative work[C]//ACM conference on Computer Supported Cooperative Work. New York： ACM Press， 2000： 21-30.

[2]KRAUT RE， FUSSELL SR， SIEGEL J. Visual information as a conversational resource in collaborative physical tasks[J]. Human-Computer Interaction， 2003， 18（1-2）：13-49.

[3]Desney S. Tan，Darren Gergle， Regan Mandryk，Kori Inkpen，Melanie Kellar，Kirstie Hawkey， Mary Czerwinski. Using job-shop scheduling tasks for evaluating collocated collaboration[J]. Personal and Ubiquitous Computing， 2008， 12（3）.

[4]John-John Cabibihan，Wing-Chee So，Sujin Saj，Zhengchen Zhang. Telerobotic Pointing Gestures Shape Human Spatial Cognition[J]. International Journal of Social Robotics， 2012， 4（3）.

[5]Peng Wang， Shusheng Zhang， Xiaoliang Bai， Mark Billinghurst，Li Zhang， Shuxia Wang，Dechuan Han， Hao Lv，Yuxiang Yan. A gesture-and head-based multimodal interaction platform for MR remote collaboration[J]. The International Journal of Advanced Manufacturing Technology， 2019， 105（7-8）.

[6]柳有權，王愿超，徐琨，刘正雄，黄攀峰.基于混合现实的远程协同式装配维修引导[J/OL].图学学报：1-7[2021-03-29].

[7]Lindsay Bjerregaard，蓝楠.VR/AR技术正在走进MRO领域[J].航空维修与工程，2018（07）：28-29.