基于增强现实的智能辅助装配系统设计研究

北京航空航天大学机械工程及自动化学院 魏巍（通信作者）

北航歌尔（潍坊）智能机器人有限公司 冯蓬勃

北京航空航天大学机械工程及自动化学院 陈峥廷

复杂产品的生产制造过程中，装配是一个重要且占用大量时间的环节。装配过程中面临着诸如装配步骤繁多、装配工艺执行困难、装配零件相似度高等问题，这不仅对操作工人提出了极高的要求，还容易导致装配错误，降低装配效率。传统的辅助装配方法主要依赖于纸质工艺指导文件、电子工艺说明书、虚拟现实技术等，但具有一定的局限性，目前迫切需要一套高效的智能辅助装配系统。文章首先对智能辅助装配系统研究现状进行梳理，并对基于增强现实的智能装配系统进行需求分析与系统框架设计，最后开发并验证了一个基于增强现实的智能辅助装配系统。

1 增强现实技术

增强现实（Augmented Reality，AR）技术是一种将虚拟信息叠加在真实环境中，并力求达到时间、空间、光照等方面的一致，最后通过显示设备进行显示的技术[1]。增强现实技术上世纪90 年代被提出，随着计算机硬件、移动端设备和相关软件的成熟，已逐步走进大众的生活，带来便利的同时也给大家带来了新奇的体验。增强现实技术如今被广泛应用于各个领域，例如，百度地图的“AR 导航”功能，通过手机应用，用户就能看到在道路上叠加的虚拟箭头进而在复杂的路口快速判断方向；在某手机购物应用软件上，用户能够使用“AR 试鞋”功能，通过手机显示屏就能看到想要购买的新鞋穿在脚上的样子，给用户带来更好的购物体验。此外，装配领域也是增强现实技术的一个重要应用领域[2]。2020 年湖南华菱湘钢实现了我国钢铁业首次5G+AR 跨国远程装配，国外工程师依托AR 的实时标注、桌面共享等技术，远程配合湘钢现场工程师的产线装配工作。

2 智能辅助装配系统研究现状

智能辅助装配是指将装配引导信息如零件三维模型、文本指导信息、操作步骤信息等进行可视化处理，直接呈现在装配操作者的视野中，达到一个“信息找人”而不是“人找信息”的效果，从而提高操作者对装配过程的理解，辅助操作者进行装配作业。如今，国内外的企业以及研究机构都着力开发智能辅助装配系统，也有了一些相关的应用与尝试。

唐健钧等[3]为飞机装配作业设计了一个AR 智能引导系统，该系统主要用于飞机中小型刚性部件，能够对生产现场的场景进行识别，能够结合XML 格式的动态AR 装配指令对装配结果进行判断。Westerfield 等[4]设计了一个名为主板装配导师的增强现实装配培训系统，利用三维模型、动画、音频和文本等信息训练用户在计算机主板上组装组件。该系统能够提供操作的实时反馈，通过识别组件的位置和方向判断是否装配正确，能够显示警告信息。刘然[5]以汽车车门的关键零部件为装配对象设计了一个辅助装配引导原型系统，该系统主要由产品装配信息管理模块、位姿估计与零件识别判断模块、装配状态判断模块等组成。该系统利用自然特征点以及线性模型多模态等算法对装配基体和零件进行位姿估计，实现对装配步骤和装配效果的判断。

3 基于增强现实的智能装配系统设计分析

3.1 智能辅助装配系统需求分析

目前，大部分装配工艺说明指导文件仍以纸质文件为主，操作人员需要花费大量时间记忆理解，认知负担较大，因此智能辅助装配系统需要结合增强现实技术，以一种更直观更易于理解的方式展示指导信息，降低操作工人的认知负担。尽管AR 可提供虚实融合的装配指导，但其虚拟的指导信息如果仍需要由操作者主动发出指令来触发，则会降低完成任务时的专注度。因此系统需要结合已经离线建立好的装配校验信息，在利用机器视觉识别技术正确判断当前装配操作状态和当前工步的基础上，自主决策在虚实融合场景中应该显示的装配指导信息并进行信息自动推送[6]。为辅助装配系统添加虚实融合显示的引导信息是一个重复且耗时的工作，因此系统需要利用已有的设计文档以及三维模型等装配信息源，这样既能复用设计知识更好地指导装配，又能将信息与系统松耦合实现快速开发。在装配过程中，在众多相似的零件中查找当前所需的正确零件是一个关键且易错的步骤，因此系统也应对此进行辅助，应能够利用机器视觉技术提取零件的关键点并与该装配步骤的正确零件的模型进行对比，实现零件的辅助查找。装配质量控制是保证复杂产品最终质量的关键步骤，对装配操作的纪录使得装配过程可追溯，便于问题的排查，因此系统需要对关键步骤进行记录存档。

3.2 智能辅助装配系统框架

根据上述对智能辅助装配系统的需求分析，提出如图1 所示的基于增强现实的智能辅助装配系统框架，包括面向辅助装配的多源信息模型和增强现实智能辅助装配模块。面向辅助装配的多源信息快速建模模块对现有的CAD 系统、装配工艺设计系统、产品设计系统等进行二次开发和处理，从中获取并利用已有的产品装配信息，并分为引导信息和校验信息，为后续的AR 辅助装配系统提供数据支撑。增强现实智能辅助装配模块包含了指导信息自动推送、装配零件辅助查找、通过手势语音交互、检验点存档可追溯等功能。总体而言，智能辅助装配系统需要能够对来自不同信息源的装配信息进行组织与管理，还需要具备装配步骤自动识别、装配零件识别辅助查找功能以及关键步骤自动保存图像等功能。

图1 基于增强现实的智能辅助装配系统框架

3.3 多源信息组织与管理

面对复杂产品繁多的装配步骤，每个步骤又有各自复杂多样的信息，如果依赖人工手动地为系统重新制定引导信息，将会是一件耗时耗力的事情，且容易造成疏漏或错误。当前CAD 系统、PLM 系统以及CAPP 系统等都已经被广泛使用，积累了大量的装配数据，为增强现实辅助装配系统提供了强有力的数据基础。对现有的多源装配信息数据源进行组织与管理并加以利用，快速构建起装配信息模型供辅助装配系统调用，这不仅能够让用户获得更全面的引导信息，同时也能够将信息与系统耦合。为新产品开发系统时只需将信息模型进行替换即可，大大缩短系统的开发周期，更敏捷地针对不同产品进行开发。

增强现实辅助装配系统无论是虚实融合场景中引导信息的显示还是装配工步的判断、装配状态的检测都需要结合装配信息模型。对来自不同信息源的装配信息进行组织与管理，构建装配信息模型，能够为辅助装配系统提供数据准备与支撑，缩短辅助信息生成时间，提高用户体验[7]。在为辅助装配系统制定引导信息时需要考虑刚性需求原则[8]，既要避免引导信息过于简略导致遗漏细节，又要避免引导信息冗余遮挡操作者视野。在对辅助装配系统的功能与操作者的需求进行分析的基础上，对引导信息进行筛选与分类，可以将引导信息分为几何信息和文本信息。

3.4 装配步骤自动识别

目前已有的许多增强现实辅助装配系统，仍然需要操作人员通过鼠标键盘或手势主动触发虚拟引导信息，极大地影响了装配操作的连贯性[9]。为提高增强现实辅助装配系统的自动化与智能化程度，结合上述多源信息模型，在计算机视觉识别现场环境的基础上，采用图像特征点匹配的方法判断当前装配操作所属的装配工步。首先，装配校验信息模型中已经存储了样机试装时的各个工步的标准图像，并对图像提取特征点，作为匹配时的模板图像。装配操作进行时，将移动端采集的操作现场装配对象的图像进行特征点提取，与存储的各个工步初始状态时的模板图像分别进行特征点匹配。当匹配的特征点个数高于设定阈值且匹配的描述子之间的平均欧式距离小于设定阈值时，便可判断当前操作的工步编号[10]。最后根据工步编号在引导信息的数据库中进行数据检索，得到当前工步下所对应的装配辅助信息，将它推送显示在移动端的虚实融合界面上。

3.5 装配零件识别辅助查找

装配过程中会遇到零件相似度高，难以在众多零件中选取当前所需的正确零件的问题，系统应能够利用计算机视觉技术提取零件图像的特征点并与正确的模板图像进行对比，实现零件的辅助查找。首先需要利用上述装配工步判断过程取得的工步编号，检索当前工步对应的零件模型，作为匹配模板。辅助零件查找时，对实际装配过程中移动端采集的各个零件的图像进行图像处理和特征点提取，与存储的正确零件的模板图像进行对比匹配，对正确的零件进行提示。

3.6 关键步骤自动保存图像

实际操作过程中，一些关键操作步骤往往决定了产品装配的质量，如果能够对关键步骤进行记录，当发现产品质量问题时，便能进行装配步骤的回溯，及时找到操作失误的步骤。在进行装配信息建模时便设定哪些工步为关键工步，当装配进行到关键工步且操作状态为完成时，系统将自动进行操作环境的截图，将场景自动保存并存储到结构化的信息模型数据库中，以便质量回溯。

4 智能辅助装配系统开发与技术验证

为了使系统更具通用性，采用电脑主板这一典型手工装配电子产品作为装配对象，进行增强现实智能辅助装配原型系统开发与技术验证。

4.1 系统开发思路与开发环境

电脑主板一般需要安装四个通用硬件组件：内存条、CPU 处理器、北桥散热器和CPU 散热器。考虑到装配引导信息与校验信息调用的问题，将构建的面向辅助装配的多源信息模型与系统相结合，同时考虑到依据装配状态进行增强现实引导信息主动推送的需求，将提出的装配步骤检测方法嵌入系统，并为系统添加零件查找、关键步骤自动记录的功能。系统采用模块化的设计思想，信息模型与移动端的辅助装配系统相对独立，面对新产品时能够实现敏捷开发，具有一定的灵活性。此次软件开发基于Windows10 操作系统，移动端辅助装配系统选用Unity3D 作为开发平台，使用 Visual Studio 编写C#程序脚本，网页端装配引导信息管理系统基于Django 框架，且应用MySQL 数据库。

4.2 智能辅助装配系统验证

为了对所开发的系统进行验证，首先根据所提出的信息模型构建方法，针对要进行装配的电脑主板构建信息模型。随后让操作者手持移动端设备，对准待装配的主板，观看虚实融合的装配引导情景，如图2 所示。移动端的功能菜单主要分为装配指导模块和装配辅助模块，装配指导模块包含实时装配指导、装配零件查找、装配视频查看这三个实现辅助装配的主要功能。点击进入实时装配指导功能，对准待装配主板，此时手机端的页面如图3所示。固定在屏幕上方的提示文本信息，包括当前操作步骤、操作注意事项等，这些文本信息与网页端生成的信息相同，且能在网页端轻松进行修改。同时，在零件的正确装配位置，将会出现透明度变化的零件模型进行提示安装位置，如果需要更加详细的指导，点击装配指导按钮，将会出现动画提示具体装配动作。进入装配零件查找模块，对准产品的零件，如果该零件为当前步骤所需的零件，则会出现绿色的对勾进行提示，零件选择错误则会出现红色的错误符号。装配辅助模块提供零件模型、产品模型、工装信息的查看功能。点击屏幕左下角的操作记录按钮，系统将对当前的操作界面进行截图保存，对关键操作步骤进行记录，以供进一步的装配正确性检测以及发现问题之后的操作过程回溯。

图2 辅助装配过程

图3 移动端界面实时装配指导

在移动端增强现实系统的辅助下，信息直观地呈现在装配操作人员眼前，避免了操作过程的打断，节省了查看操作手册的时间，在实际生产的过程中可以大大提高装配效率。此外，操作人员可直接找准装配位置与装配零件，轻松了解到各个步骤的操作规范，因此该系统也可以提高装配的正确率。

5 结语

文章对复杂产品的装配过程进行研究，利用增强现实技术对装配过程进行辅助，开发了一个智能辅助装配系统并基于电脑主板装配过程对原型系统的功能进行验证。为了利用已有的传统工业装配信息源且较大程度地复用辅助装配系统，将系统与信息源进行松耦合设计，研究多源装配引导信息快速建模方法。开发的智能辅助装配系统具备引导信息自动推送的功能，提高了操作过程的连贯性，同时还具备装配零件识别查找及关键步骤自动保存图像的功能。与纸质工艺指导文件、电子工艺说明书、虚拟现实指导等辅助装配方法相比，基于增强现实的智能辅助装配系统提高了复杂产品的装配效率及正确率，为人工装配的数字化、规范化提供了思路与方法。