机器人协同装配的发展与应用研究综述

黄海松，张松松

(贵州大学 现代制造技术教育部重点实验室，贵州 贵阳 550025)

近年来，随着我国智能制造的大规模发展和科技水平的不断提升，在日益激烈的市场竞争中，人力成本不断地提高，如何提高机械产品制造过程中的加工效率、降低加工成本、有效提高产品质量成为目前智能制造发展面临的主要问题[1-4]。在“中国制造2025”的工业背景下，依靠先进科技的工业自动化程度越来越高，众多工业生产企业都将工业机器人应用于生产制造[5-8]。目前，在发达的制造企业内，工业机器人已成为制造过程中必不可少的设备，广泛应用于组装、搬运、喷涂、焊接和激光加工等，而且都取得了良好的应用效果[9]。

随着机器人越来越多地用于工业生产，如何将机器人引入到工业装配中已成为国内外研究人员的研究热点，科研人员正在探寻能够帮助人类安全高效地使用机器人进行智能装配的方法[10]。但是在研究过程中，研究人员也意识到使用机器人完成工业产品的自动装配是工业机器人所面临的严峻挑战之一，因为在一些复杂工业产品的装配中，复杂的装配工艺往往会给工业机器人带来极大的限制[11]。此外，传统的工业机器人必须由掌握专业机器人编程技能的技术人员进行预先编程，才可以在结构良好且稳定的环境中执行特定装配任务。然而，该过程将涉及对每个不同任务的连续实验测试，才能最终应用于实际生产，这不仅会造成资源的浪费和降低生产效率，而且无法满足智能制造中柔性化制造的趋势[12]。

为了解决工业机器人的局限性以及传统工业面临的柔性制造问题，研究人员在过去几年中提出了人-机器人协同装配(指在确定的协同工作空间内人与机器人直接交互)的概念，机器人与人形成一种工作伙伴的关系，相互感知，相互协助[13]。人-机器人之间的协同装配大大提高了系统的灵活性、操作性和容错性，且具有足够的安全性，发展人-机器人协同装配技术具有重要的现实意义。

1 国内外研究现状分析

在最近的几年里，人-机器人协同装配在智能制造中的地位发生了巨大变化，机器人研究领域的国内外学者越来越多地关注人-机器人协同装配的研究，特别是随着德国的“工业 4.0”、英国的“工业 2050 战略”、美国的“先进制造业国家战略计划”和中国的“中国制造2025”等战略的不断推进，人-机器人协同装配在整个工业应用中的地位也逐渐得到认可,国内外人-机器人协同装配研究也逐渐成为机器人研究领域的研究热点[14-17]。为了从整体上呈现近年来人-机器人协同装配研究的基本研究现状，采用了内容分析法和文献计量法，利用可视化网络分析工具CiteSpace直观、可视化的特点[18]，对WOS核心数据库2016—2021年间所收录的人-机器人协同装配研究的文献、会议论文和会议摘要等进行梳理和分析，以知识图谱的形式呈现出来，为更好地开展人-机器人协同装配研究提供参考。

1.1 公开出版文献年度统计分析

在人-机器人协同装配研究中，机器人和装配两个关键词均有出现，为了准确全面检索到研究文献，数据检索时字符串输入“robot assembly”或“Human robot cooperative assembly”进行文献检索，发表时间设定为2016—2021年，共检索到相关文献1 167篇，2016 年文献发表数量较少，年度数量为92篇，2017 年发表数量增加为147篇，2018—2021年发表数量逐年增加，到2021年为265 篇，具体见图1。从图1中可以直观地看出，2016年至今，关于人-机器人协同装配研究的文献一直保持较快的增长趋势且呈现发展势头，因此，可以预测人-机器人协同装配正在成为研究热点。

图1 2016—2021年发文量总体趋势Fig.1 Overall trend of documents issued from 2016 to 2021

1.2 主要出版国家及研究机构情况

从2016—2021年发表相关文献的主要出版国家和研究机构分布统计分析可知，截止到2021年全球范围内已有超过30个国家参与人-机器人协同装配的研究，具体如图2所示，主要出版国家分别为中国(占比 33.24%)、美国(占比17.13%)、意大利(占比7.19%) 、日本(占比5.82%)和德国(占比5.48%)。可以看出,对于人-机器人协同装配的研究主要集中在工业较为发达和科技较为雄厚的国家。

图2 2016—2021主要出版国家知识图谱Fig.2 National knowledge atlas mainly published in 2016—2021

如图3，通过主要研究机构统计分析，主要研究机构有中国科学院(占比3．94%)、哈尔滨工业大学(占比2.23%)、麻省理工(占比3.08%)、清华大学(占比1.97%)和浙江大学(占比1.97%)等。这些机构大多为世界一流大学，成为了人-机器人协同装配研究的主要研究基地，且部分研究机构之间存在一定的合作关系，可以看出人-机器人协同装配的研究绝对处于世界前沿研究领域。

图3 2016—2021主要研究机构知识图谱Fig.3 Knowledge map of major research institutions in 2016—2021

2 人-机器人协同装配中的关键技术

2.1 人-机器人协同技术

制造环境中的人-机器人协同旨在实现人类可以与机器人近距离并肩工作。在这样的协同环境中，人类和机器人共享相同的工作空间和相同的资源，在某些情况下需要共享相同的任务[19]。协同的主要目标是将机器人具有的高强度、高耐力、可重复性和准确性特点与人类具有的直觉性、灵活性、可应变能力和感官技能特点相结合，从而提升整体生产力和提供更好的产品质量[20-24]。人类和机器人在协同环境中的关系包含多个方面，一般是从工作空间、接触、任务分配、任务顺序4个方面对人机协同进行分类[25]，主要包含以下3种关系(见图4)：

1)机器人和人类在同一物理空间内，但彼此的工作空间没有重叠，人和机器人之间没有直接接触，产品对象在他们之间进行交换，过程是独立和同时执行的。

2)机器人和人类共享相同的工作空间，人类和机器人之间进行交互，通过一方指导或控制另一方实现互相通信，在这个过程中，人和机器人执行相同的任务，但会按顺序分步完成任务。

3)机器人和人类在共享工作空间中进行联合行动，即人-机器人协同过程中，他们有着明确的共同完成一个特定任务的目标，在此过程中需要各方互相协调，也允许物理接触，充分结合各自优势提升生产水平。

图4 人-机器人协同模型Fig.4 Human-robot cooperation model

2.2 机器人抓取

机器人抓取是机器人领域的一项重要研究内容，可广泛应用于工业、服务业、国防、医疗等行业，极大地拓展了机器人的应用范围和应用前景，同时也是机器人装配中的关键环节[25]。传统上，机器人抓取涉及3个子系统：感知、规划和计算，三者协同帮助机器人实现抓取任务。图5为一个完整的机器人抓取应用场景。感知子系统用于获取被抓取物体的位置和姿态(方向)，规划子系统用于执行机械手移动的位置和路径规划，计算子系统，即机器人的“大脑”部分，用于处理每个子系统的数据，然后做出控制决策[26-27]。

图5 机器人抓取应用场景Fig.5 Robot grasping application scenario

目前，机器人抓取最常用的方法可以分为3类：1)基于Depth的抓取；2)基于RGB的抓取；3)基于RGB+Depth抓取。在不同的应用场景下这3类方法分别具有各自的优势，文中对这3种抓取方法进行分析与总结：

1)基于Depth的抓取

该方法首先需要构建基于深度图的抓取质量数据集，训练得到抓取质量评估网络，为后边的机器人抓取提供支持。在进行机器人抓取的过程中，通过深度相机采集当前视野下目标物体的深度图，在目标物体深度图上生成若干个抓取候选，并通过算法在若干个抓取候选中选择质量最高的候选进行抓取[28]，其数据集制作和抓取流程如图6所示。

图6 基于Depth的抓取估计流程Fig.6 Depth based capture estimation process

2)基于RGB的抓取

该方法是基于2D平面的抓取，机械臂末端执行器竖直向下单个角度抓取目标物体，利用深度卷积网络结构，在抓取目标物体上生成抓取候选框，然后再通过评估抓取检测模型，最终得到最佳抓取框[29]，抓取过程如图7所示。

图7 基于RGB的抓取流程Fig.7 Grabbing process based on RGB

3)基于RGB+Depth抓取

这类方法本质上与基于RGB的抓取方法一致，只是多了Depth通道的信息，利用目标物体的RGB-D图像预测机器人抓取的最佳抓取姿势[30]，过程如图8所示。

图8 基于RGB+Depth的抓取流程Fig.8 Grab process based on RGB + Depth

3 人-机器人协同装配技术在智能装配中的应用

3.1 基于人类演示的机器人学习装配任务

传统上，工业机器人由于其精度高、速度快而广泛应用于工业生产线上，然而，传统的工业机械人都是由人类程序员预先进行编程，并且在结构化良好且稳定的环境中执行特定任务[31]。但是，在人-机器人协同装配的环境下，由于人类与机器人需要共享相同的工作空间和执行相同的任务，可能会在机器人的工作环境中引入不确定性，使得传统的机器人编程无法应对这些环境不确定性带来的挑战[32-33]。在过去的几年里，研究人员提出了一种基于人类演示的机器人学习框架，通过人类演示，机器人学习装配任务的动作顺序、操作路径和装配技能，一旦机器人掌握了演示任务的知识，它就可以与人类协同执行装配任务[34-35]。在人类教学阶段，人类通过握住机器人的末端执行器，在整个装配任务演示过程中沿着适当的轨迹移动手臂来演示整个装配任务。与此同时，在每个机器人手臂的末端安装视觉传感器，用来获取工作平台放置的工件的图像信息。在机器人学习阶段，机器人学习演示者完成装配任务所需的所有动作，包括不同工件的抓取和装配规则，以及装配过程中的移动路径和装配动作[28，36-37]，总体框架如图9所示。

图9 基于人类演示的机器人学习框架Fig.9 Robot learning framework based on human demonstration

3.2 基于强化学习的人-机器人协同装配

强化学习(reinforcement learning,RL)灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预测，产生能获得最大利益的习惯性行为[8]。在人机交互技术中，基于交互式强化学习的方法正在不断应用到人-机器人协同装配过程中，人-机器人协同装配的强化学习过程分为两个阶段:第一阶段使用基于任务的学习方式，由组成装配过程的子任务学习组成;第二阶段，通过交互式强化学习方法，人类与机器人进行交互学习，依靠反复试验学习,使机器人学习复杂的人机协同装配过程，达到最佳策略[22，38-39]。图10为一种端到端的强化方法，机器人从人类教学中学习装配过程中的动作。

图10 机器人强化学习过程Fig.10 Robot reinforcement learning process

3.3 新兴技术的诞生

在最近的研究中，许多新兴的技术被提出，例如基于脑电信号驱动的机器人装配技术，利用脑电图(EEG)分析和脑电信号处理的方法(见图11)，实现人类通过脑电与机器人交流和直接控制机器人[25]。最近，Mohammed等[40]提议在人-机器人协同装配中使用人脑电波作为机器人控制的手段。

图11 脑电信号采集Fig.11 EEG signal acquisition

此外，AR(augmented reality,增强现实)技术也被应用到人-机器人协同装配中。基于AR的人-机器人协同装配系统由4个子系统组成：基于AR的指令系统、任务序列规划系统、人类监控系统和机器人控制系统[41]。利用AR系统直观的图形显示，使人类能够实时了解装配任务，在AR图形信息(图12)的支持下执行装配任务，从而防止装配错误[25]。

图12 AR装配场景Fig.12 AR assembly scenario

4 总结与展望

由于工业机器人在工业产品装配中的局限性，复杂产品的组装任务机器人无法独立、高效地完成，因此，研究人员开始将人-机器人协同应用于复杂产品的装配中，不仅将有助于减少人员工作量，而且提高了装配效率。在过去几年中，关于人-机器人协同装配的研究成为全世界科研人员的研究热点，在本文中，首先介绍了人-机器人协同装配的研究背景，利用文献计量法和可视化工具CiteSpace对近几年发表的与人-机器人协同装配相关的文献进行了统计分析，包括主要研究国家、机构和文献发表数量等，进而得出人-机器人协同装配的研究正处于成长期，在一些科技较发达和科研实力较强的机构已经开展了较早的科学研究。

针对人-机器人协同装配应用中涉及的关键技术，本文中介绍了机器人抓取常用的3种方法和人-机器人协同技术。最后，根据在全球范围内人-机器人协同装配技术在智能制造的应用，总结了几种较为成熟的人-机器人协同装配的应用，包括基于人类演示的机器人装配学习和基于强化学习的人-机器人协同装配，以及几种新兴技术在人-机器人协同装配中的应用。随着机器人、人工智能、深度学习等技术的不断融合和快速发展，相信未来机器人协同装配技术在智能制造领域的发展必然前景广阔。