基于可穿戴增强现实的车间现场智能分拣

方 维，安泽武

(1.北京邮电大学 自动化学院,北京 100876；2.北京市邮政智能装备工程技术研究中心,北京 100096；3.北京航空航天大学 机械工程及自动化学院,北京 100191)

0 引言

货物分拣是工人根据分拣清单，从车间现场货架上查找目标货柜位置，并根据指定分拣数量将货物搬运至移动运输车的指定位置，进而运输至下一工序现场，使货物在生产制造和物流运输过程中流转，该过程是当前生产制造中的一个重要环节[1]。近年来，虽然已有一些自动化分拣和仓储系统，但是在部分特定的生产环节，仍然大量依赖基于手工作业的订单式分拣流程[2]。在现有手工分拣过程中，工人主要以纸质分拣单的形式，按流程逻辑依次读取和理解文本描述信息，并执行相应的手工分拣任务。然而，反复高频率地读取和理解待分拣目标编码，在现场货架查找待分拣目标位置的过程，容易使工人疲劳并出现分拣错误，难以持续保证实际分拣操作和理论任务规划的一致性[3]，尤其在工业生产现场，作为整个物料运输的关键环节，分拣流程的效率和准确性会极大制约整个产品的生产制造流程。为提高手工分拣效率并降低分拣过程中发生误拣的概率，研究用直观可视化的分拣表征方法代替传统纸质文本分拣单的形式，已经成为当前智能分拣的一个重要方向[4]。

作为一项革命性的虚实融合技术，增强现实可将待作业任务信息以可视化的方式呈现在工人视场中，实现手工操作的智能可视化辅助功能[5-6]。相比传统基于纸质分拣单的方法，增强现实技术在一定程度上突破了传统逻辑本文方式对分拣信息表达的局限，在分拣效率和分拣准确性上均具优势[7]。GUO等[8]和FAGER等[9]借助头戴式显示(Head-Mounted-Displays，HMD)设备，如谷歌的增强现实眼镜Google Glass，将待分拣过程中的任务逻辑转化为可视化分拣指引信息呈现在工人视场中，引导工人执行手工分拣任务。然而在分拣现场，由于该增强现实设备(如Google Glass)缺乏稳定的空间定位能力，难以将待分拣目标的增强可视化信息(如其在货架中的位置)与实际车间的物理现场进行几何一致性关联，分拣工人只能根据HMD设备上显示的分拣任务和目标信息，通过脑力持续不断地在车间现场查找待分拣目标的货架和货柜位置。类似地，HANSON等[10]采用Microsoft Hololens作为可穿戴的HMD设备来辅助手工分拣过程，但其仍然没有在可视化分拣任务信息和车间物理现场货架之间建立准确的空间对应关系。相比Google Glass，虽然Microsoft Hololens具有良好的自主跟踪定位能力[11]，能将增强分拣信息与车间物理环境进行融合，但是在工业现场弱纹理环境中易出现跟踪定位失败，而且其定位精度会随时间和现场环境的变化产生漂移，难以持续稳定地将待分拣任务信息叠加在车间现场。上述增强现实分拣系统虽然能将待分拣任务转化为HMD的可视化信息，但是由于其未能将分拣任务信息与车间现场物理货架间的空间位置关联，难以将待分拣的可视化辅助信息准确地标注在实际分拣现场，工人仍然需要根据视场中的可视化分拣清单，持续不断地通过脑力在车间物理现场查找目标货架和货位来执行预定的分拣任务。

相比上述独立于车间物理现场的增强现实分拣系统，为实现增强分拣过程中信息系统与分拣现场货架间的位姿互联，Reif等[12]通过在分拣现场部署一定数量的红外相机，并建立该相机系统与现场货架间的空间位置关系，将具有反射特性的人工标识固连在可穿戴头盔上进行实时定位，进而在手工分拣过程中，根据分拣可视化信息系统与物理货架间的位姿关联，将待分拣任务信息叠加在物理现场并呈现在工人的HMD上。然而该增强分拣系统的环境适应性较差，当分拣现场环境或货架位置发生变化时，该视觉跟踪系统需要重新安装和标定，且其设备布置成本随现场分拣区域面积的增加而增加。为此，在作业现场布置人工标识的增强现实分拣方法被广泛应用于工业制造现场[5，13]。利用基于人工标识的识别和定位，将待分拣的目标货位等信息以可视化形式叠加在物理分拣现场，能够有效避免工人在车间现场持续查找目标货位。TUMLER等[14]在待分拣的目标货柜上布置相应的人工标识，借助可穿戴的增强现实技术，通过识别目标货位下对应的人工标识，将分拣任务信息准确叠加在分拣现场，引导工人执行手工分拣操作。与上述方法相似，KRAJCOVIC等[15]也采用基于人工标识的方法，首先利用安装在可穿戴增强现实系统下的相机获取分拣物理场景下的图像信息，然后利用图像分割、特征提取和匹配等方法检索得到目标货位下的人工标识，计算当前增强现实系统相对于目标货位的位姿，实现待分拣任务信息在物理货架现场上的准确叠加。上述基于人工标识的方法，通过构建分拣任务可视化信息和物理分拣现场间的位姿关联，将待分拣的目标货位以某种特定形式(如高亮标记)显示在HMD上，避免了工人在高密度货架上繁重的脑力搜索。然而，由于上述方法在分拣现场缺乏不同人工标识间的空间位置关系，只有当货架上的人工标识被特定位置的相机所视并识别时，该可穿戴增强现实系统才能正确地进行分拣可视化指引，当货架上的某些人工标识掉落或被污染时，该增强分拣系统将无法正常工作。

为进一步提高可穿戴增强现实分拣系统的车间现场适用性，本文在现有人工标识增强分拣系统[14-15]的基础上，提出一种基于分拣现场地图的全局感知和定位模型，通过构建分拣现场环境下基于人工标识的全局地图，引入基于现场全局地图的增强可视化导航，构建更具环境适应性的信息和物理关联系统，从而避免传统基于特定目标人工标识对增强分拣系统的局限。最后，通过在某汽车装配线上的实际应用验证，表明了本文所述增强现实分拣方法的有效性和可行性。

1 分拣问题描述

本文所述的手工分拣现场如图1所示，工人需要根据纸质分拣单描述(如表1)，从固定货架上查找待分拣目标所在的货柜位置，并将该货柜处一定数量的货物搬运到移动运货车对应的位置上，待移动运货车上的货物装满后，将分拣得到的货物转运至下一装配工序。

表1 手工分拣单示例表

在执行分拣工作时，工人需要根据上述分拣单，频繁地从固定货架上取出货物，依次放置在移动运货车相应的货位。为保证持续执行重复分拣过程的正确性，对分拣工人的脑力和体力都提出了非常高的要求，尤其在高密度的货柜环境中，工人必须高度专注才能尽量避免误拣。在手工分拣过程中，工人往往需要暂停当前工作去标记纸质分拣单信息，也在一定程度上影响了整个分拣效率。

因此，本文通过构建基于人工标识的分拣现场全局地图，借助可穿戴增强现实技术，将分拣过程的纸质文本和分拣逻辑等信息以可视化方式标注在车间分拣现场，引导工人执行正确有效的分拣工作。

2 增强现实智能分拣系统

为实现基于可穿戴增强现实的智能分拣，以将待增强的分拣任务直接标注在车间现场，本文具体流程如图2所示，主要分为构建分拣现场地图和增强现实分拣指引两个阶段。

(1)构建分拣现场地图 在分拣现场和货架上布置相应的人工标识，用相机获取不同位置下分拣现场的图像，通过对现场图像中的人工标识进行提取—匹配—重建，得到基于多个人工标识的分拣现场地图。同时，根据现有物料的纸质分拣单，在增强分拣系统中集成分拣任务逻辑，为后续可穿戴智能分拣系统作业流程提供指导。

(2)增强现实分拣指引 首先，通过可穿戴增强现实系统加载分拣任务信息和离线构建的人工标识地图；其次，当工人在现场执行分拣操作时，通过可穿戴增强现实眼镜上固联的相机实时获取当前分拣现场的图像，并提取和识别图像中的人工标识，结合已离线构建的人工标识地图构建3D-2D间的对应关系，进而解算增强现实眼镜在车间现场的位姿；最后，根据手工分拣的任务流程，按照从整体到局部的检索形式，将分拣目标货位“点亮”在工人可穿戴眼镜的视场中，实现手工分拣过程的智能可视化引导。

2.1 构建分拣现场地图

在基于可穿戴增强现实的智能分拣中，为将待分拣任务信息准确叠加在车间现场，必须保证该增强现实系统在车间现场具有稳定的跟踪定位能力。文献[14-15]的方法，只有当现场特定目标人工标识出现在相机视场中时，才能对待分拣信息进行可视化指引，极大限制了增强现实分拣的现场适应性。本文通过在分拣现场粘贴大量的人工标识，采用计算机视觉测量和三维重建方法构建分拣现场货物的全局地图。

对于现场环境下的人工标识，根据其朝向r=(rx,ry,rz)和位置t=(tx,ty,tz)，构建其在现场工况下的空间位姿φ∈6:

φ={(r,t)|r,t∈3}。

(1)

基于罗德里格斯旋转变换，从旋转向量r中恢复得到3×3旋转矩阵R。因此，对于空间任意三维点p∈3，可根据相机的内参数矩阵δ和空间位姿φ，计算其在相机平面上的二维投影点u∈2，对应的投影变换关系可表示为

u=π(φ,δ,p)。

(2)

式中δ=(fx,fy,cx,cy,k1,k2,p1,p2)为相机的内参数，由相机焦距(fx,fy)、图像主点坐标(cx,cy)和相机畸变参数(k1,k2,p1,p2)组成。

车间现场的不同人工标识通过构建反投影误差的最小平方优化函数进行求解，其函数模型表示为

(3)

式中：O(p)∈2为空间三维点p在图像上的二维观测坐标值；Ω为待重建的特征集合。

在构建人工标识地图的过程中，本文采用AprilTag[16]对分拣现场下的不同人工标识进行编号。假设平面人工标识的边长为L，以平面人工标识的中心为原点(如图3a)，构建基于该人工标识各角点ci(i=1,2,3,4)的空间坐标：

(4)

根据分拣现场获取的含有人工标识的图像，采用人工标识的提取检测方法[16]，从图像中得到相应的人工标识编号及其对应的二维图像角点坐标。对于第n幅图像上的第i个人工标识，其对应的4个角点二维图像坐标表示为

(5)

分拣现场下人工标识全局地图的构建流程如图3b所示，分为提取人工标识、匹配人工标识和构建全局地图3个阶段。基于人工标识三维点与二维图像点间的对应关系，将式(4)和式(5)代入式(3)，得到分拣现场环境下各人工标识全局地图的优化函数

‖π(φ,δi,ci,j)-ui,j‖2。

(6)

式中：ci,j为i幅图像上第j个角点的空间三维坐标；M和N分别为所获取的分拣现场图像数和每张现场图上提取到的人工标识数量。通过求解式(6)，可解算现场环境下各人工标识间的空间位姿关系，进而获取现场环境下的人工标识全局地图。

2.2 增强现实分拣指引

采用2.1节获取的分拣现场全局人工标识地图，当分拣工人佩戴可穿戴增强现实眼镜执行分拣任务时，系统自带的摄像头能够实时获取车间现场包含人工标识的环境图像，通过识别图像中的人工标识，获取不同人工标识的ID及其对应的二维图像角点坐标。同时，利用离线获取的人工标识全局地图，构建当前图像中所检测标识的二维角点坐标与三维空间点坐标间的对应关系，进而估计智能眼镜在分拣现场的位姿，其原理如图4所示。

在本文的增强现实现场分拣研究中，考虑到工人在分拣现场位置运动的不确定性，借助上述基于人工标识的全局地图，分别构建分拣现场环境下基于增强现实的目标货架导航(如图4a)和目标货位分拣导航(如图4b)两部分，以快速引导分拣工人在车间现场查找到对应的分拣目标。

在离线构建分拣现场地图中，得到现场世界坐标系{w}下人工标识N个角点的齐次三维坐标wXi(i=1,…,N)，wXi=(wXi,wYi,wZi,1)T。当工人在现场执行增强可视化分拣时，通过相机获取具有人工标识的现场图像，可以得到该三维角点坐标对应的二维图像齐次坐标wxi=(xi,yi,1)T，根据相应的ID号进行2D-3D对应，构建直接线性变换求解的PnP(perspective-n-point)[17]数学模型，实现增强现实眼镜在分拣现场位姿的快速解算，具体过程如下：

将车间现场环境下增强现实眼镜的位姿cTw=(cRw,ctw)表示为齐次4×4矩阵：

(7)

式中r1,r2，r3为cTw中旋转矩阵部分的3×1行向量。考虑到相机内参数可以预先标定得到，根据式(2)构建相机在分拣现场位姿的求解模型

(8)

式中h是cTw的向量表示。将已获取的N组对应点集合{wXi,wxi}i=1:N代入式(8)，利用奇异值分解方法，计算得到可穿戴增强现实眼镜在分拣现场的实时位姿，根据该位姿将待分拣货位信息高亮显示在该眼镜上进行可视化分拣引导。

3 实验与分析

3.1 现场定位精度分析

为评估本文所述增强现实眼镜在分拣现场的定位精度，用相机从不同视角获取分拣现场的图像，如图5a所示。基于已标定的相机参数和本文所述方法，恢复得到分拣现场下不同人工标识的全局地图，如图5b所示。

在重建所得人工标识地图的基础上，通过建立人工标识编码坐标系(如图5a)，对分拣现场货架上的人工标识位置进行编码。采用基准标尺测量沿坐标轴方向上相邻两个人工标识之间的距离d(i+1,j)→(i,j)，结合离线重建所得对应人工标识间的距离M(i+1,j)→(i,j)，构建重建误差的评定模型

(9)

式中i和j为人工标识在编码坐标系中对应的位置坐标。

根据图5b中恢复所得的人工标识地图，在式(9)中将i，j位置互换，可构建24组距离测量评价组合，其重建人工标识间的相对位置误差约为0.5%(如图5c)，实验结果表明本文所述方法能够恢复得到现场环境下可靠的人工标识地图。后续可通过构建现场人工标识三维地图点和二位图像点间的对应关系，采用PnP位姿求解方法，实现可穿戴增强现实眼镜在分拣现场位姿的快速解算。

3.2 增强分拣实验验证

为验证本文所述可穿戴增强现实的智能分拣方法，将其集成到北京悉见科技有限公司的XMAN系列眼镜上，通过眼镜端自带的相机获取车间现场1 280×720像素图像，计算处理端采用华为Mate10手机搭载Android系统。实验表明，从所获取图像中提取二维标识进行位姿解算的平均时间约为55 ms，基本可以实现导航信息的无延时更新显示。同时，为保证增强可视化指引的平滑性，在位姿估计上采用了滤波的方式，以将逻辑分拣任务可视化、友好地呈现在眼镜端，其现场分拣示意如图6所示。

在现场大范围目标货架查找过程中，通过在分拣现场的走廊中布置尺寸较大的人工标识，构建现场货架的智能导航地图。当目标货架不在增强现实设备视场中时，利用已离线构建的分拣现场全局地图信息，对分拣现场环境下的目标货架进行引导(如图7a)，以辅助工人快速查找目标货架，并将目标货架位置点亮在分拣现场(如图7b)，实现分拣现场环境下的增强可视化导航。

在局部高密度货架上准确查找货位的过程中，相应的增强现实分拣任务可视化如图7c和图7d所示：当待分拣目标不在当前视场中时，系统会基于已构建的全局人工标识地图显示目标货架所在方位，以快速将工人引导至目标分拣货位，并在视场中点亮目标货位所在的位置。同时，在增强现实的智能分拣中，也采用可视化方式将当前的分拣状态和任务执行进度呈现在工人的视场中，从而辅助工人把控当前的手工分拣步骤，提高分拣过程的智能化和信息化水平。

为验证本文所述增强分拣方法的可行性，在实际分拣作业过程中，为保证实验公平，将尚无分拣经验的分拣工人分为两组，并告知待分拣的目标任务信息，分别以传统纸质分拣单和本文的增强现实分拣系统为依据，执行相应的分拣任务。在双方执行分拣任务的过程中，由第三方统计各自执行该分拣任务的时间，结果如图8所示。其中图8a为本文所述增强现实分拣和传统纸质分拣过程的时间统计情况，可见本文方法具有更高的分拣效率;图8b为对单次分拣时间的统计，可见传统手工分拣时间约为每次分拣50 s左右，本文方法的单次分拣时间降至30 s，有效提高了手工分拣的效率。

为进一步讨论本增强分拣系统的现场适应性，通过增加有经验分拣工人的方式，开展进一步实验验证。该分拣任务中涉及4组分拣物料的操作，其中每组分拣任务需根据分拣单的逻辑，从货架上取出特定数量的物料放置在移动货车上相应的位置，待移动货车装满物料后，完成该组手工分拣任务。统计每组实验过程中的执行时间，具体如表2所示。从实验结果可知，基于增强现实的分拣系统，在工人视场中呈现的可视化指引能提高无经验工人的分拣效率，然而在本实验所述的应用现场下，有经验的分拣工人因为已经熟悉和理解作业的任务逻辑和环境，所以是否采用增强可视化分拣，对提高分拣效率并不显著，甚至会对熟练工人的正常分拣产生一定干扰，但在分拣的准确性上，本文所述增强可视化的分拣方法依然具有优势。该实验也说明增强现实在实际分拣现场中的应用效果与待分拣任务的复杂性和成熟度有关，特别对现场作业经验不足的工人，其增强可视化辅助效果明显。

表2 不同分拣方式的实验结果统计

4 结束语

结合实际的分拣现场环境，本文提出一种基于可穿戴增强现实系统的智能分拣方法，通过获取包含人工标识的车间现场图像，离线构建分拣现场环境下的全局人工标识地图，进而在工人执行手工分拣过程中，实时解算增强现实眼镜在分拣现场中的位置和朝向，以将待分拣任务高亮标注在分拣现场，指引工人执行相应的手工分拣操作，有效提高了分拣效率和准确性。同时，本研究也表明增强分拣在车间现场的实际效果与待作业任务的复杂性和作业工人的经验有关，对缺乏经验的工人而言，其增强可视化指引更有效。

手工分拣是车间现场中的一项长时间重复工作，可穿戴眼镜的介入会改善工人执行分拣操作的舒适性。本文实验间接表明了增强现实在实际分拣现场中的应用效果，其与作业工人的熟练程度和待作业任务的复杂性都存在一定关系，因此未来的研究将会进一步探讨增强现实眼镜在人因工程方面对分拣工人的影响，从更系统的角度评定增强现实系统在手工作业指引中的作用。