增强现实眼镜辅助的线缆连接器装配状态智能检错方法

李树飞，郑联语，刘新玉，王天睿

(北京航空航天大学 机械工程及自动化学院,北京 100191)

0 引言

线缆连接器装配指将线缆线束中的导线安装到连接器上指定的孔位中，为保证航空产品的可靠性与稳定性，线缆连接器装配完成后需要对其安装状态进行检错，防止连接器上存在错装导线或者漏装导线的孔位。其中，错装导线的孔位表明在连接器装配过程中操作人员误将导线安装到了不允许安装导线的孔位，而漏装导线的孔位表明操作人员忘记将对应导线安装到需要安装导线的孔位。为有效识别这两种错误操作导致的不匹配孔位，本文提出使用增强现实(Augmented Reality, AR)眼镜(HiAR G200)智能检错线缆连接器的装配状态，该检错方法可高效准确地判别连接器上的漏装导线或者错装导线的孔位，进而代替低效费时的手工检错操作。

目前AR辅助的智能装配技术深入融合生产过程中，以提高装配效率和质量，降低装配人员自身技能和经验对手工装配[1]的影响。在AR辅助装配与检错研究中，波音公司前瞻性地应用谷歌眼镜协助操作人员组装机身内部的线束，并应用AR技术提供移动端辅助手段对Boeing 737发动机的排气系统进行故障排除[2]。为解决机舱空间的狭小和结构复杂性给装配过程带来的挑战，LIU等[3]引入了基于计算机视觉的辅助系统，以集成装配计划、装配训练和指导、装配状态检查和装配质量评估功能。针对线缆装配中线束布局优化难题，刘佳顺等[4]提出一种基于运动仿真的活动线缆虚拟布局设计方法，进而实现活动线缆由经验性的手工布局设计向基于建模仿真的虚拟布局设计的转变。针对航天产品舱体模型的连接器组装及检验过程，YIN等[5]提出基于目标检测技术的AR装配引导方案，对无该产品装配经验的操作人员实时进行虚实融合的装配情景引导;王发麟等[6]提出面向复杂机电产品的线缆虚实融合装配方法，给出了AR/虚拟现实(Virtual Reality, VR)融合装配的体系框架和系统的运行流程，以辅助布线工艺人员制定表格化指导文件来完成布线任务;李旺等[7]从装配作业常用工艺出发，开发了增强现实的装配工艺编辑系统解决了工艺信息内容编辑问题;ZHENG等[8]引入可穿戴增强现实设备，并训练深度神经网络模型识别航空产品中线缆上字符编号与支架零件，辅助完成飞机舱体中的线缆装配任务。目前，对航空产品中线缆连接器装配状态的检测任务包括引脚与孔位的位置偏差检查和导线与孔位不匹配检错两方面。前者主要是在公头和母头连接器的配对过程中诊断引脚和孔位的位置偏差[9]。借助力传感器信号，机器人系统被应用于检测此类位置偏差[10]，如ZHAO等[11]引入3D视觉测量平台来检测连接器引脚的异常分布与位置。后者的目的是确保线缆连接器装配正确，因为并非所有连接器的孔位都可以连接导线，尤其是在航空产品中。AR/VR辅助装配技术为线缆连接器装配状态的检测提供了良好的可视化解决途径，但是针对线缆装配中导线与连接器孔位的不匹配装配状态检错任务，AR眼镜辅助的自动化和智能化检测算法及其性能分析还缺乏深入研究。

为判定线缆连接器的装配状态，使用目标检测技术从图像中定位连接器区域，并检测连接器孔位为检错过程的基础环节。常用的经典目标检测算法主要包括模板匹配[12]和局部特征检测，前者直接利用像素灰度匹配，对图像的几何形变适应性差，后者主要利用图像局部信息构造具有几何不变性的特征描述子，如角点检测[13]和SIFT特征点匹配[14]等，其对复杂场景图像也难以表现良好的性能。近年来，深度卷积网络目标检测器在ImageNet[15]、Pascal VOC[16]和MS COCO[17]等大规模图像数据库上表现出了绝对的优势。REN等[18]提出了以Faster R-CNN为代表的双阶段目标检测模型，由RPN(region proposal networks)网络提取候选目标，再经分类损失判断目标类型;LIN等[19]提出了FPN(feature pyramid networks)网络模型，融合多层次的特征图以有效检测图像中不同尺度的目标;REDMON等[20]首次提出单阶段的目标检测网络YOLO以满足场景中实时性目标检测的需要，其将完整输入图像划分为多个栅格以在输出层回归目标位置与类别。但是这种设计模式相对降低了准确率，故随后提出了YOLO v2[21]和YOLO v3[22]版本，在保证速度的同时大幅提高了准确率。LIU等[23]提出SSD(single shot multi-box detector)目标检测模型，采用多尺度特征图并借鉴了Faster R-CNN中锚(anchor)的概念，提高了对小目标的检测性能;LIN等[24]在单阶段目标检测模型RetinaNet中深入讨论了类别不均衡问题，调整损失函数的参数让模型在训练过程中重点关注与目标难区分的样本，使得单阶段目标检测的性能与双阶段的模型旗鼓相当。

航空产品的线缆连接器上多数分布一系列孔位，应用目标检测技术可以定位图像中这些孔位的坐标并识别其安装状态。基于检测到的孔位，进一步判定漏装导线或者错装导线的孔位，一般有两种解决途径：①根据孔位坐标值对这一系列杂乱无序的孔位进行分布排序，进而确定每一个孔位对应的唯一编号，以便与连接器的理想装配结果进行对比判定。连接器上的孔位为多层环形排列，对于每一层环形分布的离散点(即孔位)，当其分布位置与圆或椭圆等二次曲线的坐标偏差为正态分布时，最小二乘法[25]可有效拟合其形状，但若存在较大误差的样本点时，该方法不能满足使用要求。②根据目标检测模型定位的连接器孔位分布图与正确安装的连接器孔位图像进行匹配比对，以便直接判别线缆连接器上漏装导线或者错装导线的孔位。针对两幅图像的匹配比对问题，MORDOHAI等[26]采用张量投票机制有效可靠地解决了在存在离群点以及缺失纹理信息情况下图像的特征点匹配难题;LIN等[27]进一步提出一种平面张量投票机制来推断并恢复特征曲线上的缺失点，以获取构成几何图形的本真离散点完成目标物体间的匹配，并以平面上孔洞填充实验为案例验证了算法的有效性和准确性。考虑到张量投票机制在孔位数量较少时难以表现优越的性能，根据孔位的分布规律进行孔位编号，可作为有效的线缆连接器装配状态检错手段。

综上考虑，针对线缆连接器安装状态的检错问题，本文提出一种AR眼镜辅助的线缆连接器装配状态智能检错方法来替代手工检错操作并进一步可视化装配结果。采用基于深度神经网络的零件检测模型识别图像中的连接器及其孔位，进而基于扇区划分和圆环聚类对检测出的无序孔位进行分布排序以获得其对应的唯一编号。比对连接器的理想装配结果判定连接器在实际组装线缆线束的过程中是否漏装或者错装导线，将这些错装或者漏装的孔位显示在AR眼镜的屏幕上警示操作人员。通过应用证明，本文提出的孔位检测模型精度足以令人信服，该连接器装配状态检错方法显著提高了航空产品中线缆连接器的安装效率与装配过程的可控性。

1 线缆连接器装配信息与图像数据集

1.1 线缆连接器装配语义信息

线缆连接器的装配语义信息可使用二元组[C,O]表示，C和O分别为某一连接器的连接器类型和装配指令标识。连接类型C映射至连接器属性集合{f,l}，其中f表示该连接器上是否有中心孔位，l表示该连接器的孔位层数；装配指令O映射至连接器的装配结果{P1,P2,…,Pn}，其中Pi表示该连接器的第i个孔位中是否需要安装导线，其取值为Y(安装)或N(不安装)。如图1所示，左侧为不同类型的连接器携带的装配语义信息，右侧为两种不同类型的连接器分别对应的理想装配结果。值得注意的是，并非所有连接器孔位都需要安装线缆中的导线，理想的装配结果给出了需要安装导线的孔位以及不能安装导线的孔位，这也说明了连接器装配状态检错环节在线缆连接器组装操作中的必要性与重要程度。大多数连接器上分布有1个主定位销和4个副定位销，并且主定位销指明了连接器孔位的起始编号位置。以线缆连接器装配语义信息中的理想装配结果作为检测基准，在装配操作完成后顺序对比每个编号孔位的实际装配状态，进而判断连接器上是否存在漏装导线或者错装导线的孔位。

1.2 复杂装配场景下的连接器图像集

航空产品装配中使用的连接器数量和种类繁多，为了训练可以有效检测连接器及其孔位的神经网络模型，制作对应的图像数据集至关重要。本文使用AR眼镜手持端的高清数字相机配合相机上的光源在装配现场捕获连接器的图像，在采集图像数据集的过程中，需要控制相机以不同的角度来拍摄连接器以提高数据集的普适性，即捕捉60度倾角范围内的连接器图像(如图2a)，同时在图像中尽可能表现出现场背景的繁杂、光照强度的变化和运动模糊对图像质量的影响，从而获得包含各种现场工况的数据集。实验获取了1 724张连接器图像制作连接器图像数据集，该数据集中的图像包含从上午8点到下午6点光照强度的变化导致的不同成像效果，以及晚上灯光作用对连接器成像的影响。图2b展示了不同拍摄角度以及不同装配场景下的连接器图像。

连接器图像数据集中包含航空产品中常用的11种不同类型的连接器。由于图像中的连接器孔位尺寸过小且特征不明显，难以直接在含有复杂装配背景的连接器图像中识别连接器孔位，图像中的连接器孔位检测分为两个阶段：第一阶段在连接器图像中找到连接器并识别其类型，将连接器区域从图像中裁剪下来作为单独的图像以便进行后续处理;第二阶段在裁剪的连接器区域图像上进行孔位检测并识别其孔位中是否安装了导线。如图3上半部分所示为从连接器图像上裁剪下来的连接器区域，在此基础上进行检测从而识别每类连接器上的孔位以及孔位周围的定位销，这些定位销与连接器的孔位编号存在空间上的对应关系，其中主定位销的面积最大，也是连接器的第一个孔位位置。如图3下半部分所示：J1和J2分别表示连接器母头上未安装导线和安装导线的孔位;P1和P2分别表示连接器公头上未安装导线和安装导线的孔位;DP1和DP2分别表示连接器母头上的主定位销与副定位销，DP1在几何尺寸方面也是连接器母头上面积最大的定位销;DH1和DH2分别表示连接器公头上的主定位销和副定位销，且DH1是连接器公头上几何尺寸最大的定位销。

以图3中的几种连接器为例进行分析，定位销由于相机拍摄角度和光照情况的变化会表现出不同的特征，如颜色及几何形状的改变，DP1和DP2以及DH1和DH2之间的区分度低易混淆，这些无疑增大了检测的难度；连接器母头上的孔位特征少，尤其是未安装导线的连接器孔位特征十分不明显，而连接器公头上的孔位尺寸极小。因此，训练孔位检测模型以便检测识别这些样式多、特征区分度低以及尺寸变化大的孔位与定位销是一项很有挑战性的工作。

1.3 连接器图像数据集分析与统计

本文统计了这11类连接器上孔位和定位销的数量以进一步分析连接器图像数据集。如图4所示，每一类连接器上存在唯一的面积最大的定位销，其周围分布4个辅助定位销；采集的图像数据中第3类连接器上分布多达41个孔位，而有些连接器上仅分布有6个孔位，连接器装配状态检错的基础是完全准确无误地检测识别不同类型连接器上数量差距明显的孔位。

将从连接器图像上裁剪下来的连接器区域的图像统一缩放至1 024×1 024像素，分析连接器公头和母头上每一个孔位和定位销的几何长度数值，统计数据中的孔位长度指的是标签中孔位标注矩形框的长度。图5统计了不同长度的孔位与定位销在数据集中所占的数量，以连接器母头上的孔位J1和J2为例，在1 024×1 024像素的图像中，J1和J2的孔位长度分布范围为20像素～90像素，其中孔位长度为30像素和50像素的孔位占最大比例。另一方面，连接器公头上的孔位(P1和P2)和母头上的主定位销(DH1)之间尺寸变化范围很大，连接器公头上最小的孔位长度仅为16像素，而其上最大的主定位销的长度为140像素。这要求孔位检测模型拥有不同的感受野来检测到不同尺度的图像特征，进而检测识别这些孔位与定位销。

2 线缆连接器装配状态检错流程与方法

2.1 线缆连接器装配状态检错整体流程

线缆连接器装配状态的可视化检错在AR眼镜平台上自动化完成，其整体流程如图6所示，具体主要步骤如下：

步骤1连接器图像采集。启用AR眼镜手持端的高清1 600万像素的相机在线缆连接器组装完成后从装配现场捕获连接器图像，并预先输入存储不同类型的线缆连接器装配语义信息。

步骤2连接器孔位检测。对连接器图像进行归一化预处理，将连接器图像缩放至1 067×800像素，通过连接器检测模型预测，输出缩放图像中连接器区域的坐标与连接器类型，根据坐标从原始1 600万像素的图像中裁剪连接器区域作为单独的图像，并将图像缩放至1 024×1 024像素。通过融合FPN架构与BiLSTM[28]结构的孔位检测模型，在裁剪的连接器区域中识别图像中的定位销与孔位，包含连接器公头或者母头上安装线缆导线及未安装导线的孔位。连接器的孔位检测模型是本文的核心贡献之一，其原理及详细设计见2.2节。

步骤3连接器孔位编号。根据孔位检测模型输出的孔位预测框的顶点坐标计算每个孔位的中心点坐标，所有孔位表示为其中心点坐标处的离散点。计算所有离散点的中心位置，按照每个离散点与中心位置的角度将其划分到不同的扇区，根据每个离散点与中心位置的距离，将每个扇区中的孔位分离到不同层次的圆环上，以面积最大的定位销(即主定位销)为基准，从外向内对不同层次的圆环上的离散点逆时针分布排序。详细算法设计见2.3节。

步骤4装配状态判定。更新连接器上所有孔位的检测结果与编号，顺序遍历所有编号的孔位，对比航空线缆装配语义信息中理想的装配结果和实际装配状态，判定该连接器上漏装导线与错装导线的孔位，通过型谱图将这些孔位高亮显示在AR眼镜的屏幕上，完成线缆连接器装配状态的智能检错操作。

2.2 连接器及孔位检测网络模型

本文采用深度目标检测器RetinaNet从包含装配现场复杂背景的图像中定位连接器，输出连接器在图像中的坐标并识别其类型，根据输出坐标将连接器从图像中裁剪下来作为单独的图像，用于后续检测孔位与定位销。

为实现高精度检测图像中不同尺度的孔位与定位销，神经网络在进行特征提取时需要同时关注尺度较大的特征和尺度极小的特征。浅层网络的视野范围小，不能充分提取图像中的特征信息，因此借鉴FPN特征金字塔网络结构在浅层网络的小视野下充分融合深层图像特征来检测图像中不同尺度的孔位与定位销。此外，由于这些孔位规律分布在连接器上，在深层网络上使用BiLSTM代替卷积操作来提取图像中孔位之间的空间关联特征以提高网络对孔位的特征提取性能，从而使得网络一方面关注图像中不同尺度的边缘与图形特征，另一方面搜寻提取特征在空间分布上的关联性。本文提出孔位检测网络的整体结构如图7所示，将裁剪后的1 024×1 024像素的连接器区域图像输入孔位检测网络模型，输出孔位在图像坐标系中的坐标与孔位类型，该孔位检测网络模型主要包括以ResNet50[29]网络结构为主干的特征提取分支、特征金字塔分支和输出层分支，在特征金字塔分支中，逐渐融合不同层次的特征：

(1)

(2)

其中：con1×1(fi)表示对fi特征图进行1×1的卷积滑窗操作;upsamble(bi)表示对bi特征图进行上采样扩充2倍操作;add(bi,gi)表示对特征图bi和gi进行叠加操作;B_C提取层采用BiLSTM网络结构在深层特征图中提取搜寻特征的空间联系性，其结构如图8所示。该提取层首先对输入特征图进行维度扩充，进一步增加其对孔位空间结构关系的特征提取能力，实现方式为在特征图的窗口以3×3滑动窗口将每个像素及周围8个点的像素值串行输出叠加至最后通道，这样特征图由(B,H,W,C)的维度映射为(B,H,W,3×3×C)的维度。这个操作中没有引入新的训练参数，仅是对特征信息的重组与维度调整，为了适应BiLSTM对输入数据的维度要求，对进行特征信息扩充后的特征图再次进行维度调整，调整后的维度为(B×H,W,3×3×C)。将该图像序列数据送入链式BiLSTM网络，输出(B×H,W,C)维度的特征图，此特征图提取了孔位的位置关联特性，最后将输出的特征图的维度恢复至(B,H,W,C)，以传递到之后的网络层次。

本文仅在ResNet50网络的输出层Res5c_relu和Res4f_relu后使用该B_C提取层，因为浅层特征图不足以提取图像中的本质特征信息，且浅层特征图的尺寸大通道少，导致输入BiLSTM网络的数据序列相对较短，而链式BiLSTM网络中基本单元数量偏多，致使网络的训练难度提高甚至可能损坏网络的精度，所以在浅层特征图上并不引入该B_C提取层。

为提高对连接器公头上尺寸极小的孔位的检测能力，在特征金字塔分支的前两层分别添加分类子分支和回归子分支作为输出层分支，其结构与RetinaNet网络中的分类子分支和回归子分支结构相似。其中，这两个子分支中最底层的特征图上每点像素对应一个锚，这两层特征图的每点像素上的锚分别对应输入图像中162和322的像素面积，以及4和8的滑动步长，同时为保证对图像中尺寸偏大的定位销的检测能力，扩充这两层特征图上的锚的数量，每个锚的面积分别乘以[20,21/3,1+22/3]3种倍数进行面积扩充，再将其长宽比调整为[20,21/3,1+22/3]3种型号，从而特征图上每点像素对应9种锚，他们的几何长度对应输入图像上16～82像素的变化范围。

由于连接器公头和母头上的孔位与定位销共有8种类别，分类子分支预测特征图上每点像素上的9个锚表示该点属于这8种类别的可能性。而回归子分支预测检测的潜在目标距离此锚的4个相对坐标偏移值v，进而得出预测框表明检测的孔位或定位销的位置：

vw=log(w-wa),vh=log(h-ha)。

(3)

(4)

式中λre超参数权衡两种损失函数的优化迭代对模型训练过程的影响，本文模型训练中λre=1。

(5)

(6)

式中：RC为最小包围框BC的面积，最小包围框BC的坐标与面积由式(7)和式(8)计算得出：

(7)

(8)

2.3 无序孔位的分布排序编号与比对检错

(1)离散点映射与重组 根据连接器定位模型与孔位检测模型的结果，得知该连接器的类型ti，所有识别的孔位与定位销根据其中心坐标映射为离散点。首先将定位销对应的离散点划分至集合dset，此集合中面积最大的定位销(标记为Od)作为孔位排序的基准；其次所有孔位对应的离散点重组到集合Pset，计算此集合中所有离散点的中心Pc。

(3)离散点排序编号 针对集合Pset以Pc为极点，PcOd为极轴建立极坐标系，如图9c～图9d所示。从外向内遍历集合中不同层次的圆环，每层圆环上的离散点根据其极角γi逆时针方向进行排序编号。

算法1连接器孔位(离散点)划分与聚类。

输出：不同层次圆环上的离散点集合SC1,SC2,…,SCli。

1:function CLUSTERING (fc,li,S)

3. if fcthen //中心孔位划分至单独的集合

4. Pe←PiPi为距离Pc最近的点

5. S←S-{Pe}

6. li←li-1

7. SCli+1←SCli+1∪{Pe}

8. end if

9. nequ=⌊(|S|-2*li)/(2*li)⌋+1 //扇区的数量

10. nres=(|S|-2*li)%(2*li)+2*li//最后一个扇区中离散点的数量

11. 集合S中的点根据其在以Pc点为极点的极坐标系下的极角从小到大排序并更新S

12. 集合S中的后nres个点映射到扇区集合Snequ,其余点顺序平均划分至nequ-1个扇区集合S1,S2,…,Snequ-1

13. S1,S2,…,Snequ-1,Snequ中的点按照其与Pc点的距离从小到大排序并更新

14. for Si∈S1,S2,…,Snequ-1,Snequdo

15. for Pj∈Sido //计算每个扇区中的相邻离散点的距离变化值

16. drj←‖Pj+1,Pc‖-‖Pj,Pc‖

17. Sdri←Sdri∪{drj}

18. end for

19. end for

20. for Si∈S1,S2,…,Snequ-1,Snequdo //搜寻每个扇区中的离散点的距离突变点

21. ID←{id1,id2,…,idli-1} ID为Sdri中最大的前li-1个值的索引

22. for idj∈ID do //每个扇区中的离散点聚类到不同的圆环

23. SCj←SCj∪{Si[:idj]}

24. Si←Si-Si[:idj]

25. end for

26. SCli←SCli∪{Si}

27. end for

28. if fcthen //返回不同层次圆环上聚类的离散点集合

29. return {SC1,SC2,…,SCli}

30. else

31. return {SC1,SC2,…,SCli,SCli+1}

32. end if

33. end function

为保证每个扇区中包含来自所有圆环层次上的离散点，每个扇区上离散点的数目最少为孔位层数li的2倍，如图10中#9所示，对应算法1的第9步。该离散点划分与聚类算法在进行扇区划分时首先确定最后一个扇区上离散点的数量，然后将剩余的离散点平分到每个扇区，进而确保每个扇区内包含所有层次的圆环上的离散点，如图10中#12所示，对应算法1的第12步。所有孔位的离散点聚类划分至不同的扇区后，每个扇区上的孔位离散点根据其至Pc的距离进行排序，距离突变点表明相邻离散点间的距离存在突变，即此对相邻离散点属于连接器上不同的圆环层次，每个扇区上的孔位离散点在算法1的第16步骤根据距离突变点聚类至不同层次的圆环上，如图10中#16所示。

连接器上的孔位分布排序完成后，顺序遍历所有编号的连接器孔位，逐个比对连接器上孔位的真实装配状态与装配指令中的理想装配结果。以连接器公头为示例(如图11)，P2为连接器上安装导线的孔位，P1为未安装导线的孔位，理想装配结果表明左侧矩形线框对应的4号孔位不能安装导线，但是检测结果发现该孔位在真实情景中安装了导线，故该孔位存在错装导线操作，同理右侧钜形线框对应的6号孔位漏装了导线。

3 性能分析与检错案例

3.1 连接器及其孔位检测性能分析

本文将连接器图像数据集中的1 346张图像作为训练集，剩余的378张图像作为测试集。将训练集中的图像送入RetinaNet网络训练连接器检测器，采用Pascal VOC数据集中的平均精度均值(mean Average Precision, mAP)作为评价指标，交并比(IoU)阈值设置为0.5，即候选框与标签中的注释框的交并比阈值高于0.5时可作为正样本，使用训练完成的连接器检测器预测测试集图像中连接器的种类并回归其在图像坐标系下的坐标，如表1所示为本文训练的连接器检测器对11种不同类型的连接器的检测识别性能。

表1 连接器检测性能分析

分别从连接器数据集中的训练集和测试集中将连接器区域裁剪下来作为单独的图像，同时剔除一些质量过差的图像样例，最终得到1 009张图像作为孔位图像训练集，360张图像作为孔位图像测试集。本文没有应用任何数据增广手段，仅使用训练集中的孔位图像以随机梯度下降优化器在2块GPU(RTX 2 080)上来训练孔位检测模型，批尺寸(batch)设置为2，即每块GPU负责1张1 024×1 024像素的孔位图像，初始学习率设置为0.01，经过40×103次迭代后学习率缩小10倍，60×103次迭代后再次缩小10倍，进行80×103次迭代训练，同时在参数更新中设置动量值为0.9，训练过程中使用权值衰减策略并设置其值为0.000 1。此外，笔者甚至尝试过仅使用1块GPU来训练本文的模型，也能够取得相当有竞争力的性能。

为验证本文提出的孔位检测网络的有效性，将其与目标检测网络Faster R-CNN、SSD、YOLO v2、RetinaNet和YOLO v3在孔位图像测试集下的精度进行比较，这些目标检测器在当前最流行的公开目标检测数据集如PASCAL VOC和MS-COCO上取得了相当有说服力的非凡结果。如图12所示为本文所提孔位检测模型对一些连接器样例的检测识别结果，表2列出了本文所提孔位检测模型与一些目标检测网络的性能对比。

表2 孔位检测性能分析

YOLO v3网络往往对图像中的小目标表现出显著的性能，本文提出的网络和YOLO v3相比，在连接器孔位(J1、J2、P1和P2)上的检测性能提升比较明显，表明孔位检测网络中的BiLSTM结构能够提取这些孔位之间的空间关联性。此外，本文孔位检测模型对J2类型孔位的检测性能提升最为显著，表明了网络的损失函数(focal loss)的有效性，因为J2孔位正是孔位图像数据集中数量较少的样例且和J1的相似性大，容易混淆。这也表明本文提出的孔位检测模型在训练过程中关注到了此类样本。

为了进一步说明本文提出的孔位检测模型的有效性，借鉴MS COCO数据集上的评价指标，计算候选框与标签中的注释框的交并比在不同阈值下的mAP值，如图13所示。其中，横轴AP50～AP80表示交并比阈值由0.5提升到0.8，随着交并阈值的提高，YOLO v3和本文提出的孔位检测模型之间的mAP值差距愈加明显，本文提出的孔位检测模型对交并比的波动表现出了更强的鲁棒性，即使在设置较大的交并比阈值时，依然能够保持较为理想的精度。

3.2 孔位排序编号结果与检错案例

以连接器图像数据集中的类型3连接器为例，图14可视化了该连接器孔位编号的流程。使用RetinaNet网络定位出图像中的连接器后，孔位检测器识别该连接器上所有孔位与定位销，之后示意了该连接器的孔位在孔位扇区划分、孔位层次聚类和离散点排序编号操作下的效果。

在对连接器的孔位进行扇区划分时，需要保证每个扇区能够覆盖到每层圆环上的离散点，以便后续将每个扇区上的离散点根据距离聚类到不同的圆环上，图15进一步显示了孔位扇区划分操作对于不同类型的连接器孔位的划分效果。对于几种圆环层数不同的孔位集合，该方法划分的每个扇区中都包含了各层圆环上的离散点，并能够将最后排序的中心离散点分离出来。

即便由于拍摄角度的问题导致连接器图像存在形变，检测的孔位并非分布在规整的多层圆环上，该孔位分布排序算法能够对这些混乱的孔位离散点进行分布排序以获得其编号，如图16所示。实验结果表明，对于相机拍摄角度存在45度倾斜造成的孔位坐标偏差，该算法表现了很强的适应性，能够准确获得这些孔位的编号。在使用AR眼镜手持端拍摄连接器图像进行线缆连接器装配状态检错时，一般不会存在大于30度的倾斜拍摄角度，故该算法可有效编号连接器的孔位。

经过孔位编号排序算法后可以得到每个孔位对应的编号，结合其识别孔位的真实装配状态，对比存储在航空线缆装配语义信息中的理想装配结果，便可知晓哪些孔位漏装了导线，哪些孔位错转了导线，进而将错装或者漏装导线的孔位展示在型谱图上。本文使用的AR眼镜CPU为高通骁龙820，计算机端CPU为i7 9700k，GPU使用一块RTX 2 080，AR眼镜和计算机端使用WiFi通信。离线训练完成连接器及孔位检测模型后，以连接器图像数据集中的类型5连接器为样例，AR眼镜将手持端拍摄的图像发送至计算机端，如图17所示。通过计算机端在线检测图像中连接器与孔位，经过孔位排序算法，AR眼镜拍摄的连接器图像上的孔位得到其编号与真实装配状态，进而对比线缆连接器装配语义信息中的理想装配结果，判定了该连接器上4号孔位错装了导线，而6号孔位漏装了导线，最后将判定信息返回至AR眼镜，高亮该连接器型谱图上的孔位警示操作人员。在从现场实时采集连接器图像及判定信息返回至AR眼镜以可视化结果的总循环过程中，时间消耗包括图像数据传输、检测模型运算和判定信息返回，其中连接器检测模型可以在160 ms内快速得到检测结果，孔位检测模型可以在400 ms内获取检测结果，加上图像数据传输和判定信息返回的时间消耗，AR眼镜可以在1 s内进行线缆连接器装配状态自动化检错，完全可以满足装配现场作业实时性要求，显著提高了线缆连接器的工业检错效率。

4 结束语

航空产品中线缆连接器的装配过程依靠手工完成，为保证装配操作正确性，连接器安装线缆中的导线后需要手工对其装配状态进行检错。针对此耗时的装配状态人工检错任务，面向孔位检测和分布排序以及可视化孔位匹配环节，本文提出了AR眼镜辅助的线缆连接器装配状态智能检错方法，使用AR眼镜手持端在装配现场拍摄连接器图像，进而检测图像中的连接器及其孔位，连接器孔位经过排序编号后顺序对比理想的装配结果以判定漏装或错装导线的孔位，最后在AR眼镜上可视化型谱图以提示操作人员自动化完成连接器装配状态检错任务。该方法中，针对连接器孔位的小目标检测问题，本文提出一种融合FPN网络结构与BiLSTM网络单元的孔位检测模型，一方面可以有效提取不同尺度的孔位特征信息，另一方面可以有力寻找孔位特征之间的空间关联性。针对无序孔位的分布编号问题，本文提出了孔位的扇区划分策略与孔位的多层次圆环聚类方法，该算法可以抵抗由于拍摄角度变换引起的连接器图像形变问题。以连接器图像数据集中的11类连接器为案例进行了充分实验验证，数据表明孔位检测模型有效解决了孔位小目标的检测识别问题，孔位分布排序算法能够正确编号不同类型的连接器孔位，并且能较好地适应AR辅助工人装配操作时从不同角度拍摄的连接器图像。本文提出的检错方法可有效应用于航空产品的连接器装配操作中，达到智能化检测连接器上漏装导线或者错装导线的孔位的目标。

在后续的研究工作中，在智能算法方面，将考虑图像中连接器及其孔位的同步检测问题，以进一步简化装配状态检错的流程，同时进一步改进孔位分布排序算法，以应对连接器图像的极端形变情况，保证检错的准确性和可靠性；另一方面，虽然该智能化检错方法在AR眼镜上取得了良好的可视化展示效果，但进一步针对连接器的动态和静态虚实注册实验，降低AR应用系统中的虚实注册误差，也是我们即将开展的研究工作。