基于十字线结构光的铆钉孔定位技术研究

毕超 郝雪 周鹏 杨辉

摘要：针对自动钻铆过程中的铆钉孔定位问题，应用工业级摄像机、镜头、十字线投射器和夹持工装等搭建了一套十字线结构光视觉传感器，并通过建立其单目成像模型和内外部参数标定，确立了十字投影光条上的采样点的二维图像坐标与其三维空间坐标之间的映射关系。在应用过程中，对于摄像机视野范围内的多个铆钉孔特征，提出了一种由被测铆钉孔孔心的等效投影點的空间坐标而合成出孔心空间坐标的方法，从而完成被测铆钉孔的定位任务，并进行了试验验证。试验结果表明，铆钉孔孔心坐标XW、YW和ZW的单次测量的极限误差均≤±0.06mm，因而该传感器在检测铆钉孔的位置方面所能达到的重复性精度水平可以满足使用要求。

关键词：定位；铆钉孔；自动钻铆；结构光视觉

中图分类号：TH74文献标识码：ADOI：10.19452/j.issn1007-5453.2021.05.010

在航空航天领域中，蒙皮是覆盖在飞机、火箭和导弹等飞行器骨架结构之外的维形零件，用于保持机体的气动外形，主要分布于机身、机翼、尾翼和整流罩等部位。在飞行器的制造过程中，蒙皮类零件通常采用铆接方式进行装配，其质量高低会对飞行器的气动特性和服役性能产生很大影响[1]。当前，随着机械装配与自动化技术的进步，基于工业机器人的自动钻铆技术与系统，不仅能够克服人工钻铆方式的效率低、一致性差和劳动强度高等缺点，而且降低了操作难度和生产成本，因而得到了越来越广泛的应用。

在自动钻铆过程中，“插钉入孔”是其中的重要环节之一，即通过多功能末端执行器将铆钉钉杆准确插入到蒙皮上的铆钉孔中，而铆钉孔直径的极限偏差为0.1～0.2mm[2]。在实际装配现场，蒙皮本身及其定位夹具都存在着由制造、变形等引起的形位误差，这些都会造成铆钉孔在自动钻铆系统中的定位偏差，使得实际孔位与理论孔位之间难以建立起精确的映射关系，导致铆钉的插入困难或失败[3]。因此，为了确保铆钉的顺利入孔，需要在插钉之前由相应的检测模块获取到铆钉孔的实际位置，并反馈给控制系统，使末端执行器运动到对应的空间方位，从而使铆钉对准相应的铆钉孔以完成插钉入孔任务。

当前，针对铆钉孔的定位或位置参数检测问题，国内外学者已经开展了相关研究工作。例如，美国Electroimpact公司与英国空客公司联合开发了一套机器人柔性装配系统ONCE，其末端执行器上集成有具有铆钉孔定位功能的同步视觉模块，用于确定和修正实际孔位与期望孔位之间的偏差，以通过实时补偿来实现准确插钉。在国内，苏同标等为检测铆钉孔的孔心位置而搭建出了一套孔位测量系统，应用光电传感器和光栅尺同时发出的信号来检测铆钉孔边缘点的位置信息，进而拟合出了孔心的坐标[4]，但其采用了铆钉板运动而夹钉机械手固定的插钉方式，不适用于大型飞机蒙皮类零件的自动铆接。谢松乐等提出了一种基于机器视觉的铆接机送料装置定位方法，利用单目电荷耦合器件（charge-coupled device，CCD）相机获取铆钉孔图像，然后通过图像预处理和质心法进行孔心坐标值的亚像素级提取，所得结果能够满足铆接工艺要求[5]，但使用时需要将CCD相机固定在待铆接件的正上方，限制了其应用范围。勾江洋等针对飞机蒙皮、骨架上的装配连接孔的快速、精确检测需求，设计并开发了一套专用的在机视觉检测系统，通过对连接孔图像的精确提取与定位实现了连接孔的非接触式快速检测，重复性测量精度达到0.01mm[6]。但整个系统的体积和质量较大，且无法反馈蒙皮的三维轮廓信息，不便于集成于机器人自动铆接系统中的末端执行器上。

为了实现蒙皮类零件上的铆钉孔定位，本文基于结构光三维视觉原理，应用工业级摄像机、十字线投射器和夹持工装等搭建了一套十字线结构光视觉传感器，并提出了一种由被测铆钉孔孔心的等效投影点合成出孔心空间坐标的方法。在该系统中，由十字线投射器将十字线结构光投射于被测蒙皮表面并在其上形成受表面形貌调制的十字投影光条，而后通过摄像机采集其视野范围内的、同时包含十字投影光条和铆钉孔的二维图像，再经由光条中心线提取和系统标定等步骤获取十字投影光条的位置与变化规律，并基于此解算得到铆钉孔孔心的等效投影点，进而进行叠加运算而合成出铆钉孔的孔心空间坐标，从而完成被测铆钉孔的定位任务。

1传感器设计

蒙皮类零件的尺寸大而刚度小，在铆接过程中会产生较大的变形量，因而无法同时保证蒙皮上的全部实际孔位与理论孔位之间的精确映射关系，由此导致总体装配精度较低[7]。在自动钻铆过程中，要实现铆钉的插钉入孔，首先要实现铆钉孔的定位，即获取铆钉孔的空间位置。这就需要在多功能末端执行器上集成具有铆钉孔孔位检测功能的传感器，从而通过对每个铆钉孔的实际位置进行测量而调整末端执行器的相对位姿[8]。在自动钻铆系统上辅助以先进的测量与检测技术，可以极大地提高系统的柔性和铆接质量、效率[9]。在实际应用中，铆钉孔的位置参数可以由孔心在蒙皮外表面上的三维空间坐标来表征。

为了实现孔位的实时测量补偿，本文基于结构光三维视觉原理，应用工业级摄像机、镜头、十字线投射器和夹持工装等搭建了一套十字线结构光视觉传感器，其硬件构成如图1所示，从而为插钉环节提供视觉反馈信息。十字线投射器用于标记出被测蒙皮表面上的两条空间曲线，从而通过其二维图像解算得到蒙皮表面的三维轮廓信息。相比于点结构光和一字线结构光，十字线结构光能够配合摄像机采集到更多的三维几何信息，却不会过多地增加硬件成本和实现难度[10]。同时，摄像机具有较为开阔的视野，可以同时观测到较多数量的铆钉孔，这样就可以减少摄像机的移动而提高检测效率。

在图1中，工业级摄像机选用MER系列工业数字相机，该型相机采用全局曝光的ON MT9P031 CMOS传感器，其传感器尺寸为1/2.5"（英寸），像元数目为2592×1944，像元大小为2.2μm×2.2μm。为了配合摄像机的使用，选用了Computar系列机器视觉镜头，该型镜头为百万像素定焦镜头，焦距为8mm，工作距离为0.1m～∞，光圈范围为F1.4～F16C。另外，十字线投射器选用HW520AC12-16GD型激光投射器，其功率为12mW，可以发射出波长为520nm的高稳定绿色激光，最小线宽可达0.4mm。

2孔位测量原理

在本质上，由十字线投射器发出的十字线结构光为两个相互垂直的光平面，投射到被测物体上后与物体表面相交而形成具有一定宽度的、由物体表面调制的十字投影光条，因而要实现该投影光条的精确定位，还需要提取出投影光条的中心线，并以光条中心线作为十字线结构光的实际投射位置[11]。摄像机采集到叠加了此十字投影光條的飞机蒙皮图像，并传输到上位机中进行处理，一方面要通过系统标定解算出光条中心线的精确空间三维坐标，而后基于这些坐标数据的拟合运算等获取十字投影光条的位置与变化规律；另一方面还要识别和提取出摄像机视野范围内的铆钉孔特征，并通过图像中的铆钉孔孔心与光条中心线之间的相互位置关系，在满足精度要求的前提下进一步推断出该铆钉孔的空间位置信息。

根据成像几何理论，本文以十字线投射器与摄像机的坐标关系为基础建立了传感器的单目成像模型，如图2所示，而后通过系统标定过程获得了模型中的未知量。根据该模型可以将十字投影光条的二维图像坐标数据转换为其实际的三维空间坐标数据。在图2中，OW-XWYWZW为世界坐标系，o-uv为图像像素坐标系，OC为摄像机光心；P是三维空间中投影光条上的某个采样点，位于光平面与被测表面的交线（投影光条）上，而p为其在图像平面上的透视成像点。设采样点P在OW-XWYWZW中的三维坐标为（XW， YW， ZW）。而其成像点p在o-uv中的二维坐标为（u， v）。

确定模型中未知量的过程分为两个步骤，即摄像机标定与光平面方程解算[12]。摄像机标定就是获取摄像机内、外部参数的过程，本文采用张正友标定法来完成摄像机标定，并应用棋盘格标定板作为标定靶标[13]，标定过程如图3所示。虽然通过摄像机标定可以得到采样点p的图像像素坐标（u， v）与其世界坐标（XW， YW， ZW）之间的映射关系，但其中的约束条件尚不充足，已知u、v无法求解出XW、YW和ZW。在这种情况下，还需要解算出两个光平面π1和π2在世界坐标系中的表达式，以此作为补充约束条件[14]。光平面π1和π2的方程通过多幅有十字线结构光叠加的标定板图像进行解算。

由于p同时位于世界坐标系内和光平面上，并被摄像机观察到，因而可以将摄像机的标定结果与两个光平面的方程联立起来，这样就可以建立起传感器的单目成像模型，从而确立十字投影光条上的采样点的二维图像坐标与其三维空间坐标之间的映射关系，如式（1）所示：

在此基础上，对与十字投影光条中心线相对应的空间曲线L1和L2进行二次多项式拟合，从而得到每条空间曲线的参数方程，而后可以求取这两条空间曲线的交点坐标。

由于式（1）仅仅适用于位于十字投影光条上的采样点，因而当被测铆钉孔的孔心恰好位于L1和L2的交点处时，就可以根据L1和L2的参数方程求交点，从而计算出其孔心的空间坐标。然而，在实际应用中，摄像机视野范围内的铆钉孔孔心不一定都位于L1和L2的交点上，甚至不位于L1或L2上，此时无法直接根据式（1）进行计算。

因此，本文提出了一种由被测铆钉孔孔心的等效投影点的空间坐标而合成出孔心空间坐标的方法。具体来说，十字线结构光投射于飞机蒙皮上形成两个投影光条，分别记为L1和L2，L1位于光平面π1内而L2位于光平面π2内，并且被测铆钉孔的孔心H与投影光条交点OS之间存在偏移。该方法的具体步骤如下。

（1）建立局部坐标系OS-XYZ

为了便于后续的推导与计算，首先建立局部坐标系OS-XYZ，如图4所示，其原点OS位于L1与L2的交点处，Z轴为两个光平面π1和π2之间的交线，X轴与光平面π2垂直，而Y轴与光平面π1垂直。因此，XOSZ平面即为光平面π1，YOSZ平面即为光平面π2。

（2）确定孔心H的等效投影点HX和HY

在世界坐标系OW-XWYWZW中，两个投影光条L1和L2的空间位置已知，对于铆钉孔的孔心H，过H作一平面与光平面π2平行，该平面与L1相交于HX，则HX即为孔心H在XOSZ平面上的等效投影点；再过H做另一平面与光平面π1平行，该平面与L2相交于HY，则HY即为孔心H在YOSZ平面上的等效投影点。由于飞机蒙皮表面为光顺的空间连续曲面，并且在局部小范围内可以通过一定的3D曲面方程进行解析与重构，因而在误差允许范围内，L1和L2的参数方程可以在一定程度上表征出蒙皮曲面的变化规律。

（3）计算HX和HY的三维坐标

在摄像机所采集到的包含十字投影光条与铆钉孔的图像上进行类似操作，如图5所示。为了便于表达，三维空间中的投影光条分别用L1和L2来表示，而二者在摄像机成像平面上的像也用L1和L2来表示。在图4和图5中，oS即为OS的像点，而h为H的像点；Y轴在成像平面上映射为该图像中光条L2在oS处的切线q2，X轴在成像平面上映射为光条L1在oS处的切线q1。在图像中，过h作与切线q2平行的直线，与L1相交于点h1，再过h作与切线q1平行的直线，与L2相交于点h2。根据透视成像原理，h1即为HX的像点，而h2即为HY的像点。

因此，在图像像素坐标系o-uv中，通过识别和提取出投影光条L1和L2的中心线坐标以及像点h的坐标，可以进一步解算出交点oS的图像坐标以及切线q1和q2的方程，进而基于这些数据计算出h1和h2的图像坐标。由于h1和h2分别位于光条L1和L2上，因而根据式（1）可以解算得到与之对应的HX和HY的三维坐标，分别表示为（XHX， YHX， ZHX）和（XHY， YHY， ZHY）。

3试验过程与结果

为了验证所搭建的十字线结构光视觉传感器在铆钉孔定位方面的可行性和有效性，本文选取一个具有一定表面曲率的飞机蒙皮模拟样件作为被测物，应用该系统对分布于其外表面上多个铆钉孔开展孔位参数的检测试验，试验现场如图6所示。

在试验过程中，由摄像机采集到的同时包含十字投影光条和铆钉孔的图像如图7所示，通过图像处理分割出其中的十字投影光条和铆钉孔特征，如图8所示，并进一步识别并提取出光条中心线L1、L2与每个铆钉孔的孔心，分别如图9和图10所示。

首先，根据单目成像模型、参数标定结果和本文所提出的方法，对模拟样件上的1号铆钉孔的孔心三维坐标连续进行了10次重复性测量，以验证系统的重复性检测精度，试验结果见表1。

从表1中可以看出，对于该铆钉孔来说，XW、YW和ZW的测量结果的平均值分别为-12.743mm、55.525mm和4.961mm，标准差分别为0.017mm、0.019mm和0.017mm，则单次测量的极限误差（置信系数取3）分别为±0.051mm、±0.057mm和±0.051mm。根据机器人自动铆接系统对于插钉姿态调整的需求，该系统在检测铆钉孔的位置方面所能达到的重复性精度水平可以满足使用要求。

然后，对摄像机视野范围内的13个铆钉孔的孔心三维坐标逐一进行检测，结果见表2。

从表2中可以看出，本文所设计和搭建的十字线结构光视觉传感器，能够很好地适应铆釘孔的外形特征（浅圆柱通孔）和尺度大小（？2～10mm），可以同时实现多个铆钉孔的定位检测，这样就能够减少机器人的移动而提高检测效率。

因此，该检测系统是对飞机蒙皮铆钉孔的方位检测难题而开展的一次积极探索，可以为实现蒙皮铆接过程中的在线、实时伺服插钉提供一项检测技术支撑。该项技术采用非接触式的检测手段获取工业相机视野范围内的全部铆钉孔的孔心坐标，而且传感器具有体积小、重量轻和成本低等优点，适于作为前端传感器集成于自动铆接系统的末端执行器上，在铆钉插入前将铆钉孔的空间位置信息反馈给控制系统，从而为蒙皮类零件、大型骨架、壁板和机身结构件等在自动铆接过程中的插钉入孔环节提供“参考”。

4结论

为了实现蒙皮上铆钉孔特征的空间位置检测，本文基于结构光三维视觉原理，搭建出了一套十字线结构光视觉传感器，可以将十字投影光条上的采样点的二维图像坐标转化为相应的三维空间坐标。在应用过程中，对于摄像机视野范围内的多个铆钉孔特征，提出了应用孔心的两个等效投影点的空间坐标而合成出其空间坐标的方法，从而完成被测铆钉孔的定位任务。应用该传感器对飞机蒙皮模拟样件上的铆钉孔坐标（XW，YW，ZW）进行测量试验，并分析系统的重复性测量精度，各个坐标分量的单次测量极限误差均≤±0.06mm，而且能够很好地适应铆钉孔的外形特征和尺度大小，可以同时实现多个铆钉孔的定位检测，从而验证了该传感器的可行性及有效性。

参考文献

[1]董一巍，李晓林，赵奇.大型飞机研制中的若干数字化智能装配技术[J].航空制造技术，2016（1/2）：58-63. Dong Yiwei， Li Xiaolin， Zhao Qi. Approach to the intelligent digital assembly process for large aircraft and its related key technologies [J]. Aeronautical Manufacturing Technology， 2016（1/2）： 58-63. （in Chinese）

[2]高明辉，张杨，张少擎，等.工业机器人自动钻铆集成控制技术[J].航空制造技术，2013（20）：74-76. Gao Minghui， Zhang Yang， Zhang Shaoqing， et al. Integrated control technology of automated fastening with industry robot[J]. Aeronautical Manufacturing Technology， 2013（20）： 74-76.（in Chinese）

[3]齐振超，张开富，李原，等.大型壁板自动钻铆定位误差分析与优化[J].航空学报，2015，36（10）：3439-3449. Qi Zhenchao， Zhang Kaifu， Li Yuan， et al. Analysis and optimization for locating errors of large wing panel during automatic drilling and riveting [J]. Acta Aeronautica et Astronautica Sinica， 2015， 36（10）： 3439-3449. （in Chinese）

[4]苏同标.基于孔位检测的自动钻铆系统插钉技术的研究[D].沈阳：东北大学，2014. Su Tongbiao. Automatic drilling and riveting system sprigging technology research based on hole location detection [D]. Shenyang： Northeastern University， 2014. （in Chinese）

[5]谢松乐，谌永祥，游秋香.铆接机自动送料装置视觉定位系统设计[J].机械设计与制造，2018（11）：131-134. Xie Songle， Chen Yongxiang， You Qiuxiang. Design of visual positioning system for automatic feeding device of riveting machine [J]. Machinery Design & Manufacture， 2018（11）： 131-134. （in Chinese）

[6]勾江洋，陈雪梅，叶楠，等.飞机零部件连接孔在机视觉检测系统开发[J].航空制造技术，2018，61（5）：37-43. Gou Jiangyang， Chen Xuemei， Ye Nan， et al. Development of on-machine vision inspection system for connection holes on aircraft parts [J]. Aeronautical Manufacturing Technology， 2018， 61（5）： 37-43. （in Chinese）

[7]Tian Wei，Zhou Weixue，Zhou Wei，et al. Auto-normalization algorithm for robotic precision drilling system in aircraft component assembly[J]. Chinese Journal of Aeronautics，2013，26（2）：495-500.

[8]李鵬，薛应举.连接板厚度对沉头铆钉连接强度的影响分析[J].航空科学技术，2019，30（8）：35-40. Li Peng， Xue Yingju. Analysis of the influence of connecting plate thickness on joint strength of countersunk rivet [J]. Aeronautical Science & Technology， 2019， 30（8）： 35-40. （in Chinese）

[9]薛其伟，田威，石章虎，等.基于激光跟踪仪的自动钻铆系统坐标系建立技术[J].航空精密制造技术，2019，55（1）：10-14. Xue Qiwei， Tian Wei， Shi Zhanghu， et al. Establishment method of coordinate system based on laser tracker for automatic drilling and riveting system [J]. Aviation Precision Manufacturing Technology， 2019， 55（1）： 10-14. （in Chinese）

[10]Zhang Liguo，Sun Jianguo，Yin Guisheng，et al. A cross structured light sensor and stripe segmentation method for visual tracking of a wall climbing robot[J]. Sensors，2015，15：13725-13751.

[11]周京博，李玥华，秦志英，等.基于参考靶标的线结构光传感器标定[J].光学学报，2019，39（4）：0412005. Zhou Jingbo， Li Yuehua， Qin Zhiying， et al. Calibration of line structured light sensor based on reference target [J]. Acta Optica Sinica， 2019， 39（4）： 0412005. （in Chinese）

[12]毕超，郝雪.基于结构光视觉的钻孔点位法矢检测技术研究[J].航天制造技术，2020，26（18）：2456-2465. Bi Chao， Hao Xue. Study on normal vector inspection at drilling positionbasedonstructuredlightvision[J]. Aerospace Manufacturing Technology， 2020， 26（18）： 2456-2465. （in Chinese）

[13]冯志刚，李泷杲，熊天辰，等.工业机器人视觉定位系统的实现[J].航空科学技术，2018，29（6）：48-53. Feng Zhigang， Li Shuanggao， Xiong Tianchen， et al. Implementation of visual location system for industrial robot [J]. Aeronautical Science & Technology， 2018， 29（6）： 48-53. （in Chinese）

[14]韦溟，张丽艳.机器人自动钻铆系统的现场快速自定位方法[J].仪器仪表学报，2020，41（6）：66-75. Wei Ming， Zhang Liyan. Fast on-site self-positioning method for robot automatic drilling and riveting system [J]. Chinese Journal of Scientific Instruments， 2020， 41（6）： 66-75. （in Chinese）

（責任编辑余培红）

作者简介

毕超（1987-）男，硕士，高级工程师。主要研究方向：精密测试技术及仪器。

Tel：18519777805

E-mail：773721278@qq.com

郝雪（1991-）女，硕士，工程师。主要研究方向：精密测量技术、机器视觉测量与算法。

E-mail：1548525747@qq.com

周鹏（1996-）男，硕士研究生。主要研究方向：机器视觉测量与算法。

E-mail：1142285223@qq.com

杨辉（1967-）男，博士，研究员。主要研究方向：超精密加工机理、超精密加工工艺、超精密加工设备基础元部件及其集成技术。

E-mail：yanghui303@gmail.com

Study on Position Inspection Technology for Rivet Holes Based on Cross Structured Light

Bi Chao*，Hao Xue，Zhou Peng，Yang Hui

Aviation Key Laboratory of Science and Technology on Precision Manufacturing Technology，Beijing Precision Engineering Institute for Aircraft Industry，Beijing 100076，China

Abstract： Deal with the position inspection difficulties of rivet holes in the procedure of automatic drilling and riveting， a vision sensor based on cross structured light was built up by industrial CCD， lens， cross semiconductor laser and fixture， etc.. The mapping relationship between the 2D image coordinates and the 3D spatial coordinates of the sample points on the cross projection strips were determined by establishment of the monocular imaging model of the sensor and calibration of its internal and external parameters. During the application， for the rivet holes within the field of view of the industrial CCD， a 3D coordinates composition method of their centers by the 3D coordinates of their equivalent projection points was proposed in the paper， which could be used to realize the position inspection assignment of the measured rivet hole. As the experiment results showes， the limit errors of single measurement of spatial coordinates of the rivet holes， i.e. XW， YWand ZW， are all smaller than±0.06mm. Therefore， the repeatability accuracy in position inspection for rivet holes of the sensor can meet the applying requirements.

Key Words： position inspection； rivet holes； automatic drilling and riveting； structured light vision