机身壁板铆接孔双目视觉定位方法设计

鲁墨武，张诚然，姜春英，叶长龙

（沈阳航空航天大学，沈阳 110000）

0 引言

自动钻铆技术提高了航空铆接装配的加工质量和产品一致性，并改善了工人工作环境。其中铆接孔定位误差对钻铆质量具有较大影响，位误差来源主要分为两方面，其一为壁板本身和定位工装自身存在制造、变型引起的整体偏差；其二壁板尺寸大、刚度小，变形量较大，导致实际施铆点与理论施铆点位置偏移[1]。为降低此类误差影响，可以从建模角度对装配偏差预测，如采用刚柔混合建模方法[2]。但由于施铆过程连续受外力影响，壁板装配变型规律复杂，传统装配定位难以满足需求。另一方面，工件的在线检测成为修正误差的主要方式，如采用激光跟踪仪[3]、三维激光扫描仪[4,5]、激光位移传感器[6]等定位和检测方法。其中机器视觉检测灵活高效，适合大量特征的快速在线测量，如：视觉引导机器人多种工件柔性拾取与放置[7]，机器视觉微小孔轴零件的精密装配[8]，零件二维尺寸在线检测[9]等。本文采用双目视觉检测方法对航空壁板上的铆接孔位进行在线检测。

1 目标特征提取

目标特征提取中，图像分割方法如最大类间方差阈值分割方法[10]、模糊遗传分割算法[11]等，均要求良好打光环境；改进主动轮廓分割模型方法准确性高[12]，但计算效率较低。而对于飞机壁板铆接孔的特征提取主要面临以下两个问题：1）飞机壁板多为曲面，且尺寸较大，现场环境打光一致性较差，单一的阈值处理难以得到完整的感兴趣区；2）外界干扰及噪声影响，孔边缘轮廓的准确获取较为困难，单纯提高图像质量的方法成本较高。

1.1 改进区域生长法

区域生长法内容包括三部分，种子像素的选取，迭代生长的条件，生长终止条件。算法的研究主要集中在种子的选取和种子生长策略问题上[13,14]。其中，初始种子点、判别条件和终止条件定义如下：

初始种子点：待检测区域的边界；

判别条件：1）邻域点灰度值与当前种子灰度值相差的绝对值不大于阈值；2）此点不曾是种子；

终止条件：栈中无种子。

由于上述判别条件阈值难以控制，存在种子未到达边界就停止生长或者越过边界覆盖目标情况，为了改善这一现象，本文采用方法是加入比较局部均方差的判别条件。如图1所示窗口在前景和背景区域移动时，其内像素灰度值的均方差产生变化，变化规律如图2所示，窗口的中心位于前景与背景的边界上时均方差最大。

图1 窗口中心位于边缘上

图2 均方差值与窗口位置关系

对于直线或近似直线边缘，通过均方差判别结果较好。实验表明，窗口尺寸在3×3像素到9×9像素时具有较好效果，并且随着窗口尺寸的增大，结果并无明显改善。由于噪声的影响，依靠局部均方差判别边界时若窗口未接触目标区域边界，生长易陷入局部极值而停止。为改善这一现象，判别条件设定如下：

1）邻域点灰度值等于当前种子灰度值，邻域点局部均方差大于或等于当前种子局部均方差；

2）此点不曾是种子。

实验使用大小为7×7矩形窗口，被检测图像尺寸为46×57像素，如图3所示，图中外圈为传统区域生长结果，取判别条件的阈值为2；内圈为改进判别条件的生长结果，明显后者更接近圆孔在图像上的实际边缘。

图3 窗口在图像区域不同位置

比较本方法与OSTU阈值分割、Canny边缘检测结果如表1所示，检测目标为如图4所示铆接壁板。壁板尺寸为300mm×600mm，壁板上铆接孔直径为4mm，图像尺寸为1470×1198像素。结果如表1所示，其中Canny和本文算法均不存在漏检，但Canny边缘检测存在如图5所示残缺边缘现象。

表1 Q边缘检测结果

图4 铆接壁板样件

图5 部分Canny边缘检测结果

综上所述，区域生长法的优势在于对曲面打光不均匀敏感度低；检测结果均为闭合轮廓，更接近实际情况；同时结合局部均方差的判别条件，改进区域生长法的结果较传统方法更接近实际边缘。

1.2 特征参数拟合

由于壁板的曲面平滑，铆接孔相对壁板较小，将铆接孔和其周围区域视为平面，另一方面由于大部分圆孔为倾斜拍摄，且目标深度远小于物距，其几何轮廓可以被视为椭圆[15]。椭圆参数方程通过最小二乘法拟合获得，参数包括椭圆的中心坐标C(X,Y)，椭圆长轴a，椭圆短轴b和椭圆长轴与水平轴夹角θ，如式(1)所示。

2 铆接孔位置和姿态计算

2.1 铆接孔位置计算

铆接孔位置通过视差法计算，特征提取方法在上一章完成，标定方法使用张正友标定法[16]。标定结果包含三部分，相机内参、畸变系数和相机外参。其中相机内参表示了图像坐标系与世界坐标系的变换关系，畸变系数用于修正透镜产生的图像扭曲变形，相机外参描述了左目和右目相机之间的位置关系，图像矫正过程如图6所示。

图6 图像矫正过程

依据矫正结果，给出反投矩阵Q定义如式(2)所示，其中(cx,cy)表示左目相机图像经过矫正后，其主光轴的在图像坐标系上的位置；(cx',cy')表示右目相机图像经过矫正后，其主光轴的在图像坐标系上的位置；f为矫正后左目相机焦距；Tx为左目相机到右目相机坐标系的水平平移分量。由于图像经过矫正，则cx-cx'=0。

式(3)利用Q矩阵通过视差法计算目标点世界坐标系位置，对于世界坐标系上某点在左目图像位置(x,y)和对应右目图像位置(x',y')，有d=x-x'，代入式(3)则当前点对应左目相机坐标系位置为(X/W,Y/M,Z/M)。

2.2 铆接孔姿态计算

铆接孔姿态计算方法借助圆孔在像平面投影求得，对于左目图像，任意铆接孔所在平面与像平面的姿态变换过程可表示为如图7所示，其中沿水平方向旋转角度为α，沿竖直方向旋转角度为β，旋转方向符合右手定则。α与β的大小可以由图像上的椭圆参数计算得到，如图8所示，其中α为椭圆半长轴长度，θ为椭圆转角，h为椭圆最高点，w为椭圆在X轴正方向的交点，椭圆参数方程可由上一章得到。则α与β满足式(4)和式

图7 铆接孔所在平面与像平面的姿态变换过程

图8 椭圆的几何参数

(5)结果。

对于左目相机坐标系，圆孔所在平面的法方向由α角与β角表示，如式(5)所示。

从单一图像计算α与β角总存在两个解。解决方法是通过视差法求出图8中表示的椭圆的最高点A和椭圆与X轴的左侧交点B在世界坐标系上的位置，比较A点、B点和椭圆中心点的位置关系确定α与β的正负关系。

3 实验与结论

实验相机采用500万像素CMOS相机，镜头为25毫米定焦镜头，左右目相机姿态如图9所示。所用标定板为10×10棋盘标定板，棋盘格尺寸为边长25毫米正方形，精度为20微米。测试样板开有不同直径圆孔，如图10所示。

图9 双目相机姿态

图10 测试样本图

表2为双目标定求得的Q矩阵参数。以每组圆孔的第一个孔为基准，图11为6毫米圆孔相对于基准定位误差在坐标轴分量的统计结果。图12为6毫米圆孔在不同姿态下检测的方向值，共检测4组姿态，以第一组为0度姿态，而后分别翻转10度、20度、30度得到与0度姿态方向的变化量。图13为圆孔尺寸和位置误差的关系曲线，图14为圆孔尺寸和角度误差的关系曲线。

表2 Q矩阵计算结果

图11 圆孔位置误差分量统计

图12 圆孔的孔方向统计

图13 位置误差与圆孔直径关系

图14 角度误差与圆孔尺寸关系

已知某机型机身壁板铆接工艺要求如表3和图15所示，表3规定了铆接孔轴配合关系，图15规定了铆钉镦头与铆接件表面平行度要求。结合上述结论，对于直径8mm以上铆接孔，上述条件下检测精度满足机身壁板铆接孔定位需求，通过相机标定参数得知当前视觉系统分辨力为0.1109mm/像素。

为满足更小铆接孔定位需求，在不改变视觉系统硬件条件的情况下，通过缩小视场提高分辨力。对直径4mm圆孔进行测试，结果如图16和图17所示。当分辨力为0.0609mm/像素时，上述视觉系统结合定位方法能够满足4mm以上机身壁板铆接孔的定位需求。对于更小铆接孔，由于制孔误差影响，铆接孔圆度误差较大，方法难以保证铆接孔检测精度，在此不做讨论。

表3 铆钉孔径极限偏差

图15 铆钉镦头与铆接件表面平行度要求

图16 位置误差与视觉系统分辨力关系

图17 姿态误差与视觉系统分辨力关系

【】【】

[1]齐振超,张开富,李原,等.大型壁板自动钻铆定位误差分析与优化[J].航空学报,2015,36(10):3439-3449.

[2]靳思源,沈利冰,金隼,等.飞机壁板件装配偏差的刚柔混合建模方法与应用[J].机械设计与研究,2013,29(3):58-61.

[3]Yu C, Jin Z, Ke Y, et al. A robot assisted assembly system for small components in aircraft assembly[J].Industrial Robot,2014,41(5):413-420.

[4]Lee K H, Park H, Son S.A Framework for Laser Scan Planning of Freeform Surfaces[J].The International Journal of Advanced Manufacturing Technology,2001,17(3):171-180.

[5]Song T, Xi F, Guo S, et al. A Comparison Study of Algorithms for Surface Normal Determination Based on Point Cloud Data[J].Precision Engineering,2014,39:47-55.

[6]公茂震,袁培江,王田苗,等.航空制孔机器人末端垂直度智能调节方法[J].北京航空航天大学学报,2012,38(10):1400-1404.

[7]Nerakae P, Uangpairoj P,Chamniprasart K. Using Machine Vision for Flexible Automatic Assembly System[J].Procedia Computer Science,2016,96:428-435.

[8]Luo Y, Wei W, Wang X. Research for hole-peg assembly based on machine vision and flexible mechanism[A].International Conference on Mechanic Automation and Control Engineering.IEEE[C],2010:5326-5330.

[9]曾涛,石庚辰,张兵,等.基于工业相机的微零件二维尺寸在线检测方法[J].探测与控制学报,2011,33(5):20-23.

[10]张宇,黄亚博,焦建彬.一种基于机器视觉的圆型零件检测技术[J].计算机工程,2008,34(19):185-186.

[11]吴德刚,赵利平.基于机器视觉的圆孔尺寸测量系统研究[J].应用光学,2013,34(6):1014-1018.

[12]冷大炜.基于单目视觉的三维刚体目标测量技术研究[D].清华大学,2011.

[13]Li G, Wan Y. Adaptive Seeded Region Growing for Image Segmentation Based on Edge Detection, Texture Extraction and Cloud Model[A].International Conference[C].DBLP,2010:285-292.

[14]魏津瑜,施鹤南,苏思沁.基于改进算法的自动种子区域生长图像分割[J].中南大学学报(自然科学版),2013(52):308-312.

[15]Alvarez L, Salgado A, Sánchez J. Robust detection and ordering of ellipses on a calibration pattern[J].Pattern Recognition and Image Analysis,2007,17(4):508-522.

[16]Zhang Z. A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(11):1330-1334.