基于旋转视觉的三维姿态重构方法及精度分析

2021-08-04邝泳聪董亦飞

计算机测量与控制 2021年7期

邝泳聪,董亦飞

(华南理工大学机械与汽车工程学院，广州 510640)

0 引言

插件机是将针脚类电子元件插装到印刷电路板的精密组装设备,随着工业技术的发展，越来越多的电子元器件组装需要自动化来完成[1-2]。目前异型插件机所用的底部视觉系统，当元件底部颜色浅或者反光较强时，难以区分元件本体和针脚，这影响了异型元件的插件成功率。本文的旋转视觉系统通过转动元件，从不同角度获取针脚的侧面背光图像，解决了针脚图像提取的可靠性问题[3]。面对越来越精密化的工作环境，为了进一步提高精度及效率，针对三维姿态重构方法及精度的研究势在必行。

旋转视觉可看作是由单摄像机视觉加上精密旋转平台组成，如果保持摄像机与针脚的相对位置不变的前提下转动摄像机，旋转视觉可等价于一个双目视觉或多视图立体视觉系统。旋转视觉常用于转轴的标定[4]以及激光扫描表面轮廓重构[5]，一般形式为单目/双目加转台，文献[4]采用多个激光旋转扫描的方法进一步提高了标定的精度，文献[5]采用双目加旋转台的重构方法自动生成目标三维模型，基恩士[6]基于单摄像机加双结构光加转台的方法已对高精度三维扫描测量仪实现量产。基于单目的旋转视觉相较于传统双目视觉有旋转无需重新标定、简单紧凑等优点，但对旋转精度要求较高。对插件机而言，针脚的定位精度是异型元件自动插件的关键，针对旋转视觉的精度研究具有很强的现实意义。从重建模型入手，Leung等[7]改进了双目视觉系统的三维重建方法以提高精度。从结构、测量参数入手，文献[8]分析了摄像机基线距离等与测量精度关系以改善精度；文献[9-10]通过建立误差传递模型分析系统重要参数对测量系统精度的影响；文献[11]分析了结构参数对测量精度的影响。从提高系统内外参数标定精度的角度，文献[12-13]通过建立的视觉测量系统数学模型，得到各参数对测量系统定位误差的影响大小；文献[14]从标定算法模型入手，使姿态角求解仅与相机内参和特征点图像坐标相关，并在此基础上建立误差分析模型。上述针对精度的分析方法都是以某个特定的位姿或坐标点进行精度分析，然而当点的位姿不同时误差评价的结果可能也会随之改变，例如在某些姿态下获取的图像可能会引入很大的图像提取误差，这种误差对位姿估算精度的影响采用先进的最优化算法也难以弥补。同时由于像元的空间离散误差，双目视觉两个摄像机的匹配图像点对，经透射反投影到三维物空间后不再是同一个点而是一个区域，这个区域就是因为像元离散误差导致的测量不确定度[15-17]。对于这一误差，文献[18]提出了一种评价方法，并建立误差评价模型；文献[19]通过建立了位姿估计目标函数提高了位姿估算精度。

旋转视觉可看作是由单摄像机视觉加上精密旋转平台组成，如果保持摄像机与针脚的相对位置不变的前提下转动摄像机，旋转视觉可等价于一个双目视觉[20]或多视图立体视觉系统。实验室前期研究发现，在某些旋转角度测量针脚位姿时其误差会很大。旋转视觉的研究起步晚，系统设计优化和使用等方面缺乏理论指导，实验试凑效率低且难以保证较优的精度，针对上述问题，本文建立了元件针脚从世界坐标系到图像坐标系的投影参数模型，在此基础上提出了从图像信息重构针脚三维位姿的代数重构方法和三角重构方法；通过理论分析和仿真，推导并验证了图像离散误差、旋转轴精度、像素分辨率、镜头焦距、旋转半径和针脚高度等关键部件和参数对针脚位姿测量精度影响的分析方法；借助于等价双目视觉的三角分析法，找到了在某些角度位置下针脚位姿测量精度发生异常的原因和规律。本文的研究为高精度旋转视觉的设计选型、优化和高效使用提供了指导理论。

1 旋转视觉的参数模型

1.1 系统构成与坐标系说明

旋转视觉针脚测量系统的结构如图1所示，包括摄像机、镜头、背光源、旋转轴和升降轴。旋转轴末端的气爪或吸嘴固定住电子元件，测量时摄像机固定不动，光源从背面照亮元件针脚末端，通过旋转轴旋转获取针脚不同角度的侧面图像。

图1 旋转视觉测量系统结构

图2 旋转立体视觉成像原理图

1.2 系统参数模型

1)摄像机坐标系到图像坐标系的转换:

为了兼顾测量精度和轻量化，图1系统采用的是工业摄像机和普通工业镜头，其透射成像模型符合针孔摄像机模型。考虑到针脚位姿测量应用的视场小、工业镜头畸变较少且图像畸变可以通过标定独立校正等因素，本文假设已消除镜头畸变；由于工业摄像机图像芯片较大且加工工艺更严格，因此也假设x方向和y方向的像素物理尺寸一致，芯片阵列的扭曲为零。

(1)

2)世界坐标系到摄像机坐标系的转换:

如前文所述，世界坐标系是摄像机坐标系在xOCy平面上作纯平移运动形成的，则世界坐标系到摄像机坐标系的转换关系为：

(2)

3)旋转轴坐标系到摄像机坐标系的转换:

旋转轴坐标系原点OR与世界坐标系原点OW重合，则旋转轴坐标系与世界坐标系只存在旋转转换，用β和α表达这种转换，记轴YR与YW轴之间夹角为β，平面YROWYW与ZW轴的夹角记为α。则旋转轴坐标系到世界坐标系的转换关系为：

(3)

4)旋转轴坐标系到图像坐标系的转换:

结合式(1)、(2)和(3)，可得目标点Pi在旋转轴坐标系的坐标与图像坐标系的转换关系：

(4)

其中:IMR表示从旋转轴坐标系到图像坐标系的转换矩阵。IMC是单摄像机视觉的内参数矩阵，CMW和WMR属于外参数矩阵，这些矩阵参数可以提前通过视觉标定得到。

2 位姿重构方法

前期研究主要基于标定参数模型实现针脚位姿重构(简称代数重构法)，代数法方法模型简洁，但用于图像信息重构目标位姿时，不能提供易于理解的直观描述，也不便于应用现有双目视觉的最新研究成果，因此在基于式(4)参数模型的代数分析法基础上，提出了基于等价双目视觉的三角重构法。

2.1 代数重构法

(5)

(6)

(7)

其中:X2=ui+1-u0，Y2=vi+1-v0，h31=(ui+1-u0)sinαcosβcosθK+(ui+1-u0)cosαsinθK+f(cosαcosβcosθK-sinαsinθK)，h32=-fcosαsinβ-(ui+1-u0)sinαsinβ,h33=(ui+1-u0)sinαcosβsinθK-(ui+1-u0)cosαcosθK+f(cosαcosβsinθK+sinαcosθK),h41=fsinβcosθK+(vi+1-v0)sinαcosβcosθK+(vi+1-v0)cosαsinθK,h42=fcosβ-(vi+1-v0)sinαsinβ,h43=fsinβsinθK-(vi+1-v0)cosαcosθK+(vi+1-v0)sinαcosβsinθK。

(8)

其中:X1=ui-u0，Y2=vi-v0，h11=fcosαcosβ+(ui-u0)sinαcosβ，h12=-fcosαsinβ-(ui-u0)sinαsinβ,h13=fsinα-(ui-u0)cosα,h21=fsinβ+(vi-v0)sinαcosβ,h22=fcosβ-(vi-v0)sinαsinβ,h23=-(vi-v0)cosα。

由于噪声、离散误差等原因，图像投影不可避免存在误差，实际应用中通常获取多个不同位置的图像投影坐标，从而提高目标点Pi的空间坐标估算精度。通过旋转轴将元件针脚转到k个不同角度位置获取图像投影坐标，根据式(7)可得到 2*k个线性方程组成的超定方程组，写成矩阵形式，得到针脚末端三维重构模型：

(9)

2.2 三角重构法

图3 等价双目视觉示意图

由于镜头畸变和图像离散误差等原因导致的不确定性，实际应用中两投影射线一般不相交，应用双目/多目视觉的优化重构算法可获得最优解。按上述方法通过多次成像，也可以构成等价多目视觉，提高位姿估算精度。

实施三角法时，先要将X1、X2和摄像机光心OC从图像坐标系和相机坐标系统一变换到旋转轴坐标系。由式(6)可得图像坐标系到旋转轴坐标系的转换关系：

(10)

由式(2)和(3)得到摄像机坐标系到旋转轴坐标系的转换关系：

(11)

3 旋转视觉的误差分析

误差分析的基本方法是通过搭建误差与目标参数的模型[7-10]。本文的旋转视觉由单摄像机加上目标对象的精密旋转组成，旋转视觉的工作距离、视场大小、精度通常由具体的应用场景决定，但其它参数如取像角度位置、取像次数、旋转精度、摄像机分辨率、旋转半径、取像高度等，取决于其对总体精度的影响，由式(9)可知，三维重构主要与图像投影坐标信息、结构参数、旋转抽精度和测量参数有关。结构参数的误差主要源于系统标定，引起的误差属于系统误差；篇幅关系，本文主要从以下几个方面进行误差分析：①代数重构法和三角重构法的图像离散误差与针脚位姿估算误差关系；②旋转角度精度以及旋转轴径向跳动误差与图像提取误差关系；③旋转半径、焦距、摄像机分辨率、取像高度对精度的影响。

3.1 图像坐标提取误差与针脚位姿估算误差关系

图像坐标提取误差主要来源于像元离散化带来的误差以及噪声等因素带来的误差[11]，图像点坐标是计算机可读取的直接参数，图像点坐标的提取精度直接关系到位姿的估算精度。根据误差传递原理可定量分析图像点误差与针脚位姿估算误差的关系。

1)代数重构法

图4 旋转角度θi与图像投影的关系

(12)

(13)

由式(9)可得点Pi在旋转轴坐标系下坐标为：

(14)

当α=β=0时世界坐标系与旋转轴坐标系重合，本文的内容主要涉及图像坐标系与旋转轴坐标系之间的关系，因此这里统一用旋转轴坐标系表示。

(15)

2)三角重构法：

(16)

(17)

(18)

3.2 旋转轴精度与图像提取误差关系

旋转视觉依靠旋转轴将目标点转动到不同角度位置实现取像投影，位姿测量完成后，还要将元件旋转到插件角度再进行插件，因此旋转轴的精度对测量和插件精度至关重要。前文已分析过图像坐标误差与位姿估算误差的关系，因此本节只分析角度定位精度和径向跳动误差对图像提取误差的影响。

1)角度定位精度:

旋转角度定位误差的影响表现在，位姿估算模型使用的旋转角度为理想值θK，旋转轴实际转过的角度存在偏差δθK时，针脚实际到达的位置与估算位置有偏差。根据误差传递原理[21]，式(13)得到因角度定位误差引起的图像提取误差：

(19)

2)旋转轴径向跳动:

(20)

3.3 其他参数与针脚位姿估算精度关系

采用综合分析方法，将初始角度、旋转角与像素分辨率或镜头焦距组合分析，能更全面掌握这些关键系统参数对精度影响。分析旋转半径、焦距、像素分辨率对精度的影响可利用式(15)，通过旋转半径、焦距、像素分辨率的不同取值得到其对针脚位姿估算精度影响。

(21)

4 仿真实验与讨论

4.1 图像坐标提取误差与针脚位姿估算误差仿真与分析

1)代数重构法:

图5 (代数法)离散误差与位姿估算误差的三维图

在某些θ0θK范围，位姿估算误差出现运算极限值，为了更清楚看到误差与θ0θK的关系，图5中对超过0.2 mm的输出做了饱和处理，并对z轴显示限制在-0.2 mm～0.2 mm范围内，如图右侧的颜色条所示，图中颜色越深的区域，对应的误差越小，越趋向浅色表示误差越大，白色区域对应误差超过0.2 mm的输出。

2)三角重构法：

图7 三角法两条反投影射线夹角接近零的情形

(22)

式中,k=-1,0或1。r、Lz和f的取值变化时，这部分区域会相应改变。

图5中的几个误差极值点，在三角法分析的结果中同样存在，对应的是两次取像位置分别在0°(或360°)和180°，从式(13)可知，此时X1和X2方程都等于零，因此无法正常求解；而这种情况下等价双目视觉结构也无法构成三角测量，因此在这两个位置测量，确实会存在极大误差。

从图5和图 6可见，沿着初始角方向，精度最高的区域在旋转角为90°或-90°附近向两边扩散。也就是说两次取像的角度差异为 90°左右，才可能获得最优精度。沿着旋转角方向，精度最高的取像位置是初始角为135°和 225° 位置附近，两次都在这两位置，可达到的精度最高，因为这两位置离摄像机的图像平面距离近，图像分辨率高，因此精度高。

根据得到的图像坐标提取误差与针脚位姿估算误差的三维图，不同测量角度，估算精度相差较大，根据最小二乘拟合的研究成果[22],采用多个角度旋转拍照，用最小二乘法求解针脚位姿的超定方程组可获得更高的位姿估算精度。

4.2 旋转轴精度与图像坐标提取误差仿真与分析

1)角度定位精度：

旋转轴转角定位误差在±0.05°，仿真采用最大转角误差为0.1°,根据式(13)、(19)，其他参数与4.1相同，绘出角度定位精度与图像提取误差关系图，为便于观察图中y轴单位转换为像素。

图8 旋转角度误差与图像提取误差关系图

2)旋转轴径向跳动：

结合本文旋转轴的系统结构，正常径向跳动在10 μm以内，这里假定旋转半径误差为10 μm。根据式(13)、(21)，其他参数与4.1相同，绘出旋转半径与图像提取误差关系三维图如图9所示。

图9 旋转半径误差与图像提取误差关系图

如图9所示，在θi=90°+K*180°(K=1,2……)位置，半径误差造成的图像提取误差达到极大值；在θi=K*180°(K=1,2……)位置，半径误差造成的图像提取误差达到极小值。同时可看出5 μm的半径误差造成的图像提取误差最大在十分之一个像素左右。

4.3 其他参数与针脚位姿估算精度仿真与分析

根据前文分析结果，本小节的旋转角θK取值为90°，其他参数如无特别说明，与4.1相同。

1)旋转半径：

分析旋转半径对精度的影响是为了解决当元件的针脚很多时选取哪些针脚用来定位的问题。根据式(15)，根据式(12)，在焦距f=16 mm和f=50 mm两种情况下，分别取旋转半径r=5 mm、12 mm、20 mm、25 mm，绘出旋转半径与针脚位姿估算精度的关系图如图10所示。

图10 旋转半径对针脚位姿估算误差关系图

由图10(a)、(b)可知，相同焦距，旋转半径越大，初始角对精度影响越明显，这是由于随着旋转半径的增大针脚与摄像机距离的变化幅度在增大。在初始角为135°左右时误差最小，且随着半径的增大而减小。为对比分析不同焦距下半径变化对误差的影响，做表1。

表1 焦距对针脚位姿定位误差影响表 (mm*10-2)

如表1所示，以半径为25 mm为例，发现焦距为16 mm时的最大误差与最小误差差值为14.7 μm，焦距为50 mm时最大误差与最小误差差值为4.8 μm，其他半径下规律也是如此，由此可以得到结论为焦距增大时，相同的旋转半径在不同初始角的误差差异变小。

2)焦距:

图11 焦距对针脚位姿定位精度影响

如图11所示，当测量距离LZ随焦距改变时，其对精度影响在初始角不一样时表现出不同的趋势，在初始角为45°到225°时焦距与精度成反比，在其他角度时呈正比，且焦距越短精度的波动范围越大，这是由于焦距越短旋转半径对精度的影响越大。由于机械结构的限制，在应用于插件机的旋转视觉系统时，综合考虑选择焦距f=16 mm。

3)像素分辨率:

构成图像最小单位“像素”的大小就称为像素分辨率，视觉测量方法的精度很大程度上取决于摄像机的像素分辨率[24]。根据式(15)，选取市面上常用CCD的像素当量PixelSize，绘出像素尺寸针脚位姿估算精度的关系图如图12所示。

图12 像素尺寸对针脚位姿估算误差关系图

如图12所示，一共分析了5种不同的像素分辨率对针脚位姿估算误差的影响，图4～8(a)中用不同颜色的表面表示，从内到外像素分辨率的值从大到小不断递减，PixelSize分别为4.8 μm、3.45 μm、2.9 μm、2.4 μm、1.67 μm;图中可看出，随着像素分辨率的增加，表面向下移动膨胀，即针脚位姿的提取精度越来越高。

4)针脚测量高度：