立体视觉测量系统标定误差补偿

崔恩坤，滕艳青，刘佳伟

（1.中国电子科技集团公司第三十八研究所，安徽 合肥 230000；2.鲁南技师学院，山东 临沂 276000；3.中国人民解放军63618 部队，新疆 830000）

引言

近几年，随着工业自动化的发展，立体视觉系统在工业测量领域得到了广泛应用。双目视觉测量系统结构简单并能够实现非接触3D 重构，是一种重要的三维测量手段。双目视觉直接模拟人眼视觉结构感知三维世界，提取物体的三维信息[1]。高精度参数标定是保证视觉测量系统测量精度的重要前提，制约参数标定精度的主要因素有特征点提取误差、探测器量化和图像噪声等[2-6]，代表性的处理方法是利用光束法平差进行优化，但是依然无法完全消除系统误差[7-12]。

光学系统相机装调误差一方面导致相机畸变的复杂性[13]，另一方面破坏光学系统的光轴一致性。前者导致外参数标定结果恶化，后者则可能在靶标外参中引入空间位置变化量，与相机模型理论相悖[14-15]。另外，相机模型内外参数之间存在的耦合作用也可能导致标定得到的物像对应关系与真实的对应关系不符。在高精度标定算法中通常会考虑抑制参数耦合，但是对耦合作用的抑制效果有限[15]。相机模型参数耦合将导致多组结果求平均的方法效果欠佳。由以上分析可以看出，在高精度测量中有必要对标定误差进行补偿，如GENOVESE K 提出一种不基于相机模型的优化方法[16]对标定误差和畸变进行局部补偿。

在标定过程中，相机的外参数作为辅助量参与标定，并与系统固有参数共同作用达到对相机的最佳拟合。在测量时，通常又将相机坐标系设置为测量坐标系，该处理方式也可能引入系统误差。鉴于以上考虑，本文提出一种双目系统优化方法，在标定之后进行一次系统优化，在相机坐标系中将物点做位置变换，在新的位置上满足标定参数建立的双目视觉系统物象关系，从而对标定误差补偿，在局部进行优化建立优化查找表[16]。本文对优化方法进行了详尽的阐述，并进行了实验分析。

1 双目视觉系统model-based 优化方法

1.1 双目视觉系统模型

双目视觉系统由2个相机构成，定义 (Rs,Ts)为双目视觉系统的结构参数，Rs和Ts分别表示由左相机坐标系转换到右相机坐标系的旋转矩阵和平移向量。假设物坐标为MW，对应在左右相机成像为ml和mr，如果将左相机坐标系设置为测量坐标系，那么双目视觉测量系统模型表示如下式中：I为单位矩阵；表示物点齐次坐标；和分别表示左右图像的齐次坐标；λ1和λ2为缩放因子；(Rs,Ts)可以由左右相机的外参数表示

式中：Rl和Rr分别表示左右相机的旋转矩阵；Tl和Tr分别表示左右相机的平移向量，双目视觉系统标定指对系统固有参数估计，即 (Al,Ar)和(Rs,Ts)，相机外参数 (Rl,Tl)和(Rr,Tr)作为辅助量参与标定过程。

1.2 双目视觉系统参数标定误差补偿

当结构参数存在标定误差时，结构参数表征的相机投影中心和像面的位置姿态与相机的真实投影中心和像面之间存在偏差。假设结构参数存在误差，记为(R′s,Ts′)，该误差只导致左相机的位置姿态发生变化，右相机的位置不变，如图1所示。

图1 参数（Rs,Ts）的标定误差补偿示意图Fig.1 Schematic of calibration error compensation for(Rs,Ts)

图中L和R分别表示左右相机真实的位置，平面π位于P1，其上的点集Miw（i=1,2…N）在左右相机上的真实图像为ml和mr。(R′s,Ts′)表征的左相机位于L′处，因此相当于利用L′和R两个位置的相机进行三维重构，表示如下

式中：AL′表示左相机在L′处成像，左相机的图像信息和投影过程不匹配。WANG Zhenzhou[17]证明一个平面上的点M(xi,yi,zi)分别与2个投影中心相连得到2组不同的光束，被2个平面截取得到2幅图像和M1′与M2′之间存在转换矩阵A，表示如下

如果左相机位于L′处，Miw经左相机成像为m′l，由（4）式可以知道m′

l和ml可以相互转换。假设转换矩阵为Am，则m′l和ml之间的转换表示如下

将（5）式带入（3）式，三维重构模型修正为如下形式

转换关系式（6）是在像空间进行的。由图1可以看出来，如果左相机位于L′处，对平面π进行位置转移，可以找到一个位置使得移动后的平面π在左相机的像与ml相同。假设平面π位于P2处满足上述要求，则左相机位于L和L′两个位置的成像可以分别表示为（7）式和（8）式

式中：和A′L本 身的数值相同；(∆R,∆T)是位置变换量，表示平面π 由P1转换到P2。联立（5）式和（7）式可以得到如下关系式

令[M]4×4=AmAL′[∆R,∆T]，将其转换成以下形式

式中：(∆R′,∆T′)即为补偿矩阵，由此可以将像空间转换Am变为左相机的物空间位置变化，因此可以用位置变换 (∆R′,∆T′)补 偿 (Rs,Ts)的误差。

2 建立代价方程

共线几何约束关系[18]表明物、投影中心和匹配像对可以转换到同一条直线上，假设通过双目系统得到匹配像对，利用共线关系可以计算出物点的坐标

式中：(Al,Ar)和(Rs,Ts)为系统固有参数，可以通过双目视觉系统标定得到。由（10）式可知，(∆R′,∆T′) 补 偿矩阵 (∆R′,∆T′)可作为左相机外参数(Rl,Tl)的一部分，因此可以以 (Rl,Tl)为优化变量，以Mw为参考数据，建立代价方程

式中：i表示第i个点。当J最小时，即可得到(Rl,Tl)的最优解，该问题是非线性最小二乘问题，可以用Levenberg-Marquardt算法迭代优化，以标定结果为初始值进行迭代优化。

由文献[8]可以知道，物体和对应的左相机中的图像可以用单映性矩阵表示如下

式中：Hl为左相机单映性矩阵。由于左相机外参数中的旋转矩阵Rl元素数值较小，容易引入舍入误差，在本文中选择以Hl代替代价方程（12）中的(Rl,Tl)作为迭代变量，Hl中主要包含12个参量，在优化过程中至少需要12个对应匹配像对。在WANG Zhenzhou的证明过程中，模板M(xi,yi,zi)是一个平面，（5）～（10）式的转换在平面内成立，因此优化只对平面中的点完全补偿。在本文中选择在局部视场进行优化，利用不同视场得到的优化矩阵建立查找表。在查找表的边缘处，为了保证优化矩阵的连续性，采取邻域重叠的方式优化。在局部视场中可以将残余畸变大小近似为一个常值，因此基于局部优化建立查找表的方法对减小残余畸变同样有效。

3 测量实验与结果

3.1 仿真实验

在仿真实验中不考虑探测器像元离散造成的特征点提取误差。设置相机的焦距为12 mm，结构参数为Rs=[0°,0°,0°]，Ts=[180,0 0] mm。设置焦距误差为0.05 mm，主点误差为0.001 mm，结构参数误差为ΔRs=[−0.046°,−0.036°,0.012°]，ΔTs=[0.3,0.35,0.35] mm。模拟物点均匀分布，相邻点之间的最小距离为40mm。在不考虑相机视场限制的情况下，将距双目视觉系统为800mm～1 400mm的测量空间分割成16×2个局部视场，在32个局部视场进行优化。

实验结果如图2～图4所示。优化前，z、x和y坐标平均测量误差最大值分别大于7 mm、3 mm和3 mm，可以看出测量误差具有明显的空间分布规律；优化后，平均测量误差减小，z方向的误差大于其他2个方向的，最大误差小于0.03 mm。三坐标测量误差的视场依赖性得以消除。优化后单应性矩阵元素的变化量如图3所示，hij表示单应性矩阵第ith行中第jth列的元素，x坐标表示不同局部视场，局部视场1、3、5和7的中心z=960mm；局部视场2、4、6和8的中心z=1200mm。由图可以看出单应性矩阵元素的变化与局部视场的分布有关，图3（d）中平移变量差值较大。噪声对单应性矩阵的优化的影响如图4所示，说明本文方法对噪声的鲁棒性较强。

图2 优化前后的测量误差分布Fig.2 Measurement errors distribution before and after optimization

图3 单应性矩阵中元素变化差值Fig.3 Difference curves of element changes in homography matrix

图4 不同的噪声水平对本文优化方法的影响Fig.4 Effects of different noise levels on proposed optimization method

3.2 系统实验

在系统实验中，实验装置如图5（a）所示，双目视觉系统由2个工业相机组成（外侧的2个相机），分辨率为2 560像元×2 160像元，像元大小为6.5 μm。在本实验中针对一个局部区域优化，如图5（b）所示，将一个高精度靶标安置于6 自由度转台上，调整靶标平面与转台的运动轴垂直，转台只沿单轴平移。记录转台的初始位置，根据此位置设置测量坐标系。移动转台，每隔固定距离采集一组图像，共采集10次图像，利用前5次采集图像进行优化计算，并根据优化结果对后5次采集图像进行三维测量。实验结果如图6所示，图6中（a）和（b）分别表示中心在（−400,−400,1 000）mm和（400,0,1 000）mm的局部视场（200×200×200）mm3优化的结果。由图可以看出优化后的10次采集图像测量精度都有很大提高，并且前5次数据和后5次数据的测量精度相同。图7表示本文方法和文献[16]的算法对比结果，本文方法精度更高。图8表示随机选择的一个平面及优化前后的重构平面，优化前重构平面偏离原平面位置，说明存在系统误差，优化后重构平面内点在真实位置附近随机波动，测量误差主要来源于匹配像对提取引入的随机误差。

图5 试验装置Fig.5 Experimental installation

图6 优化前后精度比较Fig.6 Accuracy comparison before and after optimization

图7 不同方法的精度比较Fig.7 Accuracy comparison of different methods

图8 重构平面Fig.8 Comparative results of reconstruction plane

4 结论

本文分析了制约双目视觉测量系统精度的主要因素，提出基于查找表的双目系统标定误差补偿优化方法,建立物像之间的虚拟映射关系。首先理论推导证明了利用相机外参数补偿双目视觉系统固有参数标定误差的可行性，接着进行了实验分析。实验结果表明本文的优化方法能够在全视场减小系统误差，在距双目视觉系统垂直距离为800mm～1 400mm的范围内，最大测量误差小于0.03 mm。相对不基于成像模型的优化方法具有明显的优越性。本文优化方法不仅提高了双目视觉系统的测量精度，而且减小了测量精度对系统真实参数的依赖性。