基于共面靶标的线结构光机器人视觉标定方法

乔赫廷，张然，王黠

（沈阳工业大学 机械工程学院，沈阳 110870）

0 引言

在焊接机器人焊缝检测与焊缝识别领域，结构光视觉因其结构简单、精度高、实时性好等特点得到了广泛应用[1]，已成为重要的三维成像技术。目前，结构光视觉测量主要有两种结构：立体结构光视觉和单目结构光视觉。立体结构光视觉需要多台相机同时对激光条纹拍摄，采用立体视觉匹配算法计算特征点的三维坐标。这种方法虽能准确获得特征点的坐标，但存在耗时长、成本高、结构复杂的缺点。单目结构光视觉克服了立体结构的不足，在焊缝检测与焊缝识别领域被广泛应用[2-5]。

结构光视觉系统对焊缝检测的精度直接影响焊缝成形的质量。单目线结构光视觉系统标定主要分为两部分：一是针对工业相机的内置参数，二是针对传感器进行的。如今，相机部分的研究已相对完善，其中以张正友标定法[6]和Tisa两步标定法[7]的应用最为广泛。线结构光标定无法直接获得被检测物体的三维坐标与光平面空间方程之间的关系。目前从标定靶标形式上分为二维靶标[8-9]和三维靶标[10-11]。解则晓等[12]提出基于共面法的高精度标定方法。陈天飞等[13]提出一种基于共面靶标的标定方法，通过多次移动靶标计算不同方向激光条纹直线的消隐点，根据交比不变原理计算共面靶标上标定点间的距离完成标定。

本文提出一种基于共面靶标的线结构光视觉标定方法，包括相机的内、外参数标定，相机坐标系下线结构光平面方程的标定方法。确定棋盘格标定板上多条激光条纹与棋盘格交点的世界坐标，并将这些特征点转换到相机坐标系下，拟合出光平面方程。实现以CMOS工业相机、线激光发射器组成的视觉系统，进行了实验验证。

1 视觉系统标定算法

1.1 工业单目相机成像模型

单目相机成像模型如图1所示，世界坐标系中有点P，经过相机坐标系（即镜头），投射在像素坐标系上，则世界坐标系下的齐次坐标PW可转换至相机坐标系下的齐次坐标PC。

图1 单目相机成像模型

在成像过程中，世界坐标系（XW，YW，ZW）上的一个三维空间点P，根据小孔成像原理，经过相机坐标系（XC，YC，ZC），反射投影在工业相机感光芯片上形成像素坐标系uov，根据式（1）将点P在世界坐标系下的PW转换成相机坐标系下的PC，即

通过相机与像素两个不同参考系的转换过程，将PC变换为二维坐标PC′ =［x，y，1］T，即

式中，f为相机的焦距。

改写成矩阵形式为

此时对图像坐标系下的成像平面上对像进行采样和量化，设像素坐标在u轴上缩放了α倍，在v轴上缩放了β倍。同时，原点平移了［cx，cy］T，则PC′的坐标与像素坐标［u，v］T的关系为：

代入式（2）得：

把αf合并成fx，βf合并成fy，得：

式中：设图像x方向每米有α个像素，y方向每米有β个像素，所以α和β的单位为pixel/m，f的单位为m，所以fx、fy和cx、cy的单位为pixel。

把式（6）写成矩阵形式为

式中，K为内参矩阵。

1.2 线结构光标定研究

结构光立体视觉将主动光源与相机结合，将光源映射到工件表面，利用三角测量原理对物体进行检测。线结构光成像模型如图2所示。

图2 线结构光成像模型

设在相机坐标系下的光平面方程为

式中，A、B、C为光平面系数。已知有点P（xC，yC，zC）为相机坐标系下的位于激光条纹上的焊缝特征点，该点P′（u，v）也出现在图像中，两点满足内参模型，将其代入得：

而P点也位于结构光平面上，满足以下光平面方程：

结合以上两个公式，利用光平面系数与相机内参得出P点相机坐标为：

基于共面靶标标定原理，建立如图3（a）所示的世界坐标系（xw，yw，zw）。z轴沿平面方向向下。

图3 共面靶标标定

本文采用的线结构光视觉系统以相机参数标定时使用的平面棋盘格标定板作为标定对象，将激光投射到棋盘格标定板上，根据Otsu[14]算法对图像二值化，利用高斯拟合法提取激光条纹中心线与棋盘格黑色部分交点的像素坐标，以这些交点作为特征点，求出直线方程及这些特征点在相机坐标系下的位置坐标，如图3（b）所示。

相机在某一姿态下拍摄到的标定板图像如图4（a）所示，P1、P2、P3、P4为标定时标定板四周角点，4个点的像素坐标可以在上节相机标定的过程中得到。P1、P2、P3、P4四个点所在区域的宽可以确定，如图4（b）所示，记为w。

图4 共面靶标标定原理

求解P点yw坐标值时，以一种微分的思路去逼近yw的真实值。首先在像素坐标系下，将线段P1P4和P2P3等距分割成x份，并将分割的每一点连接，得到x条线段；然后得出特征点P在像素坐标系下与每一条线段的不同距离，将距离最短的线段记为第i条线段。则P点yw的坐标值计算公式为

由此可得到P点在世界坐标系下的坐标（xw，yw，0）。每一张参与标定的图片都可得到一系列的点P，记为P1…Pn，根据式（11）将这些点组成超定方程组，即

对上述超定方程组做最小二乘求出结构光平面方程的参数A、B、C。

2 实验

2.1 相机标定实验

为了验证标定方法的准确性，对其进行实验验证，实验硬件设施如图5所示。采用ABB-1200机器人、Basler 工业相机、TZ650AL1670GD-0030线激光器。

图5 线结构光视觉系统

标定板是带有固定间距的黑白棋盘格，采用7×10的棋盘格标定板，棋盘格外形为边长10 mm的正方形。标定板如图6所示。

图6 标定板

焊接机器人采用眼在手上的安装方式，完成对标定图像的采集。设置5个固定点，位置如图7所示。机器人依次从点1至点5开始运动，在每个固定点做旋转运动，对标定板进行拍摄。当到达固定点时，先绕z轴旋转5°，绕x轴旋转－5°，采集第1张图像，再绕x轴旋转5°，获取第2张图像，再以初始位姿为基准，绕z轴旋转－5°，绕y轴旋转－5°，获取第3张图像，再绕y轴旋转5°获取第4张图像。

图7 固定点示意图

然后再以初始位姿移动到固定点2，重复上述运动方式，对标定板图像进行采集。每个固定点采集4张图像，得到20张不带激光条纹的标定图像和20张带有激光条纹的图像，如图8所示。

图8 相机标定图片与线结构光标定图片

基于OpenCV函数库，对采集到的不带激光条纹的图像进行标定，求解出相机的内参数及每张标定图片对应的外参矩阵，标定结果如表1所示。

表1 相机内参标定结果

2.2 线结构光标定实验

对每幅带有激光条纹的标定图片进行二值化，进一步凸显激光条纹与黑色棋盘格交点，如图9（a）所示。

图9 提取标定点坐标

对激光条纹部分提取中心线，进一步确定特征点的像素坐标，如图9（b）所示。可以得到特征点T1的像素坐标。通过1.2节的方法得到该特征点在世界坐标系下的坐标（xw，yw，zw），首先因为激光条纹上的点在棋盘格标定板所在的平面上，所以zw=0。特征点是与黑色棋盘格部分的交点，所以其xw=0。

如图10（a）所示，确定特征点T1的yw的值时，在标定过程中可以得到标定板四周角点P1、P2、P3、P4的像素坐标，沿着线段P1P4和P2P3方向对图像进行细化。

图10 细分标定图像

在图像细分过程中，理论上x的值越大，yw越接近准确，但为了节省计算资源，令图像细分的份数x=10000，如图10（b）所示。

根据上述已得出特征点T1的像素坐标，计算特征点T1与细分图像线段的距离，得出最短距离，如图11（a）所示。计算得出i=8322时，特征点T1距离第8322条线段的距离最短，误差仅为0.019 1 mm，满足工程需求。

图11 拟合光平面

由式（13）可得yw=41.61 mm。所以，特征点T1的世界坐标为（0，41.61，0）。重复上述过程可求出T2、T3、T4、T5、T6、T7的世界坐标，并根据外参可得到对应相机坐标系下的像极坐标。结果如表2所示。

表2 image1标定特征点坐标

每张图片至少可提取5个这样的标定特征点，按照上述方法，得到20张图片的100个标定特征点，求出其在相机坐标系下的坐标。图11（b）为选取的标定特征点在相机坐标系下的位置。

通过式（1）求得每张图片中特征点在相机坐标系下特征点坐标。根据式（14）构建100×3的超定方程i组，求最小二乘解，求得光平面方程为

为验证得到的线结构光平面方程的准确性，将图12中的P1、P2两点的像素坐标代入式（12）中得到P1、P2两点在相机坐标系下的坐标值，并计算两点之间的距离为79.884 3 mm，两点之间的实际距离为80 mm，相对误差为0.14%。

图12 验证P1到P2的距离

3 结论

本文基于单目相机成像模型和结构光平面方程，提出了一种简便、高效、高精度的线结构光视觉系统标定方法。利用微分的思想去逼近世界坐标系下标定特征点纵坐标的实际值，实现了标定特征点数据的高效采集，并利用最小二乘法作参数估计，得到了视觉系统的结构光平面方程，并进行试验验证。实验结果表明，该标定方法测量得出的相对误差为0.14%，能够满足焊接机器人视觉测量系统的精度要求。