结构光焊缝视觉检测系统中投影仪标定法

谢德浩，全燕鸣

（华南理工大学 机械与汽车工程学院，广东 广州 510640）

0 前言

现代工业对焊缝的质量要求非常严格，为了保证焊接质量，必须对焊缝质量进行实时检测。结构光作为一种主动式光学测量技术，具有精度高、非接触、效率高、信息量丰富和适应范围广等优点，广泛应用于焊缝跟踪检测中[1-3]。与传统的检测方法相比，结构光视觉检测方法可靠性高，可准确提取工件及焊缝等目标的三维信息，有利于后续分析。

在采用结构光的焊缝检测系统中必须对系统进行精确标定[4-5]，标定误差直接决定系统的测量精度。结构光视觉系统标定包含摄像机的标定和结构光的标定。目前，摄像机标定已经有较成熟的方法，如直接线性变换法、两步法、双平面法等[6-7]。结构光视觉系统中广泛使用投影仪作为主动投射面光源，因此对投影仪的标定变得越来越重要。投影仪是非成像设备，与摄像机不同，它很难准确获得点的空间位置与其在投影图像上相应位置的对应关系，导致对其标定相对困难。许多学者对投影仪的标定进行了大量研究。Zhang和戴小林[8-9]等人使用条纹相移技术，投影多幅条纹图像对投影仪进行标定，但因基于相位匹配，存在相位计算误差，会影响标定精度。李中伟[10-11]等人针对此问题利用相移技术提出对相位误差补偿，得到了精度较高的投影仪标定结果。上述方法由于需要投影多幅相位条纹，且要进行相位识别和去包裹，过程复杂、耗时，易受环境因素影响，从而导致标定精度无法提高。

本研究提出的结构光视觉系统标定方法是基于单平面标定块实现摄像机标定。投影仪标定时采用“逆摄像机”方法，将棋盘图案投影到标定平面，提取标定平面四角靶标及投影图案特征点，建立投影仪图像和摄像机图像的对应关系，结合摄像机标定结果求取特征点三维坐标，将投影仪标定转化为成熟的摄像机标定。与上述标定方法相比，该方法更加省时快捷，标定操作方便，精度高，更适合于现场标定。

1 系统组成

结构光视觉系统组成如图1所示。采用投影光栅作为结构光，将编制的光栅条纹结构光投影到工件表面，条纹随着工件表面形状的变化而发生畸变，摄像机获取其图像，然后进行图像处理，从被物体表面形状所调制的畸变条纹模式中提取出物体的三维信息，可以识别出不同坡口形式的焊缝并求取其中心位置及特征信息，从而进行焊缝检测跟踪或熔透控制。

图1 系统组成示意

2 结构光标定

2.1 投影仪模型

按照光学原理，由于光路具有可逆性，投影仪可看作一个逆向的摄像机，所以投影仪模型可用与摄像机类似的模型表示。基于单摄像机-投影仪的结构光系统模型如图2所示，建立世界坐标系OXYZ，投影仪坐标系Op-XpYpZp，摄像机坐标系Oc-XcYcZc，投影仪图像坐标系O-uv。

图2 摄像机-投影仪模型

理想情况下，投影仪可看作一个针孔模型，投影仪靶面上一点Pi与其投射到空间点Pw的成像关系表示为

式中（X，Y，Z）为待测量物体表面上的一点Pw的世界坐标，（u，v）为其投影仪图像坐标；K为内部参数，包括图像主点坐标（u0，v0），图像坐标轴倾斜系数s，u轴与v轴上的尺度因子fu，fv；R为世界坐标系到投影仪参考坐标系的刚体旋转变换矩阵，可用三个旋转角度表示；T为世界坐标系到投影仪参考坐标系的平移向量，可用三个平移参数表示，R和T即为外部参数；σ为归一化系数。

实际的光学系统由于加工制造、装配误差等原因并不按理想的针孔模型成像，使得物体点在像面上实际所成的像与理想成像之间存在有光学畸变误差[12]。镜头畸变影响了被测点在图像坐标系下的坐标值，其修正公式为

式中 up、vp是图2中Pw点在成像平面上的畸变点Pi的二维坐标；up'、vp'为Pi'点的非畸变二维坐标；δu、δv是由镜头畸变而引起的水平和垂直方向上偏移误差。本研究仅考虑镜头的一阶径向畸变，则

2.2 基于平面靶标的结构光标定

在此提出的基于平面的标定方法以理想针孔模型作为基础理论模型，首先标定摄像机的内外参数，再利用变换后的投影图像标定投影仪的内外参数，即完成了整个系统的标定。投影内容采用黑白棋盘图案，在投影平面四角粘贴的棋盘格单元图案为摄像机平面标靶，投影平面用于建立摄像机图像与投影图像之间的对应匹配关系。标定平面及投影图案如图3所示，投影平面和标定平面为同一个平面，标定过程中平面靶标可以在摄像机视野范围内自由移动。

图3 标定平面及投影图案

摄像机坐标系在图像的左下角，世界坐标系设定在棋盘格靶标的左下角处，因此无论标定平面如何移动，棋盘格图像上同一角点的世界坐标总是精确可知的，不随标定平面移动发生任何变化，只有两个坐标系之间的变换关系式发生改变。与摄像机相反的是，由于投影图案是精确设计，因此投影仪参考坐标系下的投影图案的特征角点坐标都是精确可知而且不发生变化的，而其对应的世界坐标系却是在随标定平面变化而不断变化。

基于平面投影的结构光系统标定方法的具体标定过程分为如下几步：

（1）利用张正友标定方法标定摄像机[13]。

（2）根据靶标确定摄像机坐标下标定平面的位姿。

（3）精确提取摄像机平面上投影图像的棋盘格特征点坐标。

（4）提取四角棋盘格单元角点，再利用光平面相交法计算投影图像上的棋盘格角点在世界坐标系下的三维坐标。

（5）建立投影仪坐标系下投影图案的棋盘格特征角点坐标和对应的世界坐标系的三维空间坐标之间的对应关系，完成投影仪标定。

3 标定结果分析

本实验搭建的结构光视觉检测系统由单摄像机和单投影仪组成。采用的投影仪是BenQMX615，分辨率1 024×768；选择Pointgrey CCD相机：FL2G-13S2M-C，分辨率为1 024×768。编写程序生成8×8的棋盘投影图案。

摄像机的标定对于结构光系统而言尤为重要，因为摄像机的标定精度直接影响着投影仪的标定精度。采用Matlab工具箱对摄像机进行标定[14]。按照本研究的标定方法，用摄像机拍摄四角靶标和投影图像，获得不同姿态下的用于投影仪标定的12幅图像，然后使用编写的标定扩展程序进行标定计算，得到投影仪的标定结果。标定结果见表1、表2。

表1 摄像机内参数标定结果

最终求得投影仪和摄像机的相对位置和方向即空间关系如下：

摄像机参考坐标系转换到投影仪参考坐标系的旋转矩阵

摄像机参考坐标系转换到投影仪参考坐标系的平移矩阵

图4为结构光系统定标之后，以摄像机坐标系作为世界坐标系后得出的结构光系统外部参数示意图，与实验过程中投影仪、摄像机以及标定平面的位置基本吻合。

为了分析投影仪标定的精度，利用标定结果计算投影图案的特征角点坐标的反投影误差，如图5所示。均方根误差在X，Y两个方向分别为0.093 pixel和0.107 pixel。平均误差控制在0.3个像素以内，符合要求。

图4 结构光系统外部参数示意

图5 投影仪标定反向投影误差

图6 试验焊缝图像及三维重建图

在对上述结构光视觉系统中的相机和投影仪进行标定之后，对两块并排的试验焊缝通过投影光栅，采用三步移相法解相，结合标定结果计算物体三维信息，对试验焊缝进行三维重构。图6a为采集到的结构光投影图像，图6b为主相位图，图6c为试验焊缝板三维点云重建效果。从三维重建图中可看出采用本研究提出的标定技术结合相移法能够实现焊缝的三维检测。

4 结论

当焊接控制要求和精度提高到一定程度时，就需要用到工件、焊缝、熔池等目标的三维信息。利用结构光技术来获取焊缝三维特征信息，具有信息量大、非接触、灵敏度和精度高、抗电磁干扰能力强等优点。针对焊接应用中结构光系统的标定方法进行研究，并运用标定的系统对试验焊缝板进行了三维重构。实验表明，所提出的投影仪标定方法操作过程简单，投影仪标定的精度满足要求，可适用于遥控焊接、焊后熔透质量检测、焊缝跟踪等应用场合的结构光视觉系统中。

[1]毛鹏军，黄石生，薛家祥，等.弧焊机器人焊缝跟踪系统研究现状及发展趋势[J].电焊机，2001，31（10）：29-32.

[2]张万江，许 敏.基于结构光视觉的激光拼焊焊缝质量检测方法研究[J].仪表技术与传感器，2012（7）：27.

[3]华清宇.汽车横向摇臂焊缝质量焊后视觉检测系统研究[D].上海：上海交通大学，2012.

[4]殷子强，张广军，高洪明，等.焊接机器人再制造中结构光传感器的标定[J].焊接学报，2009(12)：57-60.

[5]鲁建波，徐培全，姚 舜，等.圆形扫描结构光传感器的标定和焊缝检测[J].焊接学报，2006，27（4）：53-56.

[6]Salvi J，Armangue X，Batlle J.A comparative review of camera calibrating methods with accuracy evaluation[J].Pattern Recognition，2002，35（7）：1617-1625.

[7]刘振中，傅 莉.摄像机标定研究[J].沈阳航空工业学院学报，2010，27（1）：43-47.

[8]Zhang S，Huang PS.Novel method for structured light sys temcalibration[J].Optical Engineering，2006，45（8）：083601.

[9]戴小林，钟约先，袁朝龙，等.单摄像机结构光扫描系统中投影仪标定技术[J].机械设计与制造，2008（8）：194-196.

[10]李中伟，史玉升，钟 凯，等.结构光测量技术中的投影仪标定算法[J].光学学报，2009（11）：3061-3065.

[11]Moreno D，Taubin G.Simple，Accurate，and Robust Projector-Camera Calibration[C]//3D Imaging，Modeling，Processing，Visualization and Transmission（3DIMPVT)，2012 Second International Conferenceon.IEEE，2012：464-471.

[12]葛宝臻，李晓洁，邱 实.基于共面点直接线性变换的摄像机畸变校正[J].中国激光，2010(2)：488-494

Zhang Z.A flexible new technique for camera calibration[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2000，22（11）：1330-1334.

[14]Jean-Yves Bouguet，Camera Calibration Toolbox for Matlab[EB/OL].http：//www.vision.cal tech.edu/bouguetj/calib_doc.