线结构光扫描传感器结构参数一体化标定*

王金桥,段发阶,伯 恩,刘博文,冯 帆

(天津大学精密测试技术及仪器国家重点实验室,天津 300072)



线结构光扫描传感器结构参数一体化标定*

王金桥,段发阶*,伯 恩,刘博文,冯 帆

(天津大学精密测试技术及仪器国家重点实验室,天津 300072)

为了精确快捷地标定线结构光扫描传感器的结构参数,提出了一种线结构光扫描传感器结构参数一体化现场标定的新方法,建立了线结构光扫描传感器的数学模型,根据张正友摄像机标定思想结合L-M非线性优化算法能快速精确地完成摄像机内外参数的标定,在此基础上,引入辅助线激光,通过反复多次提取两激光交点完成对线结构光平面精确标定。文章还介绍了如何获取激光交点以及精确提取交点坐标的方法,通过设计相关实验验证了本文方法的可行性,使系统精度优于24 μm,能满足实际测量要求。

线结构光;摄像机标定;光条中心提取;光平面标定

随着工业生产对非接触式测量需求日益增加,对检测的效率和精度也提出了越来来高的标准。线结构光扫描测量是一种基于激光三角法的先进的三维检测技术,它具有测量范围广、效率高、便于操作以及精度适中的优点,在工业测量领域中有着广阔的应用前景[1-2]。线结构光扫描测量的核心技术就在于系统标定算法的性能,其中主要包含三方面算法:摄像机内外参数标定算法、光条中心提取算法、线结构光平面标定算法。摄像机标定是视觉测量的基础,常规的标定算法已经比较成熟,大部分研究集中在根据实际应用场合不同而对现有标定技术的改进[3-4]。光条中心的提取算法根据系统设计参数的不同实际效果会有很大差异,要满足线结构光扫描系统实时在线测量的要求,同时又要保证较高的精度,对光条中心的提取算法就提出了更高的要求,目前大部分算法只能满足速度和精度的其中一个方面,所以在现有技术基础上加以整合改进兼顾速度和精度,是线结构光扫描测量必须解决的难题[5-6]。光平面标定方法根据靶标的不同分为三维标定[7]和二维标定[8]2种类型,三维标定方法具有一定的精度,但由于三维靶标制作成本和工艺要求较高,应用场合受到一定限制;二维标定方法的靶标制作简单、效率高,并且随着二维标定算法的不断完善,标定的精度也往往能满足不同场合测量需要,有着广泛的应用前景。目前,国内对这些算法的研究大多集中在对单一方面的某些性能的研究,综合三方面算法而对系统标定算法的研究较少[9-12]。

本文在此基础上,根据实际测量要求,对线结构光扫描测量系统各方面技术做了大量的研究测试,提出了一套能满足线结构光测量高标准的系统方案,并从原理和实验2个角度验证了系统标定方法的高效和高精度的特性。文章在摄像机标定上采用文献[13]的思想结合LM非线性优化算法有效标定摄像机内外参数,利用文献[8]中在光条中心提取时加入直线性约束结合文献[14]的方法能快速准确提取光条中心线,提出了基于二维棋盘格的光平面标定方法,引入辅助激光,通过准确提取双激光条交点坐标来精确标定光平面在摄像机坐标系下的方程。由于这三方面的算法是紧密相连的,要保证系统的整体精度必须确保各方面算法的精度,文章通过设计相关实验验证各算法的可行性,以及系统的整体精度。

图1 线结构光扫描传感器工作原理

1 线结构光扫描传感器系统模型

在线结构光视觉传感器系统中,激光器将激光投射到平面标定板上,形成一高亮激光条,通过提取光条中心,准确获取光条中心点在图像坐标系下的坐标,通过摄像机投影模型转换到摄像机坐标系下的坐标。由于激光器与摄像机之间的空间位置关系是固定的,通过光平面标定我们可以知道线结构光平面在摄像机坐标系下的平面方程,二维靶标上的线结构光条是激光平面与靶标面的交线,结合光条中心点在摄像机坐标下的坐标,从而获取某一时刻光条中心线所在平面处在摄像机坐标系下的坐标,当传感器以非固定的速率向一个方向移动时,线结构光光条会扫描靶标平面,同时摄像机以一定的采样频率获取任意时刻光条中心所在靶标位置,将摄像机采集到的各帧图像光条中心位置拼合,形成离散化的点云数据,再经过适当处理,从而实现了线结构光视觉传感器的扫描测量功能。图1表示本文所设计的线结构光视觉传感器系统工作原理图。

1.1 摄像机投影模型

(1)

(2)

(3)

(4)

如上所示,以P点为例,式(1)表示摄像机坐标系与世界坐标系之间的投影转换关系,即摄像机外部参数模型;式(2)表示像素坐标系下的投影点p″与世界坐标系转换;式(3)表示摄像机内部参数标定模型;式(4)表示摄像机畸变模型。R、T分别是旋转平移矩阵;s是比例因子,与摄像机相对靶标位置有关;fx、fy、u0、v0表示摄像机内参;k1、k2表示摄像机径向畸变系数,p1、p2表示切向畸变系数。本文基于文献[10]摄像机标定方法,采用11×12的棋盘格作为标定板,每个方格的尺寸为6 mm×6 mm,利用棋盘格角点作为特征点,在不考虑畸变模型的情况下利用最小二乘法求解,再将包含畸变参数在内的所有参数作为初始值放到LM非线性优化算法中进行优化,得到最终的所有优化解,算法中的目标函数为:

(5)

其中:mij→(u,v);M→(xw,yw)。

1.2 线结构光平面标定

光平面标定的模型参数主要包括摄像机内部参数和光平面与摄像机之间的相对位置关系,在1.1中笔者已经完成对摄像机内参数的标定,而光平面与摄像机之间的位置关系实际上是光平面在摄像机坐标系下的方程,并设方程为:

zC=AxC+ByC+C

(6)

因此,要完成线结构光平面的标定只要确定系数A、B、C即可。从1.1中推理可知,式(1)和式(2)就是激光器光平面标定的数学模型,通过这2个式子可以得到激光光条上的点在摄像机坐标系下的坐标,即要由(u,v)得到对应的(XC,YC,ZC),虽然式(3)表示出了上面2种坐标的转换关系,但是对于比例系数s是未知的,所以我们需要(XW,YW)来做一个中间的转换,即先由(u,v)根据式(2)得到(XW,YW),再由(XW,YW)根据式(1)得到(XC,YC,ZC)。

图2 光平面标定系统示意图

为了使整个标定过程尽可能简便,笔者采用与摄像机标定同时进行,如上图2所示,激光器Ⅰ与摄像机集成在测头中,测头与上位机相连可实时观测图像质量,激光器Ⅱ可调整角度自由移动。通过引入辅助激光条Ⅱ与原激光条Ⅰ相交,精确提取交点坐标,保持靶标位置不动,改变激光Ⅱ投射位置,反复进行多次,这样就可以获得同一靶标姿态下多个双激光交点坐标,再改变一下靶标位置,重复上述过程,这样就获得靶标在不同姿态下的多组双激光交点。

1.3 激光交点的精确提取

由以上分析可知,要保证光平面标定精度,关键在于准确获取两激光交点坐标,笔者采用先分别提取两激光条的中心,拟合两条直线方程,通过求解两直线交点来获取特征点坐标。因此问题的关键在于如何精确提取光条中心。

目前国内外学者提出的光条中心提取方法有很多,但结合笔者设计的线结构光扫描测头对测量速度和精度实际需要(速度50帧/s,精度优于30 μm),并且考虑到系统在测量时受到环境光、材质、背景色以及被扫描工件表面三维形貌调制影响,大部分算法不是提取精度不够高就是响应时间太长,不能满足工程实际需要。本文采用文献[8]中提出的在光条中心点链接阶段加入直线性约束的思想,结合文献[14]分别提取激光Ⅰ与激光Ⅱ的光条中心,拟合直线方程求交点,从而获得两激光交点的精确坐标值。如图3所示,为实验过程中采集的不同角度激光交线图样。

值得注意的是,如果直接提取两激光条中心,由于相互干扰且交点处误差最大,这样提取的交点坐标误差会非常大,所以笔者采用的方法是先求取激光条L1的中心线,然后关闭激光器Ⅰ,打开激光器Ⅱ,并求取激光条L2的中心线,计算两条中心线的交点。如图4是对图3c姿态下分别提取的光条中心图样。

图3 双激光交点获取

图4 双激光交点提取过程

2 实验部分

实验中,摄像机采用型号为MU3E200M(EGYYO)USB3.0工业相机,像素分辨率1600x1200,像元尺寸4.5 μm×4.5 μm,镜头采用日本的Computer 8 mm镜头,激光器波长635 nm,功率5 mW。定制的11×12陶瓷棋盘格,每格标准长度6 mm,精度为1 μm,系统结构如图5所示。

图5 系统实验

2.1 摄像机标定

本文利用基于张正友标定原理和L-M非线性优化算法的方法标定的摄像机内外参数结果如表1所示,再结合式(4)完成对摄像机的畸变校正。

2.2 光平面标定

按照上文所述的方法固定安装好实验各部分,调整好实验装置后,在不打开激光的情况下拍摄1幅棋盘图像,保持各部分不动,根据上述已经完成的摄像机标定可以得到棋盘在摄像机坐标系下的投影关系。打开激光器Ⅰ,利用本文算法获取激光条L1的中心线,关闭激光器Ⅰ,打开激光器Ⅱ,同理获取激光条L2的中心线,并计算两中心线交点坐标,再调整激光器Ⅱ,得到一组交点坐标,再移动棋盘位置,重复以上步骤,最终获取棋盘在12个位姿下的共计96个点的摄像机坐标系下的坐标。表2列出了其中一组数据分别在图像坐标系和摄像机坐标系下的不同值。

表1 摄像机内参数及畸变系数标定结果

表2 标定特征点在2个不同坐标系下的坐标值

图6 光平面标定结果分析

对获取得到的96个点进行平面拟合,得激光器光平面在摄像机坐标系下的平面方程为:

zC=2.0975xC-0.0521yC+210.0125

图6(a)为利用实测值拟合的激光平面,图6(b)为所有特征点到拟合光平面上的距离,所有点到光平面的平均距离为0.026 mm,具有较高精度。

2.2 系统精度验证

为验证系统精度,设计如下实验,基本原理是在光平面内测量棋盘格的尺寸。通过摄像机获取棋盘图像并提取棋盘的所有角点,根据每一行的角点的坐标进行直线拟合,如下图中的Fit line 1。打开激光器,在棋盘上投射出一条激光光条出来,取激光光条上的一串点进行光条直线拟合,如下图中的Fit Laser center line。Fit Laser center line与Fit Line 1是垂直的,其垂直度可根据两条直线的斜率来判断。实验情况下计算的两者的角度在89.76°,基本满足垂直条件。计算Fit Laserline与Fit Line 1的交点A,同样方法求出Fit Laserline与Fit Line 2的交点B,以此类推。可以从由本文方法标定的摄像机直接读出各点在摄像机坐标系下的三维坐标,再计算出AB、BC、CD…长度。棋盘格标准规格是6 mm(精度1μ),将实际测得的长度与标准长度比较。原理图如下图7所示:a表示实验原理示意图,b为实际拟合出交点坐标。

图7 系统精度验证实验

在不同姿态下反复进行10次试验,试验结果统计如下表3所示。从表中可知,系统精度优于24 μm。

表3 系统精度实验结果分析

3 总结

文章提出了一种线结构光扫描传感器结构参数一体化现场标定的新方法,建立了线结构光扫描传感器的数学模型,根据张正友摄像机标定思想结合LM优化算法能快速精确地完成摄像机内外参数的标定,在此基础上,引入辅助线激光,通过反复多次提取两激光交点来实现线结构光平面准确标定。本文综合三方面算法完成线结构光扫描传感器结构参数一体化标定,并从实验的角度论证了算法的可行性,使系统精度优于24 μm,能满足实际测量要求。

[1] 孙长库. 激光测量技术[M]. 天津:天津大学出版社,2008:155-156.

[2]Seokbae S,Hyunpung P,Kuanh H L. Automated Laser Scanning System for Reverse Engineering and Inspection[J]. International Journal of Machine Tools and Manufacture,2002,42(8):889-897.

[3]刘涛,贾刚,王宗义. 一种基于运动的线结构光视觉测量系统标定方法[J]. 传感技术学报,2011,24(4):624-628.

[4]Jorge Santolaria,Juan-Jose Aguilar. A Crenellated-Target-Based Calibration Method for Laser Triangulation Sensors Integration in Articulated Measurement Arms[J]. Robotics and Computer-Integrated Manufacturing,2011,27:282-291.

[5]Zhou F,Zhang G. Complete Calibration of a Structured-Light Strip Vision Sensor Through Planar of Unknown Orientations[J]. Image and Vision Computing,2005,(23):59-67.

[6]Wu B,Xue T,Zhang T,et al. A Novel Method for Round Steel Measurement with a Multi-Line Structured Light Vision Sensor[J]. Measurement Science and Technology,2010,21(2):025204-025209.

[7]段发阶,刘凤梅,叶声华. 一种新型线结构光传感器结构参数标定方法[J]. 仪器仪表学报,2000. 21(1):108-110.

[8]刘震,张广军. 一种高精度线结构光传感器视觉传感器现场标定方法[J]. 光学学报,2009,29(11):3124-3128.

[9]Nick Van Gestel,Steven Cuypers,Philip Bleys. A Performance Evaluation Test for Laser Line Scanner on CMMS[J]. Optical and Lasers in Engineering,2009,(47):336-342.

[10]吴庆华,何涛,史铁林. 一种基于平面标靶的线结构光视觉传感器标定方法[J]. 光电子·激光,2013,24(2):297-301.

[11]许丽,张之江. 基于共面靶标的结构光标定方法[J]. 光电子·激光,2009,20(8):1063-1069.

[12]张超,段发阶,董宇青,等. 自动编程器视觉定位算法研究[J]. 传感技术学报,2011,24(3):382-385.

[13]Zhang Zhengyou. A Flexible New Technique for Camera Calibration[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[14]赵博华,王伯雄,杨博淙,等. 混合反射特性表面形貌测量中光刀条纹的提取方法[J]. 清华大学学报(自然科学版),2011,51(8):1084-1088.

王金桥(1989-),男,广西桂林人,硕士研究生,主要研究方向为计算机视觉检测,jqw@tju.edu.cn;

段发阶(1968-),男,湖南郴州人,博导,教授,主要从事测试计量技术及仪器,激光测试技术,计算机视觉检测技术和光纤传感技术等方面研究,fjduan@tju.edu.cn。

CalibrationofLineStructuredLightScanningSensorStructureParameterIntegration*

WANGJinqiao,DUANFajie*,BOEn,LIUBowen,FENGFan

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

In order to mark line structured light scanning sensor structure parameters accurately,this paper presents a new method for the integration structure parameters calibration of line structure light scanning sensor and establishes the mathematical model of line structured light scanning sensor. According to the Zhang Zhengyou camera calibration based L-M algorithm,this algorithm can complete the intrinsic and extrinsic parameters of the camera quickly and accurately. On this basis,author introduces auxiliary line laser and extracts two laser intersection to finish lines structure light plane calibration repeatedly. This paper also introduces the method of obtaining the laser point and accurately extracting the intersection point coordinate. Relevant experimental results verify the feasibility of this method. The system accuracy is better than 24 μm,meeting the requirement of actual measurement.

line structure light;calibration of camera;extraction of light center;calibration of light plane

项目来源:国家“863”计划项目(2013AA102402);国家自然基金项目(51275349)

2014-06-06修改日期:2014-07-22

10.3969/j.issn.1004-1699.2014.09.009

TP391

:A

:1004-1699(2014)09-1196-06