相机标定精度外界影响因素仿真及实验研究

陈晓燕,董志国,轧　刚,刘建成,2

(1.太原理工大学 a.机械工程学院,b.精密加工山西省重点实验室，太原 030024;

2.美国太平洋大学,加利福尼亚州 95211)



相机标定精度外界影响因素仿真及实验研究

陈晓燕1a,董志国1,轧刚1,刘建成1,2

(1.太原理工大学 a.机械工程学院,b.精密加工山西省重点实验室，太原 030024;

2.美国太平洋大学,加利福尼亚州 95211)

摘要:以张正友相机标定方法为基础,分析了影响相机标定精度的主要外界因素,给出了在这些因素的影响下,标定所得相机参数的分布曲线。仿真及实验分析表明,在张正友标定方法中,相机标定板张数最好不少于20张;在相机视场范围内,当特征点为110个时,单位网格长度应控制在6~14 mm之间,此时获得的有效焦距最稳定；当棋盘网格单位长度为10 mm时,棋盘标定板上的特征点应保证在150个以内,此时主点坐标获取稳定;噪声方差与重投影点误差基本呈正比例增大。研究结果对相机标定精度的提高有一定的参考价值。

关键词:几何光学; 相机标定; 标定精度;误差分析;外界因素

相机标定技术对于计算机视觉的重要性就如同刻度对于标尺一样[1]。相机标定就是确定相机成像几何模型的参数,标定精度直接影响着机器视觉的精度,特别是影响图像测量的精度，因此研究相机标定技术具有很大的实用价值。然而，对于传统相机标定方法的研究,人们更多地关注算法本身的改进,对于标定过程中环境的要求以及标定板制作规格的研究较少,在具体应用中有必要对其进行深入的讨论和分析,以进一步提高其标定的精度和速度。

在标定算法确定的情况下,影响相机标定的因素主要来自相机本身以及光照、标定板规格、标定图像数量、标定物摆放位置、图像噪声等外界环境。针对相机标定误差的影响因素,刘俸材[2]研究了安装角、测量物距、摄像机焦距等参数与测量误差之间的关系,并建立相应的误差模型,确定了各项参数对测量精度的影响;尹洪涛[4]关于标定图像数量和特征点检测精度对标定精度的影响进行了研究;支健辉[1]利用实验对光照、标定图像数量及棋盘尺寸进行了研究;孟海岗[8]通过实验及仿真相结合,研究了标定板拍摄位姿对标定结果的影响,同时研究标定图像数量对标定结果的影响,其研究结果与文献[4-5]中关于合适的标定图像数量存在较大分歧。

笔者以张正友[6]标定法为基础,模拟相机成像正逆过程,在排除特征点检测误差情况下，研究标定图像数量和标定板中特征点的数量，以及标定板网格尺寸对标定精度的影响。较文献[4],增加了对于标定板的制作规格的研究；较文献[1],排除了特征点检测误差的干扰；笔者结合实验，研究了标定图像数量和图像噪声对于相机标定的影响，为降低外界因素对相机标定产生的误差提供了理论指导。

1传统相机线性成像模型

计算机视觉研究中,三维空间中的物体到像平面的投影关系即为成像模型,理想的投影成像模型是光学中的中心投影,也称为针孔模型，如图1所示。计算机视觉常用坐标系采用右手准则来定义,其中涉及到4个坐标系:世界坐标系(ow,xw,yw,zw),用来表示场景点的绝对坐标;相机坐标系(oc,xc,yc,zc),以相机所在点为原点,光轴为z轴建立的坐标系;图像坐标系(oul,xul,yul,zul),以光轴和像平面的交点(即主点)为原点,表示场景点在成像平面上的投影;像素坐标系(o,u,v),以图像左上方第一个像素为原点,以像素为单位建立的二维坐标系。在此，研究后3个坐标系x,y轴方向相同的情况。

图1　针孔成像模型Fig.1　Ideal pin-hole imaging model

通过由世界坐标系到相机坐标系,相机坐标系到图像坐标系，再到像素坐标系的3步转化,最终建立起来世界坐标系和像素坐标系之间的关系,如下:

(1)

式中:dx, dy为x,y方向单位像素的尺寸,mm；f为相机的焦距,mm;f/dx,f/dy被称为相机的有效焦距,分别记为fx,fy;(u0,v0)为相机光轴与像平面交点,即图1中点oul的像素坐标;R,t为由R，t世界坐标系到相机坐标系转化过程中的旋转矩阵(3×3)和平移矩阵(3×1);

由以上关系式得到了相机成像线性模型中的4个内部参数u0,v0,fx,fy;2个外部参数R,t.

2影响相机标定精度的外在因素

本文中所涉及的标定方法均以张正友[6]标定法为基础。该方法具有精度高、稳定、标定板容易制作、标定统一的特点,因此应用范围广泛。张氏标定算法归纳为两步:一是根据简单的线性算法，求出相机成像的线性模型参数的初始值;二是根据径向畸变量的非线性相机模型,对第一步中得到的参数初始值进行非线性优化,最终得到考虑径向畸变的所有参数[7]。下面通过分析张氏标定法的过程,研究影响相机标定精度的外在因素。

2.1单应性矩阵的求取

为不失一般性,规定世界坐标系中zw=0,则(1)式可以写为:

(2)

令H=[h1 h2 h3]=λK [r1 r2 t],H称之为单应性矩阵。则(2)式可以写为:

(3)

单应性矩阵将标定板上特征点的世界坐标值与像素坐标值联系起来。从(2)式可知,一个位姿的标定板对应一个矩阵H,但是由式(3)可知,同一张标定板上不同的特征点所得单应性矩阵也有差异。为了尽可能准确地求得矩阵H,运用优化办法,使得图像中检测到的特征点像素坐标与通过计算得到的特征点的像素坐标之间的差值最小,表达式为:

(4)

由以上介绍,特征点像素坐标[uv1]和标定板上角点的世界坐标[xwyw1]的精度直接影响到单应性矩阵的求取精度。由于使用了优化求解的方法,标定板中角点的数量也影响了单应性矩阵的求取。其中特征点的像素坐标通过图像检测得到,从而影响检测精度的因素，光照、图像的噪声水平、棋盘标定板的单位网格尺寸等也在一定程度上对相机标定造成影响。

2.2求解模型参数的初始值

得到单应性矩阵的值后,根据式(1)和旋转矩阵的正交性,即:r1Tr2=0，且r1Tr1=r2Tr2得到求解其他参数的两个基本式子:

(5)

(6)

由(5)(6)式可知,一个单应性矩阵H可以列出两个方程。然而，K中有fx,fy,u0,v0,4个参数,即方程中有4个未知数,所以至少需要2个单应性矩阵,即至少需要两张图像。但是，标定过程中一般所需的标定图像远多于两张,如果采集图像不足,会由于个别现象而对内部参数计算带来一定的误差。可是采集图像过多也会造成误差累积,增加错误概率[1]。因此，合适图像数量也是影响标定精度的一个重要因素。

通过以上分析后得知,影响相机标定精度的外界因素有:标定图像数量，标定板上特征点的世界坐标获取精度，标定板上特征点数量和单位网格尺寸，以及拍摄标定图像的噪声水平等。

3仿真研究

3.1图像数量对标定精度的影响

模拟相机的内部参数(单位为像素):fx=3 759.35,fy=3 760.64,cx=1 351.04,cy=1 110.41,k1=-0.14,k2=0.02。仿真过程中，设定标定板为10行11列,即110个特征点，单位长度为9.6 mm的棋盘网格；设置相同的内部参数,以及37组不同的外部参数,模拟生成37张图像对应的特征点。表1所示为其中一组外部参数。

表1　相机标定的外部参数

此过程可以排除特征点检测误差和世界坐标的测量误差。通过研究2~37张图像,得到了有效焦距随张数变化的曲线见图2所示。

图2　9.6 mm标定板标定图像数与有效焦距关系Fig.2　Relationships between calibration images number in a 9.6 mm calibration board and effective focal length

图3　照片数量与重投影残差关系图Fig.3　Relationships between calibrationimages number and re-projection error

由图2可见,9.6mm标定板中,图像数小于10张时,标定所得的有效焦距变化幅度很大;图像数达到15张以后,有效焦距的误差达到4个像素以内;20张后,误差缩小到2个像素以内。所以标定图像数量为20~30张时,标定结果较稳定,此条件下标定所得有效焦距与设定的有效焦距的误差小于0.1%。在图3照片数量与重投影残差关系图中同样可以看出,标定图像达到20张后,重投影残差逐渐趋于收敛。标定图像数量最好不少于20张,研究结论与文献[4]中结论相符。考虑到多次成像视点间的分布关系和距离关系对图像数量研究的影响,对14mm标定板做同样研究,结论依旧成立。

3.2标定板制作规格对精度影响

标定板的制作尺寸,决定了特征点数量以及单位网格的尺寸。

3.2.1特征点数量对标定精度影响

模拟生成一系列网格单位长度为9.6mm,行列规格分别为2×3,3×4,4×5,5×6,6×7,7×8,8×9,9×10,10×11,11×12,12×13,13×14,14×15,15×16的棋盘网格。从以上涉及到的37组外部参数中随机选择25组,内部参数不变,分别对不同标定板所生成的图像进行标定。标定了特征点数量从6～240个的标定板,分析得到有效焦距和主点坐标较设定值的误差随特征点数量变化的曲线图。

图4　特征点个数与有效焦距关系图Fig.4　Relationships between the number of featurepoints and the effective focal length

图5　特征点个数与主点坐标误差关系图Fig.5　Relationships between the number offeature points and the main point coordinate error

图4表明,随着特征点由6到240个,有效焦距的值在8个像素内浮动,较设定的fx,fy初值,误差在0.2%内,说明特征点数量对有效焦距的影响有限。图5表明,当特征点为最小值6个时,主点纵坐标较设定值误差达到0.2%;特征点在12～150个时,主点坐标误差在0.1%附近;当特征点数量达到150个以上时,主点坐标较最初设定值的误差直线上升。所以制定标定板规格时,特征点的数目小于150个比较合适。

3.2.2标定板网格大小对标定精度影响

模拟生成一系列网格规格为10×11,单位长度(mm)分别为1,2,3,4,5,6,7,8,9,10的棋盘网格,相机内外参数不变,生成10组各25张图像,分别进行仿真标定,得到有效焦距随标定板网格大小变化的曲线如图6所示。

图6　网格单位长度与有效焦距关系图Fig.6　Relationships between the number offeature points and the effective focal length

图6显示,当网格单位长度小于6 mm时,获得的有效焦距上下浮动范围较大,原因是棋盘网格太小,则相对误差较大;当单位长度位于6~14 mm时,获得的有效焦距较为稳定。但是,当网格单位长度大于14 mm后,有效焦距先下降然后迅速增大。原因是研究的棋盘太大,则镜头畸变引起的距离测量误差增大,从而导致标定中有效焦距结果误差较大。分析所得结果与文献[1]中实验结果基本吻合,并且补充研究了棋盘网格单位长度小于10 mm时有效焦距的变化情况。

综上所述,当棋盘标定板中特征点数目为110个时,在相机拍摄视野范围允许的情况下,网格的单位尺寸应该保证在8~14 mm。特征点数目若多于110个,则网格单位尺寸应该略微缩小,反之亦然。但是特征点的数量最好不超过150个。

4实验研究

4.1实验研究标定图像数量对标定精度的影响

仿真研究了图像数量对相机标定精度的影响之后,进行实验验证。

搭建实验台,使用分辨率为2 736×2 192的point greyUSB3.0工业CCD相机、高分辨率镜头以及LED环形光源。利用该实验台,采集37张不同位姿的标定图像。随机抽取这37张图像中的第3—37张,利用matlab标定工具箱对其进行标定,得到标定图像张数与有效焦距的关系图。图7中表明，相机标定的图像数量最好不少于20张。考虑到相机的各个参数对于成像的作用存在耦合关系,在试验中单独比较各个参数的结果有可能不能全面、真实反映标定效果,所以又得出标定图像和重投影残差关系图(图8)。以上过程均证明标定图像数量在20～30张为宜,此时有效焦距误差在0.2%内,重投影残差也相对较小。

图7　实验中标定图像张数与有效焦距关系图Fig.7　Relationships between calibration imagesnumber and effective focal length in experiment

图8　实验中标定图像张数与重投影残差关系图Fig.8　Relationships between calibration imagesnumber and re-projection error in experiment

4.2特征点采集精度对标定精度的影响

采集并挑选25张标定图像,在图像中添加标准差为0~22的高斯噪声,生成23组标定图像。部分标定图像见图9所示。9-a为原始标定图像,9-b为添加方差为484噪声后的图像。

图9　加噪前后标定图像对比Fig.9　Comparison of calibration images before and after adding noise

图10　噪声标准差与重投影点误差关系图Fig.10　Relationships between standarddeviation of the noise and re-projection error

对上述23组图像分别进行标定,得到相机参数后进行重投影,求出特征点,与图像经过Harris角点检测[1]得到的特征点相比较得到重投影[5]误差。由于噪声的随机性,笔者采用多次添加求误差均值的办法,最终获得重投影点误差相对于未添加噪声时的误差的比值随噪声标准差变化的关系曲线,如图10所示。图中表明,首先棋盘标定板对于图像噪声有一定的抗干扰性，但是随着噪声方差的加大,重投影点误差与其基本呈正比例增大，间接证明特征点的检测精度对于相机标定精度有一定影响。所以在标定过程中应该尽可能地减少图像噪声。

5结束语

本文以张正友标定方法为基础,通过模拟相机成像的正逆过程,研究了图像数量、标定板规格以及图像噪声对于相机标定的影响,得出如下结论:

1) 在张氏标定法中,标定图像数量在20~30张为宜,相机有效焦距相对稳定,重投影残差相对较小。

2) 在相机视场范围内,当特征点个数为110个,单位网格长度在6~14 mm之间时，获得的有效焦距最稳定;当棋盘网格单位长度为10 mm时,棋盘标定板上的特征点应保证在150个以内,此时主点坐标获取稳定。

3) 棋盘标定板对于图像噪声有一定的抗干扰性。重投影点误差与噪声方差基本呈正比例放大。

参考文献：

[1]支健辉,董新民,孔星炜，等.相机标定的外界影响因素分析[J].应用光学,2014,35(2):286-291.

[2]刘俸材,李爱迪,马泽忠,等.结构光视觉系统误差分析与参数优化[J].计算机工程与设计,2013,34(2):757-761.

[3]胡楠,鲁光泉,荔涛,等.基于分步标定法的交通事故现场摄影测量精度实验分析[J].汽车工程,2008,30(7):557-560.

[4]尹洪涛,刘成,李一兵,等.相机标定误差因素分析[J].信息通信,2012,12(1):28-30.

[5]袁铭,苏显渝,刘晓青,等.影响摄像机标定精度的因素分析[J].光学与光电技术,2010,8(4):18-21.

[6]ZHANG Z Y.A Flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[7]冯焕飞. 三维重建中相机标定方法研究[D].重庆:重庆交通大学,2013.

[8]孟海岗.基于平面约束的CCD相机标定方法改进[D].吉林:吉林大学,2009.

(编辑：庞富祥)

Influence of External Factors on the Calibration Precision of Camera and Its Experimental and Simulation Study

CHEN Xiaoyan1a,DONG Zhiguo1,YA Gang1,LIU Jiancheng1,2

(1.a.CollegeofMechanicalEngineering,b.ShanxiProvince’sKeyLaboratoryofPrecisionMachining,TaiyuanUniversityofTechnology,Taiyuan030024,China;2.PacificStatesUniversity,California,95211,America)

Abstract:In order to improve the accuracy of camera calibration,the influencing factors must be considered.On the basis of Zhang Zhengyou’s calibration method,some main factors were analyzed comprehensively. The distribution curves of the camera parameters under these factors were obtained. The results of experiment and computer simulation demonstrate that the calibrated image number had better be no less than 20; In the camera view, given 110 points feature, the unit length of the grid controlled between 8 and 14 mm can obtain stable effective focal length. Feature points on the calibration plate board should be within 150 while the length of grid unit board is 10 mm,so that the principal point can be obtained steadily; the variance of noise and re-projection error is amplified proportionally.

Key words:geometrical optics;camera calibration;calibration accuracy;error analysis;External factors

中图分类号:TB852.1；TP391.41

文献标识码:A

DOI：10.16355/j.cnki.issn1007-9432tyut.2016.01.004

作者简介：陈晓燕(1989-)，女，山西阳泉人，硕士生，主要从事工业CCD相机标定研究，(E-mail)1066893746@qq.com通讯作者：轧刚，男，教授，主要从事机械零件表面处理研究，(E-mail)yagang1@163.com

基金项目：国家自然科学基金资助项目(51575375)

收稿日期：2015-07-16

文章编号:1007-9432(2016)01-0016-05