摄像机标定的研究

曾令虎，刘 鹏

(武汉工业学院数理科学系，武汉430024)

本文根据标定过程中是否需要标准的标定物来将标定方法分为三大类:传统的摄像机标定方法、自标定方法和基于主动视觉的标定方法。

传统的摄像机标定方法需要借助已知的标定物，即知道标定物的形状和尺寸，通过对标定物进行拍摄，然后对其图像进行处理后，利用数学变换和计算方法来建立图像与实际标定物之间的关系模型来计算摄像机的内外参数。这些传统的方法首先来源于摄影测量学中的传统方法。Faig在文［1］中利用针孔摄像机模型的共面约束条件，对每一幅图像上的点与对应物点之间用至少17个参数来描述它们之间的关系从而建立方程组，通过解方程组来得到相机的参数。但是这种方法的计算量非常大，经常无法得到正确的计算结果。Abdai－Aziz和 Karara［2］于20世纪70年代初提出了直接线性变换的摄像机标定方法，该方法可以直接通过计算线性方程就能计算出摄像机参数。但是前面这两种方法完全都没有考虑图像成像过程中的畸变情况，所以误差比较大。后来的方法都考虑到了摄像机成像过程中的畸变情况，因此非线性摄像机标定方法就应运而生了。文献［3］提出了一种简单快速的镜头畸变参数标定方法，该方法考虑一阶径向畸变的情况，只需要空间共线的4个点的图像坐标和其交比，利用透视投影中的交比不变性质，建立一元二次方程即可计算出畸变参数。为了避免非线性优化方法中的不稳定性，文献［4］提出一种先对图像进行校正然后进行线性标定的方法。非线性标定方法虽然考虑了镜头的畸变，但是其计算过程繁杂，经常不能得到精确解。于是Tsai［5］于1986年提出了一种实用的两步定标算法，先不考虑畸变，利用透视变换计算出初始参数，然后在考虑畸变的情况下利用这些参数继续求解精确解。但是这种方法只考虑了径向畸变，而且设备精度要求很高，对于简单标定并不适用。Weng［6］对两步法做出了重要的改进和发展，即同时考虑了两种畸变并给出了相应的算法。2000年，Zhang［7］提出了一种基于平面模板的标定方法，该方法借助一个具有精确定位点阵的标定模板，通过单个以上不同方位的模板图像与模板进行匹配，利用单应矩阵计算出内参数。该方法简单易行，而且可求解镜头的畸变因子，然而这种方法需要人工地提取每幅图像的角点进行匹配，不利于标定自动化的实现。在此基础上，很多学者提出了其它各种基于平面模板的标定方法。比如文献［8］提出一种利用改进的SUSAN算法能够自动完成角点坐标的匹配的摄像机模型;全红艳等［9］提出的方法中的所采用的标定板为正方形及四边上的中点;文献［10］提出以圆心作为标定点的2D平面模板;吴福朝、王光辉［11］采用两个非平行矩形作为模板同样完成了对摄像机内参数的标定;文献［12］提出采用平面二维正弦灰度调制条纹图作为标定板;胡钊政［134采用的标定模板是圆心和半径都未知的两相交的圆;孟晓桥等人［14］采用一种由圆和通过圆心的若干条直线作为标定模板完成了标定工作;文献［15］在此基础上提出了一种基于单一矩形的平面标定模板;文献［16］提出以具有两个相似图形的平面模板实现标定的方法等等。这些对于标定方法的改进，进一步促进了摄像机标定工作的发展。其它的基于平面的标定方法还有双平面法。Martins等［17］首先提出了双平面模型;马颂德和魏国庆［18］在利用双平面模型标定摄像机参数方面做了大量的研究工作。同样，也有很多学者提出了基于一维参照物的标定方法［19-25］。一维参照物只需要由三个或者更多已知相对位置的线性点构成，然后通过观察一维参照物的运动，求解出相机的内外参数。随着机器视觉理论的完善，后来又有研究者提出并不断完善了基于圆球的标定方法。在针孔相机模型下，Teramote和Xu［26］利用圆球投影与绝对二次曲线之间的的代数关系，提出一种基于绝对二次曲线的非线性优化算法来标定摄像机的内参，但是不足之处是需要预估初值。Agrawal和 Davis［27］利用二次曲线与圆球投影的对偶之间的关系，使用半定规划标定出摄像机内参数。该方法虽然也涉及部分的非线性算法，但是相比Teramote的算法不需要估计参数初值。接着Zhang［28］等人在Agrawal等人方法的基础上提出一种线性算法，利用特征值方法回避半定规划。Ying［29］等人则利用 double－ contact定理解释圆球投影与绝对二次曲线投影的代数关系和几何关系。

自标定是由 Faugeras，Luong，Maybank 等［30-31］于上世纪末提出的。自标定方法不需要标准的标定物，即在场景未知和摄像机运动的情况下标定也能够实现。Faugeras等从射影几何的角度证明了任何两幅图片之间都存在着两个二次非线性约束，这两个约束组成了Kruppa方程组，通过求解该方程组就能得出摄像机内参数。但是由于解这个方程组存在着很大困难，于是又有学者提出了分层逐步标定的方法，代表性的方法有 Triggs的绝对二次曲面法［33］、Hartley 的 QR 分解法［32］、Pollefeys 的模约束法等［34］。在考虑到实际应用中内参数实时可变的情况，人们进一步提出了内参数可变情况下的自标定的概念。Heyden，Ustr9m，Pollefeys等［35］从理论上证明了在内参数满足一定条件下的摄像机自标定方法的可行性。Pollefeys等［36］提出了一种模约束法的自标定方法，具有较强的实用性。由于所有的自标定方法都只与摄像机内部参数有关系，与外部环境与摄像机的运动都无关，所以自标定方法比其他方法更为灵活。

基于主动视觉的摄像机标定是自标定方法的重要分支，它通过控制摄像机的运动获得多幅图像，通过确立这些图像与摄像机运动轨迹之间的关系来标定摄像机的内外参数。目前基于主动视觉的标定方法中具有代表性的方法有马颂德等［37］提出的基于两组三正交运动的线性方法、杨长江等［38］提出的基于四组平面正交以及五组平面正交运动来标定的方法、于洪川［39］提出的三次不共面的平移运动的标定方法。基于主动视觉的标定方法算法简单，可以获得线性解，缺点是该标定方法需要有可以精确控制摄像机运动的仪器，仪器昂贵，花费代价比较高，在一般场合不适用。

1 传统摄像机标定模型

传统的摄像机标定是需要借助已知的标定物，即知道标定物的尺寸和形状，然后通过建立标定物上的点与拍摄其所得图像上的对应点之间的对应关系所得的数学模型来标定摄像机内外参数，主要有以下四种方法。

1.1 直接线性变换

直接线性变换就是用透视投影矩阵的形式来表示出像点与物点之间的几何关系:

其中(u，v，1)T即为图像上的点在图像坐标系下的坐标，P为从空间到图像的透视投影矩阵，(Xw，Yw，Zw)T为世界坐标系下的空间点的欧氏坐标，s为未知尺度因子。

上式经过化简消去s可以得到以下方程组:

p11Xw+p12Yw+p13Zw+p14－(p31uXw+p32uYw+p33uZw+p34u)=0.

p21Xw+p22Yw+p23Zw+p24－(p31uXw+p32uYw+p33uZw+p34u)=0.

每一个对应点就会有对应以上一个方程组，则当有N组点时，就可以产生2N组这样的方程组:A L=0，其中A为2N×12的矩阵，L为透视投影矩阵 P 中的元素组成的向量:［p11，p12，p13，p14，p21，p22，p23，p24，p31，p32，p33，p34］T。标定的目的就是求合适的透视投影矩阵，即L使得方程组‖AL‖最小。其中约束条件为:

其中L＇为L的前11个元素组成的向量，C为A前11列组成的矩阵，B为A第12列组成的向量。

1.2 RAC 定标方法

RAC定标方法是Tsai于1986年提出的基于径向约束的两步标定法。首先给出图像成像过程中的图像与物点之间的关系模型。当考虑图像成像过程中的径向畸变时，理想图像坐标到数字图像坐标的变换为:

(x－uc)(1+k1(u2+v2))=u－uc.

(y － vc)(1+k1(u2+v2))=v－ vc.(u，v)为一个点的数字化坐标，(x，y)为理想的数字化坐标，(uc，vc)为畸变中心。约束条件采用径向一致约束条件:即在图像平面上，点 (x，y)，(uc，vc)，(u，v)共线，或者直线 (x，y)(uc，vc)与直线(uc，vc)(u，v)平行或斜率相等，则有:通常把图像中心取作畸变中心和主点的坐标，则

定标算法分为两个步骤:先利用径向一致约束来求解 R，t1，t2和 s，然后再求解有效焦距 f，z方向上的平移t3和畸变参数k1。

1.3 平面标定法

平面标定法是一种新的适合应用的灵活的新的方法，该方法也是采用针孔模型，但是它与传统的标定方法不同之处在于该方法假定平面图板在世界坐标系中的Z方向为0，即只考虑X和Y轴构成的平面图像。该方法的基本模型如下:

因为是平面标定法，所以所采用的实物点是平面上的点，即Z坐标轴取0。在上式中，K为摄像机的内参数矩阵，即我们需要求的参数矩阵。为所采用的标定板平面上点的齐次坐标，为标定板上的点投影到图像平面上对应点的齐次坐标，[r1r2r3]和t分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量，当取Z坐标轴为0时变换矩阵变为H，则有以下式子:

由于摄像机有5个未知的参数，所以至少有三幅图像时就能计算出内参数矩阵K。

1.4 双平面标定法

双平面模型不像针孔模型那样需要所有投射到像平面上的光线必须经过光心，它通过成像平面上的任意一点分别计算出两个定标平面上对应点的位置，然后通过这三个点则可以确定产生成像点的光线，其模型如图1所示。

图1 双平面标定模型

对图1中的两个定标平面，可以利用一组定标点建立各自的插值公式。线性近似时，定标平面上相应点坐标可以表示成图像点坐标的线性组合，计算公式为 pi=Ai× L，i=1，2 。这里 L=(u，v，1)T是图像齐次坐标;pi=(xi，yi，zi)T是第 i个定标平面上相应点;Ai是一个3×3的回归参数矩阵。所以当每个平面至少已知三个点时能够通过最小二乘法计算出Ai的值，求解公式为:

A=p × LT× (L × LT)－1.

2 自标定算法

2.1 直接求解Kruppa方程的自标定

Faugeras等人利用绝对二次曲线像和极线变换的概念推导出了Kruppa方程，然后提出了通过求解Kruppa方程来求解相机内参数的自标定方法。

由图2我们可以看出，在光心所对应的两个平面平面1和平面2上分别存在着两条极线(l1与)与绝对二次曲线分别在两个平面上的投影ω，ω＇相切。由射影定理得知，这两组极线分别对应于无穷远平面上与绝对二次曲线Ω相切的两条极线l1μ，l2μ，这种对应关系被称作极线变换。现如果将平面1上的极线l1表示成e×m，而平面2上的对应极线表示为Fm，则根据极线变换有以下式子成立:

(e× m)KKT(e× m)=mT［e］TKKTm⇔

FmTKKT(Fm)=mTFTKKTFm，∀m.

即得到Kruppa方程:

式中[e]x表示矢量的反对称矩阵。则由图2知可以从两个平面分别得到一个Kruppa方程，所以当给定3幅图像时，可以联立两个Kruppa方程解出摄像机的全部5个内参数。

图2 示意图

由图2可看到，图2通过光心C，C＇且与无穷远平面πμ的绝对二次曲线Ω相切的两个平面必定同时满足与Ω的象ω，ω＇相切。

2.2 分层逐步标定法

分层逐步标定法的过程共分为两步，首先对图像序列进行射影重建，然后在射影重建了的图像序列上进行仿射标定和欧式标定。在这里给出一种具有代表性的模型:Hartley方法。

Hartley方法是直接对摄像机投影矩阵进行QR分解的自标定方法。该方法的第一步是做射影重建，经过射影对齐后获得投影矩阵序列。这种自标定的主要目标就是找到合适的射影变换HE，将pi变换到欧式空间下的投影矩阵，即:

将(3)式带入到(2)式中，只取前三列得到:

Hartley方法的最大特色是利用QR分解方法消去旋转矩阵R。在面对当具有较长输入序列时，该方法能够取得较好的效果;但是不足之处是必须预估其初值，而且不能保证其收敛性。

2.3 基于绝对二次曲面的自标定

在提到绝对二次曲线之前，首先引入绝对二次曲线的概念。在扩展欧式坐标系中，绝对二次曲线被定义为无穷远平面上的一个虚二次曲线，令x=(X，Y，Z)T是它平面上的任一点，则x满足X2+Y2+Z2=1，t=0 .

绝对二次曲面Ω*是空间中一个特殊的虚二次曲面。从代数角度考虑，Ω*在扩展欧氏坐标系中的二次型为

绝对二次曲面Ω*对应着图像上的绝对二次曲线像的对偶ω*，则

对(7)式两边矩阵的对应项做叉乘消去λi以避免不同图像的不同λi对方程的影响:

然后通过联立求解(8)式组成的方程组可以计算出摄像机参数。

该方法在本质上与基于Kruppa方程的方法都是利用了绝对二次曲线在欧式变换下的不变性。基于Kruppa方法在输入更多图像对时，无法保证无穷远平面的一致性，而本方法却保证了无穷远平面对所有图像的一致性，所以具有更好的稳定性。

3 基于主动视觉标定方法

所谓的主动视觉系统是指控制摄像机在运动中获得多幅图像，然后利用它的运动轨迹以及获得的图像之间的对应关系来标定摄像机参数。在本文笔者仅仅提出其中一种方法:基于平面单应矩阵的正交运动方法。

假定t(1)，t(2)是摄像机一组正交的平移运动，则有以下两个单应矩阵:

4 结束语

本文总结了摄像机标定的发展现状，列出了主流的几种摄像机标定的几何模型以及解法。正如前面所述，传统的摄像机标定方法需要一个标准的参照物，通过参照物与其图像之间的对应关系来建立摄像机模型从而确定摄像机参数，考虑到拍摄过程中出现的畸变情况，同时还需确定非线性畸变校正模型的参数来提高计算精度。当前，对传统摄像机标定技术的研究集中在如何提高计算的精度和如何选择合适的标定物。对于如何提高计算非线性方程组的计算精度，有很多学者提出了多种解非线性方程组的方法，如神经网络、遗传算法以及神经网络和遗传算法相结合的方法等等。这些方法对于解非线性方程的精度都有一定的提高。

自标定技术不同于传统的标定技术，它不需要特定的标定物，只需要利用从多幅图像中得到的约束关系来建立标定模型。由于不需要特定标定物，所以使得该方法能够在线地、实时地校正摄像机参数。但是该方法的最大缺陷是图像受周围环境的影响很大，带来标定的结果的精度不高，鲁棒性不好。这个是自标定领域研究中需要解决的问题。

主动视觉标定方法从另外一个方面建立了一种标定模型，它通过将摄像机固定在可以精确控制的控制台上，通过控制摄像机的移动获得多幅图像，根据摄像机的移动轨迹和获得的图像之间的对应关系建立标定模型。但是这种方法的不足之处是必须精确控制摄像机的运动，否则计算精度很难保证。

通过对几种主要的摄像机标定方法进行比较综述之后，笔者发现摄像机标定方法已经从当初的点对点之间的对应关系来建模标定模型发展到现在线对线以及圆对圆等各种新的改进的模型，但是所有这些模型都有一个缺陷就是稳定性不强，即当一个点或者线有一定的偏差之后，对计算结果会有很大的影响，所以提出一种稳定性强，受图像匹配效果影响小的标定方法是当前很好的一个研究方向。

［1］Faig W.Calibration of close-range photogrammetric systems:mathematical formulation.Photogrammetric eng［J］.Remote sensing，1975，41(12):1479-1486.

［2］A bdel-Aziz Y I，Karara H M.Direct linear transformation into object space coordinates in close-range photogrammetry［J］.Proc Symposi-um on Close_range Photogrammetry，1971:1-18.

［3］贺俊吉，张广军，杨宪铭.基于交比不变性的镜头畸变参数标定方法［J］。仪器仪表学报，2004，25(5):597-599.

［4］郑榜贵，田炳香，段建民.基于交比不变量的摄像机标定方法［J］.北京工业大学学报，2008，34(5):476-480.

［5］TsaiR Y.An efficnentand accurate camera calibration technique for 3D machine vision［J］.Proc CV PR＇86:364-374.

［6］伍雪冬，蒋新华，李建兴.计算机视觉中传统摄像机标定方法综述［J］.福建工程学院学报，2007，5(1):57-61.

［7］Zhang ZY.A flexible new technique for camera calibration［J］.IEEE Transaction on pattern A-nalysis and Machine Intelligence，2000，22(11):1330-1334.

［8］王晓华，傅卫平.一种改进的摄像机标定方法［J］.东北林业大学学报，2007，35(6):51-53.

［9］全红艳，张田文.一种新的利用模板进行摄像机自标定的方法［J］.电子学报，2005，33(11):1941-1945.

［10］刘金颂，原思聪，张庆阳，等.双目立体视觉中的蛇形迹标定技术研究［J］.计算机工程与应用，2008，44(6):237-239.

［11］吴朝福，王光辉，胡占义.由矩形确定摄像机内参数与位置的线性方法［J］.软件学报。2003，14(3):703-712.

［12］刘元坤，苏显渝，吴庆阳.基于傅立叶条纹分析的多摄像机标定方法［J］.光子学报，2007，36(9):1734-1737.

［13］胡钊政，谈正.利用二次曲线拟合和圆环点进行摄像机标定［J］.西安交通大学学报，2006，40(10):1065-1068.

［14］Meng X Q，HU Z Y A new easy camera calibration technique based on circular points［J］.Pattern Recognition，2003，36(5):1155-1164.

［15］孙瑾，顾宏斌.矩形模板下摄像机标定和目标定位方法研究［J］.小型微型计算机系统，2008，9(9):1740-1744.

［16］李欣菊，祝海江，吴福朝.基于平面相似图形的摄像机标定方法［J］.模式识别与人工智能，2004，17(4):457-461.

［17］Martins H A，Birk JR，Kelley R B.Camera models based on data from two calibration planes［J］.Computer Graphics and Imaging Processing，1981，17:173-180.

［18］Wei G Q，Ma SD.Implicit and explicit camera calibration theroy and experiments［J］.IEEE Transcation on Pattern Analysis and Machine Intelligence，1994，16:469-480.

［19］Cao X，Foroosh H Camera calibration without metric information using 1D Objects［J］.International Conference on Image Processing，2004，(2):1349-1352.

［20］Hammarstedt P，Sturm P，Heyden A.Degenerate cases and closed-form solutions for camera calibration with one-dimensional objects［J］.10th IEEE International Conference on Computer Vision，2005，(1):317-324.

［21］He X.Estimation of internal and external parameters for camera calibration using 1D pattern［J］.Proceedings of IEEE International Conference on Video and Signal Based Surveillance(AVSS＇06)，IEEE Computer Society，Los Alamitos，CA，USA，2006:93-93.

［22］Zhang Z.Camera calibration with one-dimensional objects［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence.2004，26(7):892–899.

［23］Wu FC，Hu Z Y ，Zhu H J.Camera calibration with moving one-dimensional objects［J］.Pattern Recognition.2005，38(5):755 – 765.

［24］Qi F.Camera calibration with one-dimensional objectsmoving under gravity，Pattern Recognition［J］.2007，40(1):343 – 345.

［25］Qi F.Constraints on generalmotions for camera calibration with one-dimensional objects［J］.Pattern Recognition，2007，40(6):1785 –1792.

［26］Teramote H，Xu Gang.Camera Calibration by a Single Image of Balls:From Conics to the Absolute Conic［J］.ACCV2002.

［27］Agrawal M，Davis L S.Camera Calibration U-sing Sphere:A Semidefinite Programming Approach［J］.Computer Vision Proceeding，2003(2):782-789.

［28］Hui Zhang，Wang K Y K，Zhang Guoqiang.Camera Calibration from Images of Spheres［J］.IEEE Trans on PAMI，2007，3(29):499-503.

［29］Ying XiangHua，Zha Hongbin.Geometric Interpretations of the Relation between the Image of the Absolute Conic and Sphere Images［J］.IEEE Trans on PAMI，2006，12(28):2031-2036.

［30］Faugeras O，Luong Q T，Maybank S.Camera self-calibration:Theory and experiments［Z］.Proceedings of the 2ndEuropean Conference on Computer Vision，Italy，1992:321-334.

［31］Maybank S，Faugeras O.A theory of self-calibration of amoving camera［J］.Internation-al Journal of Computer Vision，1992，8(2):123-151.

［32］Hartley R.Euclidean reconstruction and invariants from multiple images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1994，16(10):1036-1041.

［33］Triggs B.Auto-calibration and the absolute quadric［Z］.Proceedings of Computer Vision and Pattern Recognition，San Juan Puerto Rico，1997:609-614.

［34］Pollefeys M，Van Gool L，Oosterlinck A.The modulus constraint:A new constraint for selfcalibration［Z］.Proceedings of International Conference of Pattern Recognition，Vienna，1996:349-353.

［35］Heyden A.Euclidean reconstruction from image sequences with varying and unknown focal length and principal point［Z］.Proceedings of Computer Vision and Pattern Recognition，London，1997:438-443.

［36］PollefysM，Koch R，Van Gool L.Self-calibration and metric reconstruction in spite of varying and unknown internal camera parameters［Z］.Proceedings of the 6thInternational Conference on Computer Vision，India，1998:90-95.

［37］Ma SD.A self-calibration technique for active vision system［Z］.IEEE Trans Robotics and Automation，1996，2.

［38］Yang C J，Wang W，Hu Z Y.An active vision based self-calibration technique［J］.Chinese Journal of Computers，1998，21(5):428-435.

［39］于洪川，吴福明，袁波.基于主动视觉的摄像机自标定方法［J］.机器人，1999，21(1):1-7.