基于后测量策略的摄像机稳健标定方法

王 贺，王国中，张兆杨

（上海大学 通信学院，上海 200072）

1 摄像机标定简介

摄像机标定作为计算机视觉领域的一个重要课题，人们已经对其进行了较多的研究[1-4]，但是多数在实验室进行的研究，对所拍摄的标定图像的质量要求较高。所以，在某些实际场景中，可能拍摄得到的图像质量并不理想，比如使用CMOS相机进行机器视觉测量，或者室内暗光场景下进行3D视频的多相机采集等。图1a是在理想照明状况下拍摄到的模板细节，而图1b是在非理想状态下拍摄到的细节。可以观察到，非理想状态下图像噪声较严重，必然对标定过程中细节特征提取造成影响，最终影响标定精度。基于2D模板的方法是当前实际应用最频繁的方法之一，然而此方法对特征提取的依赖性较强，所以不良的图像质量导致了基于2D模板方法的稳健性下降。而且2D模板方法可能因为模板的旋转，使得计算机对图像理解错误，导致计算机提取的角点坐标与实际的角点坐标误匹配，如图2所示。

本文提出一种新的标定物设置方法，并且颜色特征提高特征提取的自动化和准确性，以提高标定结果的准确度。

2 标定方法类别

现有的多数关于摄像机标定的研究是基于标定物参照物的标定，根据标定物体的维度，它们可以大体被分作3类：

1）基于3D标定参照物的标定方法

相机所拍摄的3D标定物，必须在3D空间中具有精确的尺寸信息和位置信息，此方法的标定效率比较高[3]。3D标定物通常是由2个或者3个相互正交的平面构成。某些时候也采用对1个平面进行精确的可知平移后，多次进行拍摄的方法达到构建3D标定物的目的。而这种方法，对于设备的要求极高，需要精确控制尺寸，并且进行精密的事先设置。

2）基于2D标定参照物的标定方法

此类方法要求对1个2D模板从不同的角度和位置进行多次拍摄[4]，不同于Tsai的方法，2D模板相对于摄像机的移动信息并不是必要的。因此，此种方法相对3D标定参照物法，易于实现。但是在某些场景中，稳健性、稳定性不够好。

3）基于1D标定参照物的标定方法

理论上1D标定物是空间中一条线段上的端点，一般来说是由1根棒状物体，并在直棒上附加球形标记构成。在拍摄标定图像的过程中，1D标定物的一端要求固定不变，改变直棒的姿态，进行多组拍摄，然后对图像进行识别，获得特征信息，进行闭式求解，并用非线性方法优化。在某些场景下，此法的精度不及2D标定精度，但是可以满足一些特殊需求，比如，两相机的基线长度极大，而且光轴夹角大于90°的情况下。此方法在理论上填补了标定物维度从3D到1D的空白环节[5]。

不管是哪一种分类，最终都是为了求解特定相机所确定的由世界坐标到图像坐标的映射关系

式中：W为世界坐标，是一个4行1列齐次坐标；m是一个3行1列齐次坐标；P是一个3行4列矩阵。

3 标定物构建与后测量策略

因此，为提高识别精准度、降低相对测量误差，提出一种新的标定参照物构建方法，并且在测量中使用后测量策略。构建完成后的标定物如图3所示。所有特征可以由普通彩色打印机打印，特征由1个圆环和1个2×2的黑白方格阵构成，圆环半径任意设定，黑白方格阵的中心处于圆环的圆心位置。特征被固定在一个尽可能大的平板之上，图3中的平板大小为1.4 m×1.2 m，首先固定红、绿、蓝三色特征，3个特征尽量彼此保持最大距离，如此3个特征构成三角形，然后，可以用普通卷尺测量3个顶点之间的距离，本实验所用的卷尺最小刻度为0.5 mm。然后，在3个顶点的中点位置，安置3个黑色特征，除了颜色为黑色之外，构造方法与彩色特征一致。

图3 本文提出的标定参照物

在确定标定物的尺度时，采取了后测量策略。由于前文提到的打印机误差问题，预设的尺度值总是与实际尺度值之间有误差，为改进此问题，标定物尺寸的确定被放在标定物构建完成之后进行。前文提及，使用普通标尺即可进行测量，且最小刻度为0.5 mm的标尺可以保证测量每个边长的误差小于0.5 mm。因此，比较棋盘模板与本文模板，当棋盘模板横轴总长度为43.75 mm时，相对误差为0.009，若本文标定物中三角形边长为43.75 mm时相对误差为0.011。但是，随着标定无尺度变大，本文标定物相对误差小的优势逐渐显现，如表1所示，相对误差的下降曲线对比如图4所示。

表1 棋盘模板与本文标定物相对误差比较

所以，通过相对误差对比可以观察得知，通过后测量策略可以有效降低相对误差。本质上是因为新参照物中特征之间的距离远大于棋盘模板特征点之间的距离，因此相对误差被减小。这样增强了在不同环境、不同设备条件下构建标定参照物的稳健性。

4 RGB空间信息辅助特征检测

前文提及在棋盘特征点检测的时候，有可能因为大角度旋转引起特征点对应错误，为解决此问题，引入了RGB颜色信息来辅助特征点检测，提高检测成功概率。从图5可以观察得知，在世界坐标系中的3种颜色特征分别对应了图像平面上的3种颜色特征，由此不论标定物如何旋转，只要在RGB空间中能对特征进行分别检测，就可以保证特征点的一一对应，解决了棋盘模板在大旋转情况下可能出现误差的问题。但是，由于光学三基色与印刷三基色不同，所以打印出的颜色圆环并非纯正的红绿蓝三色，比如，在红色圆环中，会混有蓝色和绿色分量。为了红绿蓝三色特征分别被检测出来，需要在每个区域根据采样的概率密度设定三分量的不同门限，以达到提高检测概率，降低虚警概率的目的。

首先，针对不同的照明强度与场景条件，需要对图像的全局亮度进行估计，经过多组实验，得到全局亮度估计

式中：Af为镜头的光圈尺寸；Tex表示曝光时间；Pl表示外部照明强度值；k（n）为图像传感器响应函数。得到全局亮度后，图像被下面的公式重新归一化

式中：In表示归一化后的亮度值；Imax表示最大实验亮度；Er,g,b(x,y)表示每个像素的RGB分量；Qr,g,b表示R，G，B分量的加权因子，在实验中得到，当Qr=0.49，Qg=0.90，Qb=0.65时，实验效果较好。

由前文所述对多个像素点进行采样统计得知，各个分量的亮度值基本服从正态分布

式中：yj表示采样点的亮度值；mr,g,b为R，G，B分量的均值。若要提高检测概率，则需要最大化，公式为

式中：Dr,g,b表示红绿蓝中某一个特定颜色特征的出现概率；H1表示备择假设；H0表示零假设。因此，式（5）被重写为

式中：Tacc为接受门限；Trej为拒绝门限。经过实验得到，当Tacc=80.1，Trej=39.8,Pr达到最大值，当使用以上2个门限值对特定颜色特征进行检测时，虚警概率可以保证小于0.01。对于三基色检测之后得到的椭圆环的检测，参考了方法[6-8]。检测结果如图6所示。有色圆环带状区域中的白色曲线即检测到的椭圆曲线，中心的白色“o”标志，为椭圆的中心位置或者称椭圆两焦点的中点。可以看出，检测的效果较好，椭圆中心位置与特征中心的位置吻合较好。但是，仍可以看出，椭圆中心与实际特征中心点有微小差距，下面将以椭圆检测的结果为初始值，通过中心的二次检测，提高中心特征点检测精度。

椭圆检测后，得到的椭圆中心与实际特征中心吻合较好，仅有微弱差异，因此可以以检测到的椭圆中心为基础，在其周围进行中心二次检测，检测方法采用了改进的Harris角点检测方法。对于特征中心的定位可以达到亚像素精度，即定位误差小于0.1像素。

5 标定的求解

由此，特征点在图像中的坐标可以准确得到。又根据前文所述的后测量方法，得到各个点之间的距离，根据简单的三角关系可以得到特征点在世界坐标中的位置坐标，而经过特征检测后，得到了特征点的图像坐标，因此，根据以上两组数据可以求解世界坐标到图像平面之间的投影关系[3]。为了进一步提高精度，可以使用线性求解的结果作为初始值，进行非线性优化，比如使用Levern⁃berg-Marquardt方法。

6 实验与分析

为验证标定的可行性，进行了多组实验。对单个相机进行标定后发现，反投影误差90%，小于0.1像素，如图7所示。而且与棋盘方法相比，标准差与反投影误差都有所减小。表2至表5分别为采用棋盘模板法与本方法的实验结果，可以发现，本方法相对前方法反投影误差减小，而且稳定性有所提高。如果采用多组图像进行标定，随着图像组数增加，标定结果的稳定性也会进一步增强，精度也有所提高。

表2 采用棋盘法进行单相机标定得到的结果

表3 采用本文方法进行单相机标定得到的结果

表4 棋盘法统计标准差

表5 本文方法统计标准差

7 结论

分析当前2D参照物标定法的不足之后，笔者提出了一种引入RGB空间信息辅助进行特征检测的、后测量的标定方法，并且分别阐述了标定物的构建方法和后测量策略的原理，并用独立实验证明特征检测的有效性与稳健性。最后，用实验验证了相机标定效果，实验证明，误识别的可能性被大大降低，反投影误差小于传统棋盘模板方法，而且多组实验结果对比证明本方法的稳定性较高。

[1]TSAI R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off the-shelf cameras and lens[J].IEEE Robotics and Automation，1987，3（4）：323-344.

[2]STURM P，MAYBANK S.On plane-based camera calibration：a general algorithm，singularities，applications[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins，Colorado：IEEE Press，1999：432-437.

[3]FAUGERAS O，LUONG Q T.The geometry of multiple images：the laws that govern the formation of multiple images of a scene and some of their applications[D].Cambridge，MA：MIT，2001.

[4]ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[5]FRANÇA J A，MARCELO S R，FRANÇA M B，et al.Revisiting Zhang's 1D calibration algorithm[J].Pattern Recognition，2010，43（3）：1180-1187.

[6]O'MALLEY R，JONES E，GLAVIN M.Rear-lamp vehicle detection and tracking in low exposure color video for night conditions[J].IEEE Transactions on Intelligent Transportation Systems，2010，11（2）：453-462.

[7]KAKUMANU P，MAKROGIANNIS S，BOURBAKIS N.A survey of skin-color modeling and detection methods[J].Pattern Recognition，2007，40：1106-1122.

[8]LEE J K，WOOD B A，NEWMAN T S.Very fast ellipse detection using GPU-based RHT[EB/OL].[2010-05-20].http：//www.icpr2008.org/.