一种基于量块垂直边线的相机标定方法

蔡青青，傅 彬，胡玮芳，顾春霞

（1.绍兴职业技术学院 信息工程学院，浙江 绍兴 312000；2.中国电信集团有限公司绍兴分公司，浙江 绍兴 312000）

0 引言

虚拟现实场景的构建常用到三维重建技术。相机是获取物体空间信息的重要部件，相机标定是三维重建的关键步骤[1]，因此标定结果是三维重建的精度值的关键影响因素[2-3]。张正友提出的基于OpenCV 的棋盘格标定法[4]使用一个已知尺寸的棋盘格并将其放置在不同位置，拍摄多张棋盘格图片，通过对这些图片进行处理，得到相机的内部参数和外部参数。OpenCV 库提供了相应的应用程序编程接口（Application Programming Interface，API），只需简单调用即可完成标定，易于实现，精度较高，但是需要使用特制的棋盘格，并且拍摄角度、光照等条件需要满足一定要求，否则标定结果会受到影响。张正友[5]提出一种基于单幅标定图的相机标定方法，利用已知标定图像上特征点距离构造约束条件获得相机参数，减少了标定相机需要的图像，但该方法适用于对相机成像区域较小、畸变程度较小的场景进行标定。鉴于此，JIAO 等人提出了一种基于卷积神经网络的相机标定方法[6]，不需要使用特殊的标定物体，只需要使用单幅图像即可完成标定过程。YU 等人提出了一种基于图神经网络的相机标定方法[7]，可以利用大量数据进行训练，并在真实场景中获得更高的精度。基于深度学习模型需要从大量数据中学习相机的内部参数和外部参数，因此需要收集大量的数据进行训练，且对数据质量很敏感。三参数模型[8]只需要3 个参数，可以大大减少计算量，降低存储空间需求。张正友平面模板法[9]避免了传统方法设备要求高、操作烦琐等缺点，利用已知标定图像上特征点距离构造约束条件获得相机参数，减少了标定相机需要的图像，且有较高的精度。目前，张正友平面模板法和改进的三参数模型由于标定精度高等突出优势，得到了广泛的应用和研究，但需要精确提取直线上点的坐标，且在切向畸变较明显的环境下标定参数存在明显误差。

利用光栅投影进行三维重构时，大量利用标准量块评估系统测量精度，发现标准量块有较好的几何特性。由此，本文提出一种基于量块垂直边线的相机标定方法。该方法将世界坐标系和相机坐标系重合，使相机的参数矩阵只含内参，减少标定参数；采用量块作为标定物，利用量块边线固有的垂直约束关系对相机进行标定，在修正径向畸变的同时对切身畸变进行修正。最后实验验证了本文方法的有效性和可操作性。

1 相机标定原理

1.1 相机模型

为充分理解相机标定原理，需要确立相机的成像模型来建立标定过程中各个坐标系的关系，最终得到相机标定所需的内外参数。目前常用的模型有针孔模型、拟透视投影模型以及正交投影模型。针孔模型是这3 种模型中最简单也最常用的模型，是一种比较理想的模型，简单且有较好的准确性。为不失一般性，本文采用针孔模型为相机的成像模型。相机的针孔模型如图1 所示。在此模型中，空间场景中一点的光线通过相机的光学中心投射到成像平面上时，主光轴线从光学中心出发，与成像平面垂直。若将光心作为原点，则可以建立坐标系O-XCYCZC，其中XC、YC、ZC为3 条互相垂直的直线，ZC与光轴重合。

图1 相机成像模型图

为方便理解相机成像原理，定义不同的坐标系来描述相机成像过程，主要定义计算机图像坐标系、像平面坐标系、相机坐标系及世界坐标系共4 个坐标系。

（1）计算机图像坐标系，为图像上的平面直角坐标系。该坐标系表示的图像在计算机内存储的形式是以像素为单位的直角坐标系(μ,ν)。每个像素坐标代表该像素在数组里面的行数和列数，便于计算机处理图像。

（2）像平面坐标系。从图像坐标系无法得到像素的物理单位，故须用物理单位表示的像平面坐标(x,y)来表示该像素在图像里的物理位置。

（3）相机坐标系，用于分析相机成像的几何关系，以相机平面和光心的交点为中心，建立坐标系(XC,YC,ZC)，ZC轴为相机光轴。

（4）世界坐标系，即现实空间坐标系，可以任意定义该坐标系，用来描述相机在现实世界的位置和环境中物体的位置。相机坐标系可以通过旋转和平移转化为世界坐标系，整个参考系的坐标如图2 所示。

图2 参考坐标系图

记像素点m在计算机图像坐标为(μ,ν)，齐次坐标为(μ,ν,1)，在像平面坐标系下的坐标为(x,y)，齐次坐标为(x,y,1)。对应的空间点M，其世界坐标为(XW,YW,ZW)，齐次坐标为(XW,YW,ZW,1)，在相机坐标系中对应点坐标为MC，记坐标为(XC,YC,ZC)，齐次坐标为(XC,YC,ZC,1)。根据针孔模型原理可得，计算机图像像素点和像平面坐标之间的关系为

式中：(μ,ν0)为图像主点的坐标，μx和νy为每一个像素在μ轴和ν轴上的物理尺寸，s为像平面坐标和光轴与完全垂直所差的倾斜度。

根据针孔模型，相机和像平面坐标系之间的关系为

M点的世界坐标和相机坐标齐次转换关系为

式中：R和t为外部参数，分别为空间点的世界坐标到相机坐标的旋转和平移变换参数。

根据式（1）、式（2）和式（3），可得到图像像素点坐标和对应的空间点世界坐标的齐次变换为

式中：sc为任意比例因子，A为相机内参矩阵。

1.2 张正友平面模板标定法

根据相机的成像模型，可将式（4）空间点M和像素点m写为

张正友平面模板法将标定板上点的ZW设置为0，故式（4）可以改写为

式中：ri表示旋转矩阵R的第i列，为不失一般性，m=(μ,v)和=(μ,v,1)表示空间点的图像坐标及其齐次坐标，M=(XW,YW)和=(XW,YW,1)表示空间点的坐标系和齐次坐标系，则图像平面上的点和平面模板上的点可以用单应性矩阵来联系，表示为

H可以表示成H=[h1,h2,h3]，则式（7）可以改写为

因为r1和r2正交，可以得到以下约束条件为

式（9）为单应性矩阵内参的两个基本约束条件。单应性矩阵的自由度为8，外参数为6 个（3 个属于旋转，3 个属于平移）。对于内参，只能获得有且仅有两个向量。令：

则可得到相机的内部参数[10]为

根据得到的内参，可以求得图像的外部参数为

1.3 畸变校正模型

由于镜头制造工艺的问题，镜头存在透视畸变。畸变对于用于非精密测量的镜头影响很大。畸变主要有径向畸变、切向畸变及偏心畸变等。理想图像点与实际图像点的位置关系如图3 所示。图3 中，dr为径向畸变，dt为切向畸变。

图3 理想图像点和实际图像点

张正友平面模板法主要考虑相机镜头的径向畸变。畸变x矫正模型为

式中：k1和k2为径向畸变系数，结合Levenberg-Marquardt 算法来完成非线性优化校正。

2 基于量块垂直边线的相机标定方法

光栅投影测量系统中常常需要应用标准量块评判光栅投影测量精度。标准量块有较好的几何特性，故本文采用标准量块为标定物。ZHANG[11]提出将世界坐标系与相机坐标系重合，减少相机标定参数。该方法利用一条长度已知的直线，绕固定点做运动，利用直线运动的约束关系对相机进行标定。但该方法需要精确提取直线上点的坐标，有一点难度。本文在ZHANG 的基础上提出一种基于量块垂直边线的相机标定方法，减少相机标定参数，再利用量块边线固有的垂直关系对相机进行标定。

2.1 基本关系

本文提出一种基于量块垂直边线的相机标定方法对相机进行标定，利用量块边线间的垂直关系得到相机内部参数的约束条件。量块边线的垂直关系如图4 所示。

图4 量块垂直连线关系

若BP和BO为量块的两条垂直边线，相交于B点，P和O点为两条边线的端点。对应的图像点分别为o、b、p。将世界坐标系与相机坐标系重合，故式（5）可以简化为

所以空间点和对应图像像素点的关系可以化为

因为O点、P点、B点在同一个平面上，故可认为SO=SP=SB。

由向量性质可得

将式（16）代入式（17），可得

式中：B=A-TA-1。由于SO=SP=SB，则式（18）可以化为

2.2 闭式解

根据式（10）可知，B是个对称矩阵，故可以将B表示为B=[B11,B12,B22,B13,B23,B33]T，则

记v=[h1H1,h2H1+h1H2,h2H2B22,h3H1+h1H3,h3H3,h3H2+h2H3]，x=SP2b=[x1,x2,x3,x4,x5,x6]T，V=[v1,v2,v3,…,vN]T，则Vx=0。

若拍摄N幅量块标定图，就可以得到N个类似于Vx=0 的方程，就可解出x。最终可以得到

式中：γ=-x2α2β/s。

2.3 畸变矫正模型

张正友平面模板法中虽然对畸变进行了校正，但是只校正了径向畸变而忽略了切向畸变。由于有些场合切向畸变是不能被忽略的，本文提出的相机标定方法采用同时纠正切向畸变和径向畸变的畸变校正模型。若(x,y)是理想无失真归一化的像平面坐标，是真实的归一化的像平面坐标，则径向畸变矫正模型为

切向畸变模型为

式中：k1和k2为径向畸变系数，p1和p2是切向畸变系数。最后采用最大似然准则的非线性优化方法对所有参数进行优化。非线性优化时，最小化的方程式为

2.4 基于垂直线段的相机标定实现步骤

本文方法将相机坐标系和世界坐标系重合，采用同时校正径向畸变和切向畸变的畸变校正模型，利用最大似然准则的非线性优化方法对所有参数进行优化，具体的实现步骤如下：

（1）将量块放置在标定平面上，固定相机，翻转量块不同面，拍摄6 幅图像；

（2）利用Sobel 算子检测量块边线边缘，再利用最小二乘拟合得到直线，检测标定图像中垂直边线的交点，获取这些交点的世界坐标和图像坐标；

（3）用2.2 节中的闭式解计算出相机的5 个内部参数{α,β,s,μ0,v0}；

（4）采用2.3 节中的畸变校正模型，求得畸变系数k1、k2、p1和p2，k1和k2为径向畸变系数，p1和p2是切向畸变系数；

（5）根据最大似然准则，用算法通过最小化式（25）优化所有的相机参数。

3 相机标定实验

3.1 实验方法

本节以Matlab 为软件平台进行相机标定实验，采用本文提出的相机标定法畸变校正模型，将本文提出的相机标定方法分别与张正友的平面模板标定法及改进的三参数模型法进行对比，验证本文方法的有效性。三参数模型中，令s=0，α=β=f，则相机内参矩阵可以转化为

张正友法和三参数模型法都采用标准的棋盘格标定图像。将棋盘格标定图放置在标定平面上，用MVC5001-S00 相机拍摄6 幅不同图片，如图5所示。相机拍摄的图片分辨率为800 px×400 px。对6 幅图片分别采用张正友平面模板法和三参数法进行相机标定实验。

图5 不同角度的平面模板图片

对相机采用本文提出的标定方法时，将量块放在标定平面上，用相机拍摄不同面的量块位姿，如图6 所示。相机拍摄的图片分辨率为800 px×400 px。对6 幅图片采用本文提出的相机标定方法计算相机的内部参数以及畸变系数。

图6 不同位置的量块标定图

对图6 进行边缘提取及边缘线之间的交点得到结果如图7 所示。

图7 不同位置量块边缘检测示意图

3.2 实验结果分析

本文方法与张正友以及改进的三参数模型方法的实验结果如表1 所示。

表1 3 种方法的结果比较

为了评估相机标定的精度，本文采用目前常用的图像坐标相对误差精度评估准则来计算标定误差。设世界坐标系里的某空间点的图像坐标为(μ,ν)，根据获得的相机的内部参数和外部参数计算出的图像坐标为(µ c,νc)，则图像坐标的相对误差[12]为

每次选取5 张，根据式（27）计算出张正友法、三参数法和本文方法的图像坐标相对误差，结果如表2 所示。

表2 图像坐标相对误差

从表1 和表2 的数据结果可以发现，本文提出的改进的标定方法有效地标定出了相机的内部参数和外部参数，且纠正了相机的切向畸变，适用于切向畸变较明显的环境。

4 结语

本文针对光栅投影测量系统特点提出一种基于量块垂直边线的相机标定方法，首先利用世界坐标系的特点，将相机坐标系和世界坐标系重合在一起，减少相机标定参数，其次利用量块边线垂直线段的约束关系对相机进行标定，最后利用最大似然准则的非线性优化方法对相机参数进行了优化。该方法减少相机标定参数，原理简单。实验证明本文提出的方法有效标定了相机，且有较好的精度，适合光栅投影测量系统使用。