用于自动驾驶系统的相机成像模型的构建

沈晓斌，孟 然，夏艳秋，李 蕊

(1 天津工业职业学院，天津300400；2 北京中科慧眼科技有限公司，北京100085；3 北京金风科创风电设备有限公司，北京100176)

0 引言

自动驾驶技术在很多个人交通以外的采矿、建筑、农业等领域已经得到了广泛应用。 通常来讲，相机的成像系统由镜头、图像传感器组成。由于成像过程是非常复杂的， 真实的物理空间与数字图像空间之间，存在很多畸变。例如：横纵比畸变(由图像传感器采样间隔不一致导致)、平面透视投影畸变(由成像角度导致)、光学畸变(由镜头畸变导致)等[1]。对于一般的相机成像系统， 其畸变都是由线性畸变与非线性畸变叠加而成， 而这些畸变构成了相机的成像模型。相机的标定过程就是要根据相机的成像模型，计算其中的未知参数。 只有相机的成像模型才能准确描述数字图像空间(即：数字图像坐标系)到真实物理空间(即：世界坐标系)的转换关系[2]。

上式中，World(X，Y，Z)代表世界坐标系某空间点的三维坐标（X，Y，Z）；Image（x，y）代表数字图像坐标系某像素的二维坐标（x，y）；P（a，b，c….）中的P 代表相机的成像模型，a、b、c…等代表成像模型中的若干参数， 相机的标定就是在确定相机成像模型P 后，求解a、b、c…等参数的过程。 世界坐标系中某空间点的三维坐标通过与相机成像模型进行计算，可以得到该点对应的数字图像坐标。

不同的成像系统(如：鱼眼相机、水下相机、宽视角相机、窄视角相机)可以使用不同的模型进行更准确的描述，模型建立后，再通过标定过程计算出这些模型中的参数(被称作相机内参与相机外参)， 最终可以得到对成像系统进行描述的相机内参与相机外参[3]。 模型建立的好坏，直接关系到标定计算后得到的内、外参数对相机成像系统描述的准确性。

1 相机成像工作过程

相机的成像工作过程如下：从物体所发出的光线，经过镜头成像在像平面上，图像传感器(比如CCD 传感器)将光强信号转化为电信号，再经过信号放大和调理，最后进行采样、量化转换成数字图像，并通过数据输出单元进行数据输出[4]。

图1 为相机模型基本几何描述， 其中(Xw，Yw，Zw)为物体上点在世界坐标系中的三维坐标Pw。(Xc，Yc，Zc)为点P 在相机坐标系中的三维坐标Pc，该坐标系的原点在光学中心点Oc，Zc轴和光轴重合。(xu，yu)为(Xc，Yc，Zc)的理想透射投影像点在投射平面坐标系上的二维坐标Pu，(xd，yd) 为实际透射投影像点在投射平面坐标系上的二维坐标Pd， 相对于(xu，yu)它考虑了镜头光学畸变的影响。

图1 相机几何模型（包含透射投影和镜头径向畸变）

不考虑镜头光学畸变，从物体上一个空间点的世界坐标变换为该点的数字图像坐标，包含四个变换过程：世界坐标(Xw，Yw，Zw)到相机坐标(Xc，Yc，Zc)、相机坐标到归一化图像坐标(xu，yu)、归一化图像坐标到图像坐标(x，y)、图像坐标到数字图像坐标(u，v)。

2 世界坐标到数字图像坐标的变换

实际情况中，还要考虑镜头的光学畸变、图像传感器的切向畸变对成像造成的影响[5]，所以，从物体上一个空间点的世界坐标变换为该点的数字图像坐标， 这个过程可以通过以下五个变换来实现，如图2 所示。

图2 世界坐标到数字图像坐标的变换过程

2.1 世界坐标到相机坐标变换

变换数学描述为

其中(Xw，Yw，Zw) 为空间某点P 的世界坐标；(Xc，Yc，Zc)为该点对应的相机坐标；R=为旋转矩阵；t=为平移向量。 该变换描述了相机在世界坐标系中的位置和方向，旋转矩阵R 和平移向量t 被统称为相机的外参。

图3 世界坐标系与相机坐标系之间的几何关系示意图

如图3 所示，旋转矩阵R 表征从世界坐标系OwXwYwZw到相机坐标系OcXcYcZc之间的旋转关系，t表征两个坐标系原点之间的平移量。 将坐标系OwXwYwZw分别绕其X 轴、Y 轴和Z 轴旋转，然后将其坐标原点平移到Oc， 即可得到相机坐标系OcXcYcZc。 假定坐标系OwXwYwZw绕X 轴、Y 轴和Z 轴的旋转角分别为φx、φy和φz， 则这三个旋转过程的数学表示为：

其中sφ 表示φ 的正弦值，cφ 表示φ 的余弦值。 旋转矩阵R 可以表示如下：

R=Rot(Z，φz)·Rot(Y，φy)·Rot(X，φx)

2.2 相机坐标到归一化图像坐标的变换

定义4：从容量为N的总体中抽取容量为n的样本，可将总体分成均衡的若干部分，然后按照预先制定的规则，从每一部分抽取一个个体，得到所需要的样本，这种抽样的方法叫做系统抽样．

其中(xu，yu)为某空间点P 理想的归一化图像坐标，(Xc，Yc，Zc)为该点对应的相机坐标。 归一化图像平面实际上是垂直于光轴、距离透镜中心单位距离的像平面，归一化图像平面上的点坐标实际上是点P 在三维相机坐标系下的齐次坐标。 归一化图像坐标系的原点为光轴与归一化图像平面的交点。

2.3 归一化图像坐标到畸变归一化图像坐标的变换

如图4 所示为镜头光学畸变的示意图，图中蓝色网格交点为理想的图像坐标点，红色点为相对应的畸变后的图像坐标点。

图4 镜头光学畸变示意图

光学畸变主要表现在透视投影变换的过程中，是一个非线性的变换过程，其数学描述为

其中(xd，yd)为某空间点P 的畸变归一化图像坐标，(xu，yu) 为该点理想归一化图像坐标，k1、k2、k3为镜头径向畸变系数。

如图5 所示，当k1、k2、k3=0 时，表征无非线性光学畸变；当k1、k2、k3＞0 时，也称作枕形畸变；当k1、k2、k3＜0 时，也称作桶形畸变。

图5 光学畸变示意图

2.4 畸变归一化图像坐标到图像坐标的变换

变换数学描述为

其中(x，y)为某空间点P 的图像坐标，(xd，yd)为该点的畸变归一化图像坐标。 图像平面实际上是垂直于光轴、距离透镜中心为像距v(v≈f，f 为透镜焦距)的像平面，图像平面坐标系的原点为光轴与图像平面的交点。 用相机焦距f 来近似成像点的像距v，是因为在实际成像系统中工作距离(物距)远大于相机焦距f，所以能够用焦距f 来近似成像点的像距[6]。

2.5 图像坐标到数字图像坐标的变换

图像坐标到数字图像坐标的转换实际上是对图像进行空间采样，然后调整原点坐标到图像坐标的过程，其数学描述为

图6 图像数字化示意图

实际上，由于相机制造工艺的原因，图像传感器所在的平面无法与理想图像平面完全重合，这会导致两个坐标系之间存在切变，如图6 所示。 假设横纵轴的采样间隔分别dx 为和dy， 考虑切变影响的图像数字化的过程可以表示为：

还可以写为矩阵形式：

其中φ 为图像坐标系到数字图像坐标系之间的切变角度，取逆时针为正。

3 结论

综合考虑上述成像步骤，相机的成像模型可以表示为：

其中，s 为比例因子，其取值为1/Zc，公式1 描述了从世界坐标到归一化图像坐标的转换；公式2 则描述了从归一化图像坐标到畸变归一化图像坐标的非线性转换，k1、k2、k3为镜头径向畸变系数；公式3 则描述了从畸变归一化图像坐标到数字图像坐标的转换，矩阵A 被称为相机的内部参数，包括2 个缩放、1 个旋转和2 个平移总共5 个自由度。

本研究成果已申请发明专利。