一种对平行配置模式多视点采集系统的几何校正方法

李伟，肖谧，王璨，郭瑶，郭晓曦

（天津大学电子信息工程学院，天津300072）

一种对平行配置模式多视点采集系统的几何校正方法

李伟，肖谧，王璨，郭瑶，郭晓曦

（天津大学电子信息工程学院，天津300072）

提出了一种基于标定的多视点立体采集系统校正方法，该方法首先通过摄像机标定来获得原始摄像机矩阵，然后对摄像机光轴和基线使用平均向量法、对光心使用极值平均法来得到理想摄像机矩阵，最后利用原始摄像机与理想摄像机矩阵的关系变换原始立体图像到校正后的立体图像.实验结果表明：该方法可以有效降低多视点立体图像的垂直视差，而且校正后立体图像分辨率损失较小.

多视点；摄像机阵列；垂直视差；几何校正

多视点自由立体电视为观众提供了在平板电视上观看三维场景的功能，这种功能使得人们可以以更自然的方式观看电视画面.然而，多视点自由立体电视需要以多视点立体视频作为节目的来源，这些节目可以由2个以上的摄像机组成的多视点立体采集系统同时拍摄同一场景获得，摄像机的配置方式通常有平行配置和汇聚配置2种方式.但是，随着摄像机数量的增加，多视点立体采集系统往往会产生一定的误差，其中尤其是垂直视差将会严重影响多视点自由立体电视的显示效果，需要对其进行校正才能够满足观众观看的需要.本文提出了一种基于标定的所视点立体采集系统校正方法，所提出的方法主要是针对平行配置模式的多视点采集系统，该模式下的多视点采集系统拍摄得到的场景图像不会存在梯形畸变，能够方便地用于多视点自由立体显示.

1 校正方法概述

1.1 已有的校正方法

在对立体采集系统校正的研究中，双目摄像机系统的校正方法已趋于成熟，而多摄像机校正方法的研究相对较少.校正方法通常可分为两类：基于摄像机标定的和基于摄像机无标定的.基于摄像机标定的校正算法需要使用原始摄像机的摄像机矩阵，再通过不同的算法构建理想摄像机矩阵，最后通过原始摄像机与理想摄像机矩阵的关系来将原始摄像机采集的图像映射到理想摄像机采集的图像，进而实现对多视点立体采集系统的校正.基于摄像机无标定的校正算法不需要原始摄像机矩阵的信息，只需要通过外极线几何约束和图像立体匹配约束，即可直接对采集的图像对进行变换，实现对图像对的校正.

陈华华等[1]在双目摄像机系统的基础上，提出了利用光心和基线构建三角形，将第3个摄像机中心投影到前2个摄像机光心连线构成的基线上，最终得到校正.该方法可推广至摄像机数目多于3个的平行摄像机阵列中.刘立亮等[2]利用SIFT算法提取图像特征点和多视点图像公共点的匹配关系，选取唯一基准视点图像平面计算各视点校正矩阵并对多视点图像进行变换，使它们得到校正.上述这2种基于无标定的多视点校正算法中，算法的复杂度较高，无法应用在实时多视点立体采集系统中.韩国的YuN-Suk KaNg和Yo-SuNg Ho分别在2008年提出了利用线段中点拟合基线的多摄像机校正算法[3]和在2011年提出了对摄像机3个坐标轴求平均，找出差异最小的摄像机，以其坐标系作为理想坐标系的多摄像机校正算法[4].上述2种基于摄像机标定的算法中，前者的中点法使公共基线的选取可能严重偏离原有的几个摄像机光心，而后者在处理摄像机阵列理想坐标系的选取时只简单归为原有的某一个摄像机，具有一定的偶然性.

1.2 本文提出的校正方法

在已有的基于标定的校正算法基础上，本文在校正过程中采用了一种较新的方法，该方法采用计算复杂度较低的平均向量法获得摄像机阵列理想的光轴和基线，同时又很好的消除了多视点图像之间的垂直视差.另外，在光心位置的选取上，通过极值平均法避免了理想位置与原来位置过大的差异，很好的控制了多视点图像公共区域信息的损失.该多视点立体采集系统校正方法的主要步骤为：①计算系统的理想光轴方向；②计算系统的理想基线方向；③计算系统的理想光心位置；④计算系统的理想内参数.

2 摄像机模型及校正理论

2.1 摄像机模型

摄像机模型，即摄像机的基本成像模型，如图1所示，由三维空间到平面的中心投影变换所给出[5].

令空间点Oc是投影中心，它到平面π的距离为f.空间点Xc在平面π上的投影m是以点Oc为端点并经过Xc的射线与平面π的交点，如图1所示.平面π称为摄像机的像平面，点Oc称为摄像机中心（或光心），f称为摄像机的焦距，以点Oc为端点且垂直于像平面的射线称为光轴，光轴与像平面的交点p称为摄像机的主点.

图1 摄像机模型Fig.1 Camera model

世界坐标系与摄像机坐标系之间的关系可以用公式（1）来描述，令空间点的世界坐标系与摄像机坐标系的齐次坐标分别为X=（x，y，z，1）T与Xc=（xc，yc，zc，1）T.

这样，就得到了摄像机矩阵的一般形式：

式中：R为摄像机的旋转矩阵，其3个列向量分别代表了摄像机3个坐标轴方向；K为摄像机内参数矩阵；C～表示摄像机中心在世界坐标系中的非齐次坐标.

2.2 校正依据

平行配置模式的多视点立体系统中，理想的各视点摄像机矩阵的旋转矩阵和平移矢量需要满足特定的关系，以下为所需要满足的条件[5].

式中：Pn表示第n个摄像机的摄像机矩阵；rn2、rn1和rn3分别为旋转矩阵的3个列向量.

任取2个摄像机矩阵Pm和Pl，假设在摄像机内参数一致的情况下，如果满足：式中：cm和cl分别为Pm和Pl的光心；x为空间任意一点；d为摄像机间距.

因此，如何使摄像机阵列中N个摄像机矩阵满足以上3个公式就成为校正时的参考依据.

3 平行摄像机阵列图像校正

校正前，平行摄像机阵列的空间位置分布表现为其N个摄像机的光轴朝向不同，光心位置散乱，没有一致的基线方向，如图2（a）所示.校正后，应使摄像机阵列光轴朝向一致、光心等间距的位于公共基线方向上，如图2（b）所示.

图2 校正前后的摄像机分布Fig.2 Camera arrangement before and after rectification

3.1 确定理想的光轴方向

目前校正光轴的方法中，有些方法会导致摄像机校正过大，有的方法校正过程过于繁琐，本文则采用平均向量法来校正光轴，具体如下：

3.2 确定理想公共基线方向

在此之前，先对N个摄像机光心之间的关系进行分析，如图3.以世界参考坐标系为准，N个摄像机光心的空间位置不一致主要分为前后不一致、上下不一致和左右不一致.前后不一致性影响的是最终采集图像的缩放，上下不一致影响最后图像公共区域大小，左右不一致将在之后对光心的调整时进行分析.因此，可对前2个不一致采用不同的校正算法.

图3 光心的投影Fig.3 Projection of camera centers

图3中，在世界参考坐标系下，N个摄像机的光心坐标定义为：

则光心在的YOZ平面的投影坐标为：

取其中y轴最大的点记为cmax，最小的点记为cmin，它们的平均值所在的水平线即设为最终基线在XOY面上的投影线：

基于以上分析，对公共基线方向便有以下约束：

3.3 确定光心位置

由于在一般拍摄情况下，多视点采集系统朝向场景主体的正前方，因此，校正后的平行摄像机阵列相对于校正前摄像机阵列位置的偏移不宜相差过大.图4描述了校正前后摄像机阵列的关系.图4（a）中理想光心位置的选择尽可能接近原来的光心位置，而图4（b）中校正后光心的位置与原来的光心位置偏移很大.

具体校正方法如下：

图4 理想光心位置的选取Fig.4 Determination of ideal camera centers

式中：cmin，x、cmax，x、cmin，z、cmax，z分别为公式（8）定义的N个光心点坐标中x分量的最小值和最大值及z分量的最小值和最大值；y为公式（7）中的分量.

因此，定义平行摄像机阵列中与Cnew，avg左端相邻的摄像机光心的位置为：

最后，这里定义了新的摄像机旋转矩阵Rideal，n，光心位置Cideal，n.另外由以下公式，就可以得到新的位移：

3.4 内参数校正

在摄像机的内参数中，主要对摄像机的焦距f和图像主点p进行校正.

令fn，pn=（pn，x，pn，y），n=1，2，3，…，N分别为N个摄像机的焦距和主点坐标；favg为fn的平均值；δf为它们的标准差.取满足式（13）的fn的平均值favg′.

即定义，favg′为摄像机阵列的理想焦距fideal.

同理可得，摄像机阵列理想主点坐标，pideal=（pideal，npideal，y）.

3.5 利用变换校正多视点图像

通过以上的校正过程，得到了摄像机阵列N个理想摄像机的摄像机矩阵，如式（14）所示：

由二维平面射影变换，可通过式（14）定义一个变换矩阵Hn，对摄像机阵列采集得到的多视点图像进行变换，进而得到校正后的多视点图像.

式中：Pn是为校正过的摄像机矩阵，上标“+”表示矩阵广义上的逆.图5给出校正过程示意图.

图5 单应变换校正Fig.5 Homography rectification

4 实验结果

为了验证提出算法的可行性，本文采用了平行配置的多视点采集系统进行校正实验.图6显示了采用的多视点采集系统，可以看到8个一组摄像机排列在支架云台上.

图6 摄像机阵列Fig.6 Camera array

为了方便，只取右边4个摄像机进行校正，但该实验同样能够适用于多于4个摄像机的情况.摄像机采集到的图像的分辨率为1 032×776，摄像机阵列到前方背景的距离大约为4.5 m.图7所示为右边相邻4个摄像机采集到的图像序列.在程序校正之前，为了保证能够取得很好的校正效果，首先对摄像机进行了手动校正.但是，限于摄像机阵列设备本身存在的误差及手动校正引入的人为误差，采集得到的图像依然会存在垂直视差.图8（a）显示了这种误差，图为4幅采集到的图像经过透明度改变后重叠在一起显示的图像.

图7 校正前图像序列Fig.7 Original images

图8 校正前后的图像视差Fig.8 Parallax of original and rectified images

开始程序校正之前，对这4个摄像机进行标定来得到它们的摄像机矩阵，而通过本文算法分别对它们的旋转矩阵，平移向量，光心及内参数进行校正后，可得到理想的4个摄像机矩阵.最后，对摄像机采集到的原始图像进行矩阵变换即可得到校正后的立体图像，图8（b）为校正后的图像序列更改透明度后重叠在一幅图像上.

从图8（a）和（b）中的标记点可以直观地看出校正前后图像序列的垂直视差情况，本文提出的算法使图像序列中的垂直视差得到了改善.

为了更准确地得到垂直视差校正的效果，本文使用特征点匹配的方法来验证校正前后消除的垂直视差的匹配点对数，图9显示了校正后的4个图像序列部分特征点的匹配情况.

图9 校正后的图像序列匹配Fig.9 Match of rectified images

用已有的SIFT算法对相邻两副图像做了特征点匹配，图10给出了校正前和校正后匹配点对中依然存在垂直视差的点对数量.通过比较，可以看出校正后的图像序列中，匹配点对中存在垂直视差的点对数大幅度减少.

图10 校正前后存在垂直视差的匹配点数比较Fig.1 0Vertical pixel mismatches of original and rectified images

公式（18）定义了一种不匹配度Um，表1及表2分别列出了校正前后图像序列的不匹配度，通过不匹配度的计算可以更精细地看到校正前后的改善效果.

表1 原始图像序列的不匹配度Tab.1 Mismatch degree of original images

表2 校正后的图像序列的不匹配度Tab.2 Mismatch degree of rectified images

另外，图11显示了校正前后摄像机阵列各个摄像机光心在XOZ面（参考坐标系下）上的投影位置，从这些位置的分布可以看出，算法对摄像机阵列的相邻间距也取得了较好的校正.

图11 光心投影位置Fig.1 1Projection of camera centers

最后，表3列出了校正后，每个图像的分辨率损失，式（19）定义了图像损失比.

表3 图像分辨率损失比Tab.3 Loss ratio of image resolution

从表3可以看出，图像分辨率的最大损失比为0.065 8.所以，校正后的图像序列的公共区域基本满足合成最终视频的分辨率要求.

5 结束语

本文提出了一种基于摄像机标定的多视点采集系统的几何校正方法.该方法可以方便的通过摄像机矩阵变换对采集的原始图像进行校正，很好地消除视点间图像序列的垂直视差.同时，该方法也对相邻摄像机间距的不一致进行了校正，校正后图像序列的分辨率损失也较小.实验证明，该方法能够方便而有效的解决多视点采集系统的校正问题.

[1]陈华华，杜歆，李宏东.平行多基线立体视觉图像校正[J].浙江大学学报，2004，38（7）：779-803.

[2]刘立亮，安平，王贺，等.基于公共点提取的多视图像校正[J].信号处理，2011，27（6）：854-858.

[3]KANG Y S，HO Y S.Geometrical compensation for multi-view video in multiple camera array[C].ELMAR，2008.50th International Symposium.IEEE，2008，1：83-86.

[4]YHO Y A.An efficient image rectification method for parralle multi-camera arrangement[J].IEEE Transactions on Consumer Electronics，2011，57（3）：1041-1048.

[5]FUSIELLO A，TRUCCO E，VERRI A.A compact algorithm for rectification of stereo pairs[J].Machine Vision and Applications，2000，12（1）：16-22.

[6]ZISSERMAN A.Multiple View Geometry in Computer Vision [M].Cambridge：Cambridge University Press，2003.

A geometric correction method for multi-view 3D system with parallel configuration

LI Wei，XIAO Mi，WANG Can，GUO Yao，GUO Xiao-xi
（School of electronic Information Engineering，Tianjin University，Tianjin 300072，China）

A geometric correction method based on calibrated multi-view 3D system is provided.The method firstly compute the original camera matrix，then compute the ideal camera matrix by using average vector method to the camera optical axis and baseline and using extreme average method to the camera optical center，finally apply the relationship of the original camera matrix and ideal camera matrix to the transformation of the original multi-view images.The experimental results show that the method effectively reduces the vertical parallax of the multi-view image，and reduces the loss of image resolution.

multi-view；camera array；vertical parallax；geometric correction

TP391.41

A

1671－024X（2013）05－0051－06

2013-06-07

李伟（1989—），男，硕士研究生.

肖谧（1972—），男，博士，副教授，硕士生导师.E-mail：xiaomi@tju.edu.cn