视差可控的多视点立体图像校正算法

程 浩，安 平，李贺建，王 奎，张兆杨

(1.新型显示技术及应用集成教育部重点实验室，上海 200072;2.上海大学 通信与信息工程学院 上海200072)

随着科学技术的发展，普通的二维视频显示技术已经很难满足人们对图像的观赏，因此三维显示技术以其强烈的表现力和立体感很好的满足了人们的需要。多视点立体显示器(也称为裸视立体显示器)可使观看者无需要佩戴任何辅助工具直接观看立体显示器上的图像，并且立体感强、观察视角大，因此，自由立体显示系统(FTV:Free－Viewpoint TV System)被认为是未来三维显示技术的发展方向［1］。

目前的自由立体显示主要是基于多视点信息的立体显示，它需要使用摄像机阵列采集多个视点的信息并对其做相应的处理，将处理后的图像合成符合多视点立体显示的图像。因此对多视点信息进行相应的校正就显得格外重要。

目前针对双目立体图像的校正算法已经有很多［2］。但多视点立体图像的校正算法因涉及摄像机阵列上多个视点的信息，因此校正过程复杂，并没有形成公认的校正算法［3－4］。

笔者在总结前人工作的基础上，提出了一种视差可控的多视点立体图像校正算法，该算法具有实现简单快速的特点，非常适合实时系统，并且该算法可对目标物体实现正视差、负视差和零视差的调节。

实验表明，该算法可很好的支持8视点立体显示系统中的图像实时校正，并且对目标物体可以根据需要进行立体感调节。

1 立体图像校正

1.1 立体摄像机模型

如图1所示建立双目立体显示的模型，。立体摄像机的左、右摄像机分别为Cl、Cr。P点为目标物体上的任意点，左右成像平面为 Left和Right。

图1 双目摄像机模型Fig.1 Binocular cameramodel

图1(a)为未经过校正的图像，由于成像平面处在不同的空间平面上，所以产生旋转、垂直或水平的校正误差。

图1(b)为经校正后的图像，此时校正后的左、右成像平面处在同一水平面上，误差基本消除。

1.2 提取特征点

为进行多视点立体图像的校正，必须得到水平误差、垂直误差和旋转误差，为更准确的获取这些误差的参数，笔者通过选择适当的特征点计算这些误差。其特征点是根据经验人工选择得到的，如图2所示。

选择越多的特征点则水平误差、垂直误差和旋转误差就会越小。笔者选择11个特征点，这些特征点主要集中在场景的中间部分。通过提取这11个特征点坐标可计算出水平误差、垂直误差和旋转误差的调整参数。

图2 特征点选择Fig.2 Feature point selection

1.3 多视点立体图像

多视点立体图像因涉及多个视点的信息，因此校正算法复杂，笔者算法的主要思路为从多个视点中选择一个视点作为参考视点，其他视点与参考视点两两配对进行校正，这样将多视点立体校正转换为多个双目立体图像校正，从而降低算法的复杂度。

图3为由8视点摄像机阵列采集到的未校正图像。从图3中可明显看出8个视点存在水平误差、垂直误差和旋转误差，这主要是因为摄像机内参的不同以及摄像机阵列在摆放时位置的细微差。因此为了得到更好的立体显示效果，需要对摄像机阵列采集到的多视点信息进行立体图像校正。

图3 未矫正的8视点图像Fig.3 Uncorrected viewpoint image

2 多视点立体图像校正算法

2.1 旋转和垂直误差校正

对平行摄像机阵列而言立体图像误差主要存在于XY平面上，因此首先对多视点图像进行旋转变化校正旋转误差。式(2)为旋转矩阵，其中θ为XY平面上的旋转角度，该旋转角度是通过1.2节中的特征点计算而来，不同视点的旋转参数不同。

在消除垂直误差时，首先要选择参考视点，一般选择中间视点作为参考视点。设参考视点的光心为参考光心，其它视点的光心通过与参考光心比较来消除垂直误差，使得校正后的所有视点的光心均处在同一直线上。式(3)为垂直矩阵，其中y为垂直误差参数，它是由特征点计算而来。

最后将矩阵(2)和(3)带入式(4)中，就可得到消除旋转和垂直误差后的立体图像，其中A为校正前图像，B为校正后图像。

2.2 视差均衡

2.2.1 正视差、负视差和零视差

多视点立体显示器能够在同一个屏幕上同时显示两个或多个视点的信息。以双目立体显示为例，对于目标物体P，双目立体显示器可以通过调节视差表现出不同的立体效果，如图4所示。

图4 双目立体显示器的立体效果原理Fig.4 Binocular stereo display three-dimensional effect p rincip le

图4(a)为零视差，此时点P的视差为0，观看时人可以看到点P处在屏幕上。图4(b)为正视差，此时点P的视差为正值，观看时点P在屏幕里面有凹陷感。图4(c)为负视差，此时点P视差为负值，观看时点P突出屏幕有突出感。图4 (d)为发散视差，不能形成可看的立体效果，在调整视差时要尽量避免出现发散视差。

在进行视差均衡时，必须考虑目标物体的零视差、正视差和负视差，这样才能按照需要对目标物体的立体感进行适当调节。

2.2.2 视差均衡

在双目立体显示系统中，视差均衡的原理如图4所示，只需要调整两幅图像的水平视差即可。但多视点视差均衡因为涉及多个视点而变得相当复杂。不能简单的调节各个视点的光心距离使得目标物体突出或者凹陷入屏幕。笔者提出的算法是根据场景内容来进行视差调节的。

多视点场景可根据其内容被划分为3部分，即前景、目标物体和背景。下面主要讨论物体为零视差平面时的视差均衡，其他情况可以此类推。当物体为零视差平面时，在观看时会感到前景突出屏幕有很强的立体感，背景凹陷入屏幕。

在进行视差均衡时必须首先使零视差平面上的物体重合，此时前景物体为负视差，背景物体为正视差，在立体显示器中观看时，可清晰看到目标物体，前景物体突出屏幕，背景陷入屏幕，如图5所示。从图5中可看到前景为负视差，在立体显示器上观看时有凸出感，背景物体为正视差，在立体显示器上观看时有凹陷感。在进行多视点视差均衡时通1常以第一个摄像机C1为参考摄像机，其他各个相机与C1两两配对进行视差均衡。

图5 物体为零时差时的视差均衡Fig.5 Object is zero parallax when the time difference balanced

矩阵(5)为视差均衡公式。x为当前视点的视差偏移量，它是由特征点计算得到的。

3 实验结果

该算法的实验平台为8视点立体采集显示系统，该系统包括实时采集、实时图像校正和8视点立体显示。实验平台的参数在表1中给出。

表1 实验平台参数

在多视点立体显示系统中，如果不经过校正直接在立体显示器上合成立体图像其结果如图6所示。观看者在观看时不能生成可舒适观看的立体图像，图像质量很差、重影严重。

图6 未校正图像直接合成立体图像Fig.6 Uncorrected images direct synthesis of threedimensional images

在多视点立体图像中根据经验选择特征点，使用这些特征点计算出旋转参数和垂直参数，再根据式(4)对图像进行校正，校正后的结果如图7所示。此时图像中已经基本消除旋转和垂直误差。

图7 校正后8视点图像Fig.7 8 viewpoint image corrected

此时对处理后的图像进行视差均衡。根据场景的要求来调整场景的立体效果，假设把图7中场景的零视差平面分别定义在背景、男学生所在平面和女学生所在平面，可产生同一场景的不同立体效果图像。图8为零视差平面在背景，此时从多视点立体显示器上观看时，背景前的所有物体均有强烈的突出感;图9为零视差平面在男学生所在平面上，此时女学生具有强烈的突出感，背景陷入屏幕;图10为零视差平面在女学生所在平面上，此时物体和背景均陷入屏幕。该算法在实际使用时，可根据场景的特点或者感兴趣区域的需要来调节零视差平面的位置。

图8 以背景为零视差平面合成后的立体图像Fig.8 Three-dimensional image after the background zero parallax p lane of synthesis

图9 以中景为零视差平面合成后的立体图像Fig.9 The m iddle ground zero parallax plane synthesized stereo image

图10 以前景为零视差平面合成后的立体图像Fig.10 Three-dimensional image in the prospect of zero parallax p lane synthesized

4 结论

笔者提出一种视差可控的多视点立体图像校正算法，该算法通过对各个视点进行特征点提取的方式计算出垂直、水平和旋转参数。利用这些参数消除多视点信息中的垂直、水平和旋转误差。该算法具有低复杂度的特点，适用于实时系统中，并且该算法可根据实际需要对场景的立体感进行调节。

［1］Zhang Zhao－yang，An Ping，Zhang Zhi－jiang，et al.2D/ 3D video processing and stereo display technology［M］. Beijing:Science Press，2010:198－204.

［2］Andrea Fusiello，Emanuele Trucco，Alessandro Verri.A compact algorithm for rectification of stereo pairs［J］. Machine Vision and Applications，2000，12:16－22.

［3］Wang H－M，Chang C－W，Yang J－F.An effective calibration procedure for correction of parallax unmatched image pairs［J］.Institution of Engineering and Technology (IET)，2008，3:63－74.

［4］Yun－Suk Kang，Cheon Lee，Yo－Sung Ho.An efficient rectification algorithm formulti－view images in parallel camera array［C］//3DTV Conference:The True Vision－Capture，Transm ission and Display of 3D Video，2008:61－64.