基于双摄像机的立体视觉图像预处理研究

张晓玲魏宗康(北京航天控制仪器研究所北京100039)

基于双摄像机的立体视觉图像预处理研究

张晓玲，魏宗康
(北京航天控制仪器研究所，北京100039)

针对立体图像对的亮度差异问题和图像噪声问题研究图像的强化处理，图像预处理主要完成图像对极线校正和图像质量增强。极线校正部分以对极几何为基础研究立体图像对的校正算法。图像质量增强部分主要研究了立体图像对特有的亮度差异问题，并提出了应用直方图均衡化来校正亮度的方法。之后本文对图像噪声进行了深入的分析，并针对立体图像特点使用均值滤波和Gauss滤波平滑图像。在实验中，验证了算法的可行性，取得了良好的应用效果。

极线校正；图像增强；直方图均衡化；均值滤波；Gauss滤波

0 引言

双摄像机立体视觉系统旨在从摄像机获取的图像信息出发［1⁃2］，计算三维环境物体的位置、形状等几何信息。针对立体图像对的亮度差异问题和图像噪声问题研究图像的强化处理，图像预处理主要完成图像对极线校正和图像质量增强。

对于同一个目标点，在经过了极线校正的图像对中是处于同一行的。这样，立体匹配算法的搜索范围由二维可以降低为一维，大大降低了算法的时间复杂度。然而在实际应用中，双目摄像机总是存在旋转和平移误差，因此基于标定参数对图像进行极线校准是非常有必要的。此外，立体匹配阶段需要根据左右图像点的相似度确定视差，因此图像的成像质量直接影响着立体匹配的效果。由于实际环境中光照的影响和摄像机之间固有的差异性，获取的图像对总会出现噪声和亮度差异。因此，有必要在立体匹配前研究图像对的质量增强。

1 图像对极线校正

1.1 对极几何的原理

对极几何由两个线性摄像机模型和一些极点组成，可以描述任意两个针孔摄像机间的位置关系，如图1所示。

图1中，和Or分别代表左右摄像机的投影中心，空间中的物体P在左右投影面上的投影点分别为和Pr。如果把投影中心Or看成空间中的点，则其在左投影面上的投影点为相应的可以得到er。这两个特殊的投影点被称为极点，由和确定的直线则为左极线，Pr和er则确定了右极线。容易看到，和er在同一个平面上，这个平面称为极面。

由图1可知，对极约束的内容：从一个摄像机观察空间上任一点，它在另一个摄像机成像面的对应点必然位于其极线上。而极线校正则是设法使左右极点r趋于无穷远，这样，左极线和右极线Prer也会趋于水平。

1.2 Bouguet极线校正算法

由于安装误差，双摄像机采集的左右图像对应的左右极线往往不是水平的。Bouguet极线校正算法利用摄像机标定技术得到的系统旋转矩阵和平移向量对左右图像进行调整，最终实现极线水平的目标。

为了在实现极线校正目标的基础上最大化观测面积，Bouguet算法将旋转矩阵R分解成两个子矩阵r1和r2，即每个摄像机都旋转一半。这种旋转操作可以实现摄像机的共面，但不能保证行对准。不妨假设以左极点为参考点的修正矩阵Rrect，这样左右摄像机的极线校正旋转矩阵为：

式(1)中，修正矩阵可以将极点转换到无穷远处，其结构可定义为：

其中，e1表示极点方向的单位向量，即左右摄像机投影中心间平移向量的方向：

向量e2的唯一要求是与e1正交，同样的，e3需要与e1、e2正交，一般定义为：

2 图像质量增强

理论上，经过极线校正的左右图像就可以使用立体匹配算法进行视差图计算［3⁃5］。但在实际中，现场采集的图片由于环境影响及摄像机增益和电平干扰，总会产生噪声，并且左右图像对的整体亮度也会有差异，这些扰动都会很大程度上影响立体匹配的效果。基于以上原因，有必要研究相关的图像增强算法。

2.1 图像对亮度差异校正

左右图像对整体亮度上的差异主要由两方面原因造成：一是左右摄像机的拍摄角度有差异，由于实际中光线是有角度的，因此经过物体反射后进入左右摄像机必然存在亮度差异；二是两个摄像机的电平、增益总是存在差异，因此即使是同一型号的摄像机拍摄的图像总是会有亮度的不同。然而大部分立体匹配算法实际上是根据亮度相似度来判别目标的，因此亮度差异大的图像会极大地影响匹配算法的精度。

在图像处理中，直方图均衡化可以将原始图像灰度直方图进行非线性拉伸，实现灰度范围内的均匀分布。直方图均衡化的步骤如下。

(1)计算灰度图像归一化直方图：

式中，hi表示灰度值为i的像素点个数，M和N分别表示图像高度和宽度。实际上，此时Pi代表了图像中灰度值i出现的概率。

(2)计算累积的归一化直方图：

(3)灰度范围非线性拉伸：

式中，s(i，j)表示原始图像中坐标为(i，j)的点的灰度值，相应的，T(i，j)表示均衡化图像对应的灰度值。v1和v2分别表示原始图像中最大和最小的灰度值。

2.2 图像去噪

数字图像噪声主要来自于图像数字化过程和传输过程［6⁃8］。由于噪声的影响，同一目标点在左右图像对中将有可能产生无法预料的差异，给立体匹配带来极大的影响。

如图2所示，首先在原始图像加了标准差为15的Gauss噪声，从同一区域的放大结果看(图中矩形区域)，原本应该相近的像素，取值呈现了不相关的随机性。

按噪声和信号之间的关系，图像噪声可以分为加性噪声和乘性噪声。加性噪声与图像灰度不相关，带这类噪声的图像可以看成理想无噪声图像与噪声的和。乘性噪声与图像灰度相关，噪声随灰度变化而变化。

本文分析了图像噪声中的椒盐噪声和Gauss噪声。滤波方法是针对立体图像特点使用均值滤波和Gauss滤波平滑图像。

均值滤波方法是使用待求像素的邻域像素平均值来取代该像素灰度值：

式中，S为点(x，y)的邻域集合，N为该集合的大小。

均值滤波可以使用系数为1／N的卷积模板实现快速计算，这是被广泛使用的最简单实用的去噪算法。需要指出的是，该算法会在一定程度上模糊边界。

Gauss噪声含有强度服从 Gauss分布的噪声，因此定义一个符合Gauss分布的模板对图像进行卷积即可实现Gauss平滑。然而理论上Gauss分布在所有定义域上都有非负值，这就意味着上述模板应该是无限大的。一般在实际应用中仅去均值周围3倍标准差内的离散值来近似Gauss模型。

式(9)为标准差为1的离散Gauss卷积核。

3 实验结果及分析

3.1 极线校正实验结果及分析

实验采用上述Bouguet算法对获取的棋盘格标定图片进行极线校正，左右摄像机标定的旋转矩阵如式(10)所示，实验测得的左右摄像机校正旋转矩阵如表1所示。

表1 旋转矩阵Table 1 Rotation matrix

图3采用表1得到的校正旋转矩阵，结合左右摄像机的旋转矩阵将一对棋盘格标定图片进行极线校正。

图3(a)是左右图像对校正前的情况，图3(b)是图像对校正后的效果。为了更清晰地观察校正效果，实验给图像加上了参考线，可以看到，经极线校正后的图像对，左右对应点都能被很好地调整到同一水平线上。

3.2 图像对亮度差异校正实验结果及分析

由图4的一组图像对可以看到，由于拍摄角度和摄像机固有的电平差异，原始图像中左视图偏暗，右视图亮度较高。这对基于像素灰度值相似测度的立体匹配而言，是个很大的挑战。

图5和图6为图4对应部分的灰度直方图。图5均衡化之前，灰度主要集中在40、100和175附近；图6主要集中在75、190和250附近。

经过直方图均衡化处理后，如图7所示，左右视图的灰度分布实现了非线性拉伸，通过这种方式，左右图的亮度差异实现了显著减小的效果。

如图8和图9所示，均衡化后左右图像的灰度基本被调整为均匀分布，亮度差异大大减小。

3.3 图像去噪实验结果及分析

图10是原始图像，图11是在原始图像上分别添加了Gauss噪声和椒盐噪声的对比图，图12是对添加Gauss噪声的图像分别进行均值滤波和Gauss滤波的对比图，图13是对添加椒盐噪声的图像分别进行均值滤波和Gauss滤波的对比图。

从视觉效果上看，对于椒盐噪声，均值滤波效果优于Gauss滤波，对斑点的滤除能力更好，便于消弱噪声。对于Gauss噪声，Gauss滤波效果比均值滤波效果更好。

4 结论

本文主要研究立体匹配前必要的立体图像对预处理技术，主要分为极线校正和图像增强两个部分。极线校正部分首先引入了立体视觉对极几何的基本概念，然后详细提出了极线校正算法。图像增强部分主要研究了立体图像对特有的亮度差异问题，并提出了应用直方图均衡化来校正亮度的方法。之后对图像噪声从成因到主要类别进行了深入分析，并针对立体图像特点使用均值滤波和Gauss滤波平滑图像。最后是实验结果及分析，以双摄像机立体系统获取的图像为素材，依次从极线校正实验结果、图像对亮度差异校正实验结果和图像去噪实验结果进行分析和验证，实验结果证明了方案的可行性。图像预处理技术为双摄像机立体视觉系统提供了有力保证。

[1] Smith S M，Brady J M.SUSAN—a new approach to low level image processing[J].International Journal of Computer Vision，1997，23(1):45⁃78.

[2] Kanade T，Okutomi M.A stereo matching algorithm with an adaptive window:theory and experiment[J].IEEE Transac⁃[3] tions on Pattern Analysis and Machine Intelligence，1994，16(9):920⁃932.

[3] Lowe D G.Distinctive image features from scale⁃invariant keypoints[J].International Journal of Computer Vision，2004，60(2):91⁃110.

[4] Bastanlar Y，Temizel A，Yardmc Y.Improved SIFT matc⁃hing for image pairs with scale difference[J].Electronics Letter，2010，46(5):346⁃348.

[5] 尹志富，宋凯，金海月.图像预处理中去噪算法的研究[J].机械设计与制造，2008(1):202⁃203. YIN Zhi⁃fu，SONG Kai，JIN Hai⁃yue.A study on denoise algorithmic in the Images pretreatment[J].Machinery De⁃sign＆Manufacture，2008(1):202⁃203.

[6] 曲兴华，宫辉，贾果欣.数码相机的彩色图像预处理过程[J].光学精密工程，2009，17(1):207⁃212. QU Xing⁃hua，GONG Hui，JIA Guo⁃xin.Preprocessing of color image based on digital camera[J].Optics and Preci⁃sion Engineering，2009，17(1):207⁃212.

[7] 董玲娇.车牌图像预处理研究[J].机电工程，2009，26 (6):107⁃109. DONG Ling⁃jiao.Research on image preprocessing of the car plate[J].Mechanical＆Electrical Engineer Magazine，2009，26(6):107⁃109.

[8] 王剑峰，曾巧明.基于方向特性的指纹图像预处理[J].计算机与现代化，2008(6):74⁃77. WANG Jian⁃feng，ZENG Qiao⁃ming.On orientation⁃based fingerprint preprocessing[J].Computer and Modernization，2008(6):74⁃77.

Research on Image Preprocessing Based on the Binocular Stereo Vision

ZHANG Xiao⁃ling，WEI Zong⁃kang
(Beijing Institute of Aerospace Control Devices，Beijing 100039)

This paper researches the strengthening process of image including the brightness difference of stereo image pair and image noise.The image preprocessing contains polar correction of image pair and image enhancement.The polar correction studies correction algorithm of stereo image pair on basis of epipolar geometry.The image enhancement re⁃searches the brightness difference of stereo image pair and creates the method of correction of the brightness by using histo⁃gram equalization.According to the feature of stereo image pair，this paper analyzes deeply image noise and smooths image by using mean filter and Gaussian filter.The actual experiment verifies the practicability of the algorithm and achieves good effects in many aspects.

polar correction;image enhancement;histogram equalization;mean filter;Gaussian filter

TP274＋.2

A

1674⁃5558(2017)01⁃01201

10.3969／j.issn.1674⁃5558.2017.02.008

张晓玲，女，博士，工程师，研究方向为导航、制导与控制。

2015⁃09⁃30