基于双目立体视觉的图像增强

宋菲菲 ，赵宏宇

（1.内蒙古电子信息职业技术学院，内蒙古 呼和浩特 010070；2.北京工业大学 计算机学院，北京 100124）

0 引言

双目立体视觉直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如人机交互、视频监控、智能控制、三维测量、机器人导航与航测以及虚拟现实等。双目立体视觉是计算机视觉的一个重要分支，其原理是由不同位置的两台摄像机或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算机空间点在两幅图像中的视差，获得该点的三维坐标值。

目前，对于双目立体视觉的研究主要集中在特征匹配[1-2]、摄像机标定、三维重建[3]等方面，对于图像增强领域却鲜有研究。在实际应用中，普遍采用单幅图像的图像增强算法，这类方法对图像全局进行统一处理，由于没有考虑场景的景深情况，不能充分校正不同景深区域的对比度和颜色。

针对这个问题，本文提出了一种基于双目立体视觉的图像增强算法，主要针对低照度图像进行处理。该算法首先进行立体匹配操作求解视差图像，通过视差图像反映场景的深度信息。根据Retinex原理[4]，将视差图像作为反映场景深度的先验信息，构建广义双边滤波估计图像的照度分量，从而获得含物体本身特性的反射分量，即增强后的清晰图像。本文算法假设场景深度变化主要在于边缘区域，而非边缘区域深度变化平缓。最后通过实验证明该算法能够利用估计的视差信息，充分恢复不同景深的场景颜色与细节信息。

1 本文算法

1.1 双目立体视觉系统

双目立体视觉的基本原理是从两个视点观察同一景物，获取两幅同一场景的图像，根据像素点的相似性计算求解图像像素间的位置偏差（视差），从而根据三角形法原理确定三维空间点的深度信息，进而重建景物，这一过程与人类视觉的立体感知过程相类似。

双目视觉系统如图1所示，焦点分别为O1和O2的两台摄像机具有相同的参数性能，同时光轴互相平行、X轴互相重合、Z轴与左摄像机的光轴重合，两个摄像机焦距均为f，它们之间的距离为 B，I1和I2为左右摄像机的像平面，P1和P2分别是空间点在左右像平面上的成像点。由相似三角形关系可导出深度信息方程：

式中，d=pl-pr为两幅图的视差，焦距f通过摄像机标定求得。

图1 双目视觉系统

在双目立体视觉系统中，立体匹配与三维重建等方面的研究最多，而对于图像增强方面的研究也具有重要的理论与实际意义，它直接影响到匹配操作的精度和速度，同时，通过削弱场景中诸多因素的干扰，如光照条件，能够为最终的三维重建打下坚实的基础。

由公式（1）可知，通过对左右图像进行特征匹配，就可以得到其视差信息，结合已知信息B和f，即可获得场景中目标的深度。因此，本文假设图像包含的视差信息能够较好地反应场景深度，将视差信息作为反映场景深度的先验信息施加到图像增强处理过程中。

1.2 立体匹配

立体匹配是寻找同一空间景物在不同视点下投影图像中像素间的一一对应关系，一般包括匹配代价计算、代价值聚集、视差计算等步骤[5-6]。本文采用自适应的方法，结合 SAD（Sum of Absolute Differences）和梯度特征的相似性测度因子[6]进行匹配代价计算，即：

式中，x表示图像像素，N（x）是在 x处的 3×3的包围窗口，NH（x）是不包含最左一列的包围窗口，NV（x）是不包含最下一行的包围窗口。▽H表示水平梯度，▽V表示垂直梯度。此时，匹配代价函数可以表示为：

其中，ω是最优权值，由最大化可靠对应像素的数量来决定，可靠像素是通过胜者为王 （Winner-Takes-All，WTA）准则来过滤的，公式（4）经过阈值法[6]处理之后最终得到初始视差图像为。在视差图像计算方面，为了优化其结果，需要对视差图像进行平滑操作，下面采用的是选择性模式滤波器 （Selective Mode Filter）[7]，从而获得理想的视差图像结果D。本文将视差图像D引入到图像增强操作中来。

1.3 基于Retinex原理的图像增强处理

基于Retinex理论提出来的图像增强方法具有高动态范围压缩、局部对比度增强、保持图像颜色恒常性等优点[4]。

Retinex理论认为一幅图像可分为两部分，即一幅图像I可由反射分量R和照度分量L的乘积表示，即：

其中，照度分量的性质取决于光源，决定了图像的动态范围；反射分量的性质则取决于成像物体的特性，主要反映了图像的细节信息。Retinex原理的思想实际上就是去除或减少照度分量的影响，获得包含较多细节信息的反射分量。其计算过程在对数域上进行：

上述反射分量的求解在数学上是一个奇异问题，因此需要把求解问题变成约束最优化问题，通过对照度分量的准确估计进行反射分量的求解。由于照度分量具有局部平滑的性质，因此对它的估计可以看作为平滑问题，本文采用广义双边滤波求解照度分量。

双边滤波的理论是 Tomasi和 Manduchi[8]于 1998年提出的，该理论同时考虑了空间邻近度与像素值相似度，是一种边缘保持的非迭代平滑滤波方法。本文采用的广义双边滤波则是结合了视差值相似度与像素值相似度进行平滑操作，其形式定义为：

式中，Wb为归一化系数：

式中，Gσd和 Gσr

为高斯函数，表示随着视差值差异以及灰度差值的增大，图像像素的权重逐渐减小。

公式（6）、（7）的计算需要将图像由 RGB颜色空间转换到 HSV（Hue，Saturation，Value）颜色空间下，仅对亮度分量进行处理，而获得的饱和分量与色调分量保持不变，在获得反射分量后，再将图像由HSV颜色空间转换到RGB颜色空间，即可获得增强后的图像。

2 实验仿真与分析

为验证本文算法的有效性，在MATLAB平台上进行图像处理实验，主要针对低照度图像进行处理。图2（a）、（b）为存在视差的参考图像；（c）为获得的初始视差图像；（d）为优化后的视差图像；（e）为图（b）的照度分量；（f）为图（b）的图像增强结果。通过实验可知，本文算法能够根据场景深度的差异，再现场景的真实颜色，以及增强低照度区域的细节信息。

图2 图像增强实验

3 结论

本文将双目立体视觉原理应用于低照度图像的增强上，将视差图像作为场景深度的先验信息，在估计图像照度分量的时候，提供了约束条件，构建了广义双边滤波，更加充分地恢复了图像细节信息。该算法具有较高的鲁棒性，能够较好地改善双目视觉系统的工作能力，具有广泛的应用前景。

[1]岳陈平，孟丽娅.基于SAD算法的立体匹配的实现[J].微型机与应用，2013，32（6）：41-43.

[2]欧阳鑫玉，张娟娟，赵楠楠，等.基于 NCC的改进立体匹配算法[J].微型机与应用，2015，34（3）：54-57.

[3]赵宏宇，李燕华，侯振杰，等.基于鲁棒估计灭点分层重建的研究[J].微型机与应用，2011，30（9）：31-35.

[4]肖创柏，赵宏宇，禹晶.基于引导滤波的Retinex快速夜间彩色图像增强技术 [J].北京工业大学学报，2013，39（12）：1868-1873.

[5]SCHARSTEIN D，SZELISKI R.Stereo matching with nonlinear diffusion[J].International Journal of Computer Vision，1998，28（2）：155-174.

[6]KLAUS A，SORMANN M，KARNER K.Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure[C].18th International Conference on Pattern Recognition，2006：15-18.

[7]LANKTON S.Selective mode filterin Matlab[EB/OL].（2008-04-12）[2015-05-13].Http：//www.shawnlankton.com，2008-04-12.

[8]TOMASI C，MANDUCHI R.Bilateral filtering for gray and color images[C].In：Proceedings of the 6th International ConferenceonComputerVisionBombay，India：IEEE，1998： 839-846.