一种基于梯度增强的立体匹配算法

董 欣，王国中，范 涛，滕国伟，赵海武，李国平

（上海大学通信与信息工程学院，上海 200072）

一种基于梯度增强的立体匹配算法

董 欣，王国中，范 涛，滕国伟，赵海武，李国平

（上海大学通信与信息工程学院，上海 200072）

立体匹配是深度图获取的一个关键技术，传统的立体匹配使用的图像分割方法会对图像边界造成一定的破坏，为提高深度图边缘的准确度，提出了一种基于梯度增强的立体匹配算法。首先通过梯度算子对参考图像和目标图像进行预处理，增强图像边界的鲁棒性，然后采用mean－shift图像分割算法对图像进行区域分割，对分割得到的区域使用自适应块匹配法进行立体匹配，最后采用均值滤波对图像进行后处理，得到最优的视差平面。实验结果证明该算法在图像边界的匹配精度上得到了比较满意的效果。

立体匹配;图像增强;视差;图像分割

近些年来，信息科学不断发展，随着3D频道的开播，立体视频的应用也变得更多，人们越来越深刻地认识到立体视频带来的强烈震撼。3D电视信号与传统电视信号相比，需要在非常有限的带宽下通过采集、编码、传输、接收并最终合成3D效果，数据量巨大，因此，3D技术要想走进大众的生活，首先需要克服的就是视频的数据量问题。目前在解决数据量问题上采取的有效方案为“纹理图+深度图”方案，立体匹配则是深度图获取的一个重要步骤。

本文提出了一种基于梯度增强的快速立体匹配算法。传统的立体匹配方法首先使用图像分割算法对图像进行过分割，然后对分割的区域进行立体匹配。然而图像分割方法会对图像边界造成一定的破坏，导致颜色相近的区域边界保持不完整，因此，本文采用梯度增强的方法对目标图像和参考图像进行预处理，增强图像边界的鲁棒性，从而使匹配得到的视差图在边界区域更加准确，大大降低图像边界的误匹配，然后采用mean－shift图像分割算法对图像进行过分割，通过局部立体匹配算法进行立体匹配，最后使用均值滤波对图像进行后处理，得到最终的视差图。

1 基于图像增强的立体匹配

1.1 立体匹配算法介绍

立体匹配算法主要分为两大类，第一类是基于全局的立体匹配算法［1－3］，第二类是基于区域的立体匹配算法。基于全局的立体匹配算法通过定义能量函数找到最优的视差平面［4］，理论上可以得到质量最优的深度图，但是算法的复杂度相对局部立体匹配算法较大，无法做到实时。基于区域的算法通常使用基于窗口的方法，以窗口为邻域单位进行匹配，窗口的大小决定了匹配的精度和准确度，但在深度不连续区域、低纹理区域和遮挡区域的效果不佳［5－6］。Andreas Klaus等在2006年提出了基于图像分割的立体匹配算法［7－9］，先利用图像分割的方法把图像根据颜色信息进行分割，假设每个区域内部具有相似的深度，然后对每个区域进行全局能量函数计算［10］。这种方法在保护边缘上有一定的效果，但是若区域分割错误或者颜色相近，那么得到的边界就会存在较大的误差。

基于图像分割的立体匹配算法以图像分割得到的区域来对每个区域进行自适应区域立体匹配［8］，主要步骤为:1）使用图像分割算法把图像分割成具有相似性的区域，假设每个区域具有相似的深度值，然后对得到的每个区域进行标记。2）初始视差估计，通过立体匹配算法得到每个区域的匹配代价。3）通过交叉检测得到可信的视差块并填充不可信视差块。4）视差平面拟合，由计算出来的分割区域内像素的视差计算出整个区域的视差。5）通过定义能量函数估计不可信视差值，得到最优的视差平面。

1.2 基于图像增强的快速立体匹配算法

本文采用了基于区域的立体匹配算法，最大限度地利用并优化前人提出的方法，研究了高质量的深度图获取方法并通过图像预处理和后处理实现了高精确度的视差图提取。具体实现方案如图1所示。

图1 算法框图

1）为了保证在深度提取过程中最大限度地保留边缘部分的精确度，首先对左右视点的纹理图像进行图像增强，注重增强图像的边缘部分，使边缘更加突出，降低图像分割对边缘造成的破坏。为降低处理复杂度，本文采用基于梯度的图像增强算法来提取边缘与增强边缘。图2为得到的边缘和增强后的分割结果。

图2 图像边缘与分割结果

在本算法中，采用水平方向与垂直方向的梯度进行图像边缘的提取。对于图像函数f（i，j），它在（i，j）处的梯度是一个矢量，对于数字图像而言，该点的梯度值近似为

定义增强后的图像g（i，j）为

式中:ω1和ω2为增强的权值。

2）首先对使用均值漂移算法（mean－shift）［7］图像根据颜色进行过分割，假设每个区域具有相似的深度值，得到分割后的图像并对每个区域进行标记。

3）使用基于窗口的局部匹配算法进行立体匹配得到初始视差。基于区域的亮度绝对值差准则（SAD）和梯度绝对值差准则（GRAD）的计算方式为

式中:IL和IR分别表示左右图像的亮度信息;i和

j表示水平和垂直方向梯度算子;W（i，j）表示以（i，j）为中心的窗口。

最终的匹配代价为

4）通过交叉检测（Cross－checking）得到可信像素块并由可信像素块得到不可信像素块视差。首先以左视点为参考图像，以右视点为目标图像在目标图像中搜索参考图像的匹配块，然后再把两视点交换，重新搜索匹配块，由唯一性约束可知，如果两次搜索得到的视差相同，则定义为可信块，若不相同，则定义为不可信块。

5）视差图后处理。对于不可信像素块，使用其周围的可信像素块通过中值滤波变为可信像素块，由此可以过改善遮挡区域和弱纹理区域的误匹配。

2 实验结果与分析

为了验证本文提出方法的性能，首先使用立体图像对进行验证。本文以MATLAB 2010为实验平台，采用Middlebury网站上提供的5幅立体图像对tsukuba，venus，teddy，cons和bull分别进行实验验证，为了更加精确地表示视差图像的匹配精确度，本文采用了两种衡量方式，峰值信噪比（PSNR）和误匹配率（B）。其中误匹配率（B）反映了计算所得视差值的误差大于某阈值的像素在整幅图中占有的比例，公式为

式中:N为总像素数;destimate（i，j）表示估计得到的视差值;dgroundtruth（i，j）为真实视差值;α为误差，本实验设置α为1.0。客观实验结果见表1。

表1 客观实验结果对比

由表1可知，本文提出的基于梯度增强的立体匹配算法在客观质量上均有所提高，均值信噪比PSNR平均提高了0.365 9 dB，误匹配率B平均降低了3.624 3%。

图3是tsukuba，teddy和cons的观实验结果。

图3 原始视点视差图与实验结果

从主观结果看，本文方法对保护图像的边界具有很好的作用，如图4所示。原始视差图具有明显的误匹配，在图像的边缘部位出现了较多的毛刺，而本文方法则保持了边缘的平滑与完整。由实验结果可知，本文提出的方法可以有效改善与避免边缘点的误匹配情况。

图4 视差图主观结果对比

将本文提出的增强方法应用于视频序列，也得到了较好的结果，本文采用MPEG提供的测试视频序列balloon和kendo，与参考软件DERS的结果做比较，实验结果如图5和图6所示。可以看出，对于视频序列在主观效果和客观效果上都有所提高。

图5 ballon视频序列测试结果

图6 kendo视频序列测试结果

3 结语

为了降低由于传统的立体匹配算法对图像边界造成的破坏，并最大限度地保护图像的边界，本文提出了一种基于图像增强的局部立体匹配算法，结合使用了梯度增强和图像分割，使参考图像和目标图像在边界保持上具有更强的鲁棒性，在传统立体匹配方法的前提下，本文方案对视差图的PSNR平均提高了0.365 9 dB，在主观效果上也得到了高精确度;把本方案应用于深度图提取算法也得到了更加准确的主观结果与客观结果。

:

［1］EKMEKCIOGLU E，VELISAVLJEVIC V，WORRALL S.Edge and motion － adaptive median filtering for multi－view depth map enhancement［C］//Proc.Picture Coding Symposium，2009.Chicago，IL:IEEE Press，2009:1－4.

［2］EKMEKCIOGLU E，VELISAVLJEVIC V，WORRALL S.Content adaptive enhancement of multi－view depth maps for free viewpoint video［J］.IEEE Journal of Selected Topics in Signal Processing，2011，5（2）:352－361.

［3］CANCINO－SUAREZ S，KLIMASZEWSKI K，STANKIEWICZ O，et al.Enhancement of stereoscopic depth estimation by the use of motion information［C］//Proc.2012 44th Southeastern Symposium on System Theory（SSST）.Jacksonville，FL:IEEE Press，2012:94－98.

［4］武翠芳，王永芳，刘静，等.一种改进的基于BP的立体匹配算法［J］，电视技术，2011，35（20）:28－31.

［5］SCHARSTEIN D，SZELISKI R.A taxonomy and evaluation of dense two－frame stereo correspondencealgorithms［J］.International Journal of Computer Vision，2002（47）:7－42.

［6］LI H，CHEN G.Segment－based stereo matching using graph cuts［C］//Proc.CVPR 2004.［S.l.］:IEEE Press，2004:74－81.

［7］VEKSLER O.Efficient graph－based energy minimization methods［EB/OL］.［2013－02－02］.http://www.csd.uwo.ca/faculty/olga/Papers/thesis.pdf.

［8］ANDREAS K，MARIO S，KONRAD K.Segment－based stereo matching using belief propagation and a self－adapting dissimilarity measure［C］//Proc.18th International Conference on Pattern Recognition，ICPR 2006.Hong Kong:IEEE Press，2006:15－18.

［9］COMANICIU D，MEER P.Mean shift:a robust approachtoward feature space analysis［C］//Proc.PAMI 2002.［S.l.］:IEEE Press，2004:603－619.

［10］BLEYER M，GELAUTZ M.Graph－based surface reconstructionfrom stereo pairs using image segmentation［C］//Proc.Conference Videometrics VIII.［S.l.］:SPIE，2005:288－299.

Image Enhangcement Based on Stereo Matching Algrorithm

DONG Xin，WANG Guozhong，FAN Tao，TENG Guowei，ZHAO Haiwu，LI Guoping

（Shool of Communication and Information Engineering，Shanghai University，Shanghai 200072，China）

Streo matching is one of the key techniques in depth estimatiom.Traditional stero matching methods destroies the edge of an image partly.To improve the depth estimation precision，an image enhangcement based stereo matching algrorithm is proposed that utilizes image enhancement on the reference image and the target image and the scene is enhanced by a gradient method which makes the latter segmentation step more robust on edges，then the disparity plane is assigned to each segment.Experiment results demonstrate the superior performance of the proposed algrithm.

stereo maching;image enhanchment;disparity;image segmentation

TN919.8

A

【本文献信息】董欣，王国中，范涛，等.一种基于梯度增强的立体匹配算法［J］.电视技术，2014，38（3）.

国家自然科学基金项目（D.09－0107－13－006）;上海市科学技术委员会科研计划项目（12511502502）

董 欣（1988— ），女，硕士生，主研3D视频高效深度提取技术;

王国中，博士，教授，博士生导师，研究方向为视频编解码与多媒体通信。

责任编辑:时 雯

2013－03－14