融合自适应权重和置信传播的立体匹配算法

张永平，楼 斌，周文晖，吴 卿

(杭州电子科技大学计算机应用技术研究所，浙江杭州310018)

0 引言

立体匹配被广泛应用在三维重建、机器人视觉导航等领域，近年来，国内外的学者对立体匹配做了大量的研究，大致可分为局部匹配算法和全局匹配算法［1］，全局匹配算法性能较好，但耗时较长;局部匹配算法涉及信息量少，相应的计算复杂度较低。针对这些问题，本文提出一种融合局部自适应权重和置信传播的立体匹配算法，降低不可信象素点对置信传播的影响。

1 相关工作

基于局部自适应权重的局部匹配算法，利用象素之间色彩和空间位置差异等信息分配窗口内的各象素点与待匹配象素点之间的相应权重，但由于考虑了空间距离因素，易导致深度不连续、弱纹理区域出现误匹配［2］。文献3中用置信传播算法来求解能量最小化问题，能够很好地处理弱纹理和深度不连续区域。

2 本文匹配算法框架

整个视差估计流程可分为3个步骤，如图1所示:第一步，使用改进的局部自适应加权求和算法，将梯度差异结合到匹配代价中，分别获得左右图像的初始视差估计，通过左右一致性检测得到不可信象素点;第二步，判断邻近点是否属于同一区域，如图2所示，{r，s，t，u}属于区域N，其它点属于区域M，灰色填充的点为不可信象素点。若不属于同一区域，则不进行消息传递。若邻近点属于同一区域，在各个分割区域内部进行置信传播，可分为3种情况，p是可信象素点时，进行消息传递时利用p的初始视差强化平滑项;m是不可信象素点，p是可信象素点时，m对p不进行消息传递;m和a都是不可信象素点时，进行消息传递时不强化平滑项，从而进行优化的不对称消息传递;第三步，根据不对称置信传播的结果，仅对不可信象素点的视差进行校正。

图1 匹配算法流程

图2 区域图

3 本文算法介绍

3.1 改进的局部自适应权重及左右一致性检测

本文将亮度梯度特性用于局部自适应权重计算来获得初始视差图，利用亮度梯度提高在视差不连续区域的准确性。为降低算法的时间复杂度，略去对右图权重因子的计算:

窗口内中心象素点与其邻近象素点的权重因子为:

式中，△gpq为邻近点的欧氏空间距离，△cpq表示色彩空间距离的相似性，q Np表示q是p的邻近象素点。

基于象素的原始匹配代价e(p，pd)使用亮度梯度差异来代替文献2中使用的色彩差异，计算方法为:

式中，▽x(p)是p点的水平梯度，▽y(p)是p点的垂直梯度，pd为p点在视差为d时目标图像上的对应点。

通过左右一致性检测得到不可信象素点。本文结合梯度的局部自适应权重算法与经典局部自适应权重结果相比，在弱纹理和深度不连续区域有一定的提高，结果所如图3所示。

图3 局部自适应权重结果比较

3.2 新的消息传递策略及视差校正

为了得到更加准确的视差图，采用新的消息传播策略，从而对左右一致性检测得到的不可信象素点进行校正。本文使用Mean-Shift算法来实现图像的分割，截断不同区域之间的消息传递，减少消息传递的计算量。

根据象素点的可信性和区域性进行不对称的消息传递:图2中，对于同一区域内的可信象素p与其邻近不可信象素点m进行消息传递时，V(fp－fm)=V(f(p)－fm)，其中f(p)为p点的可信视差;不可信匹配象素点a和m之间用V(fa－fm)，与文献3相似;而不可信象素点m到可信象素点p的V(fm－fp)=0;若邻近点不属于同一区域，则不相互进行消息传递，即在新的传播策略里，区域内的消息可以传播到区域的边界处，而区域边界外的消息不能传递到该区域。

重复纹理、遮挡效应及约束原则不严格等原因都会导致出现视差误差，利用基于MRF模型的因果预测算法对初始不可信象素点的视差进行校正，其计算量仅与误匹配数量成正比，效率较高。

4 实验结果与分析

为了检验本文匹配算法的有效性，对Middlebury测评网站提供的标准测试图像进行视差估计。本文参数设置如下，计算初始视差图时使用sobel算子来计算梯度，式1中邻域窗口的大小为33×33，式2、3参数k=1，rc=5，rp=17.5，T=40。如图4所示给出了测试图像的实验结果，其中第一行为各组测试图的标准视差图，第二行为本文算法的结果。从图4中可以看出，本文所得视差图在满足视差平滑约束的同时保留了细节信息，对弱纹理和离散误匹配象素点能进行有效的校正。

图4 标准视差图和本文实验结果

为了量化比较算法的性能，以误匹配率作为匹配的质量评估，分别计算了视差图全部出错比例、非遮挡区域出错比例和不连续区域出错比例3项性能指标［4］，如表1所示，本文算法与其它几种算法相比较，匹配错误率均有所降低。

5 结束语

本文提出一种融合局部自适应权重和置信传播的立体匹配方法，该方法使用结合梯度特性的局部自适应权重算法获得初始视差图，采用左右一致性检测不可信象素点，利用可信象素点的视差进行优化的置信传播。实验结果表明，本文方法能够有效处理弱纹理区域和离散误匹配象素点，在深度不连续区域也有比较理想的结果。另外，新的消息传递策略使消息传递的计算量明显降低，减短了算法运行所需的时间。

表1 视差图出错比例 (%)

［1］Scharstein D，Szeliski R.A tamonomy and evaluation of dense two-frame stereo correspondence algorithms［J］.International Journal of Computer Vision，2002，47(1):7－42.

［2］Yoon K J，Kweon I S.Locally adaptive support-weight approach for visual correspondence search［C］.San Diego:Computer Vision and Pattern Recognition，2005:924－931.

［3］Felzenszwalb P，Huttenlocher D.Efficient Belief Propagation for Early Vision［J］. International Journal of Computer Vision，2004，70(1):41 －54.

［4］朱清波，王宏远.使用图像分割的遮挡恢复立体匹配算法［J］.华中科技大学学报(自然科学)，2010，38(1):81－84.

［5］Yang Q，Wang L，Yang R.Real-time global stereo matching using hierarchical belief propagation［C］.In Proc:British Machine Vision Conf，2006:989 －998.