基于韦伯感知和导引滤波分层聚合快速立体图像匹配

刘天亮 戴修斌 朱秀昌 罗立民

①(江苏省图像处理与图像通信重点实验室 南京 210003)

②(南京邮电大学通信与信息工程学院 南京 210003)

③(南京邮电大学地理与生物信息学院 南京 210003)

④(东南大学影像科学与技术实验室 南京 210096)

1 引言

双目立体匹配是实现从2维图像对3维视觉感知的基础，在机器视觉、无人车自主导航、3维建模及3维视频编码等领域应用广泛。文献[1]全面概述并分类总结了一些代表性的立体匹配技术及评价体系，并将其分为局部匹配和全局匹配两大类。局部方法通常容易实现、效率较高，但也存在兼顾鲁棒性和计算效率、利用局部特征和代价聚合消除匹配歧义等问题[2-11]。利用截断阈值[1]和特征描述[2]初始化匹配代价，适度改善匹配性能。DAISY描述显著特征较鲁棒[2]。文献[12]利用韦伯准则构造鲁棒光照局部描述。稳健高效的代价聚合有利于局部匹配。传统自适应权重[3]及带分割变种[4]，需要稠密计算或图像预分割，匹配效果虽然较好，但由于算法复杂度和内存容量的限制[13]，速度较慢，难处理大视差搜索范围、高分辨率图像对。文献[5]利用导引滤波[6]快速增强匹配代价；而文献[13]回顾了代价聚合中减少计算冗余方法。传统的双边滤波基于四邻域搜索去除视差噪声、保存边缘[7]；但该方法改善效果欠佳。兼顾实时性，可以牺牲精度[8]来实现高效匹配；也可借助硬件(图形加速硬件[9]或嵌入式系统[10])实现。

设基准图像Ib和待匹配图像Im是极线校正彩色图像对；视差范围Rd=[dmin,dmax]，其总个数Nd为dmax-dmin+1。受上述研究启发，提出一种新颖的基于导引滤波分层代价聚合快速立体图像匹配方法。

2 初始匹配

2.1 基于韦伯感知初始化匹配代价

根据韦伯定律[12]，将邻域亮度变化v00与当前像素x的亮度v01之间的比值，视为差分激励ξ(x)。

“得益于中国银行云南省分行的精心安排和组织，让我们收获颇丰。”参加完首届中国国际进口博览会展商客商供需对接会，云南某科技有限公司负责人感慨地说。在这次对接会上，多家客商在中国银行云南省分行（下称云南中行）对接会现场工作人员的精心安排下，与多家展商进行了供需洽谈，并签署了总计超15亿元的意向合作协议。

其arctan(x)防止输入较大(较小)输出响应增加(减少)过快，α调整邻域间差分响应。xi为八邻域亮度。

随着企业的发展，牧星也在不断寻求品牌知名度和美誉度的提升。在做好产品的同时，搭建好品牌和口碑体系。“大家普遍认为做技术的‘工科男’是不善于表达自己的，我们在未来的努力就是要扭转这样的印象，让牧星这一品牌在市场上更加响亮。之前我们是‘酒香不怕巷子深’，现在则不同，我们不光要有酒香，还要让更多的人了解我们。”

其中Ib,Ij和μk为图像Ib中像素pb和pj及局部矩形窗wk内的色彩3×1均值向量；协方差矩阵∑k和单位矩阵U都是3×3矩阵。参数ε控制权重平均的加权力度。权重滤波响应能保持彩色导引图像边缘。其次，逐像素遍历整个视差搜索空间Rd，将导引滤波稳健增强后的匹配代价按大到小顺序依次排列。然后，选取匹配代价最小的Dc(Dc<

合适选择TWLD和TRGB约束差异测度可剔除宿外点。为了降低光照变化[12]影响，平衡因子β取值接近1。

2.2分层代价聚合和快速视差选择

2.2.1 基于导引滤波提取视差候选为避免重复遍历所有视差假设[13]，从较大视差范围Rd提取Dc(Dc<

其中(xl,yl)为初始视差Db,bf的坐标。不满足该约束，则剔除该不可靠视差。接着，将同一扫描极线上距离最接近的可靠视差分配填充给当前的不可靠视差像素点。然后，利用水平极线约束和左右2个视差图的潜在冗余，组合另一个视图基于逆向映射产生当前视图下的视差值，消除窄遮挡的歧义。最后，采用3×3中值滤波平滑当前视图，得到最终视差图。

2.2.3 利用候选子集快速选择视差采用优胜者全选法，逐像素利用视差候选子集Sd加速两个视图选择初始视差。以基准图像Ib为例，初始匹配视差选择：

其中Cgf(u,v,d)表示滤波后匹配代价，pb和pj分别表示当前像素和匹配窗wk的邻域像素。权重化平均的滤波权重Wb,j(pb,pj)取决于彩色导引图像Ib[6,9]为

从总体上看，成都文物类型较为齐全，各类文物均有分布.古建筑及历史建筑物主要集中于成都、南充、甘孜、绵阳、阿坝和宜宾等地；古墓葬以成都和宜宾为多；古遗址多分布于成都、德阳、泸州、雅安、阿坝和甘孜等地；石窟寺及石刻以眉山、资阳、成都、广元和巴中较为集中；近现代重要史迹及代表性性建筑以成都、自贡分布较多；革命遗址及革命纪念建筑物总量不大，集中分布于成都、南充、甘孜和巴中四地.这一特征反映了不同地区历史、文化的演进轨迹和文物保存状况存在差异.

然后，图像Ib中某一像素pb(坐标为(u,v))和待匹配图像Im中极线上关于视差d的像素qm,d(坐标为(u-d,v))的相关程度，利用pb,qm,d两个像素的WLD描述和RGB色彩之间绝对值差异关于各自阈值TWLD和TRGB来线性表达。则初始匹配代价C(u,v,d)为

2.2.2 空间离散采样联合式代价聚合为减少计算冗余，提出基于结构化空间离散周围对称聚合采样改进自适应权重匹配窗，作为匹配代价高效分级聚合的有效支撑。代价聚合结构是一组基于极坐标依赖当前参考像素周围对称空间离散采样点构成的结构化支撑模板(如图1所示)。分层联合式代价聚合为

其中pl(l=l,2,…,L)表示该支撑模板中第s个同心圆环上第t个代价累积采样点，t=l,2,…,8,s=l,2,3。代价分层聚合中当前层所对应的视差值d来自上一层提取的视差候选集Sd。权重wb,l(pb,pl)表示pb和pl关于 RGB色彩差异 ΔCpb p l和几何距离 ΔGpb p l的自适应权重[3]，γc和γq为相应权重系数。

联合式代价聚合中，忽略归一化求和自适应权重本身；仅保留聚合前匹配代价内积相应权重。仅保留内积操作的改进不会影响匹配代价聚合的精度[13]，且基于空间采样有利于匹配代价快速聚合。

图1 空间离散采样结构化支撑模板

我停下我的脚步，转身，逃离父亲，朝着工地奔跑。父亲感觉到了，他尖厉的声音再次传来：小贱！呼声过后，是他的脚步声，一下轻一下重，那是瘸腿人特有的脚步声。我没有回头。我知道，此刻的他，就像一张被拉开的弓，也像一架运动中的犁。他手里那截木头，那截木头，像一柄剑，刺向我身后的天空。

推荐理由:一本别具特色的原创手印画绘本。图画简单、生动，文字基于耳熟能详的儿歌创作，朗朗上口，利于适龄儿童对传统歌谣和颜色、季节的记诵、认知。

3 视差求精

3.1 改进型视差双边滤波

第二，关于中外合作办学的论文，主要有：李玉保、谢丽惠的《中外合作办学模式：实践反思与路径选择》；齐晓丹、张晓波的《中外合作办学机构办学模式及发展路径研究》。

图2 “*”字型滤波窗口

其中Cbf(u,v,d)反映邻域视差波动幅度，常数λd控制去除宿外点；W(u,v)是基于色彩和空间相似类似式(7)的自适应权重[3]。权重化滤波也仅保留内积操作，省去不必要的求和归一化操作[13]。改进双边滤波能保留视差图像的边缘细节，并有效剔除视差局外点。

3.2利用对称映射后处理视差

首先，利用含不可靠阈值Tocc的左右对称一致性约束检测不可靠歧义区域(比如误匹配及遮挡等)：

首先，初始匹配代价C(u,v,d)中关于视差值d的Nd个切片，基于以当前像素为中心小尺度r×r匹配窗wk局部色彩信息导引滤波抑制噪声[6]。逐个像素pb=(u,v)稳健增强匹配代价为

色彩不连续伴随深度不连续。基于四邻域双边滤波有助于视差不连续保持[7]；但“*”字型滤波窗口空间覆盖滤波范围更大。利用八方向邻域(见图2)，提出改进型双边滤波改善视差质量。设滤波半径为Wbf，以当前像素p=(x,y)为中心滤波窗的八邻域视差值集合为dp。设up,vp,和是“*”字型滤波窗口各方向路径：水平up=[x-Wbf,…,x+Wbf]，垂直是45°和225°路径；是135°和315°路径。则顺序更新视差：

4 实验结果与性能分析

本文方法保持相同参数设置测试Middlebury网站[14]上4组标准立体图像对Tsukuba,Venus,Teddy 和Cones验证匹配性能。表1为与该网站上部分结果比较(2011年9月20日)并基于错误匹配率的评价表(误匹配阈值为1)。,RD和RA分别为非遮挡区域、接近深度不连续区域及未知像素除外总的错误百分比PBP(Percent of Bad Pixels)；各列整体平均AvgPBP。复杂度低、速度快的本方法，稍微逊色于复杂度高的文献[3,4]等方法。整体匹配效果看，本方法的AvgPBP为8.11(非常接近并仅次文献[4]算法的8.07)。本方法稍微好于文献[9]算法；同时，明显优于来自文献[8]，文献[11]和文献[7]等算法。

首先，提取立体图像中各像素xp的各色彩通道分量c的差分激励ξc(xp)。ξ(xp)∈[-π/ 2,π/2]。c∈｛ R,G,B｝。接着，连接RGB色彩三色通道差分激励ξc(xp)，形成整体局部特征描述向量WLD(xp)。

图3直观呈现本文方法匹配上述4 组测试图像的相关结果。其中第1、第2 行分别是各组立体对中的基准图像及其标准视差；第3、第4行分别给出相应的初始视差和最终视差；而第5行是最终视差与其标准视差之间的差异(误差阈值>1)。可见，初始匹配能得到较可靠的初始视差；视差求精能有效改善歧义区域。图4给出本文方法处理Middlebury网站[14]提供的一组不同光照下真实芦荟立体图像的视差结果；自左向右各列代表各组不同光照条件；第1和第2行分别表示相应的基准Ib和待匹配Im，而第3行为相应的各基准图像视差结果。可见，即使光照条件发生较大变化，本文算法匹配性能几乎不受光照条件影响。

虽然上面的结果看起来可能是矛盾的，这里有几种可能的解释。首先，农民一般不愿意与陌生人(例如研究人员)谈论钱的问题，其中可能隐藏着一些有关金钱的影响。第二，满意度可能会被定性为一种无形资产的影响，因此，它不一定与更高的销售额或收入有关。第三，超市供应链中相对较高的价格可能与满足特定要求的高成本相关。尽管定量的结果及其尽可能的解释，定性信息表明，在超市供应链内的农民生活条件比即时交易市场中的同行要好得多。即使在本研究中面临着测量影响的局限性，但得承认由于缺乏确凿的结论，引发了关于超市兴起及其对农民生计的积极影响的潜在市场机会的问题。

表2给出了未做代码优化和并行加速处理下本文方法与其他算法测试4组立体对的执行时间。与文献[3]方法相比，本文方法运行时间降低了近一个数量级；其整体计算复杂度不高，适合匹配较高分辨率立体图像对。结合图3，图4定性显示和表1，表2定量评估的综合评价及其执行时间，验证了本文方法在平衡精度和效率及真实光照变化上的优越性。

5 结束语

为了快速消除立体匹配歧义，本文提出一种基于韦伯描述符和导引滤波由粗到细分层代价聚合的快速局部立体图像匹配方法。实验表明，本文方法能获得高质量的稠密视差；复杂度低，匹配速度快；光照鲁棒性好。面向高分辨率多视点/立体视频编码等新媒体应用，计划研究更高质量实时立体匹配。

表2 不同算法的执行时间(s)

表1 Middlebury网站标准测试对的评估结果

图3 立体图像对‘Tsukuba’,‘Venus’,‘Teddy’ 和‘Cones’的稠密视差结果

图4 不同光照条件下芦荟立体图像对的稠密视差

[1]Scharstein D and Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002,47(1/2/3):7-42.

[2]Tola E,Lepetit V,and Fua P.DAISY: an efficient dense descriptor applied to wide-baseline stereo[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(5): 815-830.

[3]Yoon K J and Kweon I S.Adaptive support-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.

[4]Liu T L,Zhang P Z,and Luo L M.Dense stereo correspondence with contrast context histogram,segmentation-based two-pass aggregation and occlusion handling[C].Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology,Tokyo,2009: 449-461.

[5]Rhemann C,Hosni A,Bleyer M,et al..Fast cost-volume filtering for visual correspondence and beyond[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,Colorado Springs,USA,2011:3017-3024.

[6]He K M,Sun J,and Tang X O.Guided image filtering[C].Proceedings of 11th European Conference on Computer Vision,Crete,Greece,2010: 1-14.

[7]Yang Q X,Wang L,and Ahuja N.A constant-space belief propagation algorithm for stereo matching[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,USA,2010: 1458-1465.

[8]Gupta R K and Cho S Y.A correlation-based approach for real-time stereo matching[C].Proceedings of 6th International Symposium on Visual Computing,Las Vegas,USA,2010: 129-138.

[9]Yu W,Chen T,Franchetti F,et al..High performance stereo vision designed for massively data parallel platforms[J].IEEE Transactions on Circuits and Systems for Video Technology,2010,20(11): 1509-1519.

[10]丁菁汀,杜歆,周文晖,等.基于FPGA 的立体视觉匹配的高性能实现[J].电子与信息学报,2011,33(3): 597-603.Ding J T,Du X,Zhou W H,et al..High performance implementation of stereo vision matching based on FPGA[J].Journal of Electronics＆Information Technology,2011,33(3): 597-603.

[11]Nalpantidis L and Gasteratos A.Stereo vision for robotic applications in the presence of non-ideal lighting conditions[J].Image and Vision Computing,2010,28(6): 940-951.

[12]Chen J,Shan S G,He C,et al..WLD: a robust local descriptor[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9): 1705-1720.

[13]Min D B,Lu J B,and Do M N.A revisit to cost aggregation in stereo matching: how far can we reduce its computational redundancy?[C].Proceedings of 13th International Conference on Computer Vision,Barcelona,Spain,2011: 1567-1574.

[14]Scharstein D and Szeliski R.Middlebury Stereo EvaluationVersion 2.http://vision.middlebury.edu/stereo/ eval,2011.