基于流形排名与迟滞阈值法的视觉显著性检测

宋长军

（渭南职业技术学院 陕西 渭南 714000）

基于流形排名与迟滞阈值法的视觉显著性检测

宋长军

（渭南职业技术学院 陕西 渭南 714000）

视觉显著性检测是机器视觉领域的关键技术之一。提出一种基于流形排名与迟滞阈值的检测方法，首先将图像划分成超像素集合，以之作为结点形成闭环图；再按照基于图的流形排名方法计算各个结点的显著值，形成图像的显著图；然后利用显著图直方图统计出高、低两个阈值，将显著图划分为三个部分，使用伽马校正技术分别进行处理，最终整合校正结果得到输出显著图。实验结果表明，相对于现有算法，本文算法得到的显著图能够更好地区分背景区域和显著目标，同时也更具稳健性。

视觉显著性；图像分割；流形排名；迟滞阈值法

近年来，视觉显著性检测引起了国内外学者广泛而持续的关注，这是由于它可以分割出图像中最有意义的目标区域，从而能够解决众多复杂的机器视觉问题，比如目标识别[1]、图像压缩[2]、图像检索等等[3]。现有的显著性检测算法大体上可划分为两大类：一类是高层任务驱动的自顶向下方法[4-5]，另一类则属于底层数据驱动的自底向上方法[6-7]。算法的执行结果通常是只有前景目标与背景区域组成的二值图像，或者是给出一幅显著图用于指示各个像素属于目标的概率。

早期算法一般采用局部的中心、外周对比度方式来计算显著性。随后Gopalakrishnan et al.[8]将目标检测问题描述成一个图的标号过程，利用背景先验知识标号部分结点作为初始种子，然后推断其它未标号结点与该种子的相似度。整个标号过程可以转化为能量泛函的形式，它的极小值就是问题的最优解。关于背景先验知识的自动获取，文献[7]提供了一种很好的方法，认为人类视觉在观察一幅图像时通常会集中于图像的中心区域，因此可以将图像上下左右4个边界的结点作为初始种子，分别对其余未标号结点进行流形排名，得到4幅显著图; 接着对它们进行整合得到前景显著图，然后以前景显著图的极大显著点为掩码提取出图像的前景结点，并对图像剩余结点进行第2次流形排名就得到算法的最终输出。

虽然上述算法取得了良好的效果，但仍然具有较大的改进空间。其中现有算法还面临的突出问题之一就是：目标的组成部分时常呈现出多样性，其中一部分由于与背景相关性较强，进而导致其显著性较低；反之依然。针对这一问题，本文提出借助迟滞阈值法和伽马校正来实现背景的抑制和目标的增强。由显著图的直方图统计分析可知，目标像素的显著值主要分布于直方图的高亮部分，而背景像素的显著值则往往集中于直方图的低暗部分。此时可使用某阈值近似分割出背景区域和目标区域，对背景区域进行取值大于1的伽马校正以压缩其显著值，而对目标区域则进行取值小于1的伽马校正以提高其显著值。实验结果表明，经过上述步骤处理后得到的显著图具有更好的视觉效果和更好的检测性能。

1 流形排名计算原理

流形学习是为了发现高维数据中的内在低维流形结构，如果将图像数据构建成图结构，那么图像的显著性检测问题便可以转化为图的标号问题[9]。图标号的基本思想是：预先对一些结点进行标号，并将其作为初始查询种子，然后计算其它未标号结点与查询种子的相似度。其中相似度的计算需要通过排名函数来完成。

假定X={x1, x2,…，xn}表示图中n个数据点的集合，y=[y1, y2,…，yn]T表示其指示向量，若xi是查询种子，则y1=1；否则，yi=0 。排名函数f:X→□n计算每个数据点xi的排名值fi，组成向量f=[f1, f2,…，fn]。定义图G=(V,E)，其中结点集V等价于X，边集E中元素wij表示结点xi和 xj之间的权重，由权重组成图的关联矩阵W={wij}nxn，度矩阵D=diag{d11,…，dnn}，其中dii=Σjwij。则排名函数f:X→□n的最优解f*可以通过谱聚类算法[5]求解一个最优化问题获得：

上式中第1个求和项是平滑约束项，第2个求和项是拟合约束项，参数 是平衡因子，它控制着排名函数既不会过于改变邻近结点的排名值，也不会偏离初始查询种子太远。对式（1）各变量求导并令其等于零，就可以得到最优解：

其中，α=1/(1+μ)，其作用相当于平衡因子μ 。

若将图像表达成图G=(V,E)，再指定一些结点为初始查询种子，那么结点的显著值就等于式(2)计算出来的排名值。为便于分析，令A=(D-αW)-1，有f*=Ay，故第i个结点的显著值fi其实就是矩阵A中第i行向量与向量y的内积，而向量y是一个二值指示向量，所以fi也可以视为第i个结点与图中所有结点的相似度之和。从上述计算中不难发现，显著值fi实际上也包含了与自身的相似度，这有时会产生过高的异常值。因此，A可先将矩阵 所有的对角元素设置为0，然后再计算结点的显著值fi。最后还需要将显著值f*规一化，因为查询种子是背景结点，所以图像的前景显著值需要转换为1-f* 。

2 图的构造与背景先验知识

SLIC算法[10]将图像划分成一组小块的集合，每个小块就是一个超像素，这些超像素构成了图的结点集V。结点之间的权重构成的关联矩阵满足如下性质：首先，结点不仅和相邻结点存在着关联，而且还和相邻结点的相邻结点存在着关联；其次，图的上、下、左、右4个边界上任意两个结点都存在着关联。在上述两项约束下，关联矩阵 W的多数元素等于零，因此是一个稀疏矩阵，不为零的元素定义为两结点的权重：

其中Ci和Cj分别表示第i个和第j个超像素的平均值（在CIE LAB颜色空间下计算），σ控制权重的强度。由式(2)定义的矩阵A=（D-αW）-1则是一个完全关联矩阵，也就是说，任何两结点之间都存在着一定程度的关联，并且关联程度随着颜色距离的增加而减小。一般来说，背景和前景都具有颜色上的差异，所以矩阵A非常有利于显著值的计算。

视觉注意理论认为[11]人类眼睛通常会关注图像的中心区域，而不是周边区域。基于此，背景先验知识假设背景结点分布于图像边界上，前景结点集中于图像中心区域。分别以上、下、左、右四个边界上的超像素作为标号结点计算出四幅显著图，然后整合在一起形成一幅合成显著图。

以上边界为例看一下具体执行过程：将位于上边界的超像素作为标号结点形成初始查询种子，其他超像素作为未标号结点，此时指示向量y已被确定；按照式(2)计算结点的排名向量f*，向量中每个元素值代表了该点与查询种子的相似度；规一化向量f*，将其范围限制在[0, 1]区间内，则以上边界作为先验知识的显著图St(i)定义如下：

在显著图Sbq(i)中，显著目标的多数结点都会被赋予较高的显著值，但同时也会有部分背景结点出现较高的显著值。因此还需要以前景结点为先验知识再作一次排名处理：计算Sbq(i)的平均显著值，大于该均值的设置为前景结点，其余为背景结点，给出指示向量y；利用式(2)求出各结点的排名值，规一化后得到前景显著图：

3 直方图阈值计算与伽马校正

显著图Sfq(i)还存在着如下两个问题：一是矩阵A不是一个稀疏矩阵，所以显著图Sfq(i)中背景结点也会存在不为零的显著值；二是前景目标区域常常延伸到某个边界，导致前景结点的显著值有所下降。为了抑制背景结点和突显前景结点，本文提出利用Sfq(i)的直方图计算出高阈值Th和低阈值Tl，然后将Sfq(i)分割成3个部分，分别对它们进行不同的处理，最后整合处理结果得到输出显著图S(i)。

经验表明，目标在图像中都占有一定的面积比例，据此可假设Sfq(i)中前pM个具有最大显著值的超像素都属于目标(p是分位数，M是超像素总数），并令其显著值等于1，其余显著值都置为零，得到显著图Shigh(i); 高阈值Th取值于直方图的(1-p)处，低阈值 Tl=Th/2，保留Sfq(i)中显著值位于区间[Tl,Th)的超像素，其余超像素置零，得到显著图Smid(i)。Smid(i)中显著值非零的超像素属于目标的可能性较大，为提高其显著性，可采用参数为γ1的伽马校正，其中γ1＜0; Sfq(i) 中显著值小于Tl的超像素保持不变，其余超像素置零，即得到显著图Slow(i) 。这部分超像素属于背景的可能较大，因此可采用参数为γ2的伽马校正以抑制Slow(i) 的显著值，其中γ1＞0 。

经过上述处理后，最终的显著图S(i)可定义为：

其中 i表示图像中超像素结点的序号。

4 算法步骤

本文提出的显著性检测算法整合了多种技术和方法，其执行过程整理如下：

1）使用SLIC方法将输入图像分割成超像素集合，并以超像素为结点构造图像对应的图，按照式（3）计算图的关联矩阵W和度矩阵D ；

2）计算（D -αW）-1，将其对角元素置零；

3）分别以4个边界为先验知识，形成指示向量y，按照式（2）和式（4）求出对应的子显著图，然后按照式（5）计算出Sbq；

4）二值化显著图Sbq，形成以前景结点为查询种子的指示向量，按照式（2）和式（6）计算显著图Sfq；

5）对显著图Sfq进行直方图统计，求出高阈值Th和低阈值Tl，将Sfq划分成3个部分Shigh，Smid及Slow；

6）将Shigh中非零元素全部设置为1，然后利用γ1和γ2分别对Smid(i)和Slow(i)进行校正；最后按照式（7）计算出显著图 S 。

5 实验结果

本文算法的检测性能将通过标准数据库MSRA进行验证。实验参数设置如下：超像素结点个数N=200，结点之间的关联权重σ2=0.1，平衡因子α=0.99，分位数p=0.1，校正因子γ1=0.5 及 γ2=2。

图1 不同算法的显著性检测结果Fig. 1 Saliency detection results of different methods

图1显示了本文算法与现有算法的检测结果，其中(b)列是人工标注的真实显著图，显著性检测算法越好，则其检测结果越接近于真实显著图；(e)列是本FT算法的检测结果，该算法对纹理的响应较强，导致背景纹理和目标纹理都具有较高的显著值，不利于目标区分；(d)列是文献[7]的检测结果，由于目标与背景在颜色空间上存在一定的相似性，导致其结点之间的权重高于零，因此增强了背景显著值，同时缩小了目标显著值；(c)列是本文算法的检测结果，从中可以看出，输出显著图更加接近于真实显著图，这是因为本文算法通过迟滞阈值划分和伽马校正方法成功抑制了背景显著值和提高了目标显著值，非常有利于目标的准确区分。

6 结 论

文中提出一种自底向上的图像显著性检测算法，利用超像素构建图，发掘图的内部流形结构，以边界为先验知识计算中间显著图，再借助迟滞阈值法将其划分为3个不相交的部分，分别进行不同的处理，最后整合为输出显著图。实验对比结果表明本文算法有效抑制了背景结点的显著值和提高了前景结点的显著值，使得目标在图像中具有更好的显著性，有利于后续的图像分割等任务。此外，由于自然图像中还包含有大量其他特征，比如纹理、边缘等，如何将这些信息融入算法中以提高显著性检测性能将是下一步的工作重点。

[1] Rutishauser U,Walther D, Koch C, et al.Is bottom-up attention useful for object recognition?[C]//IEEE CVPR,Los Alamitos, 2004:37-44.

[2] Itti L. Automatic foveation for video compression using a neurobiologicalmodel of visual attention[J].IEEE TIP,2004,13(10):1304-1318.

[3] CHEN Tao,CHENG Ming-ming,Tan Ping,et al.Sketch2photo:Internet image montage[J].ACM TOG,2009,28(5):1-10.

[4] LIU Tie,SUN Jian, ZHENG Nan-ning Zheng,et al.Learning to detect a salient object[C]//IEEE CVPR, Minneapolis, 2007:1-8.

[5] Ng A,Jordan M,Weiss Y,et al.On spectral clustering:Analysis and an algorithm[C]//NIPS, 2002: 849-856.

[6] WANG Le,XUE Jian-ru,ZHENG Nan-ning,et al.Automatic salient object extraction with contextual cue[C] //IEEE ICCV,Barcelona,2011:105-112.

[7] YANG Chuan,ZHANG Li-he,LU Hu-chuang,et al.Saliency Detection via Graph-Based Manifold Ranking[C]//IEEE CVPR,Portland,2013.

[8] Gopalakrishnan V,Hu Y,Rajan D.Random walks on graphs for salient object detection in images[J],IEEE TIP,2010,19(12):3232-3242.

[9] Zhou D,Weston J,Gretton A,et al.Ranking on data manifolds[C]//NIPS,2004:169-176.

[10] Achanta R,Appu S,Smith K,et al.SLIC Superpixels Compared to State-of-the-art Superpixel Methods[J].IEEE PAMI.2012.34(11):2274-2282.

[11] Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J]. IEEE PAMI,1998,20(11):1254-1259.

[12] Achanta R, Hemami S, Estrada F,et al.Frequency-tuned salient region detection[C]//IEEE CVPR,Florida 2009:1597 -1604.

Visual saliency detection via manifold ranking and hysteresis threshold

SONG Chang-jun
（Weinan Vocational & Technical College, Weinan 714000, China）

Visual saliency detection is one of the key technologies for machine vision. We propose a new approach based on manifold ranking and hysteresis threshold to detect salient objects in images. Firstly, the image is represented as a close-loop graph with nodes consisting of superpixels, and these nodes are ranked by manifold ranking method in order to extract a saliency map. Secondly we compute two different thresholds from the histogram of saliency map,and apply the gamma correction to this map twice with high and low values respectively. Finally the outputs from gamma corrections are processed by two thresholds so as to segment background regions and thereby salient objects.Experimental results demonstrate that the proposed approach performs well when against the existing algorithms in terms of accuracy and robustness.

visual saliency; image segmentation; manifold ranking; hysteresis threshold

TP391

A

1674-6236(2014)03-0190-04

2013–06–23 稿件编号：201306148

宋长军(1976—),男,陕西蒲城人,硕士研究生,讲师。研究方向：计算机网络、图像检索等。