基于频率域的显著性区域提取方法

陈振东

(江苏财经职业技术学院，江苏 淮安 223003)

0 引言

对于一幅图像来说，用户只对图像中的部分区域感兴趣，这部分感兴趣的区域代表了用户的查询意图，而多数剩余的不感兴趣区域则与用户查询意图无关.显著区域是图像中最能引起用户兴趣、最能表现图像内容的区域.事实上，显著区域的选择是非常主观的，由于用户任务和知识背景的不同，对于同一幅图像，不同的用户可能会选择不同的区域作为显著区域.

常用的方法是利用人的注意力机制为基础计算图像的显著度.认知心理学的研究表明，图像中有些区域能显著的吸引人的注意，这些区域含有较大的信息量.认知科学家已经提出了许多数学模型来模拟人的注意力机制.由于利用了图像认知过程中的一般规律，这样提取的显著区域比较符合人的主观评价.

基于视觉特征的方法最具代表性的是Itti等人［1］提出的显著图方法.这种方法利用了神经生理学中的感受野、侧抑制神经网络等研究成果，模拟了人的视觉注意力机制.认为像素与背景的对比是吸引人注意的重要因素，并把这种对比定义为该点的显著值.综合考虑颜色、亮度、方向等多种特征的显著值得到图像的显著图，然后再根据显著图确定图像的显著区域.在此基础上很多人也提出了不同的显著性分析方法，如图论GBVS［2］，频谱残差SR［3］等.国内在Itti方法的基础上提出了多尺度分析方法［4］检测效果比较好，而且保持了图像的完整分辨率，防止信息丢失.

本文借鉴多尺度分析方法的思想提出一种基于频率域的图像显著区域的提取方法，并与多尺度分析方法和Itti方法进行了对比.为此，下面首先简要介绍一下多尺度分析方法的原理，在此基础上详细阐述了本文提出的显著区域提取方法，并通过实验对比了本文提出的方法与Itti方法、多尺度分析方法的性能好坏和分割效果.

1 多尺度分析方法的原理

图1 :(a)对比度滤波器里的内部区域R1和R2;(b)当R1大小固定时，不同尺度对应的R2的大小;(c)计算显著图的遍历顺序

显著度是由图像区域与其周围区域(选取不同的大小范围)的对比度决定的，在多尺度分析方法中由图像区域各像素的特征向量均值与其邻域特征向量的距离得到此区域的显著度.

具体实现过程如图1，(a)中区域R1(颜色较深区域)为一个固定大小的区域，区域R2(颜色较浅区域)为包含区域R1的一个大小可变(多尺度)区域.(b)中区域R1的大小可以为一个像素，但是当图像中噪声比较大时，R1可以设定为一个较小的区域，如9×9等像素块大小;而区域区域R2大小有3个尺度(h/8、h/4、h/2，h≤w).(c)中通过过由左到右、由上到下遍历整幅图像，计算R1和R2的特征距离，并把特征距离转化到0－255范围内，由此得到灰度显著图.因为R2有3个尺度，计算R1和R2的特征距离作为显著度，这样共得到3幅灰度显著图.对3幅显著图对应像素点的灰度值求和求平均，就得到与原图像一样大小的显著图.

图像R1显著度可以这样表示:

其中N1和N2分别为区域R1和区域R2中像素的个数.V为区域R1和区域R2中各像素的特征向量，D为欧氏距离.为了方便计算，由于在CIELab颜色空间中，人所感觉的颜色差距近似为欧氏距离，因此上式D可以这样表示:

其中:v1= ［L1，a1，b1］T，v2= ［L2，a2，b2］T分别为区域 R1和区域R2的平均特征向量.最终的显著图M在多种尺度s下显著图的显著度值的和，如下式所示:

其中mij是显著图M的像素对应的显著度值.

多尺度分析方法保持了图像的分辨率，然而，根据多尺度分析方法的原理，小于滤波器尺寸的目标可以检测出来，但是大于滤波器尺寸的目标只能部分检测出来.能被最小滤波器很好检测到的小一点的目标肯定能被三个滤波器检测到，而大点的目标只能被大点的滤波器检测到.因为最终的显著图是这三个特征图(对应着三个滤波器的检测)之和的平均值，较小的目标始终能很好的突出.这个从图2可以看出，玩具熊的眼睛比它的其他部分更突出.因此，多尺度分析方法不能统一地突出显著性区域，只能突出较小的目标.本文介绍的方法能够解决这个问题，有效地输出完整分辨率的显著图.

图2

2 基于频率域的显著图计算方法

本文方法基于颜色和亮度来估计中心－周围像素对比度的，有三大优势:一致地使显著性区域突出，并且使该区域具有明确的边界;完整的分辨率;计算简单.

我们用wlc代表低频截断阈值，whc代表高频截断阈值.为了克服多尺度分析方法的缺点，突出大的显著性目标，我们需要考虑原始图像对应的非常低的频率，也就是wlc要低.wlc低也有助于一致地突出显著性目标，不会只突出目标的一部分.为了获得明确的边界，我们需要保持原始图像对应的高频信息，也就是whc要高.然而，为了避免噪声、纹理、阻挡物体的高频信息的干扰，需要去除最高的频率.因此，显著图应该包含较大范围的频率，所以一些带通滤波器［wlc，whc］的组合是非常必要的.

2.1 高斯差分滤波器带通滤波器组合

本文选择高斯差分滤波器(公式4)作为带通滤波器.该滤波器因为有效地逼近拉普拉斯高斯滤波器，因此被广泛地应用于边缘检测［5］.高斯差分滤波器也常用于感兴趣点检测［6］和显著性区域检测［7，8］.下式给出高斯差分滤波器，其中 σ1，σ2(σ1＞ σ2)是高斯滤波器的标准方差:

一个高斯差分滤波器是简单的带通滤波器，它的通频带宽度是由σ1:σ2控制.我们考虑将若干个高斯差分滤波器进行组合.如果定义σ1=ρσ和σ1=σ，那么ρ=σ1/σ2，那么这些具有标准方差的高斯差分滤波器的总和:

其中N为正整数，上式结果实质就是两个高斯值的差，它们的标准方差的比例是K=ρN.如果假设σ1和σ2变化来保持ρ为常数1.6(为了检测边缘的需要)，那么需要增加一些边缘检测算子在不同的图像尺度上的输出.这样就保证了整个显著性区域都可以得到突出，而不是只是显著性区域的边缘或者其中心部分得到突出.

2.2 参数的选择

在计算显著图时，需要选择适当的σ1和σ2来确保带通滤波器保留我们所需要的原始图像空间频率.给定足够长的滤波器和σ1与σ2之间足够大的差分，公式(4)里的带通滤波器通频带就可以近似看成来自两个连续的高斯滤波器.因为σ1＞σ2，那么wlc大小由σ1控制，whc大小由σ2控制.然后，在实际应用中，这些滤波器的长度不可能足够长，虽然实现很简单，但是近似就不精确.

为了在标准方差下实现大的比例值，σ1被设置成无穷大.为了消除噪声和纹理的高频信息以及计算方便，本文使用小的高斯核.这些小的高斯核的二项式滤波器能够很好地拟合离散的高斯值［9］.因此，本文方法比多尺度分析方法更好地保持了高频信息.

2.3 计算显著图

对于W*H大小的图像I，计算其显著图S如下式:

其中Iμ是图像I的算术平均灰度值，Iwhc是为了消除纹理细节和噪音将该图像经过高斯模糊后的值.因为对这两者之间的差值大小感兴趣，因此就用绝对值这个范数来表示，这样计算方便.我们对图像不需要下采样，可以直接得到完整分辨率的显著图.

与多尺度分析方法类似，本文在CIELab颜色空间提取颜色特征，其中每个像素在CIELab颜色空间里都是［L，a，b］T的形式:

2.4 基于显著图的显著区域提取方法

多尺度分析方法里的显著区域提取方法是先利用爬山算法来选取K个初始点然后用K均值算法进行过分割然后根据固定阈值进行提取.而根据［10］，均值偏移算法比K均值算法更好地分割出边界.我们在Lab颜色空间里实现均值偏移算法，对参数sigmaS，sigmaR和minRegion分别设定7，10和20.对于每一幅图像都采用一个固定阈值效果不一定都好，因此本文在这采用自适应阈值T，该值设定为图像平均显著值的两倍，如下式所示:

其中W和H分别是显著图的宽和高，S(x，y)是坐标为(x，y)的像素点对应的显著值.

由此，本文算法的流程示意图如图3所示:

图3

3 实验分析

测试使用的机器(PIV，cpu 3.0G，2G内存)，软件平台采用Matlab7.0.在本文中选取文献［11］中的真实图像库作为实验图像集，

为了衡量本算法性能优劣，本文采用 F－measure作为参数，该值是查准率(precision)和查全率(recall)的函数，如公式(9)所示，在这里为了侧重查准率，选择β2=0.3:

对1000幅不同的图像分别采用Itti方法、多尺度分析方法和本文方法，分别求得查准率、查全率和F－measure，求得平均值如图4所示:

图4 三种不同方法查准率、查全率、F－measure值比较图

从上图可以看出，无论查准率还是查全率或F－measure，本文方法都优于其他两种方法.

其中，选择两幅图进行三种不同方法的处理后得到的显著图进行比较，分别如图5和图6所示，图6的原图是图2的(a).

图5

图6

从图5和图6可以看出，与其他两种方法相比，本文方法不仅统一地突出显著性区域、具有明确的边界，而且消除了纹理和噪声对图像的影响，效果非常好.

4 结论

本文在频率域里分析显著性区域提取的方法，使用颜色和亮度这两个特征来计算显著图，然后采用meanshift方法结合自适应阈值方法提取显著性区域.该方法易于实现，计算速度快并且提供完整分辨率的显著图.实验结果表明，与Itti方法和多尺度分析方法相比，本文方法无论查准率、查全率还是F－measure值都最高，提取效果令人满意.但是本文方法也有不足就是:背景复杂的时候，显著目标提取效果不够理想，这有待进一步改进.

［1］L.Itti，C.Koch，and E.Niebur.A model of saliency － based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(11):1254 –1259.

［2］J.Harel，C.Koch，and P.Perona.Graph － based visual saliency［J］.Advances in Neural Information Processing Systems，2007，19:545 –552.

［3］X.Hou and L.Zhang，Saliency detection:A spectral residual approach:IEEE Conference on Computer Vision and Pattern Recognition［C］，2007:1–8.

［4］王国营，梁春迎.一种图像显著区域的提取方法［J］.计算机应用，2010，30(6):1619－1621.

［5］D.Marr.Vision:a computational investigation into the human representation and processing of visual information［M］.W.H.Freeman，San Francisco，1982.

［6］D.G.Lowe.Distinctive image features from scale － invariant feature points［J］.International Journal of Computer Vision，2004，60:91–110.

［7］J.Harel，C.Koch，and P.Perona.Graph － based visual saliency［J］.Advances in Neural Information Processing Systems，2007，19:545 –552.

［8］S.Alpert，M.Galun，R.Basri，A.Brandt.Image Segmentation by Probabilistic Bottom － Up Aggregation and Cue Integration:IEEE International Conference on Computer Vision and pattern Recognition［C］，2007:1－8.

［9］J.L.Crowley，O.Riff，and J.H.Piater.Fast computation of characteristic scale using a half octave pyramid.International Conference on Scale－Space theories in Computer Vision［C］，2003.

［10］C.Christoudias，B.Georgescu，and P.Meer.Synergism in low level vision.IEEE Conference on Pattern Recognition［C］，2002.

［11］T.Liu，J.Sun，N.－N.Zheng，X.Tang，and H.－Y.Shum.Learning to detect a salient object.IEEE Conference on Computer Vision and Pattern Recognition［C］，2007.