基于特征显著值归一化与位置加权的FT算法

黄应清，梁新彬，谢志宏，文　军

(装甲兵工程学院 控制工程系，北京　100072)



基于特征显著值归一化与位置加权的FT算法

黄应清，梁新彬，谢志宏，文军

(装甲兵工程学院 控制工程系，北京100072)

摘要：频率调谐(FT)显著区域检测算法在背景复杂和图像显著区域比较大时检测效果不理想。针对上述问题，对FT算法进行了改进，提出了一种基于特征显著值归一化与位置加权的频率调谐显著区域检测算法(FTFP)。该算法主要在FT算法的基础上进行了图像分块、Lab颜色特征显著值的分别归一化和位置加权处理。实验结果表明，FTFP算法在显著性检测视觉效果、准确率与查全率、对噪声图像的检测上都优于FT算法，综合性能突出。

关键词：显著性检测；特征显著性；位置加权；归一化

本文引用格式：黄应清，梁新彬，谢志宏，等.基于特征显著值归一化与位置加权的FT算法[J].兵器装备工程学报，2016(6):124-128.

Citation format:HUANG Ying-qing, LIANG Xin-bin, XIE Zhi-hong, et al.Frequency-Tuned Salient Region Detection Algorithm Based on Feature Saliency Normalization and Position Weighting[J].Journal of Ordnance Equipment Engineering,2016(6):124-128.

显著性检测通过在一定区域内突出某个事物或人员引起人们的注意[1]。研究人员从人类认知的角度出发，将视觉注意机制分为数据驱动的快速的自底向上的显著性检测和任务驱动的慢速的自顶向下的显著性检测[2-3]。近年来，图像显著性检测引起了人们广泛的关注，研究人员提出了不同的显著性检测算法。Itti和Koch在1998年提出了经典的基于生物学启发和特征整合理论的IT算法[4]。该算法将图像分解为3个视觉特征：亮度、颜色和方向，使用DoG算子分别对3个视觉特征进行中心-周围差异计算，经过特征整合形成显著性图。在IT算法的基础上，研究人员提出了很多不同的显著性检测算法，比较经典的有Ma和Zhang于2003年提出利用图像局部对比度生成显著性图的MZ算法[5]，Hou和Zhang于2007年提出通过残余谱检测图像显著性的SR算法[6]，J.Harel等提出通过提取图像特征向量构建动标图(activation maps )的GB算法[7]，Achanta等提出基于频率调谐(Frequency-tuned)实现全像素显著性检测的FT算法[1]，Cheng等人于2011年提出基于直方图对比度进行图像显著性检测的HC算法和基于区域的全局对比度的RC算法[8]等。其中Achanta等人的FT算法从频域的角度出发，通过对输入图像进行高斯低通滤波，将在CIE Lab颜色空间计算图像单个像素与整个图像平均值的欧几里得距离作为该像素的显著值。FT方法简单，生成的显著图与原图像分辨率相同，测试效果较好，该算法得到了广泛的应用。在以下两种情形下，使用FT算法检测，背景会具有更高的显著值[9]：

1) 显著区域面积超过图像总面积一半时；

2) 背景比较复杂时。

在进行显著性检测时，还发现FT算法生成的显著区域与背景灰度差别不够明显，为后续处理带来一定的困难。针对上述不足，本文对FT算法进行了改进，提出了一种基于特征显著值归一化与位置加权的FT算法(FTFP)。

1　FT算法

文献[1]对图像的显著性检测算法提出了5个方面的要求：

1) 突出区域中最大的显著物体；

2) 点亮整个显著区域；

3) 生成的显著图应具有完整清晰的轮廓；

4) 具有较强的抗噪性；

5) 高效地产生全分辨率的显著图。

基于以上要求，Achanta等提出了FT算法[9]。

设大小为m×n的输入图像f，FT算法的实现过程如下：

首先，计算图像f在CIE Lab颜色空间模型中3个特征分量的平均值Iμ=[Lμ,aμ,bμ]T：

(1)

然后，计算输入图像f高斯滤波后的图像fG：

(2)

式(2)中，G为p×p的高斯滤波器，其尺寸一般选取为3×3或5×5。图像fG在CIE Lab颜色空间模型中3个特征值为IG=[LG,aG,bG]T。

定义图像f在像素点(x,y)处的显著值S(x,y)：

(3)

式(3)中，‖·‖表示向量的空间距离。

2　FTFP算法

针对FT算法存在的不足，FTFP算法对FT算法进行了改进。

首先，计算输入图像 f 在CIELab颜色空间模型中3个特征分量的平均值Iμ=[Lμ,aμ,bμ]T和高斯滤波后图像 fG(同FT算法)。

然后，将 fG分成k个3×3像素的小块(若在边缘处不能整分，则将剩余部分作为不显著区域处理)。计算第r(r∈[1,k])块图像在CIELab颜色空间模型中3个特征分量的平均值Iμ(r)=[Lμ(r),aμ(r),bμ(r)]T

(4)

(5)

式(5)中SL(r),Sa(r)和Sb(r)分别表示图像f第r块的3个平均特征分量的显著值。

由式(5)得到的显著值S(r)一般都大于255，需要归一化处理后才能用来作为图像显示。由于在一幅图像中，亮度特征L与颜色特征a、b的取值范围不一致(L∈[0,100]，a,b∈[-128,127])，图像的3个特征分量L与a、b的变化快慢也不同(一般亮度L变化更快，而a、b表示的色彩变化不会太过剧烈)，实验表明，很多情况下3个特征的显著值SL,Sa和Sb不在同一个数量级上，导致由式(5)所得的显著值往往仅突出某一个特征，忽略了另外的特征。

受于乃昭等[10]做法的启发，本文对式(5)中图像CIELab颜色空间模型中3个特征分量的显著值分别作归一化处理：

当人们拍摄照片时，往往将所关注的区域放到整个视场的中央附近区域，该区域即为显著性区域。基于上述观察事实，本文提出这样的假设：图像中央附近区域的显著值应该高于边缘区域。本文对位于图像不同位置的显著值进行了加权处理，定义图像 f 第r块的显著性系数ws(r)：

(9)

式中：Dr为第r块图像中心点到图像 f 中心点的距离；σ2是一个与图像大小有关的量，控制ws(r)的下降程度(本文测试中取σ2=0.5(m+n))。

重新定义第r块图像的显著值S(r)：

(10)

式中，ωL,ωa和ωb分别表示图像CIELab颜色空间L、a和b 3个特征分量显著值的权重系数，该系数可以定义为确定值(如赋予亮度和颜色权重各为1，即上述3个系数分别取0.5，0.25，0.25)，又可以根据关注焦点的不同赋予不同的权重值(比如突出颜色变化对生成显著性图的影响，则赋予颜色系数较大权重值)，还可以根据图像颜色直方图信息，自动地选择权重值。

根据发生的时点和确定方法的不同，施工安全管理成本分为实际安全成本Ca、实际安全保障水平Sa、计划安全成本Cp和计划安全保障水平Sp。

最后将第r块的显著值S(r)赋予该3×3区域的每个像素，按顺序拼接生成显著性图。其算法流程如图1所示。

图1　FTFP算法流程

经过上述改进，FTFP算法在理论上具有以下特点：

1) 图像CIE Lab颜色空间的3个特征得以分离，可以根据不同的需求进行图像显著性检测。

2) 图像经过分块平均处理后，有效抑制了局部噪声点的影响。

3) 图像内部区域更容易作为显著区域而被突出；

4) 处理时间不会明显增加。

3　实验与分析

显著性图品质优劣的评价标准在于它的应用[1]。参考Cheng的做法，我们将FTFP算法与其他5种性能先进的显著性检测算法(MSSS算法、LC算法、HC算法、RC算法和FT算法)进行了实验对比。为较全面说明本文方法的检测性能，本文从显著性视觉效果、准确率和查全率、处理时间和对噪声图像的检测4个方面进行全面对比。对于MSSS算法、FT算法、HC算法和RC算法，直接使用作者提供的源代码，对于LC算法，使用Cheng提供的代码[11]。

3.1显著性视觉效果

图2显示了在公开的MSRA基础数据库上进行显著性测试的部分结果。可以看出，本文对FT算法的改进效果很明显，较原FT算法，FTFP算法在视觉效果上有了较大提升，如同时检测出了第三行图像中的两匹马，点亮了第四行图像中的4个物体。相比于LC算法和MSSS算法，本方法的视觉效果也要好一些，如第一行图像对运动员的检测及第六行对鸭梨的检测。相比于RC算法，本方法生成的显著性图边缘轮廓比较清晰，视觉效果较好。另外，在检测小物体时[12]，具有其余5种算法不具备的优势，如对第三行和第四行物体的检测，FTFP算法生成了视觉效果最好的显著性图。

3.2准确率和查全率

得到显著区域的最简单方法就是设定一个阈值T∈[0,255] 分割显著图像，显著图经过阈值T分割后得到4类像素点：

TP(True Positive)：像素点位于输入图像的前景区域分割后位于显著区域；

FP(False Positive)：像素点位于输入图像的背景区域分割后位于显著区域；

TN(True Negative)：像素点位于输入图像的背景区域分割后位于背景区域；

FN(False Negative)：像素点位于输入图像的前景区域分割后位于背景区域；

准确率(Precision)和查全率(Recall)：

(11)

(12)

为了评价不同算法的显著性检验效果，本文采用由Achanata等在MSRA数据库基础上构建的基准测试数据库进行测试，该基准数据库共有1 000幅图像，每幅图像都有与之对应的带有显著物体清晰轮廓的二值基准图像。参照Achanta等人的方法，选用自适应阈值Ta进行图像分割，Ta选为图像平均显著值的两倍。

(13)

将所得显著性图分割后，计算式(11)和式(12)，得到每幅图像的准确率和查全率及综合评估值F：

(14)

与Achanta等人一样，取β2=0.3，使准确率的权重高于查全率，这是因为在显著区域检测中，准确率比查全率重要，比如将所有的区域都标记为显著性区域，就可以使查全率达到100%，而这毫无意义。将整个数据库的准确率、查全率和F分别取平均，得到图3所示的结果。

图2　不同算法的显著性视觉效果对比

从图3可以看出，FTFP算法的平均准确率、平均查全率和F值都达到了较高的水平，不仅超过了FT算法，而且超过了MSSS算法，与HC算法效果相当，仅次于Cheng的RC算法，但是RC算法耗时较多，比本算法高出一个数量级，如表1所示。

图3　用不同方法生成显著性图结果比较

3.3处理时间

Achanta等提供的基准数据库中图像的分辨率大多在400×300左右，在一台拥Pentium(R)J2900 2.41GHz CPU，4GB内存上运行6种不同的算法，所用代码类型为 C++，处理整个数据库的平均运行时间作为该算法的处理时间。所得结果如表1所示。不难发现，FTFP算法在运行时间上除了稍慢于FT算法外，比其余的所有算法都高，比Cheng的RC算法快了一个数量级还多，对比Achanta等对FT算法改进的MSSS算法，FTFP算法在运行速度上也具有明显的优势，约是后者运行速度的5倍。

表1　不同算法在基准数据库上的平均处理时间

3.4对噪声图像的检测

为检测改进算法的抗噪性能，加入了均值为0、方差为0.01的高斯随机噪声和噪声密度为0.1的椒盐噪声污染图像，部分图像的检测效果如图4所示。可以看出LC算法的抗噪性能最差，RC算法检测的显著图出现大片的模糊现象，如第五行图像的花朵边缘模糊；Cheng的HC算法和本文算法的抗噪性能较好，优于其他算法。相比于FT算法，FTFP算法在抗噪性能上有了较大提高，显著区域与背景区域的对比度明显，检测效果较好，如对第四行图像枫叶的检测和对第六行图像花朵的检测。

4　结论

本文针对FT算法存在的问题进行了改进，提出了基于位置加权和特征归一化的频率调谐显著性检测算法(FTFP)，首先将图像分块并求特征平均值，然后将每个特征所得的显著性图做归一化处理，最后进行位置加权处理。测试结果表明，FTFP算法在显著性检测视觉效果、准确率和查全率、对噪声图像的检测上都优于FT算法；与其他4种算法相比，在处理时间上具有明显优势，综合性能比较突出。

参考文献：

[1]ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequency-tuned salient region detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR).[S.l.]:[s.n.],2009:1597-1604.

[2]TRIESMAN A M，GELADE G.A feature-integration theory of attention[J].Cognitive Psychology，1980，12(1):97-136.

[3]KOCH C，ULLMAN S.Shifts in selective visual attention:towards the underlying neural circuitry[J].Human Neurbiology，1985(4):219-227.

[4]ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Recognition and Machine Intelligence (PAMI)，1998,20(11):1254-1259.

[5]MA Y F,ZHANG H J.Contrast-based image attention analysis by using fuzzy growing[C]//In ACM International Conference on Multimedia.[S.l.]:[s.n.],2003.

[6]HOU X，ZHANG L.Saliency detection:a spectral residual approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR).[S.l.]:[s.n.],2007:1-8.

[7]HAREL J,KOCH C,PERONA P.Graph-based visual saliency[J].Advances in Neural Information Processing Systems，2007,19:545-552.

[8]CHENG MING-MING，ZHANG GUO-XIN，NILOY J.MITRA，et al.Global Contrast based Salient Region Detection[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR).[S.l.]:[s.n.],2011:409-416.

[9]ACHANTA R，SUSSTRUNK S.Saliency detection using maximum symmetric surround[C]//Proceedings of IEEE International Conference on Image Processing (ICIP).[S.l.]:[s.n.],2011:2653-2656.

[10]于乃昭，姚志均，杨波.一种改进的频率调谐显著性检测方法[J].船舶电子对抗，2013,36(1):57-61.

[11]程明明.图像内容的显著性与相似性研究[D].北京：清华大学，2012.

[12]雷毅，谢静.几种滤波算法在声纳图像处理中的比较分析[J].四川兵工学报,2012,28(6)：95-97.

(责任编辑杨继森)

doi:【信息科学与控制工程】10.11809/scbgxb2016.06.029

收稿日期：2016-01-06；修回日期：2016-02-09

作者简介：黄应清(1966—)，男，教授，博士生导师，主要从事模式识别与智能系统研究。

中图分类号：TP391

文献标识码：A

文章编号：2096-2304(2016)06-0124-05

Frequency-Tuned Salient Region Detection Algorithm Based on Feature Saliency Normalization and Position Weighting

HUANG Ying-qing, LIANG Xin-bin, XIE Zhi-hong, WEN Jun

(Department of Control Engineering, Academy of Armored Force Engineering, Beijing 100072, China)

Abstract:Frequency-tuned (FT) detection algorithms are not ideal in complex backgrounds and various large salient regions of an image. In view of the above problems, the FT algorithm was improved, and a new frequency-tuned salient region detection algorithm based feature saliency normalization and position weighting was proposed (FTFP). The algorithm divided the image into blocks, and normalized the Lab color space characteristic saliency values, and was weighted by position based on the FT algorithm. The experimental results show that the visual effect, accuracy rate and recall, the detection of image noise of algorithm FTFP in saliency detection are better than that of the original FT algorithm, and have outstanding performance.

Key words:saliency detection; feature saliency; position weighting; normalization