结合图像全局和区域特性的显著性检测

高智勇,马 宏,贺良杰

(中南民族大学 生物医学工程学院，武汉430074)

人类通常会选择性地将注意力集中于自己感兴趣的视觉区域，这种选择性注意机制使得人类能够快速处理大量的视觉信息.因此如果能用计算机模拟人类的这种视觉注意机制，将能够有效地提高信息处理效率，在图像处理的许多领域具有重要作用.视觉心理学研究表明，注意机制包括了两个过程,即快速的自底向上的数据驱动的过程和慢速的自顶向下的目标驱动的过程.相比之下，高层模型的建立较为复杂和困难，而用计算模型模拟自底向上的注意过程是相当成功的并且极具应用价值.

基于自底向上注意过程的显著性检测方法有很多.根据这些方法的计算范围，可以将它们大致分为两类：基于局部的方法和基于全局的方法.基于局部的方法通过计算局部差异来得到显著性值，因此趋向于突出图像中的边缘信息与突变成分.相比之下，基于全局的方法则通过全局范围的显著性计算趋向于均匀地突出目标区域.Zhai和Shah[7]定义了基于某个像素和其余像素颜色对比度的显著性.Achanta等人提出了FT(频率调谐)方法[3]，用某个像素的颜色和平滑过后的图像的平均色的色差来直接定义此像素的显著性值.Cheng等人[1]提出了基于区域颜色对比度的RC(区域对比度)方法，以区域为单位在全局范围计算颜色差异.Perazzi等人[2]提出了SF(显著性滤波器)方法，以超像素块为单位定义了两种特征差异来计算显著性.但是这些基于全局的方法忽视了空间信息或对空间信息的引入方式不合理，使得对于显著性检测十分重要的空间信息被丢失，极大地影响了检测效果.同时相比于以像素为单位的计算方法，基于区域的计算方法更为高效且对背景影响的抑制作用更好.本文针对以上问题进行了相应地改进，取得了较好的结果.

1 算法概述

针对全局方法的不足与优势，我们提出了一种结合区域与全局特征的显著性检测方法.首先利用HC[1](直方图对比度)方法快速计算每个像素的全局显著性，接着引入高斯掩膜进行显著区域中心化处理，然后基于超像素分割得到的图像块进行区域显著性计算，最后对区域中每个像素进行显著性分配.通过此方法，一方面能够保留像素的全局显著信息，另一方面能结合其对应的区域显著信息.对于图像中的显著目标来说，既能较好地保留目标的边缘信息又能均匀地突出目标整体.同时，我们基于灰度差异与空间坐标计算显著特征，与SF方法相比减少了计算复杂度.算法流程见图1.

图1 算法流程图Fig.1 Algorithm flow chart

2 显著性计算方法

2.1 全局显著性计算

由于HC算法的检测效果理想并且具有非常短的计算时间，所以用HC方法得到初步显著图.首先是建立图像的颜色直方图，基于颜色直方图对颜色级数进行量化和平滑以减少颜色级数.最后在LAB颜色空间内以像素的颜色与图像中其它像素的颜色差异来定义此像素的显著性.初步显著图计算公式见式(1)：

(1)

其中，D(cl,cj)是在LAB空间颜色cl与颜色cj的差异(LAB颜色空间内的欧氏距离)，fj为颜色cj在图像中的出现频率，n为图像的颜色级数.初步显著图结果见图2.

2.2 区域显著性计算

2.2.1 显著区域预处理

对初步显著图进行阈值迭代操作，第一步，在[0,1]内均匀取10个阈值依次对HC图进行二值化操作，得到相应的二值图；第二步，求出每个二值化图像中目标的中心位置，以这个位置为中心建立一个高斯掩模图；第三步，将各高斯掩模图进行加权求和，权值为对应二值化图像的阈值；最后，由于人类倾向于将位于图像中心位置的区域认为是显著性区域，所以我们以图像的中心位置为中心建立一个高斯掩模图并与第三步得到的结果相加得到高斯掩模图像.最后，将HC图与掩膜图像相乘得到处理后的图像.公式见式(2):

S′=G·Sh,

(2)

其中S′为显著区域预处理结果，G为高斯掩模图像，Sh为初步显著图，结果见图2.

图2 显著性检测各步骤效果图Fig.2 Results of each step of our method

2.2.2 超像素分割

对图像进行超像素分割，就是将原图像分割为灰度一致、分布均匀、形状规则的小块.基于这些小块进行显著性计算既可以降低算法的时间复杂度，又可以消除初步显著图中的噪声与不必要的细节.我们基于简单采样和聚类方法取得超像素.

首先，在图像中均匀选取K个像素点.然后，以K个点为中心进行局部均值聚类.最后，聚类结束后将图像中没有分配类别的像素分配给与自身距离最近的中心点.在进行聚类时，我们将像素与聚类中心的距离定义为灰度差异与空间距离的加权和.引入空间距离是为了保证图像块的紧凑型与规则性.最后对每个类别中的像素计算平均灰度和平均坐标作为对应图像块的灰度值和空间坐标，分割结果见图2.

2.2.3 基于小块的显著性计算

接下来我们以图像块为单位计算独特性与空间分布两种特征以得到最后的显著性检测结果.独特性与空间分布是由Perazzi等人[2]提出的两种图像特征，是定义于图像块的颜色与空间坐标之上的两种特征.对于我们的方法，两种特征则是基于灰度与空间坐标之上的.

独特性：独特性定义为小块与其它图像块之间的灰度差异.考虑到图像块之间空间位置关系的不同，在计算小块与其它小块的灰度差时引入一个基于小块之间空间距离的高斯权值，使得其它图像块对于当前块独特性特征的贡献受到两者空间距离的影响.远的小块贡献较小，近的小块贡献较大.第i个小块的独特性Ui的定义见公式(3)：

(3)

其中，Ii为第i个小块的灰度值，N为分割得到的图像块数目，w(pi,pj)为基于空间坐标距离的高斯权重，定义见式(4)：

(4)

其中，pi为第i个小块的空间坐标，高斯权重的参数σp=122，Zi为规范化系数.

空间分布：考虑到图像中灰度的空间分布不同，对于一种灰度，更为紧凑的空间分布通常代表着更有可能属于目标区域，而更为分散的分布则代表更有可能属于背景.因此，空间分布定义为小块与其它图像块的空间差异，并用灰度差异设计高斯权重.第个小块的空间分布Di的定义见公式(5)：

(5)

其中，w(Ii,Ij)为基于灰度差异的高斯权重，定义见式(6):

(6)

其中，μi为第i个图像块的邻域块的空间坐标加权和，定义见公式(7)：

(7)

2.2.4 特征融合

在得到独特性与空间分布两个特征后需要将两者结合起来得到最终显著性值，由于空间分布所占比重较大所以将空间分布用指数函数表示，如公式(8)：

(8)

2.2.5 显著性分配

得到各图像块的显著性值之后，需要将显著性值分配给个小块内的每个像素.但是将小块的显著性值直接赋值给所包含的像素会引入分割带来的误差.因此，我们定义像素的显著性为它周围小块的显著性的加权和.公式见式(9):

(9)

3 实验分析

所有试验均在ASD[3]测试集上进行.ASD测试集是由MSRA测试集中选出的1000张自然图像组成的测试集.Achanta等人[3]提出了对应于ASD数据集的Groundtruth图.硬件环境：AMD PhenomTMⅡ×4955 Processor 3.20GHz,3GB RAM.软件环境：Win7旗舰版，Microsoft Visual Studio 2012 Utimate.

我们通过计算查准率与查全率(precision，recall)来评估方法的性能.Achanta等人在文[3]中提出了对应于Liu等人在文[5]中提出的包含1000幅图的数据库的Groundtruth图.为了可靠的比较几种显著性检测方法高亮化显著性目标的效果，参考文[3]的方法，得到相应的ROC(受试者工作特征曲线)与PR(Precision-Recall)曲线并计算AUC(ROC曲线下面积)值.

3.1 本方法的性能测试

在进行预处理时需要建立高斯掩模图像，其中重要的是需要设置高斯函数的σ值.不同的σ值会影响高斯图的范围.由图3可见，较大的σ值会减弱对背景的抑制效果，而较小的σ值则会抑制目标区域.因此针对不同的σ值进行显著性检测并将结果的AUC值进行对比，结果见表1.

从左到右σ依次取50,100,150,300，实验发现σ=100时效果最好图3 不同σ时显著区域预处理结果图Fig.3 Salient region preprocessing results with different σ

测试标准50100150300 AUC0.92820.96690.96650.9643

考虑到进行超像素分割时，不同的超像素个数对显著性检测结果的影响，我们依次以不同超像素个数进行测试，以AUC值作为对比指标，结果见表2.

表2 不同超像素个数下检测结果的AUC值对比

由表2可见，超像素个数对于显著性检测结果有一定的影响.较少的图像块个数可能导致目标边缘细节的丢失，较多的图像块一方面增加了计算时间另一方面又保留了过多冗余细节，影响最终结果.实验中发现，超像素个数为500个左右时检测效果最好.

3.2 与其它方法的对比

由于本文方法是以HC方法为基础的，FT方法则单纯基于全局特性计算显著性，而RC与SF方法同样利用了区域特性计算显著性，与我们的方法的设计思想相近.因此利用文[3]中的方法，将我们的结果与FT、HC、RC、SF几个方法的结果进行比较，并计算ROC和PR曲线.HC、RC、FT结果由文[1]提供，SF结果由文[2]提供.图4为效果对比图.

a) FT结果 b) HC结果c )RC结果 d) SF结果e)本文结果f) Groundtruth图4 不同显著性检测方法结果Fig.4 Saliency detection results of different method

与HC、RC、SF方法的ROC曲线与PR曲线对比见图5，左图为PR曲线，右图为ROC曲线.

从图5的效果对比可以发现，我们的方法在ROC和PR曲线上效果最好.并且从图4中可以较为明显地看到，本文结果更为接近Groundtruth.

我们的方法思路与SF方法非常相近，但是性能效果要优于SF方法.此外，由于只是对灰度图像进行两种特征的计算，而且超像素方法更为简单耗时较少.因此在算法的执行时间上要少于SF方法.得到一幅显著图的平均时间对比见表3.

表3 各方法执行时间对比

图5 不同方法的PR与ROC曲线对比Fig.5 PR and ROC curve comparison of different method

4 结语

基于自底向上，数据驱动的显著性处理过程，使用HC方法计算基于全局颜色对比度的显著性，引入区域显著性计算过程，采用高斯掩膜进行显著区域预处理，运用超像素分割方法将图像分割为区域，以区域为单位基于独特性和空间分布两个特征进行显著性计算，在均匀突出目标区域的同时减弱了复杂图像中背景的影响.经过测试，并与几种较好方法的结果进行对比，取得了较好的结果与较短的计算时间.但是由于没有考虑图像的其它底层特征，对于一些图像的检测效果还不够理想.在以后的研究工作中，将考虑引入更多底层特征进行检测，并加入自顶而下的检测过程，实现多目标的检测与转移.

参 考 文 献

[1] Cheng M M, Zhang G X, Mitra N J, et al. Global Contrast based Salient Region Detection [C]// IEEE. International Conference on Computer Vision and Pattern Recognition. Colorado : IEEE, 2011 : 409-416.

[2] Perazzi Federico, Krähenbühl Philipp, Pritch Yael, et al . Saliency Filters : Contrast Based Filtering for Salient Region Detection[C]// IEEE. International Conference on Computer Vision and Pattern Recognition. Rhode Island: IEEE, 2012: 16-21.

[3] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection [C]// IEEE. International Conference on Computer Vision and Pattern Recognition. Miami : IEEE, 2009 : 1597-1604.

[4] 王向阳, 杨红颖, 郑宏亮, 等. 基于视觉权值的分块颜色直方图图像检索算法[J]. 自动化学报, 2010, 36(10): 1489-1492.

[5] Liu T, Yuan Z, J Sun, et al. Learning to detect a salient object [J].IEEE Transations on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353-367.

[6] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis [J]. IEEE Transations on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[7] Zhai Y,Shah M.Visual attention detection in video sequences using spatiotemporal cues[C]//ACM. The 14th Annual ACM International Conference on Multimedia. Santa Barbara: ACM, 2006: 815-824.