基于互信息相对熵差异的显著区域提取算法

郭礼华

(华南理工大学电子与信息学院，广州510641)

生物学家对人眼的视觉模型进行了研究(A.P.Michael 1999)，结果发现，当人观察一幅图像时，往往会首先关注图像的主要内容，即最显著的区域，而忽略图像的背景信息。最显著的区域，它含有大量的信息。若能从图像中将这些区域提取出来作为图像处理和分析的目标，不仅可消除图像中次要信息对图像处理结果的影响，而且更符合人眼的视觉需求。图像的显著目标提取是用部分概括整体，突出了图像的最主要部分，从而消除了一些次要部分对观察者带来的干扰。目前，显著目标的提取技术已经在许多领域得到了广泛的应用，如图像检索、自适应图像压缩和编码、视频压缩、敏感图像识别、医学图像分析等。

近些年来，图像的研究者们对图像显著区域的提取方法进行了一系列的研究，按其基本原理来看，常见的显著区域提取方法可为分以下几种:基于人机交互的方法，基于变换的方法和基于生物视觉注意机制的方法。最早，Itti首先提出显著图的概念，其采用的机制就是生物视觉注意机制，他们构成的显著图是一副和图像大小相同的亮度分布图，以亮度大小表示图像中对应位置的显著性程度，通过检测图像中颜色和方向的对比反映图像对人眼视觉的刺激［1－3］，随后 Walther扩充了显著模型，并成功应用于目标识别［4］，他们还建立了显著性检测网站，提供显著性工具箱下载［5］。后来陆续出现了基于信息理论的视觉注意模型，譬如AIM［6］、GBVS［7］、DISC［8］算法。AIM用一个特定的Gaussian函数估计中心－周边概率，然后计算自信息;GBVS用 Markov链计算中心－周边的互相影响;DISC用样本方差和峰度估计假设的GGD概率密度函数，然后计算中心－周边的互信息。这些基于信息理论的算法结构上还是按照 Itti的特征提取、中心－周边对抗及重组的3个阶段。这些算法都是非常复杂的，计算时速度比较缓慢。自从基于信息理论的视觉注意算法的出现，视觉注意开始偏离了生物性，显著性分析算法也开始采用各种不同的算法。2008年 Achanta等［9］提出一种显著性分析算法(AC算法)，该算法的显著值是指输入图像的一个局部区域和它的周边区域的一个对比，即是这个局部区域的平均特征向量和周边区域的平均特征向量的差。因为这里的特征只考虑颜色和亮度，所以该算法在计算时速度非常快。而基于频域的算法也同样在计算速度上很有优势，2007年 Hou等［10］提出的剩余谱方法(SR算法)和2009年 Achanta等［11］提出的IG算法都是基于频域的算法。笔者从显著区域突出的特点，比较中心区域和周边区域之间的颜色和梯度等属性的差别，建立一套结合低维视觉特征的显著区域提取算法。

1 中心周边分布特征的提取

Itti模型是目前世界上被最广泛采用并最有影响力的显著图提取模型，它是对一幅输入的图像提取多方面的特征，包括颜色、亮度、方向等特征，然后形成各个特征上的多尺度关注图(Conspicuity Map)，对其进行分析、融合得到显著图(Saliency Map)，并从显著图中得到显著区域和目标。Itti模型主要有3个处理步骤: 1)对图像进行高斯金字塔分解，在图像的多个尺度上提取颜色、亮度、方向等早期视觉特征; 2)通过局部的迭代合并策略，利用早期视觉特征分别得到3个特征显著图;3)将3个特征显著图线性合并为综合显著图［1］。其中每一特征的计算采用了与生物感受野类似的线性中央周边操作。中央周边操作是指视觉神经元对位于其中央的小区域最敏感，而其中央区周围的更广、更弱区域内的刺激将抑制该神经元的响应。显然，这样的对局部空间不连续性的敏感结构特别适用于检测相对于其局部周围突出的区域，这也是视网膜、外膝体及视皮层内采用的一般计算原则。模型中的中央周边操作是通过计算小尺度和大尺度的差来实现的。

Itti方法在实际应用中取得了良好的效果，但也存在一些问题。

1)Itti方法中使用Gabor滤波提取方向信息，但Gabor滤波器比较复杂，计算量大，效率较差;

2)Itti方法对提取得到的关注图没有进行进一步处理，直接进行组合;

3)Itti方法也没有对提取的显著区进行区分，可能会产生过度提取的情况。

笔者按Itti模型的中央周边操作的指导思想下建立显著区域提取算法，但又有别于Itti模型。其系统结构图如图1所示。

图1 显著区域提取算法框图Fig.1 Significant regin extraction algoritm diagram

和Itti显著区域提取模型一样，此方法也将图像分成3部分，分别是亮度图像、颜色图像和梯度图像，但是该算法的亮度、颜色和梯度图的提取方法不同于Itti中的图像方法，省去了Itti算法中的运算复杂度高的Gabor滤波器提取过程。首先，将彩色图像中的RGB图像层转换成HSL图像层，其中H表示色调图像层，S表明饱和度图像层，L表示亮度图像层。色调和饱和度两个图像层在颜色表示时，是一对极坐标空间，为此在颜色图像层中，将H和S两个图像层转换成直角坐标系，分别得到2个图像层Hue_x和Hue_y。梯度图像采用在一特定尺度空间下，区域内像素偏微分的平均值。

计算亮度图像，颜色图像和梯度图像后，需要对其进行分层处理。分层的最大好处就在于可利用不同的层次来检测不同大小的显著区域。为此将图像进行分层处理，各层之间的大小关系是0.5倍，图像共分成4个层次。接下来是计算对比特征，生物视觉研究关于视觉显著性的观察认为，视觉系统对视觉信号的对比度是很敏感的。首先根据文献［12］计算像素的显著值，具体来说，一个像素的显著性值可以用它和图像中其它像素的对比度来定义。图像P中像素Pk的显著性值定义为

其中H(Pk，Pi)为像素Pk和Pi像素在图像空间的距离度量，在该系统中，其分别是亮度空间，颜色空间和梯度空间的距离度量。用公(1)计算图像每个像素的显著性值的方法，其时间复杂度为O(N2)。对于图像来说，其计算复杂度已经非常高了。

文献［12］利用亮度值减少颜色的数量n。这种方法虽然减低了复杂度，但是在这种定义下具有相同颜色值的像素具有相同的显著性值，所以这种方法的缺陷是没有考虑颜色信息的显著性，同时也忽略了空间关系。

文献［13］利用量化颜色，然后保留高频出现的颜色，而替代低频出现的颜色，减少复杂度，其实现效果对显著性区域提取有很大改善，但是并未建模区域局部与周边区域的关系。

在此基础上，利用局部直方图对比的方式，将显著性值植入局部直方图对比中，从而最终实现显著区域提取。具体操作如下，首先在亮度图像层、颜色图像层和梯度图像层中，分别将其像素值量化成12份，然后将在亮度图像层、颜色图像层和梯度图像层分别计算各个像素的显著性信号值，在局部区域内，统计中心区域内显著性信号的直方图与周边区域内显著信息信号直方图的差异。

在求解直方图差异的时候，本算法借鉴信息理论中信息熵的思想统计其直方图的差异。信息理论是用来分析信号及其在信道传输时的统计理论方法。在这些理论中，信息熵是一个重要的概念，它表明信号的不确定性。以图2为例，图2右下方区域内的区域和其周围在颜色上存在极大差别，如果统计其直方图分布的话，其在直方图分布存在极大差异。而图左上方的中心区域内，其和周边的直方图分布就存在一致性。

图2 中心区域与周边区域内差异特征Fig.2 Differences in characteristics of the center area and the surrounding area

在信息熵中，相对熵(Relative Entropy)是两个信号之间的不确定性，借鉴其概念，将相对熵引入到中心区域和周边直方图分布的差异分析，在该系统中，相对熵的度量采用Kullback－Leibler距离，它衡量的是相同事件空间里的两个概率分布的差异情况。假设中心区域和周围区域的直方图分布分别是Hcem(x)和Hsur(x)，计算公式如下:

经过计算各种图像层的对比度距离特征后，将各个层进行最终的融合，得到最终的显著区域。

3 计算结果与比较

首先观察一下亮度信息提取显著区域的效果，亮度信息提取显著区域也采用的本算法框架结构，选用了一个花卉图片作为测试图片，如图3 (a)所示，其亮度图像如图3(b)所示。分层结构后的显著区域如图3(c)所示，最终融合各种分层结构的结果如图3(d)所示。所得到的结果可以看出，如果只是利用亮度信息对图像的显著性区域进行提取的话，虽然可以取得一定的效果，但在背景图像较为复杂的情况下，其显著图的效果不是非常理想，背景中的一部分信息的显著性也比较大，准确性不够高。

图3 花卉图像的显著性区域提取实验Fig.3 Flower image of the significant region extraction experiment

图4 人体图像的显著性区域提取实验Fig.4 A significant area of the human body image extraction experiment

笔者采用显著性值和局部直方图信息提取显著区域的效果，选用几幅图像对其算法进行相应的测试，图像有人像和花卉。比较的算法有GBVS［1］，Itti方法［5］，和全局对比度方法［13］。从图4可看出，由于全局对比度方法需要对图像进行分割，此时分割比较正确，所以其显著性区域的检测比较符合人体视觉。GBVS方法和Itti方法虽然也关注场景中的人物，但是结果不够清晰。在图5和图6的花卉图像中，由于全局对比度方法在图像分割过程中，图像的主题并没有完整的被分割出来，使得图5中左上角的黑色区域被误认了最显著区域。图6中的百合花蕾被视为单个对象进行了分割，并没有和百合花整体分割，所以显著区域检测过程中，百合花蕾的显著性更强，其最终成了最突出的显著区域。而笔者算法显著区域比较符合人体的视觉主观特性。

图5 花卉图像1的显著性区域提取实验Fig.5 Flower image 1 significant area extracting

图6 花卉图像2的显著性区域提取实验Fig.6 Flower image 2 significant area extracting

4 结论

笔者提出一种基于互信息相对熵差异的显著区域提取算法。算法首先在亮度图像层、颜色图像层和梯度图像层中，分别将其像素值进行量化，然后将在亮度图像层、颜色图像层和梯度图像层分别计算各个像素的显著性信号值，并将显著性值植入局部直方图对比中，然后在局部区域内，统计中心区域内显著性信号的直方图与周边区域内显著信息信号直方图的差异。在求解直方图差异的时候，本算法借鉴信息理论中信息熵的思想来统计其直方图的差异。在算法设计中，不仅仅考虑亮度信息，而且还融入色调和梯度信息，并采用分层结构，设计由粗到细的显著区域提取。实验结果比较好地验证了，笔者算法所提取的显著区域比较符合人体视觉的主观感觉。

［1］Itti l，Koch C，Niebur E.A model of saliency－based visual attention for rapid scene analysis［J］.IEEE Tran.on Pattern Analysis and Machine Intelligence，1998，20 (11):1254－1259.

［2］Itti l，Koch C.A saliency－based searchmechanism for overt and covert shifts of visual attention［J］.Vision Research，2000，40(10):1489－1506.

［3］Itti l，Koch C，Niebur E.Computationmodeling of visual attention［J］.Nature Reviews Neuroscience，2001，2 (11):194－203.

［4］Walther D，Itti l，RiesenhubeR M，et al，Attentional selection for object recognitiona gentle way［J］.Lecture Notes in Computer Science，2002，25(1):472－479.

［5］Walther D，Itti l，Koch C.Saliency toolbox［OL］.［2012－05－04］.http://www.saliencytoolbox.net，2008.11.

［6］Bruce N，Tsotsos J.Salencey based on informationmaximization［C］//Advances in Neural Information Processing Systems.Vancouver，Canada，2006:155－162.

［7］Harel J，Koch C，Perona P.Graph－based visual saliency［C］//Advances in Neural Information Processing Systems.Vancouver，Canada，2007:545－552.

［8］Gao D，Mahadevan V，Vasconcelos N.The discriminant center－surround hypothesis for bottom－up saliency［C］//Advances in Neural Information Processing Systems.Vancouver，Canada，2007:497－504.

［9］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation［C］//Proceedings of International Conference on Computer Vision Systems.Santorini，Greece，2008:66－75.

［10］Hou X，Zhang L.Saliency detection:a spectral residual approach［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Minnesota，USA，2007:1－8.

［11］Achanta R，Hemami S，Estrada F，et al.Frequencytuned salient region detection［C］//Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition.Florida，USA，2009:1597－1604.

［12］Zhai Y Shah M.Visual attention detection in video sequences using spatiotemporal cues.［C］//Proceedings of ACM Multimedia.Santa Barbara，USA，2006:815－824.

［13］Cheng Ming－ming，Zhang Guo－xin，Niloy JMitra，et al. Global Contrast based Salient Region Detection.［C］// Proceedings of IEEE CVPR.Colorado Springs，USA，2011:409－416.