融合前景先验和背景先验的显著性目标检测

2019-03-12杨慧婷

现代计算机 2019年5期

杨慧婷

（四川大学计算机学院，成都 610065）

0 引言

显著性检测是识别一幅场景中最重要和最有价值的部分。它可以被应用到许多计算机视觉应用当中，例如图像检索、图像压缩、内容感知的图像编辑以及目标检测。显著性检测模型大体上被划分为自下而上的模型和自上而下的两种模型。自下而上的模型是基于数据驱动的，不需要对其进行训练，而自上而下的模型则是任务驱动的，且要使用带有注释的数据进行训练。显著性模型随着时间的推进划分为了视觉注意预测模型和显著性目标检测模型。不同于视觉注意预测模型在自然图像上识别出少量的人类视觉注意点的目的，显著性目标检测主要是要凸现出具有明确边界的目标区域，这对于后续高层次的视觉任务是大有脾益的。本文主要依据自下而上的显著性目标检测模型。

近年来，基于前景先验的显著性目标检测已经取得了比较好的检测效果。在衡量显著性前景因素时，对比度是最为重要的一个因素。还有一些研究是通过提取图像中的一些稀有特征来进行显著性检测。由格式塔心理图形-背景分配原则可知，情景线索在视觉注意点预测有比较优良的表现，但仅仅依赖于此却很难凸显出整个显著目标。显著性目标检测的另外一种有效的方式是利用图像中的背景先验信息，从而有效地突出显著性目标。假定图形的边界为背景，以此有效地提取背景先验信息，从而利用背景先验信息来计算显著图，这种算法也存在缺陷，因为图像边界并不总是背景信息，当显著性目标主体碰触到图像边界时会出现算法失效的情况。综上，本文提出了融合前景先验和背景先验的框架，本框架可以有效使用前景信息和背景信息来进行显著性检测。本文提出了一种全新的自下而上的显著性目标检测模型。首先利用情景线索挖掘前景先验信息，使用此前景信息对前景种子定位并进行显著性运算，再从图像边界地区提取背景先验种子点，并进行显著性运算；然后融合基于前景先验生成的显著图和基于背景先验生成的显著图；最后使用测地线距离对融合的显著图进行平滑，减少噪声，均匀地突出整个显著区域，从而得到最终显著图。

本文有如下几点创新：①使用情景线索对前景先验信息进行提取；②建立了一种更加稳定的种子选取方案，此方案对于显著图生成的准确性有着有效的效果；③提出了融合前景先验和背景先验的显著性目标检测框架。

1 本文算法

本文框架主要分为两个并行的子过程：前景显著性计算和背景显著性计算。然后根据提取得到的前景种子点和背景种子点，生成两幅显著图，在将两幅显著图进行融合，然后使用测地线距离对显著图进行平滑，生成最终显著图。本文算法框架如图1所示。

图1 本文算法框架

1.1 基于前景先验的显著图

本节主要介绍如何找到可靠的前景种子点，并依此计算显著图。

（1）前景种子点估计

使用情景线索有效提取前景种子点。采用基于二值分割的BMS方法，充分利用图图像中的周围环境因素，从而指导前景种子的局部化。将BMS生成的图像称为被包围状态图SB，其中像素值表示为起被包围度。为了更好地利用结构信息和抽象小噪声，采用SLIC算法将图像分解为一组超像素。本文其他的操作也是在超像素上面进行的。每个超像素的被包围值，是取超像素中的像素值的SB的平均值来定义的，表示为N 是超像素的个数。

与之前的文献将某些区域设定为确定的种子点的选取方式不同，本文提供了一个更加灵活的种子选取方案。定义了两种不同的种子：强种子和弱种子。强种子归属前景/背景的可能性较大，弱种子归属前景/背景的可能性较小。对于前景种子，这两种种子是通过以下两个公式来选取的：

C+表示强种子的集合，C-表示弱种子的集合，i表示第i个超像素，mean(∙)表示平均函数。从公式（1）（2）可以看出，环境包围度较高的超像素更加可能被选为前景种子，这跟人类直觉是一致的。

（2）基于前景先验的显著图

利用数据固有流形结构进行图像标注的排序方法对上述计算出的前景种子点进行显著值计算。排序方法是对每个超像素和给定种子集之间的相关性进行序。我们构造了一个能表示整个图像的图，其中每个节点都是由SLIC计算的超像素块。

排序过程如下所示：定义一个图模型G=(V ，E )，V表示图的结点，E表示边，其权值由关联矩阵定义。度矩阵定义为 D=diag{d11，…，d，nn}。

其中dii=∑jwij，排序函数则是如下公式定义：

g*结果向量存储每个超像素的节点最终的排序结果。y=[ ]y1，y2，…，ynT是种子查询向量。本文中，两个节点之间的权值由下列公式定义：

其中，ci和cj表示CIE LAB颜色空间中两个节点对应的超像素的均值，σ是一个常数，用来控制权值的大小。与之前的研究定义如果i表示种子点强查询，则yi=1，否则yi=0不同，本文把yi定义为额外查询强度，也即是说，若是i表示种子点强查询，则yi=1，i表示种子点弱查询，则yi=0.5，否则yi=0。基于前景种子的排序，在（1）（2）给定种子集的情况下，所有的超像素都按照公式（4）进行排序。前景先验的显著图如图2所示。

图2 基于前景先验的显著图

1.2 基于背景先验的显著图

背景先验作为前景先验的补充，主要目的对特征分布中与背景不同的区域进行提取。首先提取背景种子点，然后根据每个图像元素与这些种子的相关性来计算它们的显著性。本节主要介绍如何找到可靠的背景种子点，并依此计算显著图。

（1）背景种子点估计

与以往不同仅仅把图像边界上的元素当成种子点的方式不同，本文把图像边界元素划分为了两类，强种子点和弱种子点，正如前文前景种子点划分一样。将所有边界元素平均值表示为cˉ。每个特征向量和平均特征向量之间的欧氏距离是由dc=dist(c，cˉ)这个公式计算的，dc的平均值表示为-dc。背景种子点通过下列两个公式进行评估：

Cb+ack表示背景强种子点，Cback表示背景弱种子点。

（2）背景种子点估计基于背景先验的显著图

与前景先验计算显著图的相同，若是i表示种子点强查询，则yi=1，i表示种子点弱查询，则yi=0.5，否则yi=0。利用公式（3）计算各元素和背景种子点的相关性。生成的向量g*中的元素表明节点和背景种子点的相关性，其补集就是显著性衡量的方式。显著图是通过下列公式计算：

计算基于背景先验的显著图的过程如图3所示。

图3 基于背景先验的显著图

1.3 利用测地线距离细化显著图

基于前景先验和基于背景先验的显著图的融合过程如下：大于两个显著图显著性元素平均值的元素值被重新标定为显著性元素，然后把这些新的显著元素集成为一个集合。再把这些新的显著元素当作种子点，计算图像节点与新的种子点之间的相关性，生成融合显著图Smap。

本文方法的最后一步时是测地线距离对融合之后的显著图进行细化。为何采用测地线距离是基于观察得来，即把一个像素的显著值确定为周围像素显著值的加权和，其中权值与欧几里得分布相对应，在均匀突出显著目标方面有着比较好的性能。从最近的研究来看，权值可能对测地线距离比较敏感，这就为均与地增强突出显著区域的目的带来很大的可能性。

对于第 j个超像素，把它的后验概率表示为Scom(j)。利用测地线距离重新细化第q个超像素的显著值的公式如下：

其中N表示图像中超像素的总数，δqj是基于第q个和第 j个超像素由测地线距离衡量的权值。根据本文1.1（2）构造的图模型可知，两个超像素之间的测地线距离dg(p，i)可以定义为两个超像素在图上沿其最短路径累积的边缘权值：

以此，可以得到图像中任意两个超像素之间的测地线距离。然后权值δpi被定义为其中σc表示所有dc值的偏差。在此步骤后显著物体被均匀显示出来，具体结果可在实验部分中看到。

2 实验

本节主要对本文提出的模型进行实验和评估。

数据集。在ASD数据集和OUT-OMRON数据集上对本文模型进行测试。ASD数据集提供了1000个带有注解的基于对象轮廓的显著性期望预测结果集，OUT-OMRON数据集提供了提供更为负责的5168个带有像素级注解的显著性期望预期结果集。

评价指标。为了精确评估，采用了四个评价指标：PR 曲线、F-measure、平均绝对误差（MAE）、AUC 分数。图5为PR曲线，自适应阈值的精度、召回率和F测度值，自适应阈值定义为图像平均显著性的两倍。表1和表2显示了两个数据集上的MAE和AUC得分。

对比。将本文提出模型与最先进的11的模型相比较，这些模型分别是 CAS、wCtr、FT、DFRI、GBVS、IT⁃TI、MILPS、MR、PCA、SBD、BMS。如图 4 可见，结果表明，本方法能更均匀地突出显著区域，特别在PR曲线和MAE分数这两个评价指标上取得了较好的效果。大体来说，此方法还是要优于其他方法。