基于异源图像特征的显著性融合检测方法

李海波，曹云峰，丁 萌，庄丽葵

(1.南京航空航天大学 自动化学院，江苏 南京 210016；2.南京航空航天大学 航天学院，江苏 南京 210016;3.南京航空航天大学 民航学院，江苏 南京 210016)

0 引 言

随着计算机技术的发展，基于光学图像特征的显著性检测成为了研究热点，不断有研究人员对现有的检测方法进行改进，如文献[1]基于贝叶斯模型提出一种改进的显著性检测算法，可以得到相对平滑、视觉效果较好的显著性图。为提高显著性检测的准确度，很多学者提出了不同的方法。例如，文献[2]提出一种基于区域合并的显著性检测算法，采用不同合并策略将多个区域合并成显著性区域和背景区域，提高了检测的准确度；文献[3]提出一种基于稀疏性表示与自信息的显著性检测方法，根据像素点的自信息值计算显著性，在一定程度上提高了检测的准确性；文献[4]提出一种多尺度显著性检测方法，根据层次图模型将多层显著图合并，减少了单一尺度检测结果的不准确性；文献[5-6]则分别提出了基于前景和背景特征及背景与中心先验的检测方法，提高了检测的准确性。物体检测广泛应用于众多领域，包括人脸识别、行人检测等[7]。针对不同的应用场景，采用的检测方法具有一定针对性，如文献[8-10]针对人脸检测提出了相对应的检测方法。在一些特殊应用场景，如行星探测器着陆时对行星地表的检测，由于光照条件易发生变化，单纯依靠光学图像的检测方法容易受到影响，难以满足检测要求。针对这一问题，文中研究了一种基于光学图像与深度图的显著性检测方法，深度图来源于激光雷达等距离测量设备，通过最近邻插值等方法可以获得。该方法可以提高检测方法对环境的适应性，拓展了检测方法的应用范围。

1 光学图像与深度图的显著性计算及融合

1.1 光学图像特征提取及显著性计算

对于光学图像，利用高斯滤波器对图像进行滤波和降采样，形成高斯金子塔G(σ)，σ为尺度参数，σ∈[0,8]。对金子塔每一层分别提取颜色、亮度和方向特征。对于颜色特征提取，根据输入图像的r、g、b通道构造4个颜色通道：R、G、B、Y，构造方法如下：

(1)

对于亮度特征提取，计算方法如下：

(2)

方向特征利用Gabor滤波器提取，二维Garbor滤波器表达式如下：

(3)

其中，(x0,y0)为接受域中心；(ξ0,υ0)为峰值响应时的空域频率；α和β分别是x轴与y轴方向上的椭圆高斯方差。取0°、45°、90°和135°四个方向的Garbor滤波器输出作为方向特征图。

为计算金子塔的不同尺度特征图，对每种特征在金字塔的不同尺度间做差，采用中心围绕机制计算特征图。取金字塔的2、3、4层为中心层，即c∈{2,3,4}；围绕层为s=c+δ,δ∈{3,4}。对每种特征在中心层与围绕层之间做差，做差前先采用最近邻插值法将围绕层扩大到中心层尺寸。亮度特征图计算方法如下：

D(c,s)=|D(c)ΘD(s)|

(4)

其中，Θ表示某一中心层与其围绕层做差。

根据空间色彩对立原则[11]，颜色特征图计算方法为：

RG(c,s)=|(r(c)-g(c))Θ(g(s)-r(s))|

(5)

BY(c,s)=|(b(c)-y(c))Θ(y(s)-b(s))|

(6)

方向特征图计算方法为：

O(c,s,θ)=|O(c,s)ΘO(s,θ)|

(7)

经过计算，在2、3、4层共得到42幅特征图，其中包括6幅亮度特征图，12张颜色特征图，24张方向特征图(4个方向)。

设特征图用M表示，(i,j)与(p,q)分别为特征图上两个不同像素点的坐标，M(i,j)与M(p,q)分别表示在 (i,j)、(p,q) 位置上的灰度值，则M(i,j)与M(p,q)的差异可通过下式计算：

(8)

构造权重图GM，以特征图M的像素点作为节点，两节点之间边的权重计算公式为：

w((i,j),(p,q))≜d((i,j)‖(p,q))·F(i-

p,j-q)

(9)

(10)

其中，σ为自由参数，取值区间为特征图宽度的1/10～1/5，区间内取不同值对输出结果影响不大。

由式(9)可知，节点(i,j)和(p,q)之间边的权重与节点之间差异及距离成正比，因此相反方向也拥有相同的权重，即

w((i,j),(p,q))=w((p,q),(i,j))

(11)

所以GM为无向图。根据式(9)构造的矩阵为图GM的邻接矩阵，表示图中任一节点与其他节点的联系。将邻接矩阵按列归一化，使边的权重在[0,1]之间。把节点定义为状态，边的权重定义为转移概率，这样的邻接矩阵具有马尔可夫性质。利用随机游走的方法可以获得节点的被访频率[12]。由于显著性点与其他点差异较大，被访频率低，因此可以将其对应像素点赋予较大显著值，从而得到显著图。

将每个特征通道不同尺度的显著图下采样到第四层空间，计算公式如下：

(12)

(13)

(14)

其中，N()表示归一化处理；⊕表示采样到第四层相加。

式(13)中，两个颜色特征显著图先进行同尺度相加，合并为一个颜色特征金子塔，然后再下采样到第四层空间；式(14)中，四个方向特征显著图同样也先进行同尺度相加，合并为一个方向特征金子塔，然后再下采样到第四层空间。通过上述计算，可以得到三个特征通道的显著图。将每个通道的显著图归一化，然后进行加权组合，如下所示：

(15)

其中，SM表示光学图像最终的显著图。

1.2 深度图分割及显著性计算

(16)

然后，通过区域的显著性计算像素点的显著性值，计算方法如下：

S2(p)=

(17)

通过上述计算，可以得到一个初步的显著图，利用边缘探测器[14]对显著图进行边缘线段提取。由于提取到的线段是不连接的，为获取显著性目标的闭合轮廓，在提取到的线段端点之间添加可能的连接线段，形成闭合轮廓。对形成的闭合轮廓进行优化,方法如下：

(18)

利用轮廓比例算法[15]求出式(18)的最优解，即为优化后的轮廓。

最后，计算形状先验图，方法如下：

S3(p)=1-e1-γd(p)

(19)

其中，d(p)为像素p到优化后轮廓C*的空间距离，通过距离转换计算[16]；γ为形状先验的置信系数。

设与输入图像I对应的标签集为L，其中元素lp∈{0,1}，当lp=0时表示对应像素为背景，lp=1时对应像素为显著性目标，构建能量函数如下：

(20)

其中，p、q表示两个不同像素；B表示图像像素的集合；A表示四连通邻域；数据项U定义如下：

(21)

平滑项定义如下：

V(p,q,I,S3)=αVα(p,q,I)+(1-α)Vs(p,q,S3)

(22)

(23)

最后，通过最大流最小割(min-cut/max- flow)方法对所构建的能量函数进行最小化处理[19]，从而完成对图像的二值分割，求出显著图。

为获得更准确的显著目标区域，将计算获得的显著区域适当扩大[20]，扩大后以外的区域设置为背景，以内的区域设置为前景，即显著性区域。在原始图上分别建立前景区域和背景区域HSV(hue,saturation,value)直方图HF、HB，显著图S2可通过下式重新获得。

(24)

其中，bp为像素p的直方图颜色区间。

前景和背景的重叠越少，显著图估计的越准确。基于新的显著图，重复迭代：利用式(19)对形状先验进行更新，然后利用式(20)重新分割图像，利用式(24)求取新的显著图。当能量函数收敛时，停止迭代，获得深度图的最终显著图。

1.3 显著性图融合及确定显著性区域

将光学图像的显著性图与深度图的显著性图以标准级像素相乘的方式进行融合，使共有的显著性区域得以保留，单个显著图异常显著区域被消除，从而得到更加准确的显著性图。根据显著性图，设定二值转化阈值，将显著性图转化为二值图，确定显著性目标所在区域，在光学图像中寻找相同位置区域，即为显著性目标所在区域。

2 实验及分析

随机选取一对经过配准的光学图像与深度图，如图1所示，可以看出岩石为显著性目标，即检测对象。

图1 经过配准的光学图像与深度图

分别采用1.1、1.2节所述方法计算图1(a)、(b)的显著性图，其结果如图2所示。

图2 显著性图

对两种显著性图利用1.3节所述方法进行融合并转化为二值图，其结果如图3所示。根据融合检测结果在光学图像相同位置找出显著性目标所在区域，其结果如图4所示。

图3 融合结果 图4 检测结果

从实验可以看出，提出的算法可以有效检测出岩石所在区域。此外还进行了多组实验，实验结果表明该算法是有效的。

3 与其他方法比较

将文中提出的方法与其他常用的显著性检测方法(如ITTI、GBVS等)进行比较。从样本库中随机选取一对经过配准的光学图像与深度图像，分别如图5(a)、(b)所示；手动标出理想的检测结果，如图5(c)所示；对图5(a)分别使用基于ITTI和GBVS的显著性检测方法，检测结果如图5(d)、(e)所示；采用文中方法得出的检测结果如图5(f)所示。

从图5可以看出，采用文中方法与理想检测结果最为接近。为进一步分析，引入定量分析指标：准确率(P)，其定义为检测结果与理想检测结果之间重叠面积与检测结果面积的比值，形式如下：

(25)

图5 不同方法检测结果对比

准确率越高，检测越精确。根据式(25)对不同方法检测结果进行定量比较，结果如表1所示。

从表1可以看出，采用文中方法的检测准确率最高，效果最好。

表1 不同方法的检测准确率 %

4 结束语

在一些特殊场景，如深空探测中的行星表面，单纯依靠光学图像特征的显著性检测易受光照变化影响，针对这一问题，研究了一种基于光学图像与深度图的显著性融合检测方法。对于配准后的光学图像与深度图，分别根据其图像特征，计算光学图像的显著性与深度图的显著性；将计算得到的两种显著性图进行融合，形成新的显著图；根据最终显著图，找出光学图像中显著性目标所在区域，从而完成检测。实验结果表明，该方法可以有效检测出显著性目标所在区域，与其他常用的显著性检测方法相比，具有较高的检测准确率。

[1] 林 晓,王燕玲,朱恒亮,等.改进凸包的贝叶斯模型显著性检测算法[J].计算机辅助设计与图形学学报,2017,29(2):221-228.

[2] 孙 丰,秦开怀,孙 伟,等.基于区域合并的图像显著性检测[J].计算机辅助设计与图形学学报,2016,28(10):1679-1687.

[3] 刘尚旺,赵胜杰,李元隆.基于稀疏性和自信息的显著性检测方法[J].计算机工程与设计,2016,37(8):2176-2180.

[4] 罗 斌,王慧玲.层次图融合的显著性检测[J].计算机科学与探索,2016,10(12):1752-1762.

[5] 朱征宇,汪 梅.基于Manifold Ranking和结合前景背景特征的显著性检测[J].计算机应用,2016,36(9):2560-2565.

[6] 陈南而,陈 莹.采用背景和中心先验的图像显著性检测[J].小型微型计算机系统,2016,37(10):2371-2374.

[7] 黄凯奇,任伟强,谭铁牛.图像物体分类与检测算法综述[J].计算机学报,2014,37(6):1225-1240.

[8] 陈 凡,童 莹,曹雪虹.复杂环境下基于视觉显著性的人脸目标检测[J].计算机技术与发展,2017,27(1):48-52.

[9] 王 攀,李少波.基于肤色和FBLBP算法的人脸检测[J].计算机技术与发展,2017,27(1):44-47.

[10] 邵 虹,耿 昊.基于肤色信息和模板匹配的人脸检测与提取[J].计算机技术与发展,2016,26(11):49-53.

[11] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1998,20(11):1254-1259.

[12] SCHÖLKOPF B,PLATT J,HOFMANN T.Graph-based visual saliency[C]//International conference on neural information processing systems.[s.l.]:IEEE,2006:545-552.

[13] FELZENSZWALB P F,HUTTENLOCHER D P.Efficient graph-based image segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[14] MARTIN D R,FOWLKES C C,MALIK J.Learning to detect natural image boundaries using local brightness,color,and texture cues[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(5):530-549.

[15] WANG S,KUBOTA T,SISKIND J M,et al.Salient closed boundary extraction with ratio contour[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2005,27(4):546-561.

[16] FELZENSZWALB P F,HUTTENLOCHER D P.Distance transforms of sampled functions[J].Theory of Computing,2004,8(19):415-428.

[17] LIU T,YUAN Z,SUN J,et al.Learning to detect a salient object[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2007,33(2):353-367.

[18] ROTHER C,KOLMOGOROV V,BLAKE A."GrabCut":interactive foreground extraction using iterated graph cuts[J].ACM Transactions on Graphics,2004,23(3):309-314.

[19] BOYKOV Y,KOLMOGOROV V.An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(9):1124-1137.

[20] JIANG H,WANG J,YUAN Z,et al.Automatic salient object segmentation based on context and shape prior[C]//British machine vision conference.Dundee:BMVA Press,2011.