基于改进LBE 特征的RGB-D显著性检测

2018-07-25张建峰伍立志

计算机应用 2018年5期

袁泉，张建峰，伍立志

(1．重庆邮电大学通信新技术应用研究中心，重庆400065; 2．重庆信科设计有限公司，重庆400065)

(*通信作者电子邮箱214665129@qq．com)

0 引言

图像的显著性检测，简单来说是指将图片中的显著性区域(目标)从非显著性区域(背景)中分离出来。它作为一种图像预处理技术，能够帮助人们将有限的图像处理资源分配到最重要的图像区域上，在目标检测［1］、图像编码［2］、图像分类［3］、目标识别［4］等领域有着广泛的应用。

过去十几年里，国内外学者们提出了大量显著性检测算法，其中，最主流的方法是基于对比度的方法，对比度的计算通常基于颜色、形状、纹理等特征。根据对比度计算区域的不同可以分为局部对比度和全局对比度:基于局部对比度的方法计算图像区域和其邻域间的对比度来表征该区域的显著值［5］;基于全局对比度［6］的方法则是计算图像区域与整个图像的对比度。此外，根据人类视觉感知特点得到的各种先验信息在显著性检测中也起着重要作用，主要有中心先验［7］、背景先验［8］和连通性先验［9］等。

随着3D传感技术的发展，显著性检测算法不再局限于二维图像，最近的研究［10－15］表明，RGB-D图像中的深度信息能够有效提高显著性检测算法的性能，特别对区分具有相似外观不同位置的目标有很大作用。在基于深度先验的算法中，深度信息被作为一种先验信息直接对二维显著图加权［10］，此类算法只是粗略引入了深度信息，容易受到低深度背景区域的干扰。而基于深度对比度的算法受对比度在二维图像显著性检测中的有效性启发，通过计算图像中的深度对比度并结合颜色、纹理等特征得到显著图［11－14］，此类方法能够有效抑制近距离背景的干扰，但利用前景与背景间的深度对比度来计算显著性，具有一个普遍的缺陷:在背景区域比显著区域拥有更高的深度对比度时，算法容易产生误检，得到假阳性结果。为解决这一问题，Feng等［15］提出 LBE(Local Background Enclosure)特征，通过超像素分割将图像分解为许多小区域，然后计算目标区域的邻域内深度较大区域所占的比例来表征该区域的显著性，有效地降低了误检率。但LBE特征单独计算每个超像素区域的显著性值，忽略了相邻区域之间的相关性，导致一些结构或形状复杂的目标难以被完整检测出来。此外，LBE算法过度依赖深度信息，没有充分利用图像中的颜色信息，当图像中的深度信息较少时，算法无法准确检测显著目标。

本文针对以上问题对LBE算法作出两点改进:一是在计算特征之前对输入图像进行多级分割处理，较精细分割图中相邻的两个区域在较粗略分割图中会被融合成一个区域，因此粗略分割图上的LBE特征可以充分利用精细分割图中的区域相关性。二是引入颜色信息和先验信息对深度显著图进行矫正，在深度信息不能很好地表征出显著目标时，可以保证检测结果的准确性。

1 本文方法

原始LBE算法首先对图像进行超像素分割，然后在每个超像素上计算LBE特征，最后进行后处理得到显著图。本文对LBE算法进行改进，用多级分割处理替代超像素分割并引入颜色信息和先验信息，改进后的方法包括4个步骤:1)多级分割;2)LBE特征计算;3)多级显著图融合;4)颜色信息和先验信息引入。

1．1 多级分割

首先利用基于图的分割方法［16］对输入图像I进行精细分割得到分割图S。构造无向带权图G(V，E)，其中vi∈V为S的像素点，e∈E为相邻像素间的连线，权重w(vi，vj)为像素间的颜色距离。定义区域RV的内部差异度为其最小生成树MST(R，E)的最大权值:

定义R1、R2V之间的差异度为连接两区域最小边的权值:

定义R1，R2V之间最小内部差异度为:

当 Dif(R1，R2) ＞ MInt(R1，R2) 时，R1，R2应当合并为一个区域。将S上所有符合条件的区域合并得到下一级分割图，重复此步骤完成多级分割。

将分割 I得到的一组分割图记为 S={S1，S2，…，Sm}。其中:S1是最精细的分割图，包含的区域最多;Sm为最粗略的分割图，包含的区域最少。

1．2 LBE特征计算

计算各级分割图的LBE特征。区域P的LBE特征由两个分量组成(如图1所示):一是P的局部背景在其邻域中所占的比例，与显著性值成正比;二是P的局部背景间的最大间隙，与显著性值成反比。

图1 LBE特征示意图Fig．1 Schematic diagram of LBE features

1．2．1 局部背景在邻域中所占的比例

对于一个区域P∈Sm，定义区域P的半径为r的邻域为P

其中cp和cq分别为区域P和Q的形心。定义P的局部背景为B(P，t)，表示P的邻域Np中，比区域P的平均深度大t的区域集合。

其中D(P)表示区域 P的平均深度。定义函数f(P，B(P，t))，表示P的局部背景B(P，t)在P的邻域中所占的比例:

其中当一条穿过P的形心且角度为θ的直线与B(P，t)相交时，I(θ，P，B(P，t)) 的值为 1，若不相交则为0。

因为不同图像的阈值t的大小各不相同，难以确定一个固定阈值。为解决这一问题，采用分布函数的形式来表示B(P，t)在P的邻域中所占的比例:

其中σ是B(P，t)内所有的区域平均深度的标准差:

1．2．2 局部背景间的最大间隙

定义最大间隙为g(P，Q)，当两个区域在各自邻域中所占比例相同时，最大间隙较小的区域将获得更大的显著性值:

其中ψ表示所有不包含局部背景的边界(θ1，θ2)的集合:

与局部背景所占比例分量相似，以分布函数的形式表示最大间隙分量G(P)，因g(P，Q)与显著性成反比，本文计算1－g的分布函数:

最终的深度特征记为S(P):

1．3 多级显著图融合

输入图像经过多级分割和LBE特征计算得到多级显著图像{A1，A2，…，Am}，对应的人工标记图为T。本文利用最小二乘估计［17］训练多级线性融合权重wm，得到融合函数如式(14)所示:

将多级显著图像融合得到深度显著图为:

1．4 引入颜色信息和先验信息

在一些深度变化较小的场景中(如图2(b)所示)，单独使用深度信息很难获得准确的检测结果。因此，加入RGB图像的颜色信息和先验信息来对深度显著图进行矫正。

引入一个颜色相异图。假定图像边界宽度为d的区域为背景，将背景区域的像素按Lab颜色空间的像素值分成k组，实验中参数取值参考文献［9］，取k=3，d=10像素。计算第k组的像素个数记为nk，平均像素值记为μk，Ck为协方差矩阵。计算图像中每个非背景像素I(i)到第k组背景像素的马氏距离(Mahalanobis distance)得到第k个颜色相异图:

对k个颜色相异图加权求和并归一化得到最终颜色相异图:

引入中心先验信息。根据像素点到图像中心的距离利用高斯函数G(x，y)来对显著图A进行加权。

将颜色相异图和中心先验函数融合到深度显著图A中，得到最终的显著图S为:

图2是引入颜色信息和先验信息前后的对比，可以看出，在输入图像深度变化较小的情况下，引入的颜色信息和先验信息后的算法能够得到更准确的检测结果。

图2 引入颜色信息与先验信息前后对比Fig．2 Result of introduction of color and priori information

2 实验结果与分析

本文实验的硬件环境为CPU 2．3 GHz，内存8 GB的计算机。实验在Windows10操作系统下进行，仿真平台为Matlab R2014a。

本文实验在RGBD数据集［11］进行，RGBD数据集共包含1000幅彩色图片以及相应的深度图和真值图，所有图片均由Microsoft Kinect在自然场景下拍摄得到。

实验共选取5种当下流行的显著性检测算法进行对比。其中 LBE［15］、LMH(Low-level feature，Mid-level region，Highlevel priors)［11］、各向异性中心－周围差异(Anisotropic Center-Surround Difference，ACSD)［12］是针对 RGB-D 图像的显著性检测算法;最小生成树(Minimum Spanning Tree，MST)［9］、分层显著性(Hierarchical Saliency，HS)［7］是针对二维图像的显著性检测算法。

实验采用准确率－召回率(Precision-Recall，PR)曲线对本文算法的性能进行评估。以阈值t对算法输出的所有显著图进行二值分割，t的取值范围为［0，255］。将二值图B与数据集中的真值图T进行如下计算得到准确率(Precision)和召回率(Recall):

阈值t以10为步长在［0，255］内依次取值，分割出所有输出显著图的二值图，并计算每个t值下的平均召回率和平均准确率。以平均准确率为纵坐标，平均召回率为横坐标，得到算法在整个数据集上的PR曲线。

图3为本文算法与对比算法的PR曲线。可以看出图中以虚线表示的二维图像显著性检测算法性能明显低于实线表示的RGB-D图像显著性检测方法，表明深度信息能够有效改善显著性检测的结果。本文算法与LMH算法、ACSD算法相比具有更高的准确率和召回率。原因在于，相比于LMH算法和ACSD算法直接利用深度对比度表征显著性，本文算法通过计算目标区域在其邻域中的突出程度来表征显著性，能够更充分地利用图像中的深度信息;与LBE算法相比，本文算法的召回率较高，但准确率略低，原因在于，本文算法的显著性特征由多级分割图的特征融合得到，检测出的目标轮廓比原始LBE算法更大，从而得到较高的召回率和较低的准确率。

图3 不同算法PR曲线对比Fig．3 Comparison of PR curves with different algorithms

图4是本文算法和对比算法的检测结果对比。

图4 不同算法结果对比Fig．4 Results comparison of different algorithms

从图4可以看出，本文算法得到的检测结果相比另外5种算法更接近人工标注图。对比本文算法和LBE算法的检测结果，在第四和第五行中，本文算法引入的颜色相异图准确地区分了深度相近颜色不同的目标和背景。在第六和第七行，目标形状结构复杂情况下，本文算法检测出的目标区域更加完整清晰，这是由于加入的多级分割处理提高了本文算法对结构复杂目标的检测能力。