显著中心先验和显著-深度概率矫正的RGB-D显著目标检测

刘政怡 黄子超 张志华



显著中心先验和显著-深度概率矫正的RGB-D显著目标检测

刘政怡 黄子超*张志华

(安徽大学计算智能与信号处理教育部重点实验室 合肥 230601)(安徽大学信息保障技术协同创新中心 合肥 230601)

随着深度特征在图像显著检测领域中发挥越来越重要的作用，传统的RGB图像显著检测模型由于未能充分利用深度信息已经不能适用于RGB-D图像的显著检测。该文提出显著中心先验和显著-深度(S-D)概率矫正的RGB-D显著检测模型，使得深度特征和RGB特征间相互指导，相互补充。首先，依据3维空间权重和深度先验获取深度图像初步显著图；其次，采用特征融合的流形排序算法获取RGB图像的初步显著图。接着，计算基于深度的显著中心先验，并以该先验作为显著权重进一步提升RGB图像的显著检测结果，获取RGB图像最终显著图；再次，计算显著-深度矫正概率，并对深度图的初步显著检测结果使用此概率进行矫正。接着，计算基于RGB的显著中心先验，并以该先验作为显著权重进一步提升深度图像矫正后的显著检测结果，获取深度图像的最终显著图；最后，采用优化框架对深度图像最终显著图进行优化得到RGB-D图像最终的显著图。所有的对比实验都是在公开的数据集NLPR RGBD-1000数据集上进行，实验结果显示该文算法较当前流行的算法有更好的性能。

3维空间权重；特征融合的流形排序算法；显著中心先验；显著-深度概率矫正

1 引言

显著目标检测致力于区分图像场景中的显著目标和背景目标，被广泛地应用在图像分割[1]、目标识别[2]、图像压缩[3]、图像分类[4]、图像检索[5]、视频跟踪[6]等领域。许多先前的显著检测工作都是集中研究2D图像的显著检测模型。近来，越来越多的显著检测研究工作开始融合多模态的图像数据以提高显著检测的性能，其中对RGB-D图像的显著检测开始吸引越来越多的注意力，这不仅仅是因为诸如Microsoft Kinect和Velodyne Lidars等鲁棒的测距传感器的出现，同时也是因为RGB-D图像的显著检测在航海和机器人操作中变得越来越重要[7]。

2 本文方法

本文所提出的显著检测算法的核心思想是深度特征和RGB特征间相互指导。方法的主要框架如 图1所示。首先，分别对深度图和RGB图进行超像素分割构建图模型，分别提取深度图的深度特征和RGB图的CIELab颜色特征，对RGB图像采用特征融合的流形排序算法进行显著检测得到RGB图的初步显著图，同时采用3维空间权重计算深度图的初步显著图；其次，结合深度图的初步显著图和深度特征信息计算基于深度的显著中心先验，以该先验作为显著权重进一步提升特征融合的流形排序方法的显著检测结果得到RGB图的最终显著图；再次，使用RGB图像的最终显著检测结果和深度特征计算显著-深度矫正概率，使用显著-深度矫正概率对深度图的初步显著图进行矫正；接着，采用RGB图像的显著图和CIELab颜色特征信息计算基于RGB的显著中心先验，以该先验作为显著权重进一步提升显著-深度概率矫正方法的显著检测结果得到深度图的最终显著图；最后，对深度图经基于RGB的显著中心先验加强的最终显著图再次使用本文所提出的显著优化框架进行优化，得到最终的RGB-D图像显著检测结果。如图2所示，本文方法每步显著检测结果分别为：图2(a)为RGB图，图2(b)为深度图，图2(c)为特征融合的MR检测结果，图2(d)为特征融合的MR与基于深度的显著中心先验方法的检测结果，图2(e)为显著-深度矫正前的检测结果，图2(f)为显著-深度矫正后的检测结果，图2(g)为显著-深度矫正与基于颜色的显著中心先验方法的检测结果，图2(h)为最终检测结果，图2(i)为真值图。

图1 基于特征融合与S-D概率矫正的RGB-D显著检测

2.1 构建图

式中，表示顶点CIELab颜色特征的欧式距离。顶点的深度特征表示为，其欧式距离为

2.2 3维空间权重

无论从认知心理，还是视觉感知的角度，都有一个共同的深度先验：一般认为距离观察者越近的物体，会同时吸引观察者更多的注意力，也就越有可能成为显著目标[7]。启发于此，采用式(4)来获取深度图的初步显著图。

考虑到当图像中的场景有不同的景深[19]时显著目标可能分布在不同的位置，为了减小景深的影响，将整副图像的深度值置于[0,1]之间。

2.3 深度特征指导RGB图像显著检测

2.3.1特征融合的流形排序 依据流形排序算法[13]，本文同时提取RGB图像的CIELab颜色特征和深度图像的深度特征来构建关联矩阵，提出了特征融合的算法。则新的排序函数为

特征融合的流形排序以图像的4个边界为背景询问节点，其他节点作为数据节点，计算图中每个数据节点和所选定的查询节点间的相关性排序，排序结果会得到4个显著目标区域与背景区域的分布图，接着将4个显著图进行线性融合，获得RGB图像初步显著图。

2.3.2基于深度的显著中心先验 尽管在RGB-D图像中显著目标相对于背景区域来说，通常位于距离拍摄图像的相机更近的位置，但由于背景区域的深度分布范围比较广泛，有些背景区域往往相对显著目标距离拍摄相机更近，而此时这些背景区域往往会被误检为显著目标。因此，为了更有效地区分显著目标和背景区域以及使得深度特征更好地指导RGB图像的显著检测过程，本文采用基于深度的显著中心先验计算每个超像素的显著权重OD，具体如式(9)所示。

2.3.3RGB图最终显著图 为了使得深度特征更好地指导RGB图像的显著检测，采用基于深度的显著中心先验方法计算每个超像素的显著权重并以此权重进一步加强RGB图像的初步显著图，得到RGB图像的最终显著图，具体如式(14)所示。

2.4 RGB特征指导深度图显著检测

2.4.2基于RGB的显著中心先验 虽然经过S-D概率矫正后，RGB显著图能够有效地指导深度图的显著检测结果，但是S-D矫正概率还是基于图像场景中显著目标总是距离拍摄图像的相机更近这一假设，且其结果直接依赖于RGB图像的显著检测结果。因此，为了使得RGB图像显著检测结果更好地指导深度图的显著检测结果，本文还提出了基于RGB的显著中心先验计算每个超像素的显著权重OC，具体定义为

2.4.3深度图的最终显著图 为了使得RGB特征更好地指导深度图像的显著检测，采用基于RGB的显著中心先验方法，计算每个超像素的显著权重，并以此权重进一步加强深度图像经S-D概率矫正后的显著图，得到深度图像的最终显著图。具体如式(22)所示。

2.5 显著优化

3 实验结果

3.1 数据集和实验环境

本文提出的显著检测算法均在NLPR RGBD- 1000[20]这个国际公开的数据集上进行了测试。

实验中同时与6种当下流行的显著性检测方法进行对比。其中，4种RGB-D图像显著性检测方法分别如下：DOC[7], LMH[20], ACSD[21], CDS[22]，剩下的两种2D的显著性检测方法分别是MR[13]和WCTR[19]。

实验中所有的算法都是运行在Intel(R) Core(TM) i5-2320CPU 3.0 GHz内存4 GB的PC上，软件主要包括MATLAB(R2013a)和Microsoft visual studio 2010，所有的对比算法程序均是由本文作者提供的公开代码。

3.2 评价标准

在本次实验中，采用了准确率P(Precision)、召回率R(Recall)两个指标来对不同算法的性能进行评估，并且绘制了准确率P-查全率R(Precision- Recall)曲线。

3.3 实验结果

首先，在选定数据集上对本文提出的特征融合的流形排序算法与传统的流形排序算法进行评估，分别标记为CD-MR, C-MR。检测结果的PR曲线如图3(a)所示。通过曲线可以看出本文所提出的融合深度特征的流形排序算法(CD-MR)优于传统的流形排序算法(C-MR)，这说明了深度特征能够有效地指导RGB图像的显著检测。

其次，对本文所使用的基于深度的显著中心先验方法进行评估。使用基于深度的显著中心先验方法和不使用基于深度的显著中心先验方法的结果分别标记为CD-MR+OD, CD-MR。检测结果的PR曲线如图3(b)所示。通过PR曲线可以看出本文所提出的基于深度的显著中心先验方法能够进一步提升RGB图像的显著检测结果，从而证明了本文提出的基于深度的显著中心先验方法能够使得深度特征更好地指导RGB图像的显著检测过程。

再次，对本文所提出的显著-深度概率矫正方法进行评估。矫正前和矫正后的结果分别标记为SD和SD-R。检测结果的PR曲线如图3(c)所示。通过PR曲线可以看出经过矫正后的深度图的显著检测结果有了很大的提升，这说明了RGB图像的显著检测结果能够有效地指导深度图的显著检测结果，同时也说明了本文所提出的显著-深度概率矫正算法是一种有效的矫正算法。

另外，本文还对所使用的基于颜色的显著中心先验方法进行评估。使用基于颜色的显著中心先验方法和不使用基于颜色的显著中心先验方法的结果分别标记为SD-R+OC, SD-R。检测结果的PR曲线如图3(d)所示。通过PR曲线可以看出本文所提出的基于颜色的显著中心先验方法能够进一步提升深度图像的显著检测结果，从而证明了本文提出的基于颜色的显著中心先验方法能够使得RGB图像的显著检测结果更好地指导深度图像的显著检测过程。

图3 实验结果

接着，本文还对经过显著-深度概率矫正与基于颜色的显著中心先验后的显著图使用显著优化框架进行优化，并对优化后的结果进行评估。检测结果的PR曲线如图3(e)所示。通过PR曲线可以看出优化框架取得了较好的效果。

最后本文还选择了其他6个当前流行的算法与本文算法作对比。分别是：DOC, LMH, ACSD, CDS, MR, WCTR。但是本文为了保证在进行算法评估时的公平性，将2D显著检测方法MR, WCTR用于RGB图像显著检测，将检测的结果与本文矫正前的深度图显著检测结果进行融合作为最终的检测结果。分别标记为MRD, WCTRD。检测结果的PR曲线如图3(f)所示。从曲线中可以看出本文算法曲线位于除DOC算法外的5个算法的曲线之上，与当前效果最好的DOC算法各有优势，在R值大于0.6时本文算法具有更好的精度，低于0.6时则稍差，但从总体PR曲线来看本文算法仍旧优于DOC。这说明了本文所提出的方法能使得深度特征和颜色特征更好地融合、相互指导，从而有效地提升最终的显著检测结果。

3.4 质量比较

图4是本文算法和其他当前流行算法的显著检测结果质量对比，所有算法的结果都是在所选定的NLPR RGBD-1000数据集上检测所得。其中图4(a)为输入的RGB图，图4(b)为经过平滑处理后的深度图，图4(c)-图4(h)为当前流行的算法的显著检测质量图，图4(i)为本文算法的显著检测质量图，图4(j)为模板。通过所选定的显著检测结果质量对比图可以看出本文算法能够更好地凸显出显著目标的完整轮廓，均匀地凸显出显著目标自身，并且能够有效地抑制背景目标。通过第2行的结果可以看出当显著目标和背景目标颜色相似时本文方法依然能够取得较好的效果，通过第4行和第5行可以看出当背景较为复杂时本文方法也能取得较好的效果。

3.5 运行时间比较

将本文算法与MR, WCTR, LMH, ACSD, CDS算法在选定数据集上进行了运行时间的比较，每种算法的平均运行时间结果如表1所示。运行时间比较中，ACSD使用C++代码，其余算法都使用Matlab代码。本文算法处理单张图片的总耗时约为3.859 s，运行时间在可接受范围之内。其中，用于SLIC超像素分割的耗时约为0.745 s，约占单张图片总耗时的19%；用于最后显著优化的耗时约为1.373 s，约占单张图片总耗时的36%；算法的主体部分耗时约为1.741 s，约占单张图片总耗时的45%。

4 结束语

本文主要提出了特征间相互指导的思想。首先，采用3维空间权重的方法计算深度图的初步显著图；其次，采用特征融合的流形排序和基于深度的显著中心先验使得深度特征两次指导RGB图像的显著检测；再次，使用显著-深度概率矫正和基于颜色的显著中心先验使得RGB特征两次指导深度图像的显著检测；最后，对深度图的最终检测结果采用优化框架进行优化获得RGB-D图像最终的显著检测结果。实验结果显示本文的方法超越现有的方法或者持平，证明本文所提出的深度特征和RGB特征间相互指导的思想是正确可行的，依据此思想提出的方法是健壮有效的。

表1不同算法平均运行时间对比(s/幅)

方法MRDWCTRDLMHACSDCDS本文方法 时间3.5971.9865.8920.10217.4843.859

在未来的研究中可以考虑图像的一些其他的特征更好地融合，提升RGB-D显著检测结果。

[1] DONOSER M, URSCHLER M, HIRZER M,. Saliency driven total variation segmentation[C]. IEEE International Conference on Computer Vision, Kyoto, 2009: 817-824. doi: 10.1109/ICCV.2009.5459296.

[2] DING Y Y, XIAO J, and YU J Y. Importance filtering for image retargeting[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, 2011: 89-96. doi: 10.1109/CVPR.2011.5995445.

[3] SRIVASTAVA S, MUKHERJEE P, and LALL B. Adaptive image compression using saliency and KAZE features[C]. International Conference on Signal Processing and Communications, Bangalore, 2016:1-5. doi: 10.1109/ SPCOM.2016.7746680.

[4] SIAGIAN C and ITTI L. Rapid biologically-inspired scene classification using features shared with visual attention[J]., 2007, 29(2): 300-312. doi: 10.1109/TPAMI.2007. 40.

[5] WANG X J, MA W Y, and LI X. Data-driven approach for bridging the cognitive gap in image retrieval[C]. IEEE International Conference on Multimedia and Expo, Taipei, 2004, 3: 2231-2234. doi: 10.1109/ICME.2004.1394714.

[6] MAHADEVAN V and VASCONCELOS N. Saliency-based discriminant tracking[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, Florida, USA, 2009: 1007-1013. doi: 10.1109/CVPR. 2009.5206573.

[7] REN J, GONG X, YU L,Exploiting global priors for RGB-D saliency detection[C]. IEEE Conference on Computer Vision and Pattern Recognition Workshops, Boston, MA, 2015: 25-32. doi: 10.1109/CVPRW.2015.7301391.

[8] LI W, QIU J, and LI X. Visual saliency detection based on gradient contrast and color complexity[C]. International Conference on Internet Multimedia Computing and Service, Zhangjiajie, China, 2015: 1-5. doi: 10.1145/2808492.2808534.

[9] ZHU H, SHENG B, LIN X,Foreground object sensing for saliency detection[C]. ACM on International Conference on Multimedia Retrieval, New York, USA,2016: 111-118. doi: 10.1145/2911996.2912008.

[10] WANG T, ZHANG L, LU H,Kernelized subspace ranking for saliency detection[C]. European Conference on Computer Vision, Springer International Publishing, 2016: 450-466. doi: 10.1007/978-3-319-46484-8_27.

[11] QIN Y, LU H, XU Y,Saliency detection via cellular automata[C]. IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, 2015: 110-119. doi: 10.1109/CVPR.2015.7298606.

[12] LANG C, NGUYEN T V, KATTI H,. Depth matters: Influence of depth cues on visual saliency[J]., 2012(2): 101-115. doi: 10.1007/978-3-642- 33709-3_8.

[13] YANG C, ZHANG L, LU H,Saliency detection via graph-based Manifold Ranking[C]. IEEE Computer Vision and Pattern Recognition, Portland, OR, 2013: 3166-3173. doi: 10.1109/CVPR.2013.407.

[14] GUO J, REN T, BEI J,Salient object detection in RGB-D image based on saliency fusion and propagation[C]. ACM International Conference on Internet Multimedia Computing and Service, Zhangjiajie, China, 2015: 59-63.doi: 10.1145/2808492.2808551.

[15] DESINGH K, MADHAVA K K, RAJAN D,. Depth really matters: improving visual salient region detection with depth[C]. British Machine Vision Conference, Bristol, 2013: 98.1-98.11. doi: 10.5244/C.27.98.

[16] CHENG M M, MITRA N J, HUANG X,Global contrast based salient region detection[J].&, 2015, 37(3): 569-582. doi: 10.1109/TPAMI.2014.2345401.

[17] YANG C, ZHANG L, and LU H. Graph-regularized saliency detection with convex-hull-based center prior[J]., 2013, 20(7): 637-640. doi: 10.1109/LSP. 2013.2260737.

[18] HAREL J, KOCH C, and Perona P. Graph-based visual saliency[C]. Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems, Vancouver, British Columbia, Canada, 2006: 545-552.

[19] ZHU W, LIANG S, Wei Y,. Saliency Optimization from robust background detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, 2014: 2814-2821. doi: 10.1109/CVPR.2014.360.

[20] PENG H, LI B, XIONG W,. RGBD salient object detection: A benchmark and algorithms[J]., 2014, 8691: 92-109. doi: 10.1007/978-3- 319-10578-9_7.

[21] JU R, LIU Y, REN T,Depth-aware salient object detection using anisotropic center-surround difference[J]., 2015, 38(C): 115-126. doi: 10.1016/ j.image.2015.07.002.

[22] CHENG Y, FU H, WEI X,. Depth enhanced saliency detection method[C]. Proceedings of International Conference on Internet Multimedia Computing and Service, Xiamen, 2014: 23-27. doi: 10.1145/2632856.2632866.

刘政怡： 女，1978年生，副教授，研究方向为计算机视觉、视频跟踪.

黄子超： 男，1992年生，硕士生，研究方向为计算机视觉.

张志华： 男，1994年生，硕士生，研究方向为计算机视觉.

RGB-D Saliency detection Based on Saliency Center Prior andSaliency-depth Probability Adjustment

LIU Zhengyi HUANG Zichao ZHANG Zhihua

(&,,,230601,)(&,,230601,)

Along with more and more important role of depth features played in computer saliency community, traditional RGB saliency models can not directly utilized for saliency detection on RGB-D domains. This paper proposes saliency center prior and Saliency-Depth (S-D) probability adjustment RGB-D saliency detection framework, making the depth and RGB features adaptively fuse and complementary to each other. First, the initial saliency maps of depth images are obtained according to three-dimension space weights and depth prior; second, the feature fused Manifold Ranking model with extracted depth features is utilized for RGB image saliency detection. Then, the saliency center prior based on depth is computed and this value is used as saliency weight to further improve the RGB image saliency detection results, obtaining the final RGB saliency map. After that, Saliency-Depth (S-D) rectify probability is also computed and the saliency results of depth images are corrected with this probability. Then the saliency center prior based on RGB is also computed and this value is used as saliency weights to further improve the depth image saliency detection results and to obtain the final depth saliency maps. Finally the optimization framework is utilized to optimize the depth image final saliency maps and to obtain the final RGB-D saliency map. All the experiments are executed on the public NLPR RGBD-1000 benchmark and extensive experiments demonstrate that the proposed algorithm achieves better performance compared with existing state-of-the-art approaches.

Three-dimension space weights; Feature fused driven manifold ranking; Saliency center prior; Saliency-Depth (S-D) probability adjustment

TP391

A

1009-5896(2017)12-2945-08

10.11999/JEIT170235

2017-03-20；

2017-07-04；

2017-08-28

通信作者：黄子超 1052041670@qq.com

国家科技支撑计划(2015BAK24B00)，安徽高校省级自然科学研究项目(KJ2015A009)，安徽大学信息保障技术协同创新中心开放课题

: The National Key Technology R&D Program of the Ministry of Science and Technology of China (2015BAK24B00), The Key Program of Natural Science Project of Educational Commission of Anhui Province (KJ2015A009), The Open Issues on Co-Innovation Center for Information Supply & Assurance Technology, Anhui University