显著性目标检测技术研究进展

喻梁文 吴振刚

【摘要】随着计算机视觉技术的迅速发展，显著性目标检测是很多视觉处理任务的重要预处理步骤。显著性检测技术根据视觉注意力机制去分割自然图像中的重要物体。本文总结了显著性目标检测技术及其应用的研究情况，为构建更好的显著性目标检测技术提供发展方向。

【关键词】目标检测;显著性检测;视觉注意力;深度学习

随着深度学习、高性能图形处理器、高清摄像头、大数据处理等技术的迅速发展，计算机视觉技术在智慧视频监控、机器人、工业检测等应用场景中能够模拟人类视觉去解决现实问题。显著性目标检测技术的核心功能是根据人类的视觉注意力机制从图像中识别出重要信息。显著性目标检测技术是最重要的计算机视觉数据预处理技术之一，是近年来学术界和工业界研究的热点技术。

1. 显著性目标检测技术及其应用

显著性目标检测技术主要是基于视觉注意力机制构建的图像预处理方法。近五年，基于多层神经网络的深度学习技术和支持超高分辨率、立体视觉、光场成像（Light Field Imaging）的图像传感器技术均迅速发展，促使显著性目标检测技术迅速实用化，并已经得到了广泛应用。

显著性目标检测技术关注从一个自然的图像场景中选择性地抽取出最重要的区域或物体（也称作目标）。目标的重要性通常称作显著性。显著性的判断标准通常以人类的自然判断为依据。

显著性目标检测技术的数据处理流程通常涉及两个主要步骤：首先，从图像中检测显著性最高的物体或目标;然后，从图像中精确地分割出此物体或目标。

显著性目标检测是很多复杂计算机视觉任务的重要组成部分。显著性目标检测的常见应用包括：图像检索、图像理解、图像捕捉、目标检测、语义分割、行人重识别、自动切图、视频摘要等。

2. 显著性目标检测的热点研究方向

从信息系统的角度，显著性目标检测技术作为支持计算机视觉功能的信息系统的组成部分需要满足应用系统提出的功能性和非功能性要求，例如，支持的目标检测特性，安全性，执行效率，通讯效率，可扩展性，可靠性等多方面的要求，因此涉及的研究方向比较广泛。

2.1 2D显著性检测（2D Saliency Detection）

2D显著性检测是基于平面的图像进行显著性目标检测的算法，可以分为启发式算法和基于深度学习的算法（Deep SOD）。其中启发式算法主要是基于图像的底层特征进行分析，例如，对比度，背景等。近年来，大量2D显著性检测算法基于深度学习原理进行设计。文章系统地总结了近年来提出的深度学习显著性目标检测算法。

2.2 3D显著性检测（3D Saliency Detection）

3D显著性检测是针对立体摄像机（主要是双目摄像机）捕捉的3D图像来提取显著性目标的算法。不同于传统的2D显著性检测，3D显著性检测关注物体视觉深度和双目视差。已有的3D显著性检测方法可以分为三类：基于深度权重的方法，基于深度显著性的方法和基于立体视觉的方法。

2.3 4D显著性检测（4D Saliency Detection）

4D显著性检测是针对4D图像传感器（主要是光场摄像机）捕捉的光线信息来提取显著性目标的算法。不同于传统摄像机的成像原理，光场摄像机能够同时记录光场，即光的强度、位置和方向，因此更全面的感光信息有利于发现隐藏的显著性。人眼具备感知光场的能力，因此光场摄像机比传统摄像机更接近人眼。

2.4 显著性检测的对抗性攻击（Saliency Detection against Adversarial Attacks）

关于显著性检测技术的安全方面，研究对抗性攻击是为了增强算法的健壮性。显著性检测算法本质上是图像数据矩阵的数学运算，攻击者精心地構造图像数据可能会影响显著性目标检测算法的正确判断，从而得出不符合人类预期甚至严重矛盾的结果。换句话说，一个图像数据输入到显著性目标检测算法得出的显著性区域或目标，与人类判断的显著性结果严重不符。从应用的角度，这些不符合预期的对抗性攻击是难以避免的，因此需要系统地研究显著性检测算法是否存在隐含的脆弱性。

2.5 轮廓检测（Contour Detection）

轮廓检测是指在图像中精确地区分目标和背景。轮廓检测是图像分割的前提。人眼有很强的轮廓检测能力，可以很快地从自然场景中区分出指定物体的轮廓和边缘。事实上，轮廓本身也是人类识别物体的重要信息之一。

2.6 视觉注意力机制（Visual Attention）

视觉注意力机制是显著性目标检测技术的基本原理。直观而言，视觉注意力是人类具有快速辨别图像中有意义的部分，并选择性忽略其他部分的能力。例如，人类会注意到天空背景中快速飞过的鸟类或飞机。事实上，视觉注意力是人类长期进化的结果，是人类特有的心理和生理活动结合的产物。在计算机视觉中，视觉注意力（Visual Attention）机制是一种用计算机算法来模拟人类对图像中的显著特征进行自动抽取的数据处理技术。通常，人们期待计算机视觉技术能在日常生活和生产场景中替代人类的活动，因此，首先就需要能让信息系统学会人类的视觉注意力。

3 结论

面对新的计算机视觉应用场景挑战，包括机器人、遥感、智慧安防、虚拟现实、视频检索、智能交通、智慧医疗等诸多领域的机器视觉系统，需要构建更高效、更可靠、更准确、更多特性的显著性目标检测方法，近期要关注以下研究方向：基于光场和立体视觉的显著性目标检测技术、显著性目标检测技术的安全与隐私问题、基于图像序列或视频的多图像显著性目标检测技术、目标显著性的评估模型技术（比较显著性检测算法与人类的差异）等。

参考文献：

[1]BORJI A， CHENG M， HOU Q， et al. Salient object detection： A survey[J]. Computational Visual Media， 2019，5（2）：117-150.

[2]WANG W， LAI Q， FU H， et al. Salient Object Detection in the Deep Learning Era： An In-Depth Survey[J]. 2019.

[3]LIN C， LIN H， ZHAO Y， et al. 3D saliency detection based on background detection[J]. Journal of Visual Communication and Image Representation， 2017，48：238-253.

[4]PIAO Y， LI X， ZHANG M， et al. Saliency Detec-tion via Depthinduced Cellular Automata on Light Field[J]. IEEE Transactions on Image Processing， 2019：1.

[5]LI H， LI G， YU Y. ROSA： Robust Salient Object Detection Against Adversarial Attacks[J]. IEEE Transactions on Cybernetics， 2019：1-13.

[6]CHE Z， BORJI A， ZHAI G， et al. Adversarial At-tacks against Deep Saliency Models[J]. 2019.

[7]WEN C， LIU P， MA W， et al. Edge detection with feature re-extraction deep convolutional neural network[J]. Journal of Visual Communication and Image Representation， 2018，57：84-90.

[8]WANG W， SHEN J. Deep Visual Attention Prediction[J]. IEEE Transactions on Image Pro-cessing， 2018，27（5）：2368-2378.

[9]羅炳军， 黄本法， 郭联金， 等. 搬运机器人视觉引导定位技术的研究[J]. 新型工业化， 2017，7（3）：12-19.

[10]张立明王鑫王斌. 基于图像显著性区域的遥感图像机场检测[J]. 计算机辅助设计与图形学学报， 2012，24（3）：336-344.

作者简介： 喻梁文（1983-），男，博士，高级工程师，主要研究方向：网络安全、人工智能、社会网络数据发布的隐私保护。吴振刚 （1981-），通讯作者，男，博士，高级工程师，主要研究方向：企业信息化、软件工程、网络安全、人工智能、大数据技术。