基于视觉注意的显著物体检测实验设计

张 晴

(上海应用技术学院 计算机科学与信息工程学院, 上海 201418)



基于视觉注意的显著物体检测实验设计

张 晴

(上海应用技术学院 计算机科学与信息工程学院, 上海 201418)

从图像中快速准确定位出图像主要内容的显著物体检测已经成为数字图像处理的一个研究热点。研究并设计了基于视觉注意的显著物体检测实验，通过实验操作增强学生对显著物体检测的理解以及激发学生进一步学习和研究的兴趣。首先介绍了基于视觉注意的显著性物体检测原理和方法，然后利用视觉注意方法进行显著性检测，在此基础上利用显著物体密度最大化这一特征进行有效子窗口搜索以实现显著物体检测，最后介绍了查准率、查全率和F度量作为性能评价准则并对实验结果进行了分析。提供可实现上述方法的Matlab程序代码，学生可根据相关程序进行显著物体检测处理，得到符合人眼视觉感知的检测结果。该实验方案可以检测不同内容、主题与背景环境的自然图像，具有较强的鲁棒性和较好的可操作性。

视觉注意； 物体检测； 显著性检测； 有效子窗口搜索

0 引 言

图像作为视觉信息的主要表达手段，是人类感知客观世界的主要信息来源。面对现今庞大的图像数据，如何快速且有效地定位出图像中的主要信息内容已经成为了人们研究的热点。显著物体检测技术是其中的一项关键技术，它能迅速定位图像中的重要对象，赋予计算机分析处理过程一定的主动选择能力，将有限的资源优先分配给图像中最主要信息，从而在复杂环境中快速有效地加工和处理信息[1]。显著物体检测技术可以广泛应用于许多计算机视觉领域，包括图像/视频压缩[2]、目标跟踪[3]、目标检测与识别[4-5]等。显著物体检测技术的迅速发展，使得在图像处理课程实验中添加相应的内容成为了必要，所以本文提出显著物体检测的实验设计。

目前显著物体检测方法主要有3种：① 用单一阈值表示显著物体所占比重，采取遍历搜索的方式寻找显著区域[6]。该方法比较简单，但由于显著区域与全图显著性的比值与显著物体的形状、大小以及输入图像的背景复杂程度等均有关系，因此很难仅用一个预定义的阈值简单表示，并且遍历搜索会导致算法效率低下。② 引入分割算法获取显著物体[7-9]。该方法对背景单一图像的检测效果较好，但当图像背景较复杂时，较难获得理想的检测效果。③ 设计目标函数表示显著物体特征，并优化搜索算法以提高计算效率[10]。该方法检测效果较好，但计算较为复杂。

物体检测是图像分析的一项关键内容，涉及到各方面的知识，要掌握显著物体检测技术，需要学生对多种图像处理技术具有一定的综合应用能力。为了让学生更好地掌握物体检测技术，针对自然图像内容与背景的复杂性和多样性，本文研究设计并实现了一个在图像背景较复杂情况下仍能检测获取较理想显著物体的实验方案。该实验方案受文献[11]启发，模拟人的视觉感知能力，基于视觉注意模型进行显著物体检测，充分利用显著图中显著物体的显著密度远大于周围背景的显著密度这一特征，结合有效子窗口搜索算法(Efficient Sub-window Search, ESS)[12]设计实现，并介绍显著物体检测的评价标准，将实验所得结果与微软亚洲研究院给出的基准检测结果进行比较，希望通过本实验加深学生对物体检测算法的理解以及激发学生进一步学习研究的兴趣。

1 基于视觉注意的显著物体检测

在面对一个复杂场景时，人类的注意力会迅速集中在少数几个显著的对象上，并对这些对象进行优先处理，该过程被称为视觉注意[13]。如图1所示，人眼会迅速将注意力转移到与周围其他图形不同的图形上，并认为这些与众不同的图形是图像的主要内容。

图1 视觉注意机制图例

显著物体检测的目的是将作为主要内容的物体从图像中检测提取出来。对于图2所示的自然图像的显著物体检测即是将人这个主要物体从图像中提取出来，理想检测结果如图3所示，用红色矩形框表示检测提取结果。

传统的图像处理方法是对图像中所有区域信息都赋予相同的处理优先等级，然而显著物体检测所关心的内容通常仅占图像中很小的一部分，因此，这种全面的加工不但增加了分析过程的复杂性，而且带来了许多不必要的计算浪费。将视觉注意引入到显著物体检测领域，能使计算机模拟人类的视觉感知系统，从而快速准确定位出图像的重要信息并完成图像分析任务。

图3 显著物体检测结果

根据视觉注意模型处理获取的图像称作显著图，这一处理过程称为显著性检测。显著图是用来表征图像每个像素显著度的一幅灰度图，用灰度值表示图像中每个像素相对于人眼的显著性，像素灰度值越大表示该像素越显著。对图2进行显著性检测的结果如图4所示，检测结果高亮了人这一主要物体，与人眼视觉主观判断一致。人们根据不同的图像特征提出了不同的显著性检测算法，本实验仅对其中一种经典的方法进行介绍，并利用该方法获取显著图，在此基础上再运用有效子窗口搜索算法进行显著物体检测。

图4 显著度检测后的结果图

2 实验方案的设计

显著物体检测实验作为数字图像处理课程内容的补充与增强，应具有以数字图像处理课程的先修学科和计算机处理能力。先修课程：高等数学、数字信号处理、数字图像处理、Matlab程序设计。

2.1 实验环境

(1) 操作系统。Windows XP或以上版本。

(2) 软件。Matlab 6.0及以上版本(含图像处理工具箱)。

(3) 图像库。微软亚洲研究院公开的显著物体检测基准图像库。

2.2 实验内容

实验方案步骤主要有：① 利用高斯滤波对彩色图像进行预处理;② 图像显著性检测;③ 定位显著物体所在的最小矩形区域。

2.2.1 基于高斯滤波的预处理

对图像进行预处理的目的是去除噪声等高频成份对显著性检测结果的影响。高斯滤波器是根据高斯函数的形状来选择权值的线性平滑滤波器。高斯滤波器对去除服从正态分布的噪声具有良好的效果。本实验利用高斯滤波器实现图像的去噪平滑。给定一幅彩色图像I(见图5(a))，利用下式实现高斯滤波：

(1)

其中：σ=0.5。

高斯滤波结果如图5(b)所示，学生可以结合文献[14]进一步了解不同滤波器的特性及其对于噪声的抑制效果，结合Matlab图像处理工具箱自带的滤波去噪平滑函数，采用不同算法进行滤波预处理。

图5 高斯滤波效果对比

2.2.2 图像CIELab色彩空间变换

CIELab是用来描述人眼可见所有颜色的最完备的色彩模型，较RGB和CMYK色彩空间，CIELab更接近人类视觉，它致力于感知均匀性，因此本实验在CIELab色彩空间中进行图像显著性检测。CIELab的三个基本坐标分别为表示颜色的亮度L通道、颜色在红色和绿色之间的位置a通道和在黄色和绿色之间的位置b通道。图6给出了对彩色图像进行CIELab色彩空间变换的结果。

图6 CIELab色彩空间的三通道分解图像

2.2.3 基于全局对比度的显著性检测

针对CIELab色彩空间的每个通道图像采用文献[15]的频率调谐方法进行显著性检测，这是一种对图像全局颜色对比度特征进行计算的检测方法。其具体方法是：对于给定图像I，像素p的显著性可以用下面公式计算：

S(p)=‖Iμ-Iwhc(p)‖

(4)

其中:Iμ为图像的平均颜色特征;Iwhc(p)为像素p在高斯滤波后的颜色特征;‖·‖为L2范式，也就是计算Iμ和Iwhc(p)在CIELab色彩空间的欧式距离。显著性检测的程序代码段放在D:SalObj目录中，程序名为frequency-tuned.m。实验中，利用这段程序分别在CIELab色彩空间的三通道图像上进行显著性检测，最后将检测结果进行相加平均便可以实现显著性检测。图7是利用上述程序获得的检测结果。由结果可知，花朵这一主体被高亮标识出来的同时，背景叶丛也被部分高亮，因此需要设计合理的显著物体检测方案使检测结果不受背景影响。

2.2.4 显著物体检测

本实验设计在显著图基础上进行显著物体检测。针对显著图中大部分显著度较大的像素都集中在显著目标区域这一特性，本实验采用文献[11]的显著密度最大化方法进行显著物体检测，其具体是运用有效子窗口搜索算法优化下列显著密度最大化目标函数：

(6)

其中：W是显著物体所在区域；I是图像；S(x,y)是像素点(x,y)的显著度值；C是可调和参数，取C=0.24×Height×Width，Height是图像高度，Width是图像宽度；A(W)是显著区域面积。相应的程序代码放在D:SalObj目录中，程序名为MSD.m。该文件中定义了4个子函数，分别是Splitting_rectangles()函数、 FindingMaxMin()函数、RetrieveTopState()函数和UpperBound()函数，其中前3个函数实现有效子窗口搜索功能，从显著图中按照一定的方式进行最优目标函数的搜索，比一般的遍历搜索大大提高计算效率。UpperBound()函数按照式(6)定义显著物体的密度最大化函数，在读懂程序内容的基础上可以进行修改，实现算法的改进。图8是显著物体检测处理结果。

图7 显著性检测处理结果

图8 显著物体检测结果图

3 实验结果分析

为验证提出的显著物体检测实验方案的可靠性，随机选取微软亚洲研究院公布的显著物体检测图像数据库作为实验数据集。参照文献的算法性能评价方法，使用查准率(见式(7))、查全率(见式(8))和F度量(见式(9))进行评价。

(7)

(8)

(9)

图9(a)是实验数据集中部分测试图像的物体检测结果，图9(b)是微软亚洲研究院给出的相应检测基准。从图9中对比可以看出，本文提出的实验方法具有较好的普遍性，能够对不同形状、大小及背景复杂程度的物体均具有较好的检测能力。

表1是使用上述评价标准对图9所示检测结果进行计算得到的评价结果值。由表1可知本文所设计的实验方法的查全率、查准率和F度量值较高，接近人眼视觉感知的结果。

图9 显著物体检测结果比较

表1 图例检测结果的评价标准

要求学生根据上述三个性能评价指标对检测结果图像进行计算，并据此就算法的适用性等方面给出一定的分析。鼓励学生根据自己的理解修改显著物体检测步骤的UpperBound()函数，并进行性能评价指标计算，与本实验方案进行比较，加深理解。

4 结 语

本文设计并实现了一种模拟人的视觉感知系统进行视觉注意计算的显著物体检测实验方案，通过对基于视觉注意的显著物体检测原理和方法的介绍，利用程序及具体的实验结果，进一步加深了学生对高斯滤波、CIELab色彩空间、显著性检测、物体检测等相关知识的感性认识，同时使学生能够通过自主动手实践，培养他们的科研兴趣，锻炼实践创新能力。利用预留的接口允许学生修改函数，以及利用评价标准对检测结果进行比较，希望能激发学生对这一方向的研究兴趣。

[1] 赵 倩, 曹家麟, 胡越黎. 结合高斯多尺度变换和颜色复杂度计算的显著区域检测[J]. 仪器仪表学报, 2012, 33(2): 405-412.

[2] Walther D, Koch C. Modeling attention to salient proto-objects[J]. Neural Networks, 2006, 19(9): 1395-1407.

[3] Itti L. Automatic foveation for video compression using a neurobiological model of visual attention[J]. IEEE Transactions on Image Processing, 2004, 13(10): 232-250.

[4] Fan J, Wu Y, Dai S. Discriminative spatial attention for robust tracking[C]//Proceedings of 11th European Conference on Computer Vision, 2010: 480-493.

[5] Gao D, Han S, Vasconcelos N. Descriminant saliency, the detection of suspicious coincidences, and applications to visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(6): 989-1005.

[6] Liu T, Yuan Z, Wang J, Sun J,etal. Learning to detect a salient object [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353-367.

[7] Xu L, Li H, Zeng L,etal. Saliency detection using joint spatial-color constraint and multi-scale segmentation[J]. Journal of Visual Communication and Image Representation, 2013, 24(4): 465-476.

[8] Rahtu E, Kannala J, Salo M,etal. Segmenting salient objects from images and videos [C]. //Proceedings of European Conference on Computer Vision, 2010: 366-379.

[9] Achanta R, Wils P, Susstrunk S. Salient region detection and segmentation [J]. Computer Vision Systems, 2008: 66-75.

[10] Shi R, Liu Z, Du H, Zhang X,etal. Region Diversity Maximization for Salient Object Detection[J]. IEEE Signal Processing Letters, 2012, 19(4): 215-218.

[11] Luo Y, Yuan J, Xue P, Tian Q. Saliency Density Maximization for Efficient Visual Objects Discovery [J]. IEEE Transactions on Circuits and Systems for video Technology. 2011, 21(12): 1822-1834.

[12] Lampert C H, Blaschko M B, Hofmann T. Efficient subwindow search: A branch and bound framework for object localization [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(12): 2129—2142.

[13] 张 鹏, 王润生. 静态图像中的感兴趣区域检测技术[J]. 中国图象图形学报, 2005, 10(2): 142-148.

[14] 刘 刚, 王立香, 董 延. MATLAB数字图像处理[M]. 北京: 机械工业出版社, 2010: 114-122.

[15] Achanta R, Hemami S, Estrada F. Frequency-tuned salient region detection [C]. //Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2009: 1597-1604.

The Design of Salient Object Detection Experiment Based on Visual Attention

ZHANGQing

(School of Computer Science and Information Engineering, Shanghai Institute of Technology, Shanghai 201418, China)

It has become an active research focus in the field of image processing to quickly and precisely locate the main information of the image. This paper studied and designed a salient object detection experiment based on the visual attention, which is aimed to deepen students’ understanding and stimulate their interest in further study on salient object detection. Firstly, the basic principle and implementation of salient object detection based on visual attention are introduced. Moreover, saliency map is produced by visual attention models and then the salient object is carried out by efficient subwindow search algorithm on the basis of the maximization saliency density of saliency map. And finally, the performance is analyzed with the criterion of precision ratio, recall ratio and F-measure. This experiment also provides the Matlab code to help the students achieve results which are in accord with human visual perception. Experimental results show that the proposed method could achieve better performance without regard to image’s different content, subject and background, and has better robustness and maneuverability.

visual attention; object detection; saliency detection; efficient subwindow search

2015-03-09

国家自然科学基金项目(61401281); 上海市自然科学基金项目(14ZR1440700); 上海市高校青年教师培养基金资助项目(ZZyyy13022)

张 晴(1983-)，女，江苏苏州人，博士，讲师，主要研究方向：显著物体检测、图像修复。

Tel.：021-60873338; E-mail: zhangqing@sit.edu.cn

TP 391

A

1006-7167(2016)02-0155-04