融合显著性计算和高效子窗口搜索的目标检测方法∗

姜康辉 刘松涛

1 引言

在航空侦察手段建设中，图像目标检测具有十分重要的地位。目标检测的最终目的是定位图像目标，从而辅助人工判断图像或者实现自动目标识别。

常见的目标检测方法包括：基于模板匹配的检测方法、基于关键点的检测方法［1～4］、基于分割的检测方法［5］、基于滑动窗口的检测方法［6～8］和基于部分（Part-based）的检测方法［9～10］，其中基于滑动窗口的检测方法可以直接生成包围盒，能够和显著性检测结果有效融合，是当前的研究热点。滑动窗口技术［7］通过一个分类函数给图像中所有子窗口一个分类值，这个值用来判断目标是否存在于子窗口，然后通过寻找分类值最大的子窗口，即可确定目标的位置。该方法的主要不足是计算量比较大，对n×n图像，算法复杂度通常是O(n4)。Christoph H.Lampert等［8］在滑动窗口搜索技术上提出了高效子窗口搜索方法（Efficient Subwindow Search，ESS）。ESS方法允许在所有可能的子图像上高效的最大化分类器函数。它依赖于分支定界方案在所有的子图像上寻找评估函数的全局最优值，返回与穷尽搜索方法相同的目标位置。同时，它需要较少的分类器评估，其数量比图像中的可选区域甚至图像像素数都要小，通常以线性时间或更快的速度运行。但是传统高效子窗口搜索方法采用支持向量机进行分类，需要大量训练图像。文献［11］通过设计合适的显著图最大化策略，避免了支持向量机需要训练图像的不足，然而该方法的显著图计算和ESS检测是分开实施，没能有效的融合在一起。

借鉴文献［12］的思想，本文融合显著性计算和高效子窗口搜索方法，将显著性计算融合到质量函数和定界函数的设计中，函数设计主要依据三个特征：目标区域和背景之间的对比度，目标区域包含显著像素的比例和目标区域的大小。在此基础上结合ESS框架实现了航空侦察图像快速目标检测。文末实验表明，新方法在保证定位效果的同时，更加简洁和高效。

2 高效子窗口搜索方法

高效子窗口搜索方法的核心是分支定界搜索。ESS算法中存在大量的候选子窗口，但只有几个包含了目标，含有目标的子窗口经定界函数计算后得到的分数高。分支定界能直接对获得分数最大的子窗口进行搜索，它将参数空间划分为分解的子集，计算它们的得分上限，在搜索过程中，将低于上限的子集舍弃，从而节约了大量的搜索空间和时间。

对于ESS方法，参数空间是图像中所有可能的矩形。用四个参数（l，t，r，b）能有效地将一个矩形子窗口用左上右下的间隔表示，从而有效地节约空间。参数化后所有矩形子窗口就可以表示为（L，T，R，B），其中 L=[llow，lhigh]等。每次迭代过程中，ESS方法检查得分更高的矩形集，把最大坐标间隔减半，将矩形分成两个分解的子集，见图1。

对每个矩形集，计算质量函数得分的上界。当发现某个矩形的分数至少和其他所有子窗口的上界一样好时，ESS停止计算，这保证了找到全局最优值。图2是ESS方法的伪代码，利用优先队列来保持搜索状态。

分支定界搜索时，质量函数和定界函数设计是关键。通过定界函数 (y)计算区域 y的得分，判断此区域属于目标的可能性，最终找到最大得分的区域 y*：

融合显著性计算和高效子窗口搜索的目标检测方法设计了新的质量函数和定界函数，并将显著特征的计算融合到函数设计中。

3 融合显著性计算的质量函数和定界函数设计

3.1 质量函数

质量函数设计时首先使用了特征直方图，因为通常目标与背景具有较高的对比度，中心-周围对比的 χ2值越高表示其越不同于背景区域，越有可能是目标。质量函数 f通过下式计算区域y与背景的对比度：

其中hy是区域y的特征直方图，hBx是整个图像的特征直方图，k是像素灰度等级。本文采用32个等级的灰度特征直方图，然而仅仅使用灰度特征直方图会导致选择单一灰度级和小的区域。因此，引入灰度像素的空间分布这一全局特征，使得区域y尽可能多地包含显著像素：

其中，W= Σi∈xΣcp(c|i)⋅wc是整个图像的特征权重总和，wc=(1-Vc)·(1-DC)表示该灰度级属于目标的可能性。V（c）是像素位置的方差，高V（c）值表示该灰度的像素分散在图像中，不可能属于目标。D（c）表示灰度像素到图像中心的距离，D（c）越大，表示该灰度像素越不可能包含在目标中［13］。如果像素i落在灰度等级c，那么 p(c|i)=1，否则p(c|i)=0。总之，式（3）的第二项计算区域 y捕获显著像素的比例。

最后，区域 y的大小要合适，利用目标和图像的尺寸比sry进行约束，最终的质量函数设计为：

其中，g(sry)=Ν(μ，σ2)是高斯分布。 α、β是正的常数，用来平衡三个特征的重要性。在实验中，使用 μ=0.352，σ=0.2，α+β=0.8，α、β的取值与舰船目标大小有关，目标越大β值也大。总之，提出的质量函数结合了三个特征：目标区域和背景之间的对比度，目标区域包含的显著像素和目标区域的大小。

3.2 定界函数

定界函数 (y)返回质量函数 f的最高值，控制着分支定界搜索的方向。设 yS和 yL表示 y中的最小和最大矩形，rS和rL代表小、大矩形的面积，即矩形中包含的像素个数。

1）质量函数第一项的上界。假设 pK是区域y中第k个像素等级的数目，则

另外，落入区域 y中的像素数目由 yS和 yL界定，则hy(k)的取值范围为

其中，hy(k)和-hy(k)分别表示较低和较高边界。为了使定界函数的分数最高，χ2(hy，hBx)的每个像素灰度等级由下式计算：

2）质量函数第二项的上界。因为最有期望的矩形小于或等于最大可能的区域yL，所以计算yL区域捕获显著像素的比例表示质量函数第二项的上界，即

3）质量函数第三项的上界。为了防止区域 y出现过大或过小的情况，其大小比率要有一个合适的值。令分别为最小和最大的可能的矩形的尺寸率，其中rx是图像区域。上界的计算考虑三种情况：（1）如果srL≤0.4，上界设置为 g(srL)；（2）如果 srS≥0.4，上界设置为 g(srS)；（3）如果 srS≤0.4≤srL，上界设为1。

4 仿真实验

为了检验目标检测的性能，利用航空侦察舰船图像进行了仿真实验，从主观和客观两个角度比较融合显著性计算和高效子窗口搜索方法与之前的ESS目标检测算法［11］的性能。

4.1 主观评价

图3是两种算法对四幅航空侦察图像的目标检测效果。从实验结果可以看出：两种算法对目标定位的结果相差不大，都可以较好地检测目标。在融合显著性计算和高效子窗口搜索方法的检测结果中，第二行和第四行的图像包围框更紧凑。因此，直观上融合显著性计算和高效子窗口搜索方法 保留了原方法的定位性能。

4.2 客观分析

目标检测算法的定位结果是矩形包围盒，通过比较检测结果和基准标记之间的关系，可以确定是否检测到目标。本文用F-measure值来评估目标检测性能，具体公式如下：

其中，P是检测准确率，表示检测矩形包围盒检测准确的像素占检测矩形包围盒的比例，R是检测完备率，表示检测矩形包围盒检测准确的像素占基准包围盒像素的比例。实验结果如图4，从图中可以看出两种方法检测结果的Precision、recall和F-measure值并无很大的差异，因此，客观上新方法也保留了原方法的定位性能。

关于算法的复杂度，理论上，融合显著性计算和高效子窗口搜索的目标检测方法将显著特征计算与目标定位融合在一起，应该比先生成显著图再进行ESS检测的方法计算量小。实际中，将不同算法的时间复杂度用计算机的实际运行时间表示。为了克服随机性，对每个显著图算法都运行10次，然后取平均，见表1。从表中可以看出对不同的图像运行时间快慢不同，分析原因可能是目标检测时显著图计算方法不一样，会导致子窗口的数量不同，使得搜索时间有快有慢。总之，融合显著性计算和高效子窗口搜索的目标检测方法速度依然很快，而且对于部分图像目标的检测速度更快。仿真实验时软硬件配置为笔记本电脑，硬件性能为3.4GHzCPU，4G内存；操作系统为Windows7 32位，开发软件为Matlab2014a和VS2008。

表1 不同检测方法的时间复杂度

5 结语

本文通过新的质量函数和定界函数设计，将显著特征计算与目标定位融合在一起，并结合高效子窗口搜索框架实现了舰船目标的快速检测。实验表明，与文献［11］相比，融合显著性计算和高效子窗口搜索的检测方法保持了原有的定位效果，并且更加简洁和高效。

［1］Hakan C，Bill T.Efficient Object Detection Using Cascades of Nearest Convex Model Classifiers［A］.In Proceedings of CVPR，Rhode Island，USA，2012：3138-3145.

［2］Suga A，Fukuda K，Takiguchi T，et al.Object recognition and Segmentation Using SIFT and Graph Cuts［A］.In Proceedings of the 19th International Conference on Pattern Recognition，Tampa，Florida，USA，2008：1-4.

［3］Bay H，Tuytelaars T，Van Gool L.SURF：Speeded up Robust Features［A］.In Proceedings of the European Conference on ComputerVision， Graz， Austria， 2006：404-417.

［4］Hare S，Saffari A，Torr P.Efficient Online Structured output Learning for Key point-based Object Tracking［A］.In Proceedings of CVPR， Rhode Island， USA， 2012：1894-1901.

［5］洪义平，易建强，赵冬斌等.自然图像分割方法及其在目标检测中的应用［J］.模式识别与人工智能，2006，19（5）：658-662.

［6］Bosch A，Zisserman A，Munoz X.Representing Shape with a Spatial Pyramid Kernel［A］.In Proceedings of CIVR，Amsterdam，Netherlands，2007：401-408.

［7］Matthew B B，Christoph H L.Object Localization with Global and Local Context Kernels［C］//Proceedings of BMVC，2009：1-11.

［8］Christoph H L Matthew B B，Thomas H.Beyond Sliding Windows：Object Localization by Efficient Subwindow Search［C］//IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

［9］Felzenszwalb F P，Girshick R B，McAllester D，et al.Object Detection with Discriminatively Trained Part Based Models［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（9）：1627-1645.

［10］Azizpour H，Laptev I.Object Detection Using Strongly-supervised Deformable Part Models［A］.In Proceedings of ECCV，Florence，Italy，2012：836-849.

［11］刘松涛，黄金涛，刘振兴.基于显著图生成和显著密度最大化的高效子窗口搜索目标检测方法［J］.电光与控制，2015，22（12）：9-14.

［12］Yeh M C，Hsu C F，Lu C J.Fast Salient Object Detection Through Efficient Subwindow Search［J］.Pattern Recognition Letters，2014，46（3）：60-66.

［13］Liu T，Yuan Z，Sun J，et al.Learning to Detect a Salient Object［J］.IEEE Transactionson Pattern Analysis and Machine Intelligence，2010，33（2）：353-367.