基于融合显著图和高效子窗口搜索的红外目标分割

刘松涛 刘振兴 姜宁

红外图像目标的快速和精确分割是自动目标识别的关键技术之一.传统的目标分割方法主要有两类:1)首先进行图像分割,然后滤除干扰和杂波区域,实现目标分割[1];2)首先进行目标检测,然后在检测包围盒内进行目标分割[2].本文将目标检测和分割融合在一起,首先利用超像素获取图像分割结果,然后融合局部和全局的区域显著性得到图像显著图,最后应用目标检测的包围盒滤除干扰和杂波区域,实现红外目标的快速和精确分割.

大部分红外图像目标本身就是显著的,但是由于成像条件和周围环境的影响,导致某些红外图像目标区域显著性差异明显,边缘模糊,或周围背景也比较显著.因此,在目标检测之前,需要对红外图像目标进行显著性增强.显著性体现了图像区域的独特性、稀少性和奇异性,吸引了众多学者的关注.显著性计算模型主要包括自底向上和自顶向下两类.最经典的自底向上显著性模型是Itti模型.该模型通过提取颜色、亮度和方向特征,以特征整合理论为根据,利用中心–周围算子和高斯金字塔做差运算,得到颜色、亮度和方向特征的关注图,并融合得到图像显著图[3].之后许多基于局部对比度的显著性模型被提出,例如,Ma等[4]提出利用当前像素和周围邻域像素的差异计算像素的显著性.由于局部对比度方法忽略了全局显著性,该类方法通常边缘部分显著,而不是均匀的突出整个目标.因此,出现了考虑全局对比度的显著性计算方法.Hou等[5]提出一种基于傅里叶变换的显著图生成算法,主要对幅度谱进行分析处理.Guo等[6]提出了剩余谱方法,仅利用傅里叶变换的相位信息.然而,这些方法忽略了目标的空间一致性.于是,文献[7]提出联合频域方法,利用局部谱特征实现结构信息的提取.关于空间一致性,也可以从空域考虑.显著性目标应该是空间紧凑的,而背景颜色应该分布在整个图像.计算空间一致性的方法包括:空间位置的方差[8]、二维熵[9]、相似度分布[10]和局部密度[11]等.鉴于局部显著性和全局显著性各有优势,文献[12]提出结合全局特征和局部特征的显著图模型,利用频域平滑来抑制非显著区域,同时采用基于Ica的局部滤波器来增强目标区域.上述显著图结果要么边缘显著,要么中心显著,都不是整个目标显著.基于区域的显著性可以解决这个问题.Cheng等[13]在超像素分割的基础上,利用当前区域和其他区域的对比度以及区域间空间关系来定义区域显著性.类似地,Perazzi等[14]提出显著滤波器方法,利用超像素的一致性和空间分布形成对比度特征,构建显著性测度.自顶向下的显著性计算方法主要是将显著目标检测作为学习问题.Liu等[15]利用Crf框架来学习局部特征、全局特征和区域特征的权重,然后用训练的Crf来检测图像目标的显著性.为了进一步提高显著性检测效果,Yang等[16]利用Sift特征的稀疏编码作为隐变量,联合学习Crf和字典,主要不足是对相似目标的分辨效果较差.Kocak等[17]通过考虑颜色的一阶和二阶统计、边缘方向和像素位置,同时用目标度代替Sift特征,改善了显著图检测效果.文献[18]将显著目标检测看作回归问题,学习一个回归器,直接将区域特征向量映射为显著性大小.另外,也可以采用建模的方法引入自顶向下信息,Zhang等[19]提出用贝叶斯框架来检测显著目标,其中已知目标的信息被建模为似然函数.大多数自顶向下的显著图方法需要目标标记图像进行全监督训练.然而,文献[20]提出弱监督显著图生成方法,仅需标记图像中是否有目标,而无须知道目标的具体位置.最近的发展趋势是将自底向上线索和自顶向下先验信息结合来实现显著性检测.文献[21]集成基于结构矩阵分解的显著性检测和高级先验(例如,位置、颜色和背景等)信息,提升了显著性检测性能.

在显著性检测的基础上,如何检测和分割出显著目标是学者们进一步关注的研究热点.1)目标检测方面,基于滑动窗口的检测方法可以直接生成包围盒,能够和显著性检测结果有效融合.但是传统的基于滑动窗口的检测方法需要进行分类器训练,耗时较长.高效子窗口搜索(Efficient subwindow search,Ess)可以实现图像中任意目标的全局定位,以线性时间收敛于全局最优解,定位效果等同于滑动窗口穷尽搜索[22].文献[23]将高效子窗口搜索和显著图结合,将目标检测提炼为最大显著密度的定位问题,避免了分类器训练.上述目标检测方法生成的包围盒可能没有完美地套住感兴趣目标,为此,文献[24]提出了包围盒优化方法,基于卷积神经网络架构改善了目标定位结果.2)目标分割方面,通常采用自适应阈值分割来获取目标模板[21,25].为了得到更加精确的分割结果,Liu等[26]将目标分割变为两步,第一步在显著图上进行初始分割,第二步用自适应种子点调整和参数优化的迭代图割来实现最终分割.

文献[27]基于区域协方差特征构建了不同尺度空间的显著图生成方法,较好地体现了图像目标的局部显著性.本文将该方法用于红外图像显著性检测,发现主要不足是目标区域非一致显著,边缘模糊,耗时较长.为了克服这些不足,本文首先用Slic(Simple linear iterative clustering)方法获取超像素,接着提取每个区域增强的Sigma特征,并考虑邻域对比度、背景对比度、空间距离和区域大小的影响,改进了局部显著图生成方法,然后提取每个区域的全局核密度估计,构建全局显著图,最后提出指数加权方式融合局部和全局显著图,较好实现了红外图像的显著性检测.在融合显著图上,本文又提出将超像素信息和高效子窗口搜索方法结合,巧妙地实现红外目标分割.实验表明,新方法是一种快速且精确的红外图像目标分割方法.

1 基于融合显著图的图像显著性检测

1.1 获取图像的超像素区域

由于基于区域的显著性检测方法可以让整个目标显著,因此,本文针对红外图像目标的显著性检测,首先用超像素方法将图像分割成许多视觉上一致的区域块.考虑到Slic方法能生成紧凑、近似均匀的超像素,在运算速度、物体轮廓保持和超像素形状方面具有较高的综合评价[28],本文用Slic方法获取图像的超像素区域.

1.2 基于区域协方差的图像局部显著性检测

由于区域协方差可以自然地融合多个相关的特征,协方差计算本身具有滤波能力且效率高[29],因此,本文利用区域协方差特征进行图像局部显著性检测.

1.2.1 区域协方差特征

对每个图像像素提取如下5个特征:图像灰度、x和y方向一阶和二阶梯度的范数.这样,每个像素映射为d=5维的特征向量.

其中,I是图像灰度,图像梯度通过滤波器[−1 0 1]T和[−1 2−1]T来计算[30].

根据上述特征向量,区域R的协方差矩阵计算如下:

其中,µ是区域特征向量的均值,n是区域像素数.

为了让区域协方差更好地体现图像区域特性和便于计算相似度,Hong等[31]利用Cholesky分解将协方差矩阵转换到欧氏空间,设计了Sigma特征,并引入一阶统计均值得到增强的Sigma特征.令C是d×d维的协方差矩阵,Sigma特征的计算公式为

其中,Li是矩阵L的第i列,C=LLT,α是系数.引入d维特征向量的均值,则增强的Sigma特征向量为

1.2.2 图像局部显著性

区域Ri的局部显著性定义为区域Ri与其邻近区域的增强Sigma特征的空间距离加权平均,具体为

其中,Rj属于区域Ri的邻域,m是邻域中区域个数,K是归一化因子,保证空间距离加权系数的和为1,是两个区域中心之间的欧氏距离,σ1控制着区域间距离对局部显著性的影响,σ1越大,远距离的区域块对当前区域块的显著性影响越大;否则,影响越小.ψRi表示区域Ri的增强Sigma特征,D(ψRi,ψRj)是ψRi和ψRj之间的欧氏距离.

理论上,在比较邻近的两个区域时,面积大的区域应该对当前区域的显著性影响更大.同时,一个显著目标区域不仅局部对比度高,而且与背景区域差异明显.通常情况下,图像边缘的区域块不大可能是目标区域,可认为是背景区域.应该说,图像中背景区域的界定是困难的,但是与中心位置加权的显著性相比,适应性能更好些[27].因此,引入区域大小和背景对比度的影响对式(5)进行修正,结果为

其中,N(Rj)是区域Rj的像素数,N(I)是整个图像的像素数,Rj属于当前区域的邻域和图像的边界区域.通过上述加权修正局部显著性,可以让目标和背景的显著性差异变大,凸显目标的显著性.

1.3 图像全局显著性检测

每个区域灰度值出现的概率可以表示该区域的全局显著性,出现概率低的目标区域意味着更加显著,反之,则可能是背景区域.因此,利用整个图像区域特征的核密度估计来计算全局显著性,具体为

其中,κ是高斯核密度函数,表示区域的平均灰度,M是图像区域的个数.

1.4 融合显著图

为了更好地凸显复杂环境的红外目标特征,本文将局部显著性和全局显著性结合,实现最终的红外图像显著性检测.区域Sigma特征的邻域对比度可以较好地体现图像局部显著性.然而,由于红外图像背景杂波通常比较严重,显著目标的同时也会显著背景杂波.因此,为了更好地抑制背景杂波,并考虑区域间距离和区域大小对图像显著性的影响,在计算图像局部显著性时,引入了背景区域对比度、空间距离加权和区域大小加权,让局部显著性结果更加优化.另外,由于局部显著性不能体现出目标区域在整个图像中的显著程度,最终可能还会有少量背景杂波.而红外图像目标通常全局稀少,又引入全局显著性来凸显红外目标和抑制背景杂波.考虑到局部显著性通常优于全局显著性,而指数函数可以增加局部显著性的重要程度,局部和全局显著图的结合公式设计为

其中,σ3控制着局部显著图的重要性.融合显著图可以保证目标区域既局部显著,又全局显著,有利于后续目标检测和分割时减少背景杂波的影响.

2 基于高效子窗口搜索的图像目标分割

2.1 基于显著密度最大化的目标搜索方法

1)显著密度最大化

分析显著图后发现,显著目标区域的平均密度比显著图中任何区域的密度都要大很多.为了描述这个特征,可以从显著图中寻找最大显著密度的区域[32].因此,目标搜索的函数f(W)设计如下:

其中,W是搜索窗口,C是正的常数,Area(W)用来平衡窗口面积的影响.第1项主要用于让W包含更多的显著像素,第2项主要保证让检测的区域具有高的显著密度.通过最大化f(W),平衡了目标大小和目标包含显著性之间的关系.

2)显著密度最大化的高效子窗口搜索实现

从图像中穷尽搜索W∗非常耗时,可采用高效子窗口搜索方法来加速[32].令W={W1,···,Wi}表示区域集合,其中Wi⊆I.假定存在两个区域Wmin(Wmin∈W)和Wmax(Wmax∈W),使得对任何Wi∈W,Wmin⊆Wi⊆Wmax.令(W)表示从W中找到的最优解的上界估计,即(W)≥f(Wi),则

最后,基于显著密度最大化的Ess方法概括总结为

算法1.基于显著密度最大化的Ess方法

从P中检索目标函数定界分数最高的矩形窗口参数作为W

UntilW仅包含一个窗口,即Wmax=Wmin.

返回W∗=Wmin.

2.2 目标区域筛选

高效子窗口搜索的结果是套住目标的包围盒.因此,利用目标检测的位置信息可以对超像素的结果进行区域筛选.具体思路是通过判断某个分割区域在目标检测包围盒内部的像素占该分割区域所有像素的比例Ratio来判断该分割区域是否为真正的目标,从而可以滤掉杂波和干扰区域,实现红外目标的精确分割.

2.3 目标分割算法

通过前面的分析,将红外目标分割算法概括为三步:1)超像素划分;2)融合显著图生成;3)目标检测和筛选.整个红外目标分割算法流程如图1所示.新方法的主要特点是:1)基于增强的Sigma特征,同时考虑邻域对比度、背景对比度、空间距离和区域大小进行局部显著性检测,能够更好地体现图像的局部特征;2)融合局部显著图和全局显著图,使得显著性检测方法的适应性和杂波抑制效果更好;3)应用高效子窗口搜索方法检测和筛选目标,可以与区域显著图生成无缝结合,实现红外目标分割.总之,新方法可以实现红外目标的快速和精确分割.

图1 红外目标分割算法流程图Fig.1 Flow chart of infrared target segmentation algorithm

3 实验结果分析

首先通过算法性能分析说明显著图生成方法中每一个模块的作用,然后从主观分析和客观评价两个角度,比较新方法对当前流行显著图生成方法的优越性,最后结合高效子窗口搜索方法进行目标分割,并比较分析不同分割方法的分割精度和计算耗时.新算法的参数主要有七个:numSuperpixels,Compactness,σ1,σ2,σ3,C和Ratio.其中,num-Superpixels和Compactness是Slic方法的参数,numSuperpixels是超像素个数,该值越小,超像素块越大;Compactness表示超像素的形状,该值越小,超像素块和区域块边界的吻合度越高.实验中,numSuperpixels和Compactness需要根据不同图像进行调整,σ1=3,σ2=10,σ3=6,C=2000,Ratio>0.5.

3.1 显著图算法性能分析

图2是考虑不同影响因子的显著图效果.图2(a)是海空背景的舰船目标红外图像,海天线附近存在亮带干扰.图2(b)是Slic方法的超像素结果,视场近处三个舰船目标区域的一致性较好.仅利用增强Sigma特征的邻域对比度对图2(b)进行显著性检测,结果为图2(c),很明显,目标区域内部显著性一致,但背景杂波明显.考虑图像背景对比度后的显著性检测结果见图2(d),目标附近杂波得到抑制,但天空区域杂波更明显,说明天空区域和图像周边的背景区域有差别.空间距离进一步加权的显著图结果见图2(e),图像中杂波变少.区域大小进一步加权的显著图结果见图2(f),杂波变化不大,但目标显著性增强.全局显著图结果为图2(g),三个舰船目标的特征明显且邻域无杂波,但是天空背景杂波干扰也比较严重.图2(h)是局部显著图和全局显著图的融合结果,红外目标的显著性突出,背景杂波得到较好抑制.因此,新方法对红外图像目标的显著性检测是有效的.

图3是灰度邻域对比度和增强Sigma特征邻域对比度的显著图,目标区域都比较显著,但图3(c)中杂波更少,说明增强Sigma特征更能体现图像的局部特征.图4是两幅图像的局部显著图、全局显著图和融合显著图.第1行图像局部显著图优于全局显著图,第2行图像全局显著图优于局部显著图,因此,融合显著图时引入了参数σ3,可以控制局部显著图的重要性.

3.2 显著图算法对比分析

为了更广泛地评价本文显著图方法的优越性,对比分析了14种显著图生成方法(Frequency[25],Gbvs[33],Spatialcoherence[11],Hft[34],Itti[3],Mss[35],Saliency measure[36],Signature[37],Sim[38],Spectral[5],Covarince[27],SuperpixelCheng[13],SuperpixelHe[8],SuperpixelReiGlo(本文方法))对不同红外图像的显著图结果.图5是14种方法的显著

图2 考虑不同影响因子的显著图效果Fig.2 Saliency maps considering different impact factors

图3 增强Sigma特征和灰度特征的显著图Fig.3 Saliency map of enhanced Sigma feature and gray feature

图4 局部和全局显著图的重要性Fig.4 The importance of local and global saliency map

图5 14种方法的显著图Fig.5 Saliency maps of fourteen saliency detection methods

图结果,左侧标注为原始图像、基准图像和不同方法的显著图.Frequency,Mss和Spectral方法的显著图效果类似,可显著高亮点和边缘,其中Mss方法的显著效果最好(图5(e)的显著图);Gbvs,Hft,Itti,Signature和Sim方法的显著图效果类似,可显著目标区域,其中Sim和Signature方法杂波干扰严重,Itti方法目标形状比较好,但个别图像干扰比较大(图5(b)和5(d)的显著图),Hft和Gbvs方法目标定位最准确,但Hft方法目标形状信息欠缺,Gbvs方法个别图像干扰明显(图5(d)的显著图);Spatial coherence和Saliency measure方法的显著图效果类似,目标细节保留较好,但没有显著整个目标;Covariance可显著目标区域,且目标形状完好,但杂波干扰严重,边缘模糊.SuperpixelCheng和SuperpixelHe方法都是基于区域的显著性检测方法,与本文方法一样,采用Slic方法获取图像区域.SuperpixelCheng方法考虑了空间距离和区域大小对区域显著性的影响,目标细节保留较好,但是云层干扰严重(图5(d)的原始图像)或图像非常模糊(图5(e)的原始图像)时,显著图效果较差.SuperpixelHe方法进一步考虑了相同灰度的超像素的空间分布对显著性检测的影响,比SuperpixelCheng方法的显著图效果有所改善,但是图5(d)的显著图反而变得更差,这是由于和飞机目标相同或接近灰度的超像素块有许多是云层背景,从而降低了飞机目标的显著性.本文方法的显著图结果使得红外目标的显著性更加突出,目标区域一致性好,边缘清晰,同时背景杂波也几乎都被抑制,非常有利于后续的目标检测和分割.

为进一步客观评价本文方法的优越性,采用Pr(Precision and recall)和Roc曲线对比不同方法的显著图效果.图6(a)是14种方法的Pr曲线.显然,本文方法整体上最优,但是当检全率(Recall)较高时,检准率(Precision)并不是最优.图6(b)是14种方法的Roc曲线.当虚警率低时,本文方法的检测率最高,但是随着虚警率提高,本文方法的检测率并不是最优,其他方法(例如,Gbvs方法)虽说目标区域模糊,但是由于覆盖了整个目标,检测率提升明显.导致本文方法不是全面最优的原因有两个:1)人工标记图像的细节不够清晰;2)图像模糊程度较高时,目标形状不够完整.这启发我们需要进一步研究如何有效地凸显严重模糊红外图像的整个目标区域.

图6 14种方法的Pr和Roc曲线Fig.6 Pr and Roc curves of fourteen saliency detection methods

3.3 目标检测和筛选结果

针对本文方法的显著图结果,应用显著密度最大化的高效子窗口搜索方法进行目标检测,结果见图7的第1行,目标区域检测准确.利用目标检测的包围盒对超像素分割的结果(图7的第2行)进行筛选,很容易得到目标分割结果,见图7的第3行,干扰区域得到抑制,目标区域形状得到改善.

为了评价本文分割方法的优越性,对比分析了五种分割方法,其中文献[11]是红外图像分割方法;文献[23]和文献[32]的检测结果是套住目标的包围盒.为了能够对比分割效果,本文在原图上的包围盒区域进行自适应最大Renyi熵分割;文献[21]和文献[25]是显著目标分割方法.图7的第4～8行分别对应文献[11],[23],[32],[21]和[25]的分割结果.文献[11],[21]和[25]是对整个图像的显著图进行分割,杂波较多,目标区域也不完整,其中图7(b),图7(d)和7(e)中第7行的显著图效果异常,主要原因是这三幅原始图像中舰船目标和周围环境的对比度偏低,说明文献[21]方法对红外图像复杂程度的适应性不好.文献[23]和文献[32]是对包围盒内图像进行分割,杂波较少,目标区域分割比较完整,但前提是必须利用高效子窗口搜索方法的多目标检测功能滤除干扰区域.需要说明,当前流行的显著性检测和分割方法的实验对象主要是自然界的彩色图像,如果实验对象更换为红外图像,由于丢失了颜色信息,可到会导致显著图和分割效果不好.在主观分析的基础上,采用F值进行分割效果的客观平价[39],同时比较了不同分割方法的计算耗时,结果见表1.很明显,在上述六种分割方法中,本文方法不仅分割效果最优,而且计算耗时也较少.仿真实验时笔记本电脑的硬件性能为2.3GHz CPU,8GB内存;操作系统为win7 32位,开发软件为MATLAB7.6,代码未优化,图像大小为400像素×240像素.

图7 不同分割方法的分割结果Fig.7 The segmentation results of different segmentation methods

表1 不同分割方法的分割精度和计算耗时Table 1 Segmentation precision and computational time of different segmentation methods

4 结束语

本文将融合显著图和高效子窗口搜索结合,提出一种新的红外图像目标分割方法.在利用Slic方法获取图像超像素的基础上,提取每个区域增强的Sigma特征,并计算邻域对比度、背景对比度、空间距离加权和区域大小加权,构建局部显著图,同时利用全局核密度估计生成全局显著图,最后融合局部和全局显著图实现显著性检测.在融合显著图上,应用显著密度最大化的高效子窗口搜索方法进行目标检测和筛选,实现红外目标分割.实验结果表明,新方法的显著图结果目标区域一致显著,边缘清晰,背景杂波抑制明显.无论主观评价,还是客观指标,新方法都优于当前流行的图像显著性检测方法.同时,与高效子窗口搜索结合的目标检测结果有效抑制了干扰,增强了目标形状信息.整个算法的计算量较小,实用价值高,主要不足是针对严重模糊的红外图像,显著图中目标区域的形状信息会有残缺,导致分割结果的精度降低.