基于模糊Renyi熵和区域增长的图像目标分割方法

刘松涛, 刘振兴, 姜康辉

(海军大连舰艇学院信息系统系, 辽宁 大连 116018)

0 引 言

随着各种侦察卫星和飞机的发展,在实际侦察活动中,尤其是航空侦察,会得到大量的图像信息,如何从这些图像信息中快速精确地分割出感兴趣目标,显得至关重要[1-3]。

常见的图像分割方法包括4类:边缘检测法、区域增长和分裂合并法、阈值分割法及统计学分割法[4]。图像分割通常是把图像分成各具特性的区域,但并没有提取出感兴趣目标。本文将阈值分割和区域增长方法结合,提出感兴趣图像目标分割方法。基于Renyi熵的图像分割算法是阈值分割方法中运用比较普遍的一种,经过多年的发展,产生了一维Renyi熵算法[5]、二维Renyi熵算法[6]、基于分解的二维Renyi熵算法[7]等。二维Renyi熵算法与一维Renyi熵算法相比,考虑了空间分布情况,分割效果更好,但是计算复杂度增大。鉴于本文的阈值分割只是得到初步图像分割结果,实时性更加重要,同时借鉴文献[8],本文将模糊隶属度函数(fuzzy membership fuction,FMF)引入到一维Renyi熵分割算法,实现图像分割。区域增长方法的核心是种子点的选取和增长准则的设计[9]。种子点通常人工选择。为了实现自动选取,经典方法是首先对图像进行显著性检测,然后用胜者为王(winner-take-all, WTA)机制来提取种子点[10]。与种子点获取类似,也可在显著图上进行目标分割[11-12]。文献[13]用自适应阈值分割来获取目标模板。为了得到更加精确的目标分割,文献[14]将目标分割变为两步,第1步在显著图上进行初始分割,第2步用自适应种子点调整和参数优化的迭代图割来实现目标分割。然而,由于显著图分辨率较低,将其直接作为目标分割结果是不合适的。理想的做法应该是以种子点或目标模板为基础,在原图进行区域增长。但是,传统的区域增长时,容易受到噪声的影响,增长阈值的设定也是难点。

为了克服上述不足,本文提出了基于双金字塔和特征融合的显著性检测方法,通过形态学重构开运算和区域极大值生成目标核心区域,然后,增长准则设计为将模糊Renyi熵的图像分割结果进行二值标记,最后选取与目标核心区域重叠最多的区域块为目标分割结果。新方法将阈值分割和区域增长融为一体,种子点区域的确定更加可靠,增长准则的设计更加合理,目标区域的提取更加精确和完整,计算效率也非常高。

1 基于模糊Renyi熵的图像分割方法

基于Shannon熵的阈值分割法实现简单、性能稳定,被广泛应用,而Renyi熵是Shannon熵的广义形式,效果更好。针对数字图像的模糊特性,应用FMF把图像灰度直方图映射到模糊域,并在图像模糊域中定义一种新的Renyi熵(模糊Renyi熵),再根据最大熵原理确定分割阈值[8],具体步骤如下:

步骤1构建图像直方图。令图像大小为m×n,灰度等级l∈{0,1,…,L-1},则归一化直方图为

(1)

式中,n1表示图像中具有l级灰度的像素数。

步骤2设计FMF。应用模糊集理论进行图像阈值分割时,把数字图像看作一个模糊集,图像中目标与背景的灰度级FMF满足条件

μO(l)+μB(l)=1

(2)

式中,μO、μB分别表示目标和背景的隶属度函数。将一幅图像映射到模糊域,有很多函数可供选择,如三角函数、S函数、Z函数及π函数等。本文选择三角函数作为FMF,即

(4)

式中,变量a、c是决定模糊区间宽度的参数。当找到一个最佳的模糊区间(aopt,copt)时,最佳分割阈值为

(5)

步骤3模糊Renyi熵

根据FMF,得到图像目标与背景的分布为

(6)

根据Renyi熵定义,图像目标O与背景B的模糊Renyi熵为

(7)

式中,α参数对分割结果影响较大。

步骤4最大模糊Renyi熵分割。根据定义的模糊Renyi熵使用最大熵原则进行阈值分割,即

(8)

2 基于显著性检测和区域极大值的目标核心区域提取

模糊Renyi熵的图像分割结果除了目标区域外,还有许多杂波和干扰。为了去除杂波和干扰,本文提出了基于显著性检测和区域极大值的目标核心区域提取方法。显著性检测时,对传统的Itti模型进行改进,构建了双金字塔结构[15],新的尺度空间结构更加合理,既保持了Itti模型的高效,又能更好地凸显整个目标区域,有利于提取目标核心区域。

2.1 基于双金字塔和特征融合的图像显著性检测

图1是改进后显著图模型的流程图。输入图像首先转换为独立的颜色通道:黑-白亮度通道(I)、红-绿颜色通道(red-green,RG)和蓝-黄颜色通道(blue-yellow,BY),然后对于每一个通道,计算2个图像金字塔(1个中心金字塔,一个周围金字塔),从而得到中心-周围对比金字塔,最后,融合不同尺度和特征的关注图,生成最终的显著图。双金字塔的优点是生成周围层时可以灵活调整中心-周围比率,有利于凸显目标和周围邻域的差异性;特征融合是将不同特征通道和不同尺度空间的关注图进行算术平均,有利于体现不同大小和颜色的目标显著性。

图1 改进后显著图模型的流程图Fig.1 Flow chart of improved saliency detection model

2.1.1 特征通道

新模型主要基于强度和颜色特征进行计算,采用的颜色通道为黑与白(I)、红与绿(RG)、蓝与黄(BY),定义为

(9)

2.1.2 双金字塔

形成颜色通道后,在空间结构上,新模型的空间结构与传统的Itti模型有两方面的不同,如图2所示。

图2 双金字塔Fig.2 Dual pyramids

(1)设计了新的尺度空间。每个金字塔共有5层,每层金字塔包含2个尺度。

(2)构建双金字塔,包括中心金字塔Cf和周围金字塔Sf,f代表{I,RG,BY}中的一个颜色通道。

周围金字塔的各层、各尺度由可调整的中心-周围比率从与之对应的中心金字塔的各层、各尺度平滑产生。Itti算法的中心-周围比率只能是2的次幂,不可能为1∶5或1∶12。而新模型中,周围图像根据所需的中心-周围比率直接从中心图像获得,这种改变能够有效地提高显著图检测效果。

2.1.3 对比金字塔

(10)

式中,i代表金字塔层数,i=1,2,3,4,5。

2.1.4 尺度和特征融合

对比金字塔图像每层的2个尺度首先融合,再将金字塔的5层通过跨越尺度融合获得特征图Ff,如图3所示。

图3 对比金字塔跨越尺度融合生成关注图Fig.3 Fusion to generate conspicuity map of contrast pyramid spanning scale

(11)

然后,2个金字塔的特征图融合成本特征通道的关注图为

(12)

最终,3个特征通道(I,RG,BY)的关注图融合生成显著图为

S=g(CI,CRG,CBY)

(13)

式中,f和g是融合操作,采用算术平均进行融合,即可获得良好的结果。

2.2 提取目标核心区域

在显著图计算的基础上,为了获取种子点,借鉴文献[16],设计了目标核心区域提取算法,主要步骤如下:

步骤1对显著图实施形态学重构开运算。可以去除小面积的区域和噪声点,比普通形态学开运算能够更加精确地恢复目标的形状。

步骤2提取局部极大值并进行二值标记,构成区域块。

步骤3计算区域块对应显著图部分的平均值,该值表示区域块的显著性大小。

步骤4根据目标个数,提取显著值靠前的区域块,得到目标核心区域。

3 区域增长准则设计

目标核心区域确定后,需要在原图像上进行区域增长,才能获得精确和完整的目标分割结果。本文将模糊Renyi熵图像分割结果与目标核心区域结合实现目标分割,具体步骤如下:

步骤1对图像分割结果实施形态学重构开运算,消除杂波、平滑目标边界;

步骤2对二值图像进行标记,生成区域块;

步骤3选取与目标核心区域重叠最多的区域块为目标分割结果。

将模糊Renyi熵阈值分割、显著性检测、目标核心区域提取和区域增长准则设计进行综合,形成目标分割算法。完整的目标分割算法流程如图4所示。

图4 图像目标分割算法流程图Fig.4 Flow chart of image target segmentation algorithm

4 实验结果分析

针对课题组搜集的航空侦察图像进行目标分割实验,首先通过目标分割算法的关键输出说明算法的主要步骤,然后通过局部性能分析说明目标分割算法核心模块设计的效果,最后从整体性能分析角度,比较新方法与经典目标分割方法的优越性。算法参数主要有2个:α和num,α是Renyi熵参数,num是目标个数。实验时,α=0.5,num=1。如果是多目标分割,可人工调整目标个数。

4.1 目标分割算法的关键输出

与图像目标分割算法流程图相对应,目标分割算法的关键输出如图5所示。图5(a)为舰船目标原始图像;图5(b)为模糊Renyi熵分割结果,舰船目标信息精确且完整,但是存在杂波和浪花干扰;图5(c)为显著性检测结果,舰船目标整体比较显著;图5(d)是目标核心区域提取结果,准确无误;图5(e)是利用设计的区域增长准则所获取的目标分割结果,有效去除了杂波和浪花干扰,目标分割精确且完整。

图5 目标分割算法的关键输出Fig.5 Key output of target segmentation algorithm

4.2 目标分割算法的局部性能分析

(1)将模糊Renyi最大熵分割与Renyi最大熵分割进行比较,结果如图6所示。图6(a)是舰船目标原始图像;图6(b)是Renyi熵分割结果;图6(c)是模糊Renyi熵分割结果;很明显,图6(c)的舰船目标部分更加精确和完整,但是杂波和干扰也更加明显,不过,杂波和干扰可以通过后续的区域增长算法有效滤除,因此,针对本文的目标分割,模糊Renyi熵的分割效果更好。

图6 比较模糊Renyi熵分割和Renyi熵分割Fig.6 Comparison of fuzzy Renyi entropy and Renyi entropy segmentation

(2) 区域块标记之前用形态学重构开运算去除杂波影响,结果如图7所示。图7(a)是舰船目标原始图像;图7(b)是模糊Renyi熵分割结果;图7(c)是形态学重构开运算的杂波滤除结果,实现了消除杂波、平滑目标边界的目的。

图7 形态学重构开运算Fig.7 Morphological open operation using reconstruction

(3) 改进算法显著图和Itti显著图的对比效果,如图8所示。图8(c)是Itti显著图效果,岸边建筑物的显著性更加突出,导致目标核心区域提取失败和目标分割错误,如图8(d)和8(e)所示;图8(f)是改进算法的显著图效果,整个舰船目标的显著性都比较明显,后续的目标核心区域提取和舰船目标分割均正确无误,如图8(g)和图8(h)所示。因此,改进的显著性检测算法能更好地实现目标核心区域提取和目标分割。

图8 改进算法显著图和Itti显著图的对比Fig.8 Comparison of improved algorithm’s saliency map and Itti’s saliency map

(4) 图9体现了形态学重构开运算对目标核心区域提取的重要性。如果直接在图9(a)显著图上进行区域极大值检测,容易受到杂波和干扰的影响,导致目标核心区域过小如图9(b)所示,正好匹配舰船目标内部的空洞区域如图10(c)所示,导致无法检测到目标。图9(c)为形态学重构开运算后的显著图,有效去除了小面积的区域和噪声点,目标核心区域提取和目标分割结果如图9(d)和图10(c)所示。显然,形态学重构开运算可有效避免小面积区域和噪声点对目标分割的影响。

图9 显著图实施形态学重构开运算Fig.9 Saliency map on morphological open operation using reconstruction

(5)比较目标核心区域提取方法、文献[16]方法和WTA种子点提取方法。原始的WTA用于注意焦点选择,然后用返回抑制功能(inhibition of return, IR)抑制当前区域,使注意焦点转向下一个区域[10]。本文将注意焦点的选择与转移用于种子点选择。原始的WTA返回单个种子点,可能正好匹配图10(c)舰船内部的空洞区域,造成目标分割失误,如图10(a)所示;本文将单点改进后形成目标模板,如图10(b)所示;利用此模板进行本文设计的区域增长,结果为图10(c),目标分割正确。可见,针对单目标核心区域提取,目标核心区域提取方法与改进的WTA方法效果相当。

然而,改进的WTA方法提取多目标种子点时容易陷入大目标区域,IR功能失效,无法实现多目标分割,如图11(d)和图11(e)所示。而目标核心区域提取方法采用形态学重构开运算和局部极大值提取,可有效提取出多个目标核心区域,从而分割出多目标。多目标分割时,目标数为6,区域1和区域2对应为同一个目标,第4个区域对应为背景,故没有输出。目标核心区域提取方法与文献[16]方法的主要区别是采用显著性排序的方法提取目标,避免了显著性阈值难以确定的不足,但核心区域提取效果是一致的。

图10 改进的WTA种子点提取效果Fig.10 Seed points extraction effect of improved WTA

图11 本文方法和改进WTA方法的多目标核心区域提取效果比较Fig.11 Comparison of the multi-target core region extraction effects between the proposed method and improved WTA method

4.3 目标分割算法的整体性能分析

为了考察本文方法的适应性,对多幅航空侦察图像进行目标分割实验,并与经典目标分割方法、文献[13]方法和文献[17]方法进行对比,结果如图12所示。经典目标分割方法除采用改进WTA提取种子点外,其他部分和本文方法均保持一致。

图12 不同目标分割方法比较Fig.12 Comparison of different target segmentation method

图12的第3行和第6行为经典目标分割方法和本文方法的分割结果,单目标分割时2种算法的分割结果都非常好,但是,针对多目标分割问题,从图11即可发现,经典目标分割方法容易陷入大目标区域,不能分割出多目标,而本文方法可有效分割出多目标。但是对多目标灰度等级不一致的情况,本文方法也将失效,如图13所示。

图13 本文方法多目标分割失效的情况Fig.13 Situation of multi-target segmentation errors of the proposed method

仅分割出一个目标,其他目标均没能正确分割。后续工作考虑采取自适应多阈值图像分割代替模糊Renyi熵阈值分割来克服[18-19]。图12的第4行为文献[13]方法的分割结果,多目标分割效果较好,但是无论多目标图像还是单目标图像,杂波干扰严重。图12的第5行为文献[17]方法的分割结果,目标分割比较完整,且杂波抑制好,但是多目标分割效果较差。

至于算法的计算量,对文中涉及的9幅图像进行目标分割,每幅图像分割10次,统计计算耗时的平均值,如表1所示。新方法计算量比较小。

表1 不同目标分割方法的计算耗时

上述实验表明,本文方法不仅可以实现复杂场景(沿岸干扰、海杂波干扰和多目标)航空侦察图像舰船目标的精确分割,同时计算效率也非常高。仿真时,图像大小为256×256,兼容机配置为3.6 GHz CPU,8 G内存;操作系统为win7 64,开发软件为matlab 2012,代码未优化。

5 结束语

为了实现快速精确的航空侦察图像目标分割,将模糊Renyi熵和区域增长结合,提出了新的目标分割方法。首先应用模糊Renyi熵进行图像分割,可以保证舰船目标信息的精确和完整,然后提出基于双金字塔和特征融合的显著性检测方法,有利于凸显舰船目标的整体显著性,接着设计形态学重构开运算和区域极大值生成目标核心区域,不仅种子点提取更加可靠,而且能适应多目标情况,最后利用设计的增长准则将图像分割结果和目标核心区域进行融合,实现目标分割。实验结果表明,新方法是一种非常高效的航空侦察图像舰船目标精确分割方法。主要不足是针对灰度等级不一致的多目标图像,难以有效分割出全部目标。下一步工作考虑采用自适应多阈值图像分割来克服该不足。