基于最大检测概率的可见光与SAR图像融合方法∗

刘 杰

（中国电子科技集团公司第十研究所 成都 610036）

1 引言

随着隐身技术和其它干扰技术的发展，单一图像源获取的信息往往不足以支撑对目标的有效检测和识别。尤其是在成像侦察和成像制导等领域，无论是无人侦察机还是有人侦察机，对地攻击导弹还是对空攻击导弹，大部分都搭载了两种及以上的成像载荷［1］，如何充分利用各种图像的互补信息，使得在对融合图像进行目标检测时，能够获得最大的检测概率。

异源图像融合［2］的主要思想是采用一定的算法，把来自多个传感器的多幅图像综合成一幅新图像，在这幅融合图像中能反映多重原始［3］图像的信息，以达到对目标和场景的综合描述，使之更适合视觉感知或计算机处理。从属性分类或者身份估计层次上划分，异源图像融合一般分为像素级［4］图像融合、特征级［5］图像和决策级［6］图像融合三类。常用的异源图像融合方法有加权融合法［7］、多尺度分解融合法［8］、基于梯度特征的多尺度融合法［9］、金字塔分解融合法［10］、小波变换融合法［11］、高通滤波融合法［12］、基于模糊逻辑的图像融合法［13］、基于表决法的决策级融合法［14］和基于贝叶斯推理的决策级融合法［15］等。

从像素级融合到决策级融合方法，主要的研究工作还是集中在怎样提高融合图像的视觉感知，较少涉及对融合图像的自动目标检测和识别等工作。本文研究空天侦察和制导等军事领域中，利用多源图像融合实现对目标的高概率检测识别问题，基于最少信息损失的像素级加权融合方法，开创性地使用反馈学习的方式，建立融合图像检测概率与各指标之间的关系，从而挖掘出与检测概率具有强相关性的指标，并在此基础上自适应获取在融合图像具有最大检测概率条件下的异源图像加权系数。基于最大检测概率的可见光与SAR图像融合方法是在检测度最优条件下求取加权系数，然后进行异源图像的加权融合，因此融合图像能以较大的概率实现目标的检测，仿真结果验证了该方法的有效性。

2 异源图像加权融合方法

异源图像像素级融合［16］是在基础数据层面上进行的信息融合，该层级上的融合能充分利用不同源图像的有效信息。加权融合法是像素级融合算法的典型代表，该方法提高了融合图像的信噪比，使目标更加突出，便于检测识别，该方法还具有算法简单、融合速度快的优点，主要的处理方法有像素灰度值取大（小）式和对应像素灰度值加权平均。

2.1 像素灰度值取大（小）的图像融合方法

对于源图像A和B，融合图像F，基于像素灰度值选大的图像融合方法可表示为

基于像素灰度值选小的图像融合方法可表示为

其中，i和j分别代表图像中的坐标。从上述公式可以看出，这种方法的主要思想就是比较源图像A、B中对应位置像素灰度值的大小，然后根据实际应用的具体要求来选取相应的满足要求的像素，作为融合图像对应位置的像素。

2.2 像素灰度值加权平均的图像融合方法

对于源图像A、B，融合图像F，其加权平均融合过程如下所示：

其中，i和j分别代表图像中的坐标。k1和k2分别为加权系数，通常取k1+k2=1。可看出图像灰度值的平均是灰度值加权平均的一个特例，即k1=k2=0.5。像素灰度值的加权平均法进行图像融合简单直观，适合实时处理系统的应用；常用的加权融合方法都是使用固定的权值来进行异源图像的融合，固定权值法不能保证对所有的图像融合后都达到最大的目标检测概率，故加权融合法并未在异源图像融合中得到较大的应用。本文着重解决固定权值带来的检测概率不确定因素，自适应的计算权值，使融合后的图像获得最大的目标检测概率。

3 基于最大检测概率的可见光与SAR图像融合方法

文中提出的基于最大检测概率的可见光与SAR图像融合方法处理步骤如图1所示。

图1 基于最大检测概率的可见光与SAR图像融合方法示意图

基于最大检测概率的可见光与SAR图像融合方法，该方法主要包括灰度值加权、指标计算、最优权值计算和加权融合等步骤。其中指标计算所选取的指标是通过反馈学习的方式，寻找出的与融合图像检测概率具有单调递增或单调递减关系的指标。

3.1 融合图像质量评价指标

相对于图像融合方法研究的多样性，国内外文献中对融合算法或融合图像进行评价的研究较少。目前，对融合图像进行的评价主要有两种。一种是只涉及定性评价的主观评价法，这种评价由人为做出，极易受主观因素影响；另一种是对单因素客观评价指标的研究，这些指标包括熵和平均梯度等［17］。在基于计算机自动检测的融合应用中，融合图像的客观评价指标的研究更有意义，将通过反馈的方式指导各源图像的融合加权系数的择优选取。

3.1.1 融合图像信息熵

熵是衡量图像信息丰富程度的一个重要指标。对于一幅单独的图像，可以认为其各元素的灰度值是相互独立的样本，则这幅图像的灰度分布为P=｛P1，P2，…，Pi，…，PL-1｝，反映了图像中具有不同灰度值像素的概率分布，即灰度值为i的像素数Ni与图像总像素数N之比，即Pi=Ni/N，L为图像总的灰度级。根据香农信息理论，熵定义为

通过对图像熵的比较可以对比出图像之间的细节表现能力，融合图像的熵越大，说明融合图像的信息量越丰富，因此可用熵来评价融合图像信息增加程度。

3.1.2 融合图像平均梯度

平均梯度也称为清晰度。在图像中，某一方向的灰度级变化率大，它的梯度也就越大。通过对融合图像平均梯度的比较可以对比融合图像的细节表现能力，反映图像质量的改进及图像中微小细节反差和纹理变化特征，可表征图像的清晰程度。融合图像F的平均梯度定义为

其中，ΔFx和ΔFy分别为f（x，y）沿x和y方向的一阶差分值。通常情况下，图像的平均梯度越大，表示图像层次越丰富，图像的清晰度越好，因此可以用平均梯度来评价融合图像在微小细节表达能力上的差异。

3.2 加权系数反馈学习

基于最大检测概率的可见光与SAR图像融合方法，其核心思想是通过反馈学习的方式，建立融合图像评价指标与目标检测概率之间的关系，自适应地选择使融合图像具有最大检测概率的加权系数。加权系数反馈学习分为样本图像指标训练和测试图像加权系数自适应选取两部分，其主要流程如图2和图3所示。

图2 样本图像指标训练流程图

运用样本图像进行指标训练流程中，源图像1和源图像2分别表示为X1和X2，在［0，1］区间等间隔选取源图像1的加权系数a1，a2…，ak，其中k为区间分成的段数，源图像2的加权系数则为1-a1，1-a2…，1-ak，则融合图像可表示为

运用恒虚警、类熵之和最大法、方差最大法等检测算法对融合图像进行目标检测，得到其相应的检测概率为p（i），熵为e（i），平均梯度为g（i），其中i=1，2，…，k。

图3 测试图像加权系数自适应选取流程图

建立p与e和g之间的函数关系，f1（p，e）和f2（p，g），分别将两个函数求关于p的偏导数，得到

对测试图像加权系数自适应选取时，加权系数在［0，1］区间等间隔遍历一次，进行测试图像的加权融合，每次计算训练阶段得到的参考指标数值，自适应地找出目标最大检测概率所对应的参考指标最大值或者最小值，并找出相应的加权系数值，此时找出的加权系数值，则为目标最大检测概率约束下的最优加权系数。

3.3 异源图像加权融合

通过3.2节的加权系数反馈学习方法，可以自适应地选择用于异源图像X1和X2进行融合的加权系数a和1-a，由此可得具有最大目标检测概率的融合图像如下：

4 仿真及结果分析

本文的训练样本图像和测试图像均为400×400像素的同一场景可见光和SAR图像，每一个像素以8灰度级量化，用于训练的融合图像指标有熵和平均梯度，用于训练的目标检测算法有恒虚警、类熵之和最大法、方差最大法。在Matlab 7.8.0环境下进行仿真分析。

通过对大量样本图像进行训练，得到融合图像评价指标与检测概率的关系，其部分结果如图4和图5所示。CFAR表示恒虚警检测法，最大熵表示类熵之和最大法，OTSU表示方差最大法。

图4 融合图像熵与检测概率关系图

图5 融合图像平均梯度与检测概率关系图

为了验证训练得到的指标准确性，通过测试图像进行了实验，其结果如图6所示。

图6 融合图像熵与检测概率关系图

从图4和图5可以看出，只有在恒虚警检测算法条件下，融合图像熵指标随检测概率呈现出递减的趋势，而融合图像平均梯度在三种检测算法条件下均未出现单调变化的特征。在对大量样本图像对进行指标训练的过程中，得到的结果几乎与图4和图5具有相同的变化趋势，故在进行测试时，选择熵作为衡量融合图像检测概率的指标，检测算法被选定为恒虚警检测算法。

从图6的结果可以看出，通过反馈学习，选择使融合图像熵最小的加权系数进行融合，将使得融合图像获得最大的检测概率。

5 结语

在情报侦察和制导等领域中，为了实现抗干扰和反隐身等功能，多传感器图像融合的目标检测识别显得越来越重要，针对利用多源图像融合提高目标检测概率的问题，本文提出了一种基于最大检测概率的可见光与SAR图像融合方法，该方法以获取最大的检测概率为目标，挖掘出融合图像各指标与检测概率之间的关系，找出具有随检测概率单调变化的指标作为选取加权系数的标准，通过仿真实验验证了该方法的有效性。

目前研究的大部分图像融合方法均是以增加目视效果为前提，评价多以主观评价为主，对客观评价指标的研究较少，而用检测概率来指导图像融合方法的研究未见报道，本文做了一些探索性的研究，得到了一些有益的结果，具有较高的实用价值。