无人机多源侦察图像融合方法研究∗

李 航 林 毅 孙尔蔓

（中国人民解放军91776部队 北京 100841）

1 引言

无人机获取的情报多为图像信息。无人机侦察图像系统是将CCD 摄像机、合成孔径雷达等传感器安装在飞行器上，提取地面侦察目标的影像，通过无线电波传送到地面测控站，在目标监视器上实时显示出侦察图像。目前，无人机侦察图像根据图像传感器的不同有CCD 摄像机拍摄的彩色多光谱图像、航空相机拍摄的黑白全色图像、可见光图像、红外图像以及合成孔径雷达SAR图像等。这些图像各有自己的成像原理和特征，多光谱图像是光谱信息丰富而空间分辨率不高，全色图像具有较高的空间分辨率但匮乏光谱信息；可见光和红外则是利用了对不同波长的选择性不同的成像原理，此外，热红外传感器是利用地物辐射的热红外线进行扫描成像，能够反映地物的温度差别；SAR 图像信息取决于物体的几何特性和介电特性，导致相同的物体可能出现不同的表现形式，这与光学图像具有明暗变化的特性也有所不同。因此这些不同图像存在着一定互补性，如何得到一幅具有相对完整信息的侦察图像，使得指挥员能够获得更为完整和准确的战场态势，这使得无人机多源侦察图像融合［1～3］具有很强必要性。

针对无人机多源侦察图像融合急需的解决方法［4～5］和质量评价问题，本文分析和研究图像融合的分类、目的、原则，以及图像融合处理流程、方法，重点研究基于小波变换的图像融合方法，给出无人机侦察图像融合质量综合评价方法。

2 无人机多源侦察图像融合概述

2.1 融合分类

无人机侦察图像融合根据融合信息的不同可以分为

1）多个无人机平台间光谱与分辨率信息融合，如CCD 彩色摄像机拍摄的彩色多光谱图像和航空相机拍摄的黑白全色高分辨率图像。

2）多个无人机平台间光谱信息融合，如合成孔径雷达的SAR 图像、红外图像与可见光图像之间。简称为谱融合。

3）多个无人机平台间分辨率信息融合，由航空相机连续拍摄的具有不同位置分辨率和一定重叠率的图像之间。

由于受到无人机侦察图像图源限制，这里只对第一种信息融合给出融合算法。

2.2 融合目的

无人机侦察图像融合是一种综合多个源图像信息的先进图像处理技术，其目的是集成多个源图像中的冗余信息和互补信息，以强化图像中的信息、增加图像理解的可靠性，更加有利于对区域目标进一步分析、检测、识别和跟踪。总的看来，将无人机侦察图像融合主要目的在于:

1）提高空间分辨率

图像融合可以提高图像空间分辨率，如将美国地球资源卫星Landsat-ETM6波段（热红外）与ETM的其他波段融合可以提高ETM6 波段的空间分辨率。这意味着更多的图像细节可以显示。

2）特征增强

将微波与光学两种物理性质不同的传感器数据融合，许多原来不可见的特征得以凸现，不清楚的特征得以增强；将同一类型的传感器数据进行融合，则特征增强的效果更明显。

3）提高分类识别的精度

单一图像往往会受环境及成像范围限制，不能完全反应场景信息。多源图像的融合可以显著提高图像分类识别的精度，如微波图像和光学图像可以提供互补信息帮助识别一些地物。

4）实现优势信息互补

任何传感器都有自己的不足。光谱传感器由于云的遮挡而不能获取相应地面的信息，甚至地形会影响雷达数据，造成图像解译的不准确，因此，将不同类型的传感器数据融合可以弥补各自信息的不足，实现优势信息的互补。

2.3 融合原则

虽然图像融合的优点显而易见，但是并不是任意N 幅图像都可以互相融合。多源图像融合的主要原则是冗余性、互补性、时限性和低成本。数据的冗余性保证了个别传感器不能正常工作时，系统仍然能够得到准确的信息；互补性是融合存在的基础，如果不存在互补，则图像不存在融合的必要；融合的时限性指的是多传感器并行的工作方式；低成本指的是融合与非融合之间的经济效益比。

以无人机获得的多光谱图像和全色光学图像为例，多光谱图像的光谱分辨率较高，但空间分辨率比较低，即空间细节表现能力比较差；全色光学图像具有较高空间分辨率，但光谱分辨率比较低。两幅图像具有互补特性，因此，将具有低空间分辨率的多光谱图像和具有较高空间分辨率的全色光学图像进行融合，使融合后多光谱图像具有较高的空间细节表现能力，同时保留多光谱图像的光谱特性。

3 无人机多源侦察图像融合方法

3.1 图像融合流程

无人机侦察图像融合是对不同传感器获取的图像数据进行融合，流程图如图1所示。

图1 无人机侦察图像融合流程图

在上图中，预处理主要是对输入图像进行几何校正、去除噪声及图像的空间匹配或称图像配准；图像融合主要是指采取什么样的融合规则；应用层是对融合结果图像进行综合评价及应用。

3.2 图像配准

无人机侦察图像配准［6］是指两个不同传感器从同一景物所获取的两幅图像在空间上进行对准，从而确定出这两幅图像之间相对位移的过程。由于不同传感器或同一传感器在不同时间获得的图像往往会存在一些差异，如图像间存在相对平移、旋转、缩放甚至产生畸变，这对图像融合处理是非常不利的，会使图像融合结果包含较多的错误信息或产生较大的形变，消除这种差异的过程称为图像配准。在实际工作中，取一幅图像作为配准的标准，称它为参考图；另一幅图像称为配准图。当两幅图像没有配准时，图像处理算法将失去分析和计算的基础；如果配准精度较高，就可以为图像的后续处理提供较好的技术支持和保障。因此，图像配准十分重要。

图像配准是产生一个空间校准的图像集合或者匹配某一目标图像的过程，是对数字图像进行几何调整的一种特殊形式，对两幅图像进行配准的基本条件是两幅图像中有一部分反映了同一目标景象。

这里定义两幅图像具有偏移关系（包括平移、旋转、缩放）的图像分别为参考图像和配准图像，并用二维数组I1(x，y)和I2(x，y)表示图像相应位置处的灰度值，则两幅图像在数学上有如下变换关系:

在图像融合中，这里把进行配准对象的图像又称为直方图。是因为直方图表示数字图像中每一灰度级与其出现频数（该灰度像素的数目）间的统计关系。用横坐标表示灰度级，纵坐标表示频数。按照直方图的定义可表示为

其中，N 为一幅图像的总像素，nk为第k 灰度级rk的像素数。rk是第k 个灰度级，是该灰度级出现的相对频数。

一幅图像中，该变量r 代表要增强图像中像素的灰度级，假定r 已经归一化，即0 ≤r ≤1，r=0 代表黑，r=1 代表白。每一像素的灰度级r 可看作[0，1]区间上的随机变量。设新图像的灰度级为s，假定r 为连续变量，则可对[0，1]区间内的任意灰度级r 进行如下变换:

假定T(*)满足下面两个条件:

1) 0 ≤r ≤1，T(r)单调增加；

2) 0 ≤r ≤1，0 ≤T(r)≤1。保证变换后像素灰度仍然在允许的范围内。从s 到r 的逆变换可表示为

由概率论的知识，如果随机变量r 的概率密度为pr( r )，则随机变量s 的概率密度Ps( s )可由求出。首先，可求出随机变量s 分布函数:

显然，输入和输出概率分布都必须被加到整数1。对于任何输入下标，累积分布都必须相等。有概率知识可得:

通过改变T(r)就可控制Ps( s )的形状。由于Pr( r )与Ps( s )刻画了图像的灰度级相对分布，因而选择适当的T(*)就可以改变图像的外貌。

由此可见，直方图匹配是指将一幅图像的直方图变成规定形状的直方图而对图像做的变换方法。规定的直方图是一幅参考图像的直方图，通过变换，使两幅图像的亮度变化规律尽可能地接近。直方图匹配原理对两幅图像的直方图都作均衡化，变成相同的均一化的均匀直方图。

此均匀直方图起到媒介的作用，再对参考图像作均衡化的逆运算即可。空间匹配一般可分为以下几个步骤:

1）特征选择:在欲配准的两幅图像上，选择如边界、线状物交叉点、区域轮廓等明显的特征。

2）特征匹配:采用一定的配准算法，找出两幅图像上对应的明显地物点，作为控制点。

3）空间交换:根据控制点，建立图像间的映射关系。

4）插值:根据映射关系，对非参考图像进行重采样，获得同参考图象匹配的图像，空间匹配的精度一般要求在1个～2个像素内。

以上是一般图像配准步骤，实现配准也可以采用专门工具软件，这样既可以一步到位，而且效果较好，也减少了图像融合的工作量和复杂度。如使用美国ERDAS 公司开发的遥感图像处理软件ERDAS IMAGINES 8.7。该软件由一组实用图像处理工具构成，包括生成单值图、图像分幅裁剪、几何校正、图像拼接以及图像投影变换等，主要是根据工作领域地理特征和专题信息提取的客观需要，对数据输入模块中获得的.img 图像文件进行范围调整、误差校正、坐标转换等处理，以便进一步开展图像解译、专题分类等分析研究。

3.3 图像融合处理

1）无人机侦察图像融合处理层次

根据融合目的和融合层次智能地选择合适的融合算法，将空间匹配的图像数据进行有机的合成，得到目标的更准确表示或估计。侦察图像信息的形式从层次上可分为像素级、特征级、决策级三个层次。因此，侦察图像融合技术也相应的在像素级、特征级和决策级三个层次上进行。

（1）像素级图像融合

像素级图像融合是直接在原始数据层上进行的融合，这是最低层次的融合。这种融合的主要优点是能保持尽可能多的现场数据，提供其它融合层次所不能提供的更丰富、精确、可靠的信息。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般应达到像素级。像素级图像融合通常用于多源图像复合、图像分析和理解，是实际中应用最广泛的图像融合方法，也是特征级图像融合和决策级图像融合的基础。

（2）特征级图像融合

特征级融合属于中间层次，它先对来自各传感器的原始信息进行特征提取（特征可以是目标的边缘、方向、速度等），然后对特征信息进行综合分析和处理。若传感器获得的数据是图像数据，则特征就是从图像像素信息中抽象提取出来的，典型的特征信息有线型、边缘、纹理、光谱、相似亮度区域、相似景深区等，然后实现多传感器图像特征融合及分类。特征级融合的优点在于实现了可观的信息压缩，有利于实时处理，融合结果能最大限度地给出决策分析所需要的特征信息。特征级融合通常用于模式识别、图像处理和计算机视觉等领域。

（3）决策级图像融合

决策级融合是一种高层次融合，其结果为指挥控制决策提供依据。在这一层次的融合过程中，先将每一图像信息进行初步判决和分类，然后对来自各传感器的决策进行相关处理，最后进行决策级的融合处理，从而获得最终的联合判决的融合过程。多种逻辑推理方法、统计方法、信息论方法等都可用于决策级融合，如贝叶斯推理、D-S证据推理、聚类分析、神经网络等。决策级融合具有良好的实时性和容错性，但其预处理代价高。

2）传统的像素级图像融合算法

传统融合方法有加权融合法、HPF（高通滤波）法、PCA（主分量分析）法、Brovey 变换法、IHS 变换融合法、金字塔融合法、基于区域特征融合法等。上述图像融合方法主要缺点是融合后图像光谱失真严重，因此为了改善传统方法不足，又提出了基于小波变换的图像融合法。

3）基于小波变换的无人机侦察图像融合算法

鉴于传统像素级图像融合方法的光谱信息失真和仅仅基于小波变换融合法［7～9］的忽略高空间分辨率图像低频分量的缺点，结合两幅源图像自身的特点，应用加权图像融合方法和区域特征小波变换融合方法，这里提出一种基于小波变换和区域特征加权相结合的自适应无人机侦察图像的融合算法。

对无人机侦察图像而言，小波变换是将图像分解成频域上各个频率段的子图，以代表源图的各个特征分量。这对后续的融合处理极为重要，使得融合处理可以根据不同的特征分量采用不同的融合方法以达到最佳融合效果。图像的融合策略是图像融合的核心，方法与规则的优劣直接影响融合的速度与质量。融合规则在处理中扮演了一个重要角色。当在建立融合图像的每个小波系数时，必须确定哪幅源图的小波系数对融合有利，这个信息将保留在融合决策图中。融合决策图的大小和原图大小一致，融合决策图的每个值是源图的索引，可能为相应的小波系数提供较多信息，这样就可以确定融合图像的每个小波系数。

现有图像融合方法大多基于对源图像的多尺度分解，对分解后的各部分分别进行融合操作，然后经过逆变换得到融合图像。人的视觉系统对视网膜上的图像也是按不同的频段进行处理的，所以基于多尺度分解的融合结果更加适合于人的视觉特性。较早的多尺度分解算法有拉普拉斯金字塔分解、对比度金字塔分解等。而基于小波变换的图像融合合算法则是图像的多尺度分解融合算法最为经典的一种。相对于金字塔分解，小波变换具有小波表达式可提供方向信息、不同分辨率包含的信息唯一以及重构过程稳定等优良特性。

（1）基于小波变换的图像融合方法

对参加融合的各源图像分别进行图像的小波分解，形成其多尺度分解图像；然后在各小波分解图像的相应分解层上，根据选取的融合规则分别进行处理，形成融合后的小波多尺度图像；最后，进行小波反变换重构融合后的图像。

（2）基于小波变换的图像融合过程

这里以两幅图像:多光谱低分辨率图像A（TM）和全色高分辨率图像B（SPOT）两个二维图像为例，基于小波多尺度分解变换的图像融合方法如图2 所示，对于多幅图像的融合方法可以依此类推。其中，对于一幅图像，其二维小波分解其实就是对图像的行、列分别进行一维小波分解。分解后可形成低频分量、垂直方向高频分量、水平方向高频分量和对角线方向高频分量四部分，它们的大小均为源图像大小的四分之一。多层小波分解即对低频子图像重复分解，图像经小波分解后其频率特性得到了有效分离，低频部分反映的是图像的整体视觉信息，各高频成份反映的是图像的细节特征。

图2 基于小波变换的图像融合过程

其中，F为融合后的图像，WT指小波变换，IWT为小波逆变换，其融合的基本步骤简单描述如下:

①以SPOT图像为参考对象进行几何配准；

②对每幅原图像分别进行小波变换，建立各图像的小波塔形分解，获得各自高频、低频系数；

③按照一定的融合规则对各分解层的系数分别进行融合，最终得到融合后的小波金字塔；

④对经过融合规则处理后所得到的各波段的小波金字塔进行小波逆变换（IWT），再合成所得的图像即为融合图像。

由此可见，小波变换的目的是将原始图像分别分解到一系列频率通道中，利用其分解后的塔形结构，对不同分解层、不同频带分别进行融合处理，可有效地将原来不同图像的特征与细节融合在一起。

4 无人机多源侦察图像融合质量评价

4.1 质量综合评价方法

融合图像质量评价［10～12］是评价无人机侦察图像融合算法性能的关键。当前，图像融合效果的评价方法主要可以分为两类，即主观评价方法和客观评价方法。

在多源图像融合中，通过主观评价可以快捷地判断融合图像是否存在重影、边缘信息是否有损失、纹理和色彩是否丰富等。在实际应用中主观评价方法具有简单直观的特点，然而在人为评价融合质量的过程中，会受所处环境、心理、关注点的不同等多种主观因素影响评价效果。人工主观评价更多的是为了说明图像融合工作的意义，即图像融台对于实际工程是有意义的，是图像融合工作正确性的一个辅助性验证，而非融合本身的质量比较。图像融合有助于提高人对图像中目标的检测、识别和感知能力。同样，应用融合方法比不使用融合能够更好地提高观察者识别性能。客观评价指标反映了融合图像本身的绝对质量，往往无法反映人的视觉特性，造成评价结果与主观视觉不一致。

图3 无人机多源侦察图像融合质量综合评价方法

目前国际上有较为公认的定义:图像融合评估的结果应该与人的主观判定相一致。该思路主要是借鉴图像质量专家工作组（Video Quality Expert Group，VQEG）对于图像质量的评估思路:通过运用统计指标比较客观评估结果和主观评估结果的一致性来实现对图像融合评估函数的性能测定。由于VQEG 思想具有较大的公正性，本文吸取该思想，将其用于无人机侦察图像融合评估环节，采用的融合质量综合评价方法如图3 所示，客观算法评价和主观感官评价相结合进行综合评价，即对融合图像质量在主观目视评价基础上，进行客观算法评价。

4.2 客观评价指标

客观评价指标包括基于无人机融合图像自身特性的评价指标（如信息熵、标准差、平均梯度等）、基于无人机融合图像与标准参考图像间关系的评价指标（如信噪比、交叉熵等），以及基于无人机融合图像与源图像间关系的评价指标（如联合熵、偏差指数等）。客观评价指标中信息熵代表图像所含信息量:平均梯度、标准差代表图像清晰度。

1）信息熵

设一幅图像的像素灰度分布为P={P(0),P(1),...,P(L-1)}，其中L 为图像总的灰度级数，P(i)为灰度值为i 的像素数与图像的总像素数之比，i ∈[0,L-1]且有成立。则图像信息熵定义为

信息熵从整体上表示了信息源的总体特性，值越大图像中包含的信息量就越大，信息越丰富，融合效果会越好。

2）灰度标准差

图像的灰度标准差定义为

其中L 为图像总的灰度级数，P(i)为灰度值为i 的像素数与图像的总像素数之比。

灰度标准差反映灰度相对平均灰度的离散情况，值越大图像中灰度分布越散，体现在视觉效果也越佳。

3）联合峰值信噪比

融合图像的联合峰值信噪比定义为

其中:fA(x,y),fB(x,y),fF(x,y)分别表示融合前、后图像在中心点(x,y)处的像素值，M,N 分别表示图像行向和列向分辨率。联合峰值信噪比用来反映融合图像从源图像所获取的信息量，值越大表示融合后图像从原始图像提取的信息量越多。

5 实验结果与分析

5.1 实验结果

以一副512mm×512mm×3 多光谱低分辨率图像和一副512mm×512mm×3 全色高分辨率图像为源图像，分别采用加权平均法、绝对值最大法、基于小波变换的无人机多源侦察图像融合算法进行图像融合实验，并对融合图像性能运用信息熵、灰度标准差和联合峰值信噪比进行评价，其定性计算结果如表1所示。

表1 无人机多源侦察图像融合算法的比较

5.2 结果分析

由表1 可以看出，基于小波变换的无人机侦察图像融合算法的信息熵和联合峰值信噪比较其他方法要高，携带信息量也较多；灰度标准差也高，融合图像的视觉效果也较好，它充分利用了多光谱低分辨率图像和全色高分辨率图像的互补信息特征，同时提高了图像质量，该方法是一种较好的图像融合方法。

6 结语

针对无人机多源侦察图像融合急需的解决方法和质量评价问题，本文重点研究了基于小波变换的无人机侦察图像融合算法，并给出了一种无人机侦察图像融合质量综合评价方法。通过仿真实验，运用客观评价指标（包括信息熵、灰度标准差、联合峰值信噪比等）验证了该质量综合评价方法是可行的；同时对试验结果进行分析，得出基于小波变换的无人机侦察图像融合算法优于传统融合方法，是一种可应用于实际的无人机多源侦察图像融合方法。