基于松鼠搜索算法与IHS变换的遥感图像融合

阮理念 董燕

摘 要：图像融合的目标是将低空间分辨率的多光谱（multispectral，MS）图像与高分辨率的全色（panchromatic，PAN）图像进行融合，得到具有高光谱和空间分辨率的图像。针对基于强度-色调-饱和度（intensity-hue-saturation，IHS）变换的融合后图像会出现光谱扭曲的问题，提出了一种结合改进的松鼠搜索算法和IHS变换的图像融合方法。首先，通过考虑融合后图像与原全色和多光谱图像之间的关系建立光谱保真和空间保真项，并引入边缘信息保持项，建立了优化目标。其次，为了克服松鼠搜索算法（squirrel search algorithm，SSA）的探索能力不足、可能导致过早收敛于局部最优的缺点，引入了自适应的捕食者存在概率策略和根据个体间距离自适应调整搜索步长的策略来平衡算法的探索和利用能力，并且引入了高斯算子和柯西算子来提高算法的局部搜索能力。最后，根据优化的控制参数，通过参数化自适应IHS变换重建目标图像。将该方法在QuickBird和IKONOS数据集上进行对比实验，结果表明方法是实用的，在保留空间信息的同时能减少光谱失真。

关键词：图像融合;松鼠搜索算法;IHS变换;自适应步长

中图分类号：TP391.4

文献标志码：A

随着遥感技术快速发展，人们获取了大量的遥感图像，其被广泛应用于城市规划和灾害监测等方面。为了得到信息更加丰富的图像，常采用融合技术对多光谱（multispectral，MS）和全色（panchromatic，PAN）图像进行融合。图像融合作为遥感图像预处理的重要环节，为后续的分类和变化检测等提供了重要数据保障[1]。图像融合可分为像素级、特征级和决策级3个层次。由于像素级图像融合最大程度地保留了原始信息，融合效果较好，一直是研究的热点。像素级融合方法包括IHS（intensity-hue-saturation，强度-色调-饱和度）变换[2-3]、PCA（principal component analysis，主成分分析）变换[4-5]和小波变换[6-7]等。

文中针对IHS变换的光谱失真现象进行研究，根据文献[8]提出的空间保真和光谱保真项，并结合边缘信息保持策略建立优化目标，采用一种群体智能优化算法——改进的松鼠搜索算法（improved squirrel search algorithm，ISSA）求解控制参数，经过IHS逆变换后得到融合图像，旨在使融合后的图像在保留原始空间信息的同时，最大程度地减少光谱失真。

1 IHS模型改进

1.1 IHS模型

传统的基于IHS变换的图像融合方法因其简单高效的特点被广泛应用到遥感软件中[9]，其步骤为[10]：首先，对全色影像和多光谱图像进行几何校正，并对多光谱影像重采样，使其宽高与全色影像一致;其次，选择多光谱图像的红、绿、蓝波段进行IHS正变换，得到I0、H、S 3个分量;再次，采用融合规则将全色图像与I0融合，得到新的亮度分量Inew;最后，用Inew替换I0，再进行IHS逆变换得到融合后的图像。

全色图像和I0的融合规则常采用直接替换法和直方图匹配法。直接替换法就是将全色图像作为Inew;直方图匹配法就是将全色图像和I0的直方图匹配结果作为Inew。

1.2 改进的IHS模型设置

传统的基于IHS变换的融合图像存在一定的光谱失真，RAHMANI等[11]提出了AIHS（adaptive intensity-hue-saturation，自適应IHS）方法对IHS变换进行改进，主要包括以下改进策略：

1）提高空间策略

根据IHS变换，可以在多光谱和亮度分量I之间建立线性关系：

I=∑nαnMn（1）

其中：M为待融合的多光谱图像，n为多光谱波段数。同时，认为全色影像PAN能近似替代I，并结合公式（1）可建立线性关系：

P≈∑nαnMn （2）

其中，P为全色图像。为了求解α，建立了如下函数：

minG（α）=∑i，j（∑nαnMn（i，j）-P（i，j））2+λ∑n（max（0，-αn））2（3）

式（3）等号右边第二项为α的非负约束。在融合之前，对全色图像进行直方图匹配，保证全色图像和多光谱图像的均值和标准差在同一范围内。

Pnew=μ1+σIσP（P-μP）（4）

2）提高光谱策略

在IHS变换中，融合后的图像会丢失边缘和纹理信息。为避免这个问题，可以从全色影像中提取边缘和纹理信息，再和多光谱影像进行IHS融合。

Fn（x，y）=Mn（x，y）+h（x，y）（Pnew（x，y）-I（x，y））（5）

h（x，y）=exp-λPnew（x，y）4+ε（6）

其中：F（x，y）表示融合后图像，h（x，y）为边缘检测函数，λ=10-9，ε=10-10，Pnew（x，y）是经过直方图匹配后的全色图像在（x，y）处的梯度。

1.3 边缘信息保持

为了保持边缘信息，LEUNG等[12]提出利用全色图像和多光谱图像各通道的边缘检测矩阵的加权和作为融合图像的检测矩阵，再按各个通道间的比例提取信息。其公式如下：

h（x，y）=Mi1N∑Ni=1Mi（βiWPnew+（1-βi）WMi）（7）

其中：βi由公式（8）求解;WMi和WPnew分别表示多光谱和全色图像的边缘检测矩阵。可由公式（6）计算。

min‖WPnew-∑Ni=1βiWMi‖2

βi≥0，i=1，2，…，N （8）

本文中采用多光谱图像的亮度分量的边缘检测矩阵WI替换WM，则β和h（x，y）由下式求解：

min‖WP-β0WI‖2

β≥0，i=1，2，…，N （9）

β=β01+β0（10）

hi（x，y）=Mi1N∑Ni=1Mi（βWI+（1-β）WPnew）（11）

最后，可得到融合后图像F：

Fi=Mi+hi×（Pnew-I）（12）

1.4 本文的模型设置

融合图像是由全色图像和多光谱图像互补合成，其空间信息来自全色图像，光谱信息来自多光谱图像，据此可以提出两种假设：1）全色图像是融合图像各波段的线性组合;2）多光谱图像是融合图像经过低通滤波再下采样后的图像[8]。基于这两个假设提出了一种优化目标，通过对目标进行优化，得到最优控制参数，利用具有最优控制参数的自适应模型重构出融合图像。两个假设的数学表达如下：

P≈∑nαnFn（13）

Mn（x，y）≈∑i，jK（i，j）Fn（x-i，y-j）（14）

其中，K是3×3的低通滤波模型。结合两个假设和公式（8），建立的目标函数如下：

minH（α，θ，β，K）

=∑x，yPnew（x，y）-∑nθnFn（x，y）p+

1N∑nMn（x，j）-∑i，jKn（i，j）Fn（x-i，y-j）p+

‖WPnew-βWI‖2

s.t. β≥0

0≤αn≤1，n=1，2，…，N

0≤θn≤1，n=1，2，…，N

∑i，jK（i，j）=1，0≤K（i，j）≤1，i，j=1，2，3（15）

2 改进的松鼠搜索算法

2.1 松鼠搜索算法

JAIN等[13]于2018年提出的一种模仿松鼠动态觅食行为和有效运动方式的群体智能优化算法，即松鼠搜索算法（squirrel search algorithm，SSA）。松鼠是一类栖息在树上的啮齿目动物，其主要靠滑行进行移动。松鼠滑翔被认为是最复杂的空气动力形式，也是最节能的[14]。它的动态觅食行为也使食物资源得到最有效的利用[15]。在SSA中，有4个必要的假设：

1）在森林中，有n只松鼠和n棵树，1棵树上有1只松鼠。

2）这n棵树包括1棵山核桃树和NS（1<NS<n）棵橡子树，其余是普通树。

3）森林里只有3种树木。山核桃树有最好的食物（山核桃），橡子树有较一般的食物来源（橡子），而普通的树没有食物。

4）每只松鼠都单独寻找食物，并通过动态的觅食行为来寻找可利用的食物资源。

2.1.1 种群初始化

在算法中每个松鼠依据下面的公式进行初始化：

Si=SL+rand（1，d）×（SU-SL）（16）

其中：Si表示第i个个体的适应度值，SL和SU分别表示搜索空间的下界和上界，rand（1，d）表示大小为1×d的范围为0到1的随机数矩阵，d为解的维度。

2.1.2 对个体进行分类

每个松鼠位置的优劣由适应度值评价。每个松鼠的位置被输入适应度函数f，计算每个松鼠当前的适应度值：f（Si）=f（Si，1，Si，2，…，Si，d），i=1，2，…，n，适应度值越小代表食物质量越高。之后，对种群个体依据适应度值从小到大排序，将排序第1位的个体代表山核桃树上的松鼠（Sh），排序第2到NS+1位的个体代表位于橡子树上的松鼠（Sa），其余的代表位于普通树上的松鼠（Sn）。

2.1.3 更新个体位置

在SSA算法中，个体更新位置的方式是模拟松鼠滑行运动。位于普通树上的松鼠可能有一部分会朝山核桃树移动，另一部分朝橡子树移动;位于橡子树的松鼠会朝着山核桃树移动。在这些情况下，可以得到松鼠更新个体位置的公式：

St+1nh=Stn+dgGc（Sth-Stn），R≥Pdprandom location，otherwise （17）

St+1na=Stn+dgGc（Sta-Stn），R≥Pdprandom location，otherwise （18）

St+1ah=Sta+dgGc（Sth-Sta），R≥Pdprandom location，otherwise （19）

其中：t为迭代次数，R为0到1之间的随机数，Pdp为捕食者存在的概率。如果R≥Pdp，松鼠不会被捕食;否则松鼠处于危险中，必须要在周围寻找藏匿地点。Gc是松鼠滑行常量，在原文中Gc=1.9。dg代表滑行距离，计算公式为

dg=8tan （20）

其中，表示滑行角度，计算公式如下：

tan =DL（21）

D是牵引力，L为升力，可按下式计算：

D=12ρv2scD（22）

L=12ρv2scL（23）

其中：ρ为空气密度，ρ=1.204 kg/m3;v=5.25 m/s，表示松鼠滑行速度;s=154 cm2，表示松鼠身体表面积;cD、cL表示牵引力和升力的摩擦阻力系数，cD=0.6，cL∈（0.675，1.5）。

2.1.4 季节变换

在SSA算法中，模拟季节变化对种群内个体进行检测，有助于算法跳出局部最优。在每次迭代开始时，算法要求种群处于冬季状态，这意味着每个个体按照2.1.3节更新后，季节开始转换，季节的变化由下面两个公式决定。

Stc=∑dk=1（Sth，k-Stj，k）2

j=1，2，…，Nfs（24）

Sc，min=10-5365t/（T/2.5）（25）

其中：T为最大迭代次數，t为当前迭代次数。当Stc<Sc，min时，季节发生变化，由冬季转换为夏季。当季节变换时，滑行到山核桃树的松鼠保留最新的位置;滑行到橡子树的没有被捕食危险的松鼠按照下面的公式转移位置。

Snewi=SL+Levy（n）×（SU-SL）（26）

Levy（x）=0.01×ra×σrb1/β（27）

ra、rb为[0，1]之间的随机数，β=0.5，σ可以用下面的公式计算：

σ=Γ（1+β）×sinπβ2Γ1+β2×β×2（β-1）/21β（28）

其中：Γ（x）为Gamma函数，Γ（x）=∫+∞0e-ttx-1dt。

2.2 改进方法

在本节中，引入自适应步长策略[16]、适应性捕食者概率[17]、高斯算子和柯西算子来改善SSA。采用自适应步长策略和适应性捕食者概率来更新位置，平衡个体的探索能力。在此基础上，引入高斯算子和柯西算子，增加种群的多样性。

2.2.1 自适应步长策略

在原算法中，需要对Gc不断调整来得到相应的探索能力。Gc越大，探索能力越强，却不利于解决各种复杂的优化问题。因此，引入了一种自适应步长策略，能较有效地解决这个问题。

rha=2logsig（ωha）-1（29）

rhn=2logsig（ωhn）-1（30）

ran=2logsig（ωan）-1（31）

其中，ω为个体间的欧式距离，可由下式计算：

ωha=∑di=1（Sh，i-Sa，i）2（32）

ωhn=∑di=1（Sh，i-Sn，i）2（33）

ωan=∑di=1（Sa，i-Sn，i）2（34）

在这里，d是优化问题解的维度。

2.2.2 适应性捕食者存在概率

在算法迭代刚开始时，种群内松鼠分布较为分散，不能有效防止捕食者的捕食。随着迭代进入后期，种群内松鼠离最优位置越来越近，分布也越来越集中，更能减小被捕食的概率[18-20]。因此，引入适应性捕食者存在概率，其计算公式如下：

Pdp=（Pdp，max-Pdp，min）×1-tT10+Pdp，min（35）

其中，Pdp，max、Pdp，min分别表示捕食者出现的最大、最小概率。

2.2.3 两种算子

当捕食者出现时，待在原位置的松鼠有被捕捉的危险，需要立即找寻最近的藏身地点。在本文中，引入高斯算子和柯西算子来产生新位置。通过分析，柯西算子步长较大，探索能力较强，对于具有较小适应度值的位于橡树上的个体采用柯西算子更新位置，能引导种群跳出局部最优;高斯算子步长较小，探索能力相对较弱，位于普通树上的个体采用高斯算子更新位置。结合自适应步长策略可得个体更新位置的公式：

St+1na=Stn+dgGc（Sta-Stn）×rtan，R≥Pdp

Stn+C×logsigT-2tT9，other （36）

St+1nh=Stn+dgGc（Sth-Stn）×rthn，R≥Pdp

Stn+C×logsigT-2tT9，other （37）

St+1ah=Sta+dgGc（Sth-Sta）×rtha，R≥Pdp

Sta+G×logsigT-2tT9，other （38）

其中：G和C分別表示服从高斯和柯西分布的随机数，两种分布的概率密度函数如图1所示;T为最大迭代次数，t为当前迭代次数，y=logsig（x）的图像如图2。改进的松鼠搜索算法伪代码如表1所示。

3 实验对比与分析

一共选择了25组QuickBird和IKONOS遥感影像进行实验，两种图像都包含红、绿、蓝波段和近红外波段，经过预处理之后，多光谱和全色图像大小一致，均为512×512像素。分别对两种图像进行基于AIHS、PCA变换和本文方法的融合，并从定性和定量两个方面对融合性能进行分析。本文算法相关参数设置如下：种群大小为100;最大迭代次数为2 000;Pdp，max=0.6、Pdp，min=0.3;对于公式（15）中的·p，选取p=0.5、1、2分别进行实验。

3.1 融合质量评价方法

主观评价法是一种简单、快速的评价方法，评价人能快速地对融合质量的优劣进行判断。本文中选择从颜色特征和轮廓特征两个方面对融合质量进行评价。然而，主观评价方法具有一定的片面性，所以再选择常用的无参考图的融合质量评价指标QNR[21]对融合效果进行评价，其公式为

QNR=（1-Dλ）×（1-Ds）（39）

Ds=1N∑Ni=1Q（Mi，PL）-Q（Fi，P）2（40）

Dλ=∑Ni=1∑Nj=1Q（Mi，Mj）-Q（Fi，Fj）2N（N-1）（41）

其中：QNR为联合光谱和空间质量指数;Ds为空间扭曲指数;Dλ为光谱扭曲指数;M、P和F分别表示多光谱图像、全色图像和融合后图像;PL表示低空间分辨率的全色图像;Q（·）表示计算UIQI[22]的函数，公式为

Q（X，Y）=σXY σX σY  · 2XYX2 + Y2 · 2σX σY σ2X  + σ2Y （42）

在这里，σX、σY分别表示X、Y的标准差，σXY表示X与Y的协方差，X、Y分别代表X、Y的均值。

Ds和Dλ越小，QNR越大，融合质量越好。Ds和Dλ最优值为0，QNR最优值为1。

3.2 主观及客观分析

3.2.1 主观对比分析

对结果进行直观的比较，MS图像、PAN图像以及融合后的图像分别如图3和图4所示。这些方法都可以有效地融合PAN和MS图像，但融合效果存在差异。可以看出，本文方法比其他算法获得了更好的空间信息，PCA和AIHS方法存在光谱失真。在图3和图4中：（c）光谱信息丰富，但光谱分辨率较低;（d）空间信息保持较好，但存在光谱失真;（e）边缘信息丢失严重，图像较模糊;（f）比（e）更清晰，空间分辨率有所提高，但仍然存在模糊现象;（g）空间信息和光谱信息保持较好，视觉相对平滑。

3.2.2 客觀对比分析

各种方法的QNR值如表2和表3所示。首先，从空间扭曲指数Ds和光谱扭曲指数Dλ两项来看，本文中所采用方法的空间畸变和光谱畸变值都较小，表明空间细节和光谱保持较好。AIHS方法性能不佳，它的一个主要缺点是光谱失真。以将边缘从PAN图像转移到融合图像为目标，AIHS方法中的加权矩阵，是PAN图像边缘的函数。由于在PAN图像中出现的边缘可能不会出现在每个MS波段中[12]，因此不适合在不同波段中注入相同数量的细节。本文中采用的模型由于考虑了融合后图像与原始多光谱图像的光谱一致性，以及波段间比例一致性，从而减小了融合后图像的光谱失真，融合效果较好。然后，整体考虑空间和光谱畸变，从QNR指标来看，对于两组图像，文中所采用的方法QNR值最大，表明空间信息和光谱信息保持最好，融合效果最好。最后，观察原始的松鼠搜索算法和改进的松鼠搜索算法的收敛性，从图5可以发现，改进的松鼠搜索算法由于引进了自适应策略和两种算子，相对原始算法，收敛速度有所提高。

4 结语

通过实验对比分析可知，本文中采用的图像融合方法融合效果显著，同时改进的松鼠搜索算法相对于原始的松鼠搜索算法具有较强的收敛性和寻优能力。但是，单目标优化相对于多目标优化存在一定缺陷，在以后的研究中，将考虑建立多目标优化模型，同时将SSA算法与Pareto支配原理结合[23-25]用于控制参数的优化。

参考文献：

[1]吴磊. 基于注入模型的遥感图像整合方法研究及其应用[D]. 南昌： 江西财经大学， 2019.

[2] GHAHREMANI M， GHASSEMIAN H. Nonlinear HIS： a promising method for Pan-Sharpening[J]. IEEE Geoscience and Remote Sensing Letters， 2016， 13（11）： 1606-1610.

[3] JAMEEL A， RIAZ M M， GHAFOOR A. Guided filter and IHS-based Pan-Sharpening[J]. IEEE Sensors Journal， 2016， 16（1）： 192-194.

[4] 伊力哈木·亚尔买买提， 谢丽蓉， 孔军. 基于PCA变换与小波变换的遥感图像融合方法[J]. 红外与激光工程， 2014（7）： 2335-2340.

[5] SHAHDOOSTI H R， GHASSEMIAN H. Spatial PCA as a new method for image fusion[C]. Shiraz， Iran： the 16th CSI International Symposium on Artificial Intelligence and Signal Processing （AISP 2012）， 2012： 90-94.

[6] 李雄飞， 宋璐， 张小利. 基于协同经验小波变换的遥感图像融合[J]. 吉林大学学报（工学版）， 2019， 49（4）： 1307-1319.

[7] 王晓柱， 钮赛赛， 张凯， 等. 基于小波变换与特征提取的红外弱小目标图像融合[J]. 西北工业大学学报， 2020， 38（4）： 723-732.

[8] CHEN Y X， ZHANG G X. A Pan-Sharpening method based on evolutionary optimization and IHS transformation[J/OL]. Mathematical Problems in Engineering， 2017. https： //doi. org/10. 1155/2017/8269078.

[9] 肖化超， 周诠， 郑小松. 基于IHS变换和Curvelet变换的卫星遥感图像融合方法[J]. 华南理工大学学报（自然科学版）， 2016， 44（1）： 58-64.

[10]陈恒. 基于IHS变换的遥感影像快速融合方法研究[D]. 开封： 河南大学， 2017.

[11]RAHMANI S， STRAIT M， MERKURJEV D， et al. An adaptive IHS Pan-Sharpening method[J]. IEEE Geoscience and Remote Sensing Letters， 2010， 7（4）： 746-750.

[12]LEUNG Y， LIU J， ZHANG J. An improved adaptive Intensity-Hue-Saturation method for the fusion of remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters， 2014， 11（5）： 985-989.

[13]JAIN M， SINGH V， RANI A. A novel nature-inspired algorithm for optimization： squirrel search algorithm[J]. Swarm and Evolutionary Computation， 2019， 44： 148-175.

[14]WANG P， KONG Y， HE X， et al. An improved squirrel search algorithm for maximum likelihood DOA estimation and application for MEMS vector Hydrophone array[J]. IEEE Access， 2019， 7： 118343-118358.

[15]WANG Y， SHANG D， YUAN X. A correction method for the proportion of key components in basic HYSYS library based on an improved squirrel search algorithm[C]. Kitakyushu， Japan： 2019 12th Asian Control Conference （ASCC）， 2019： 236-241.

[16]ZHANG X， ZHAO K， WANG L， et al. An improved squirrel search algorithm with reproductive behavior[J]. IEEE Access， 2020， 8： 101118-101132.

[17]WANG F， ZHANG H， LI K S， et al. A hybrid particle swarm optimization algorithm using adaptive learning strategy[J]. Information Sciences， 2018， 436-437： 162-177.

[18]ZHENG T Y， LUO W L. An improved squirrel search algorithm for optimization[J]. Complexity， 2019， 2019： 1-31. DOI： 10. 1155/2019/6291968.

[19]XIE H， SUI X B， ZHOU S H， et al. Squirrel search algorithm optimization for imaging through scattering media using gradient structural similarity[J]. Optical Engineering， 2020， 59（12）. DOI： 10. 1117/1. OE. 59. 12. 125105.

[20]WANG Y， DU T. An improved squirrel search algorithm for global function optimization[J]. Algorithms， 2019， 12（4）： 80.

[21]ALPARONE L， ALIAZZ B， BARONTI S， et al. Multis-pectral and panchromatic data fusion assessment without reference[J]. Photogrammetric Engineering & Remote Sensing， 2008， 74（2）： 193-200.

[22]ZHOU W， BOVIK A C. A universal image quality index[J]. IEEE Signal Processing Letters， 2002， 9（3）： 81-84.

[23]SANAJ M S， JOE PRATHAP P M. Nature inspired chaotic squirrel search algorithm （CSSA） for multi objective task scheduling in an IAAS cloud computing atmosphere[J]. Engineering Science and Technology， 2020， 23（4）： 891-902.

[24]SAKTHIVEL V P， SUMAN M， SATHYA P D. Combined economic and emission power dispatch problems through multi-objective squirrel search algorithm[J]. Applied Soft Computing， 2020， 100. DOI： 10. 1016/J. ASOC. 2020. 106950.

[25]SAKTHIVEL V P， GOH H H， SRIKRISHNA S， et al. Multi-objective squirrel search algorithm for multi-area economic environmental dispatch with multiple fuels and valve point effects[J]. IEEE Access， 2021， 9： 3988-4007.

（責任编辑：曾 晶）

Remote Sensing Image Fusion Based on Squirrel Search

Algorithm and IHS Transform

RUAN Linian， DONG Yan*

（Faculty of Land and Resources Engineering， Kunming University of Science and Technology， Kunming 650032， China）

Abstract：

The goal of image fusion is to fuse low spatial resolution multispectral image with high spatial resolution panchromatic image to obtain hyperspectral and spatial resolution image. Aiming at the problem of spectral distortion in fusion images based on intension-hue-saturation （IHS） transform， an image fusion method combining improved squirrel search algorithm and IHS transform was proposed. Firstly， the spectral and spatial fidelity terms were established by considering the relationship between the fused image and the original panchromatic and multispectral image， and the edge information retention term was introduced to establish the optimization objective. Secondly， in order to overcome the shortcomings of squirrel search algorithm （SSA）， which may lead to premature convergence to local optimal， adaptive predator probability strategy and adaptive adjustment of search step size according to the distance between individuals were introduced to balance the algorithm's exploration and utilization ability. Gaussian operator and Cauchy operator were introduced to improve the local search ability of the algorithm. Finally， according to the optimized control parameters， the target image was reconstructed by parameterized adaptive IHS transform. The proposed method is compared with QuickBird and IKONOS data sets， and the results show that the proposed method is practical and can reduce spectral distortion while preserving spatial information.

Key words：

image fusion; squirrel search algorithm; IHS transform; adaptive step size

2409500520368