基于非下采样剪切波变换与显著信息加权的图像融合算法

韩 阳，杨 华

(山西农业大学信息科学与工程学院，太谷 030801)

图像融合技术是一项贴近生活的实用技术，被应用到了多个生活领域[1-3]。正由于图像融合技术给人们的生活带来了帮助，人们对其的研究也越显重要。

目前图像融合技术多种多样，如Wang等[4]通过非下采样剪切波变换(nonsubsampled Shearlet transform,NSST)获取图像的不同系数，并在此基础上计算图像的能量特征，获取融合结果。由于利用融合梯度计算图像能量的方法，忽略了图像的显著信息，易使得融合结果含有间断现象。Singh等[5]采用NSST机制来获取图像的高、低频系数后，再将基于局部可见性的自适应神经网络模型和基于log-Gabor能量的规则分别应用于低、高频系数的融合。由于log-Gabor能量的规则没有考虑图像的显著信息，使得融合图像中存在吉布斯效应。刘明君等[6]提取了图像的边缘等特征后，采用基于奇异值分解和压缩感知分别获取融合低频和高频子带。由于奇异值分解方法的平移特性较弱，使得分解所得系数易丢失原始信息，导致融合图像含有间断效应的出现。Samet等[7]基于平稳小波变换对图像进行分解，并设计了一种基于sobel算子的梯度融合规则，利用图像的梯度幅值，计算了图像中像素重要度的权重系数，并利用这些权重系数生成融合子带。由于小波变换不能满足多方向性的需求，对源图像信息保真度较低，易使得融合图像出现块现象。

为了降低吉布斯效应及间断效应，现采用NSST变换来分解输入图像，获取图像的不同的频域系数。在低频系数融合的过程中，引入信息熵来求取图像含有的信息丰富度。同时，采用高斯滤波器来构造显著度量模型，获取图像的显著信息，将其与图像含有的信息丰富度相联合，融合低频系数。并以像素点间的像素值为依据，完成高频系数的融合，测试本文算法的融合特性。

1 图像融合算法设计

本文算法的过程如图1所示。从图1可知，本文算法主要通过图像分解和系数融合两部分来完成图像的融合，各部分的主要过程为如下。

图1 图像融合算法的过程

(1)图像分解。图像分解是为了从源图像中获取不同的低频与高频系数，为后续的系数融合做准备。采用平移特性较好的NSST变换，对源图像进行分解，以获取其不同的图像系数。

(2)系数融合。在对不同图像系数融合的过程中，采用了信息熵模型，获取了图像拥有的信息丰富度。采用高斯滤波器构造了显著度量模型，获取了图像拥有的显著信息。利用图像拥有的信息丰富度和显著信息，完成低频内容的融合。以使得融合低频系数中既能拥有源图的主要信息丰富度，还能包含源图的显著信息，提高融合图像的视觉效果。还通过像素点的邻点像素值构造了高频系数融合函数，以充分测量图像的细节信息，实现高频内容的融合。将融合的不同系数通过逆NSST变换，获取最终的融合图像。

1.1 图像分解

当下较为主流的图像分解方法包括Curvelet变换、Contourlet变换以及NSST变换等[8]。在这些变换中，NSST变换以其良好的平移不变特性以及稀疏表达特性等优点，得到了广泛的应用[9]。

NSST变换的基础是Shearlet变换。Shearlet变换依靠计算仿射系统而得到。在2×2的矩阵A与B下，仿射系统的模型[10]为

FS={θq,w,e(x)=|det(A)|1/2θ(BwAqx-e),q,w∈Z,e∈Z2}

(1)

式(1)中：q、w、e分别为尺度、方向以及平移量；θ∈L2(R2)为二维仿射系统下的元素；L2(R2)为FS变换结果的集合；FS代表仿射变换；Z为整数集；det(A)为求取矩阵A行列式的值。

当式(2)成立时，FS即为合成小波。

(2)

式(2)中:U∈L2(R2)为二维仿射系统下的元素；∑为求和运算；|| ||为求范数运算。

在FS为合成小波状态下，将A与B指定为式(3)时，FS即为Shearlet变换。

(3)

(4)

获取到Shearlet变换后，在笛卡尔坐标中，对Shearlet变换进行非下采样处理，以获取Shearlet滤波器(Shearlet filter,SF)，对图像进行方向分解[11]。采用非下采样金字塔(nonsubsampled pyramid,NSP)，对图像进行多尺度分解[12]。由NSP和SF便构成了NSST变换。

以图2(a)和图2(b)所示的图像为源目标数据，通过NSST变换分解后，形成的频域系数分别如图2(c)和图2(d)所示。由图2发现，其低频系数囊括了源目标的绝大部分能量和信息；而高频内容则可很好地反映细节信息。

图2 基于NSST的图像分解

1.2 系数融合

源图像拥有的信息丰富度主要通过其低频系数来体现。信息熵模型通过利用像素点的灰度级特征，能够较好地测量图像拥有的信息丰富度。因此，借助信息熵模型，用于融合低频系数。同时为了更好地兼顾图像的显著信息，还利用高斯滤波器构造了显著度量模型，以获取不同图像的显著信息，并将其融入低频系数融合时的加权系数中。

在灰度级总数为J的图像I(x,y)中，其对应的信息熵XS[13]为

(5)

式(5)中：Ha为灰度级为a像素点存在的几率。

I(x,y)的幅值谱FZ(I)和相位谱XW(I)[14]为

(6)

(7)

式中：FT为傅里叶变换(fourier transform, FT)，Re(·)和Im(·)分别为取实部运算和取虚部运算。

在FZ(I)的基础上，计算其对数谱LFZ(I)，公式为

LFZ(I)=lgFZ(I)

(8)

I(x,y)的谱残差C(I)可利用LFZ(I)而得到，即

C(I)=LFZ(I)-JZ(I)LFZ(I)

(9)

式(9)中：JZ(I)为均值滤波器结果。

在C(I)的基础上，利用高斯滤波器GS(x)，构造显著度量模型XZ(I)为

XZ(I)=GS(x)FT-1{exp[C(I)+XW(I)]}2

(10)

式(10)中：FT-1为傅里叶反变换。

通过式(5)对不同低频系数Di与Dj拥有的信息丰富度进行测量，求取其对应的信息熵值XSDi和XSDj。通过式(10)求取Di与Dj的显著信息XZDi和XZDj。利用不同低频系数拥有的信息丰富度和显著信息作为低频系数融合过程的加权因子，求取融合低频系数Dij，即

(11)

式(11)中：Di、Dj分别代表第i个、第j个低频系数；XSDi、XSDj分别为Di、Dj的信息熵值；XZDi、XZDj分别为Di、Dj的显著信息。

源图像拥有的细节信息主要通过其高频系数来体现。通过利用像素点三邻点的像素值，来构造细节特征测量函数，融合高频系数。

令像素点p及其三邻点p′、p″和p‴的像素值分别为p(x,y)、p(x-1,y)、p(x,y-1)、p(x-1,y-1)。利用像素点p及其三邻点的像素值构造细节特征测量函数XJ为

(12)

式(12)中：R、C、T、G分别为p的行、列、对角测量因子，其表达式[15]分别为

(13)

(14)

T=

(15)

G=

(16)

式中：M、N为图像的尺寸。

通过式(12)计算不同高频系数Ei与Ej的细节特征值XJEi与XJEj，并利用其构造高频系数融合函数，计算融合高频系数Eij为

(17)

式(17)中：Ei、Ej分别为第i个、第j个高频系数；XJEi、XJEj分别为Ei、Ej的细节特征值。

最后，Dij与Eij进行逆NSST变换，以得到融合图像。

采用上述过程，对图2(a)与图2(b)进行融合，其结果如图3所示。由图3可见，融合图像具有较好的质量。

图3 融合结果

2 实验结果

在MATLAB7.10软件上搭建实验环境，并在AMDRyzen5 3600处理器、8 GB内存的acer计算机上运行该实验环境，以完成对本文算法融合性能的测试。测试过程中选取了文献[16]和文献[17]算法作为对照组。实验过程中的图像尺寸为512×512 像素。

不同算法对杯子图像的融合结果如图4所示。通过观察图4中各算法的融合结果可以发现，图4(c)中杯子蓝色底部具有间断现象，杯盖红色边缘处具有块效应。图4(d)中杯子上部蓝色与白色交界处存在一处吉布斯效应现象，杯盖处存在一处模糊现象。图4(e)中仅杯身边缘存在一处轻微模糊现象。各算法对花朵图像的融合结果如图5所示。对比图5各融合结果发现，图5(c)中含有间断效应和吉布斯效应，图5(d)中含有间断效应和块效应，图5(e)中仅含有一处轻微的块效应。图6为仪表盘图像的融合结果，图6(c)中含有间断效应和振铃效应，图6(d)中含有模糊效应和块效应，图6(e)中仅含有一处轻微的模糊效应。由此可见，本文算法融合图像具有较好的完整性，不存在间断效应，融合图像具有较佳的视觉效果。因为本文算法采用了平移不变特性与稀疏表征特性都较好的NSST变换，对图像分解求取不同图像系数，促使了分解所得图像系数较完整地保留了源图信息。同时本文算法还利用了图像拥有的信息丰富度和显著信息融合了低频系数，促使了融合低频系数能够较好地拥有源图信息丰富度的同时，还较好地突出了源图的显著信息，从而提高了融合图像的质量。

图4 不同算法对“杯子”图像的融合结果

图5 不同算法对“花朵”图像的融合结果

图6 不同算法对“仪表盘”图像的融合结果

为了更进一步测试本文算法的有效性，将在图7所示的场景中，利用SonyILCE-6400L型相机获取10组不同的测试图像。实验中将通过平均梯度(mean gradient, MG)和通用图像质量指数(Universal image quality index, UIQI)来对各算法融合图像的质量进行测量，以分析各算法的融合特性。

图7 测试场景

MG通过对图像的细节信息进行度量，反映出了图像的清晰度，当图像清晰度越大时，MG也将越大。MG的计算式[18]为

(18)

式(18)中：H为MG值；M和N为图像I的尺寸；ΔIx、ΔIy为I在x、y方向上的一阶差分。

(19)

式(19)中：U为UIQI的值;φFS为F与S的协方差。

各算法融合图像的H值与U值如图8所示。从图8可知，本文算法融合图像的H值与U值比对照组算法的都大。以第5组图像为例，本文算法融合图像的H值与U值分别为5.55和0.953，文献[16]算法融合图像的H值与U值分别为4.71和0.925，文献[17]算法融合图像的H值与U值分别为5.04和0.934。说明本文算法融合的图像能够较好地保留源图信息，具有较好的质量，本文算法的融合特性较好。因为本文算法利用信息熵模型和显著度量模型求取了源图拥有的信息丰富度和显著信息，并将其用于低频系数的融合，使得融合低频系数即拥有源图的信息丰富度，也能够较好地表达源图的显著内容。同时本文算法还通过细节特征测量函数，测量了图像的行、列以及对角上的细节内容，并将其用于高频系数的融合，使得融合高频系数能够更好地描绘源图细节信息。从而提高了算法的融合特性。文献[16]算法中采用多尺度变换的方法分解图像，采用基于能量的稀疏表示方法和取大法分别融合低、高频系数。由于基于能量的稀疏表示方法没考虑图像的显著信息，而且绝对值取大易丢失图像细节信息，从而使得文献[16]算法融合特性不佳。文献[17]算法中通过小波变换分解图像，采用空间频率和相关系数方法分别融合低、高频系数。由于空间频率方法不能较好地测量图像拥有的信息丰富度，而且小波变换方法的方向特性较差，从而使得文献[17]算法的融合特性有所下降。

图8 各算法融合图像的H值与U值

3 结论

提出了一种NSST耦合显著信息加权的图像融合算法。该算法利用信息熵模型与显著度量模型获取了图像拥有的信息丰富度以及显著信息，并将其用于低频系数的融合过程，使得融合结果在拥有源图信息丰富度的同时，也拥有源图显著特征。使得融合图像更具优良视觉效果。该算法还利用像素点三邻点的像素值，构造了细节特征测量函数，将图像的细节特征用于高频系数的融合过程，使得融合图像更具细节表述能力。使得融合图像的质量得以提高。实验结果表明，本文算法融合的图像MG值和UIQI值都较高，具有优良的融合特性。