基于卷积稀疏表示的图像融合方法

曹义亲，杨世超

（华东交通大学软件学院， 南昌 330013）

0 引言

随着传感器技术不断地发展和完善，单传感器所获得的信息已经不能满足人们的需求，需要通过对多个传感器信息进行融合来获得更丰富的信息。图像是一种媒介，包含了大量的信息，如何对这些信息进行有效地处理也成为了迫切需要解决的问题。因此，许多学者将信息融合应用于图像当中，从而出现了一个新的名词——图像融合。图像融合是指将来自不同传感器的源图像采用一定的技术手段，融合成一张新的并且信息度更加丰富的图像。近年来，图像融合在军事、视频监控、医学成像、遥感等领域发展比较迅速。在军事领域中，图像融合跟目标追踪和导航紧紧联系在一起，通过对可见光图像与红外图像进行融合，能帮助飞行员实现更精确的定位。通过对遥感图像进行融合，融合得到的图像同时具有高空间分辨率和多光谱特性，使目标识别和分类更加迅速。在医学领域中，通过对电脑断层扫描图像（CT）和核磁共振图像（MRI）进行融合，能提高医生诊断疾病的准确率。

由于需要对多传感器所获得的信息进行处理，故在一定程度上会增加图像融合的耗时。为了提高信息处理的效率，需要提出一种新的方法和思路，稀疏表示很好地解决了这一问题。文献［1］直接对低频系数进行稀疏表示，能有效提升图像的融合质量，但在图像边缘处会有虚影产生。文献［2］将稀疏表示应用于遥感图像，虽然融合结果比较成功，但由于遥感图像的细节信息比较丰富，并不适用于本文研究。文献［3］提出对低频子带的四个方向进行快速稀疏表示，这能在一定程度上减少图像融合所耗费的时间，但细节信息会出现丢失。文献［4］提出采用非下采样双树复轮廓波变换对源图像进行分解，此方法虽然在一定程度上提高了图像融合质量，但所耗费的时间也有所提高。文献［5］将多任务鲁棒稀疏表示模型运用到多聚焦图像融合当中，这可以大大提高图像融合方法的鲁棒性，但计算复杂度比较高。文献［6］通过将鲁棒稀疏表示模型与形态学滤波相结合，有效提高了图像块之间的相关性，但同时图像的对比度也会降低。文献［7］提出了一种新颖的卷积稀疏表示模型，将图像看成一个整体，直接对图像本身进行操作，有效解决了图像块关联性不够的问题。

针对文献［7］对低频子带系数进行整体融合，但忽略了对高频子带系数进行合理有效处理这一问题，本文在文献［7］基础上加以改进，提出了一种基于卷积稀疏表示的图像融合方法。首先，在高频子带系数中，利用相似度分析和视觉显著性进行融合。然后，将低频子带系数整体融合改进为使用Butworth低通滤波对低频子带进行分解，得到低频近似子带和强边缘子带。最后，再用改进的脉冲耦合神经网络（PCNN）对强边缘子带进行融合。

1 NSST的基本理论

在传统仿射系统的基础上，Easley等［8］将几何与多尺度相结合，提出了一种新型的多分辨率分析工具——非下采样剪切波变换（Non-subsampled Shearlet Transform，NSST）。它不仅吸收了小波理论的最新研究成果，而且具有严格的数学基础，具体公式如下

式（1）中，ψ∈L2（R2），｜detN｜＝1；j为分解尺度，l为方向参数，K为剪切参数；M为各向异性矩阵，N为剪切矩阵，Z为整数域。

NSST的核心部分是非下采样金字塔（Non-subsampled Pyramid，NSP）分解和剪切波方向滤波（Shearlet Filter，SF）分解。NSP分解能将低频分量不断地分解，而SF分解主要用于分解高频分量，具体的流程图如图1所示。

2 脉冲耦合神经网络（PCNN）

脉冲耦合神经网络（Pulse Coupled Neural Network，PCNN）［9］是一种简化的神经网络，该网络模型根据生物视觉神经系统的工作原理，通过模拟猫脑视觉皮层同步脉冲爆发现象而建立起来的。

图1 NSST的多尺度多方向分解过程Fig.1 Multi-scale and multi-direction decomposition of NSST

标准的PCNN模型主要由三部分组成：刺激接收场、脉冲调制场和脉冲生成场。当将PCNN模型应用到图像时，网络中的神经元与图像中的像素点是相对应的，迭代公式如下

式（2）～式（6）中，（i，j）为一个像素点，n为迭代次数，Lij为连接输入，Fij为反馈输入激励，Uij为内部活动，β为链接强度，θij为动态阈值，Yij为神经元的输出，WijKl为神经元矩阵之间的连接权重，VF、VL、Vθ为放大因子，aF、aL、aθ为时间常数。

3 卷积稀疏表示理论

卷积稀疏表示（Convolution Sparse Representation，CSR）［10］可以看作是对稀疏表示采用卷积形式，其基本思想是将图像s建模为稀疏系数映射xm与字典过滤器dm之间的一组卷积之和

式（7）中，∗为卷积运算符。文献［10］提出了一种ADMM算法，可以很好地解决卷积稀疏表示编码问题。字典学习被定义为式（8）的优化问题

4 融合规则

首先，将源图像A和B进行NSST，将图像由空间域转换到频域。对于低频子带系数，采用Butworth低通滤波进行分解，分解为低频近似子带和强边缘子带。对于高频子带系数，先进行相似度分析，再结合视觉显著性进行融合。将卷积稀疏表示方法用于融合低频近似子带，将改进的PCNN方法用于融合强边缘子带。

4.1 低频近似子带融合

低频近似子带系数传统的处理方式通常为简单选择或加权平均，但这样会导致融合后的图像部分信息丢失。采用稀疏表示的方式能很好地改善这个问题，但由于稀疏表示是基于图像块进行编码的，这会破坏图像块间的相关性。因此，采用卷积稀疏表示对低频近似子带进行处理，通过对图像整体进行稀疏表示，从而增强图像块间的相关性，提高图像融合效果。具体步骤如下所示：

1）对低频近似子带XA（i，j）、XB（i，j）进行卷积稀疏表示处理，得到系数映射xA，m（i，j）、xB，m（i，j）。

2）对系数映射求l1范式，采用如下规则得到融合后的系数映射xF，m（i，j）

3）重构融合后的系数映射，得到最终的结果。

4.2 强边缘子带融合

PCNN模型具有良好的视觉感知能力，但模型参数大都设置为经验值。因此，本文采用改进的PCNN方法对强边缘子带系数进行融合。比较常用的指标为EOL和SML，但在对边缘特性的表达上，由于不能充分地提取边缘特征，会降低融合后图像的清晰度。因此，选择边缘能量作为PCNN的外部输入

式（11）中，Z（i，j）为强边缘子带系数，E1、E2、E3为方向滤波操作。其中，E1、E2、E3满足

传统方法对PCNN模型的处理只会考虑两个方向的梯度能量，通常为水平方向和垂直方向，因而忽略了对角线方向的信息。为了提高图像的清晰度，本文对不同方向上的像素点进行一并考虑，将8-邻域梯度能量设置为该模型的连接强度。8-邻域梯度能量定义如下

式（14）中，M×N为区域大小，Y（i，j）为高频子带系数。

4.3 高频子带系数融合

相似度是对图像融合效果的一种衡量方法，分析视觉显著性能够帮助辨别图像的部分区域是否显著，从而有效获得更多的整体信息。先进行相似度分析，再结合视觉显著性进行融合，能有效提高融合效果。具体的方法如下所示：

对源图像A和B进行分解，分解为高频子带系数HA和HB。对高频子带系数使用3×3的滑动窗口进行分块，采用如下公式进行相似度分析

式（15）中，l（x，y）、c（x，y）和s（x，y）依次为亮度相似性、对比度相似性和结构相似性，计算公式如下

式（16）中，μx、μy为均值，σx、σy为标准差，σxy为协方差。

当SM＞0.5时，表示图像块具有相似性。此时，分别计算图像块的区域能量，区域能量的定义如下

通过区域能量计算出对应子带系数的权重，并进行加权，有

当SM＜0.5时，说明图像块不具有较高相似性。因此，需要计算每个图像块中像素点的显著性，并根据显著性进行加权融合，具体的公式如下

式（19）中，Sn为像素点的显著性，In（i，j）为图像的像素值，μn为图像的均值。通过函数对显著性进行处理，获得加权系数，结果如下

式（20）中，σ为图像方差；n为源图像的数量；k为调整参数，本文设置为0.8。

4.4 融合方法

本文提出的方法具体步骤如下：

1）通过NSST将源图像A和B变换到频域空间；

2）通过Butworth低通滤波对低频子带系数进行处理，得到低频近似子带和强边缘子带；

3）将卷积稀疏表示方法用于融合低频近似子带，将改进的PCNN方法用于融合强边缘子带；

4）对于高频子带系数，先进行相似度分析，再结合视觉显著性进行融合。

对应的算法流程如图2所示。

图2 算法流程图Fig.2 Flowchart of algorithm

5 融合实验和结果分析

采用“clock”、“pepsi”两组多聚焦图像和一组遥感图像进行实验，如图3所示。实验采用主频为1.70GHz、内存为8G的笔记本电脑运行，使用的是win7系统，软件环境是Matlab R2016b，PCNN模型的参数设置为：Vθ＝0.2、VL＝1.0、aθ＝20、aL＝1、Nmax＝200。

图3 实验源图像Fig.3 Source image of experiment

为了验证本文所提算法的融合结果，将本文算法与其它几种算法进行比较。文献［7］直接使用卷积稀疏表示对图像进行处理；文献［11］利用非下采样轮廓波对图像进行分解，然后采用卷积稀疏表示对低频进行处理；文献［12］利用引导滤波和Gauss滤波对源图像进行分解，然后采用卷积稀疏表示对低频近似子带进行处理。实验结果如图4～图6所示。

图4 “clock” 图像实验结果对比Fig.4 Comparison of “clock” images experiment results

图5 遥感图像实验结果对比Fig.5 Comparison of remote sensing images experiment results

图6 “pepsi” 图像实验结果对比Fig.6 Comparison of “pepsi” images experiment results

由图4～图6可知，文献［7］算法的融合结果中，整体图像信息不够丰富，颜色比较灰暗。文献［11］算法的融合结果中，三幅图像左边区域都出现了不同程度的模糊现象，视觉效果不佳。文献［12］算法的融合结果中，整体图像的右上边边缘区域出现虚影，有明显的变形。本文算法的融合结果中，图像整体清晰度增强，边缘特征保持较好。

为了说明本文算法的融合结果有不错的提升，将客观评价指标信息熵（IE）、标准差（SD）、空间频率（SF）、互信息（MI）用于对图像进行评价。信息熵是用来衡量图像信息量大小的指标，标准差反映了图像值的变化大小，空间频率用于测量图像的清晰度级别，互信息是用来测量源图像信息在融合后图像中所占比重的指标。这几个客观评价指标中，数值越大表明图像融合质量越好。评价结果如表1～表3所示。

表1 “clock” 图像实验结果的客观比较Table 1 Objective comparison of “clock”images experiment results

表2 遥感图像融合结果的客观比Table 2 Objective ratio of remote sensing image fusion results

表3 “pepsi” 图像实验结果的客观比较Table 3 Objective comparison of “pepsi” images experiment results

对表1～表3中的数据进行分析，可以看出，本文算法在客观指标上总体优于对比算法。以文献［7］、文献［11］和文献［12］的数据为基础进行对比（三者中数值最小的），信息熵提高了将近3%、标准差提高了将近9%，空间频率提升了将近30%，互信息提升了将近25%。

在时间复杂度上，本文分别对四种算法在三组图像上进行了测试，并对每种算法得到的数据取平均值，结果如表4所示。由表4可知，本文算法具有一定的优势。

表4 不同图像融合算法的时间比较Table 4 Time comparison of different image fusion algorithms

6 结论

针对光学传感器的成像特性，本文将卷积稀疏表示模型与图像融合相结合，提出了一种基于卷积稀疏表示的图像融合方法。首先，将源图像进行分解，得到多尺度分解系数。对于低频分量，采用Butworth低通滤波进行分解，得到低频近似分量和强边缘分量。对于高频分量，先进行相似度分析，再结合视觉显著性进行融合。将卷积稀疏表示方法用于融合低频近似子带，对于强边缘分量，采用改进的PCNN方法对其进行融合。根据融合结果显示，相比于其他几组融合算法，本文算法的信息熵提高了将近3%，标准差提高了将近9%，空间频率提升了将近30%，互信息提升了将近25%。同时，时间效率也有了一定程度地提升。