APP下载

基于NSST和稀疏表示的多聚焦图像融合方法

2023-07-17张翠英

计算机应用文摘 2023年13期
关键词:稀疏表示图像融合

摘要:为使融合图像保留丰富的细节和纹理信息,提出了一种基于非下采样剪切波变换(NSST)和稀疏表示的多聚焦图像融合方法。鉴于稀疏表示能够有效地捕捉图像中的结构信息这一优势,并充分考虑像素间的区域相关性,低频子带系数采用稀疏表示和区域能量相结合的融合策略,以及加权平均的融合规则.高频子带系数采用区域能量取大的融合规则。实验结果表明,该方法融合图像清晰度高,能够更好地保留图像细节信息。

关键词:非下采样剪切波变换;稀疏表示;区域能量;多聚焦图像;图像融合

中图法分类號:TP391 文献标识码:A

1 引言

由于光学镜头景深的限制,成像系统无法获取场景中全部目标均清晰的图像,这不利于后续图像的理解与处理。多聚焦图像融合技术的出现有效解决了这一难题。多聚焦图像融合通过一定的算法,可以把2 幅或多幅图像融合成所有目标均清晰的图像[1~2] 。

目前,多聚焦图像融合技术已广泛应用于机器视觉、目标识别、医学、军事等领域。

多尺度变换是目前最常用的像素级融合方法。

其中,小波变换在时域和空域均有良好的局部化特性,能够获得良好的融合效果,但小波变换在图像细节提取方面效果欠佳。针对小波变换的不足,研究者提出了轮廓波变换[3] 。轮廓波变换具备良好的非线性逼近能力,能够更稀疏地表示图像,但因其在变换过程中存在采样操作,容易产生伪吉布斯效应。非下采样剪切波变换(NSST)完全继承了轮廓波变换的优点,且在变换过程中不存在采样操作,其计算效率更高,具有方向敏感性、平移不变性等优点。因此,作为一种有效的图像分解工具,NSST 被广泛应用于图像去噪、图像增强等图像处理领域。

在基于多尺度变换的融合方法中,研究者大多把研究焦点放在高频子带系数融合规则的设计上,低频子带系数一般采用“取平均”的融合规则。“取平均”策略虽然实现简单,但是容易丢失源图像中的有用信息,且降低图像的对比度。因此,本文将研究重点放在低频子带系数融合规则的设计上。利用过完备字典的冗余性,稀疏表示可以捕捉图像的各种结构特征,有效地对图像进行表示[4] 。鉴于稀疏表示在图像表示方面的优势,并充分考虑像素间的区域相关性,本文对低频子带系数进行稀疏表示,提取系数的区域能量特征,同时采用加权平均的融合规则。高频子带系数采用区域能量取大的融合规则。通过图像仿真实验,并与经典的图像融合方法相比,结合主观图像质量评价与客观评价指标,均表明了本文方法的可行性与有效性。

4 实验及结果分析

4.1 实验设置

将本文融合方法在多聚焦图像上进行仿真实验。

待融合图像的大小为256×256,图像格式为bmp。为进一步验证本文方法的有效性,将其与3 种经典传统的多聚焦图像融合方法进行对比:基于轮廓波变换和脉冲耦合神经网络的图像融合方法[5](方法1)、基于非下采样剪切波变换的图像融合方法(方法2)、基于拉普拉斯变换的图像融合方法[6](方法3)。其中,对比方法的参数设置为:方法2 的分解层数为3,每层子带数为6,6,6,低频子带系数融合规则采用取平均值,高频子带系数融合规则采用区域能量取大法;方法3的分解层数为3,低频子带系数融合规则采用取平均值,高频子带系数融合规则采用取大法。本文方法的参数设置为:分解层数为3,每层子带数为6,6,6,图像分块大小为8×8,滑动步长为4。

4.2 实验结果

花豹图像的源图像及融合结果图像如图2 所示,花豹图像的客观评价指标如表1 所列。

图2(a),2(b)分别是待融合的近聚焦图像与远聚焦图像。图2(c)~图2(f)是本文方法和对比方法的融合结果图像。从主观视觉效果上来看,方法1 的融合图像“花豹的爪子”比较模糊,出现伪影。方法3 的融合图像对比度和图像清晰度较低。方法2 和本文方法的融合图像清晰度高,含有更多的细节纹理信息。

为定量地对融合图像进行评价,本文引入标准差、平均梯度、空间频率、信息熵、边缘转换率等指标[7] 。标准差可以反映图像像素值的分布,平均梯度表示图像的清晰度,空间频率反映图像在空间域的总体活跃程度,信息熵表示图像包含的信息量,边缘转换率表示源图像到融合图像的边缘转化率。表1 给出了花豹融合图像的客观评价指标(加粗为最优值)。

从表1 可以看出,本文方法在标准差、平均梯度、空间频率、信息熵和边缘转换率上均具有最优值,方法2与本文方法在高频子带系数融合规则上相同,由于本文方法对低频子带系数融合规则的设计,使得本文方法的客观评价指标优于方法2,从主观视觉和客观指标评价上均证明了本文方法的有效性。

5 结束语

本文提出了一种基于NSST 和稀疏表示的多聚焦图像融合方法,通过NSST 这一有效的分解工具提取待融合图像的系数,并充分利用稀疏表示和区域特征的优势设计低频子带系数融合规则。通过多聚焦图像实验表明,本文方法能够保留更多的图像纹理和细节信息。下一步研究重点将放在算法对其他类型图像(医学图像、遥感图像、红外与可见光及彩色图像)的适用性上。

参考文献:

[1] 王磊,齐争争,刘羽.深度学习多聚焦图像融合方法综述[J].中国图象图形学报,2023,28(1):80⁃101.

[2] 刘明君,董增寿,张凤珍.基于改进的非下采样剪切波变换多聚焦图像融合技术的研究[J].仪表技术与传感器,2017(9):114⁃117.

[3] 张旭,陈华锋.数字全息和轮廓波变换相融合的激光图像水印技术[J].激光杂志,2022,43(10):202⁃207.

[4] 张洲宇,曹云峰,丁萌,等.采用多层卷积稀疏表示的红外与可见光图像融合[J].哈尔滨工业大学学报,2021,53(12):51⁃59.

[5] 赵贺,张金秀,张正刚.基于NSCT 与DWT 的PCNN 医学图像融合[J].激光与光电子学进展,2021,58(20):453⁃462.

[6] 黄福升,蔺素珍.基于拉普拉斯金字塔变换方法的多波段图像融合规则比较[J].红外技术,2019,41(1):64⁃71.

[7] 杨艳春,李娇,王阳萍.图像融合质量评价方法研究综述[J].计算机科学与探索,2018,12(7):1021⁃1035.

作者简介:张翠英( 1988—), 硕士, 助理实验师, 研究方向: 图像处理。

猜你喜欢

稀疏表示图像融合
基于小波变换的多模态医学图像的融合方法
Grouplet变换原理及技术综述
灰色关联度在红外与微光图像融合质量评价中的应用研究
基于字典学习和结构聚类的图像去噪算法研究
林火安防预警与应急处理系统设计
基于Matlab的遥感图像IHS小波融合算法的并行化设计
分块子空间追踪算法
一种新的IHS图像多次融合的方法
农业物联网双光谱热成像图像融合模型设计
一种改进的稀疏表示人脸算法