改进对比度的有限离散剪切波图像融合

焦慧平， 张 慧

(郑州工程技术学院信息工程学院，郑州 450000)

改进对比度的有限离散剪切波图像融合

焦慧平， 张 慧

(郑州工程技术学院信息工程学院，郑州 450000)

为了改善融合图像的对比度，保留源图像的丰富有效信息，借助有限离散剪切波(FDST)的优良特性，提出了一种基于有限离散剪切波域的图像融合算法。首先将源图像经过FDST分解，得到一系列高低频子带；然后采用改进的像素加权与区域空间频率相结合的融合方案对低频系数进行选取，高频则引入区域平均梯度对比度的融合方法；再借助FDST逆变换对融合系数进行重构获得融合图像。通过对比试验结果表明：所提算法的融合结果在主观视觉上对比度适中，图像清晰自然，且各项客观评价指标均明显改善；进一步说明了改进算法优于其他算法，大大提升了图像融合的质量。

图像融合； 有限离散剪切波； 区域空间频率； 对比度； 区域平均梯度； 平移不变性

0 引言

图像融合指对相同场景的多幅图像采用合适的算法，将源图像中的互补信息和冗余信息有效地融合到一幅图像中，这种技术已经广泛地应用于医学、目标识

1 有限离散剪切波变换

1.1 连续剪切波变换

假设伸缩矩阵Pp和剪切矩阵Ss分别为

。

(1)

∀ψ∈L2(R2)，对ψ进行伸缩、剪切和平移可得

。

(2)

(3)

。

(4)

∀f∈(L2(R2)，连续剪切波变换和其Parseval等式表示为

。 (5)

定义小波函数ψ1∶R→R和冲击函数ψ2∶R→R为

(6)

(7)

式中：

(8)

(9)

(10)

c0={(ω1,ω2)∈R2∶|ω1|<1,|ω2|<1} 。

(11)

图1 频域划分图Fig.1 Frequency domain division map

(12)

对低频部分上的剪切波先使用加细函数φ

(13)

1.2 有限离散剪切波

。

(14)

有了这些记号剪切波变换就变成了

(15)

通过计算可得式(2)定义的连续剪切波变换去掉p-3/4在频域中的表达形式为

(16)

(17)

离散剪切波就可表示为

(18)

2 图像融合策略

设源图像为IA和IB，采用FDST进行图像融合分为以下3个步骤：

2.1 低频子带融合策略

源图像经过有限离散剪切波分解得到的低频子带系数，代表了源图像的整体特性，包含了源图像的主要能量。以往采用传统的融合策略(加权平均)使得融合后的图像昏暗模糊，对比度下降，没有达到较好的主观视觉效果。因此本文结合像素点之间的相关性，引入了改进的像素加权和区域空间频率匹配度的策略，具体步骤如下：

1) 设低频图像为LA和LB，区域窗口大小为N×N，计算LA和LB在(i,j)点的区域空间频率SA(i,j)和SB(i,j)为

(19)

j+n))2+(LB(i+m,j+n)-LB(i+m,j+n-1))2]/

(20)

式中,NA(i,j)和NB(i,j)为LA和LB在(i,j)点的区域窗口，LA(i+m,j+n),LA(i+m-1,j+n),LA(i+m,j+n-1),LB(i+m,j+n),LB(i+m-1,j+n),LB(i+m,j+n-1)为LA和LB在(i+m,j+n),(i+m-1,j+n),(i+m,j+n-1)点的灰度值。再计算与A和B相关的区域空间频率匹配度,即

(21)

式中,LA(m,n),LA(m-1,n),LA(m,n-1)，LB(m,n),LB(m-1,n),LB(m,n-1)为LA和LB分别在(m,j+n),(m-1,j+n),(m,n-1)点的灰度值。

2) 计算LA和LB在(i,j)点的区域平均梯度GA(i,j),GB(i,j)以及权重矩阵ωA(i,j)，ωB(i,j)，即

(22)

(23)

。

(24)

3) 令T(0

(25)

式中,ωA(i,j)(LA(i,j)+LB(i,j))影响融合后图像的亮度，ωB(i,j)|LA(i,j)+LB(i,j)|可以对细节信息更好地提取，ωA(i,j)和ωB(i,j)的值能够影响子带系数的占优比例。

2.2 高频子带融合策略

(26)

(27)

(28)

(29)

3 仿真试验及结果分析

用不同的算法对多幅图像进行融合试验对比，并采用3种客观指标进行评价[13]，分别如下所述。

1) 信息熵 (EN)。将一幅图像表示成灰度直方图的形式，则它的信息熵定义为

(30)

式中:pi表示灰度i的概率；L表示灰度级数。

2) 互信息量(MI)。设F为M×N的融合图像，I为参考图像，则它们之间的互信息量定义为

(31)

式中,pI,pF,pI,F分别是源图像的概率密度、融合图像的概率密度以及源图像与融合图像的联合概率密度。

3) 边缘相似度 (QAB/F)。设A,B为M×N的源图像，F为融合图像，边缘相似度定义为

(32)

3.1 不同变换域下同一种融合策略的图像融合

在不同变换域下利用同一种融合策略(低频取平均值，高频绝对值取较大)对多聚焦图和红外与可见光图进行融合对比试验，利用的变换域分别为：离散小波变换[5](DWT)、非下采样轮廓波变换[9](NSCT)，双树复小波变换[10](DTCWT)和有限离散剪切波变换[12](FDST)，融合结果如图2和图3所示。

从图2的多聚焦图融合结果可以看出，由于DWT有移变性，导致融合后的图像有伪影现象，使得融合结果失真，图2d和图2e效果有所改善，但图像昏暗模糊，而图2f的图像清晰自然，区域特征明显。从图3的红外与可见光图的融合结果可以看出，图3f与图3c、图3d、图3e相比对比度有了较明显的提高，表明了本文提出算法的有效性，对应的客观评价结果见表1。

图2 不同变换域下采用同一种融合策略对多聚焦图的融合结果Fig.2 Multi-focus image fusion results using identical fusion strategy in different wavelet domains

图3 不同变换域下采用同一种融合策略对红外与可见光图的融合结果Fig.3 Infrared and visible image fusion results using identical fusion strategy in different wavelet domains

算法多聚焦图(图2)信息熵互信息量边缘相似度DWT6．44655．47640．4854NSCT6．57355．91650．4846DTCWT6．54985．96840．4952FDST6．79186．08320．5243算法红外与可见光图(图3)信息熵互信息量边缘相似度DWT0．61511．91980．5728NSCT0．61761．96780．5875DTCWT0．62191．93570．5818FDST0．64582．02340．5947

从表1可以看出，在对多聚焦和红外与可见光的融合结果中，FDST的熵值、互信息量和边缘相似度均优于DWT,NSCT和DTCWT，进一步说明了有限离散剪切波变换优于其他的变换域。

3.2 不同文献算法的图像融合

针对多聚焦图像和遥感图像，通过与不同文献的融合算法的比较来说明本文算法的优越性。文献[14]是基于改进对比度的小波变换对图像进行融合，用对比度作为高低频系数选取的标准，记为SWT_C；文献[15]是分数阶小波变换下低频采用区域能量高频采用区域方差匹配度的融合算法，记为FRWT_EV；文献[16]是选取非下采样轮廓波变换下低频自适应加权的融合策略，高频选用区域方差的融合策略，记为NSCT_WV；FDST_ IC为本文提出的算法。融合结果如图4和图5所示。

图4 采用不同文献算法对多聚焦图的融合结果Fig.4 Multi-focus image fusion results using different algorithms

图4是采用不同的文献算法对多聚焦图的融合结果，从融合结果可以看出，图4c不仅图像昏暗，而且钟表边缘有伪影，图4d 、图4e和图4f都较好地提取了图像的有效互补信息，尤其是图4f的大钟和小钟都清晰明亮，对比度恰到好处，且视觉效果更佳。图5是采用不同文献算法对遥感图的融合结果，可以看出，虽然图5c、图5d 和图5e都保留了源图像的主要信息，但是对图像细节纹理的刻画并没有图5f好。说明了有限离散剪切波变换与本文的融合策略相结合是有很大优势的。客观评价指标见表2。

图5 采用不同文献算法对遥感图的融合结果Fig.5 Remote sensing image fusion results using different algorithms

算法多聚焦图(图4)信息熵互信息量边缘相似度SWT＿C7．43540．68110．6419FRWT＿EV7．31980．67170．6735NSCT＿WV7．33450．68450．6971FDST＿IC7．54487．07170．7087算法遥感图(图5)信息熵互信息量边缘相似度SWT＿C7．29844．43410．7943FRWT＿EV7．14614．34980．7816NSCT＿WV7．27544．39810．8024FDST＿IC7．31484．56120．8248

从表2可以看出，无论是多聚焦图还是遥感图的融合结果，FDST_IC的熵值、互信息量、边缘相似度均比SWT_C，FRWT_EV和NSCT_WV对应的评价指标高，进一步说明了本文算法的可取性。

4 结束语

由于有限离散剪切波具有完美的平移不变性与方向敏感性，在融合算法中引入了快速傅里叶变换，体现出了优越的运算效率，采用有限离散剪切波变换对已严格配准的源图像进行融合实验，同时利用了新颖的融合策略对高低频系数进行融合处理，在低频上采用改进的像素加权与区域空间频率相结合的融合方案，高频则引入区域平均梯度对比度的融合方法,再借助FDST逆变换对融合系数重构而获得融合图像。

通过对多幅图像进行仿真实验结果说明：提出的改进对比度的有限离散剪切波图像融合算法各项客观指标均是最优，且清晰明亮，域特征明显，充分说明了有限离散剪切波变换与本文融合策略相结合取得了可观的融合效果。

[1] 孙晓龙,王正勇,符耀庆,等.基于改进拉普拉斯能量和的快速图像融合[J].计算机工程与应用,2015,51(5):193-197.

[2] 黄智,付兴武,刘万军.混合相似性权重的非局部均值去噪算法[J].计算机应用,2016,36(2):556-562.

[3] 胡雪梅,贾振红,覃锡忠,等.多尺度分割融合的遥感图像变化检测[J].计算机工程与设计,2015,36(9):2452-2456.

[4] 王丽,苗凤娟,陶佰睿,等.基于灰色关联度的提升小波域图像融合算法[J].电视技术,2015,39(1):15-18.

[5] ZHANG H,CAO X.A way of image fusion based on wavelet transform[C]//IEEE 9th International Conference on Mobile Ad-hoc and Sensor Networks IEEE Computer Society,2013:498-501.

[6] 刘中意,张春,胡志宇.基于多聚焦红外图像的温度测量及三维重构[J].红外技术,2015,37(6):449-456.

[7] 李萍,张波,尚怡君.基于红外图像和特征融合的飞机目标识别方法[J].电光与控制,2016,23(8):92-96.

[8] MANGALRAJ P,AGRAWAL A.Fusion of multi-sensor satellite images using non-subsampled contourlet transform[J].Procedia Computer Science,2015,54(1):713-720.

[9] 张蕾,金龙旭,韩双丽,等.采用非采样Contourlet变换与区域分类的红外和可见光图像融合[J].光学精密工程,2015,23(3):810-818.

[10] RANGASWAMY Y,RAJA K B,VENUGOPAL K R.FRDF:face recognition using fusion of DTCWT and FFT features[J].Procedia Computer Science,2015,54(1):809-817.

[11] GAO G,XU L,FENG D.Multi-focus image fusion based on non-subsampled shearlet transform[J].IET Image Processing,2013,7(6):633-639.

[12] HAUSER S,STEIDL G.Convex multiclass segmentation with shearlet regularization[J].International Journal of Computer Mathematics,2013,90(1):62-81.

[13] 廖斌,訚鹏,赵俭辉.基于场景传输渐进估计的单幅图像能见度快速复原[J].电子与信息学报,2016,38(1)15-22.

[14] 王正林.基于对比度的小波图像融合算法研究[J].激光与红外,2014,44(9):1042-1044.

[15] 徐小军,王友仁,陈帅.基于下采样分数阶小波变换的图像融合新方法[J].仪器仪表学报,2014,35(9):2061-2069.

[16] 童涛,杨桄,谭海峰,等.基于NSCT变换的多传感器图像融合算法[J].地理与地理信息科学,2013,29(2):22-25,59.

ImageFusionwithImprovedContrastBasedonFiniteDiscreteShearletDomain

JIAO Hui-ping, ZHANG Hui

(School of Information Engineering,Zhengzhou Institute of Technology,Zhengzhou 450000,China)

To improve the contrast of the fused image and preserve the rich and effective information of the source image,an image fusion algorithm based on Finite Discrete Shearlet (FDST) domain is proposed,with consideration of the excellent characteristics of FDST.Firstly,the source image is decomposed by FDST,and a series of high and low frequency subband coefficients are obtained.Then,the low frequency coefficients are selected by using the improved pixel weighting together with the regional spatial frequency;and the fusion method by the regional average gradient contrast is adopted for the selection of high frequency coefficients.Then,the fused image is obtained with the fusion coefficients reconstructed by inverse transform of FDST.The contrast experiment results show that:1) The fusion result of the algorithm is clear,natural and has appropriate contrast for human subjective vision perception;and 2) The objective evaluation quality indexes are improved compared with other fusion algorithms.It is confirmed that our algorithm is superior to other fusion algorithms,which greatly enhances the quality of image fusion.

image fusion; finite discrete shearlet; regional spatial frequency; contrast; regional average gradient; shift-invariant

焦慧平,张慧.改进对比度的有限离散剪切波图像融合[J].电光与控制，2017，24(7)：46-51.JIAO H P,ZHANG H.Image fusion with improved contrast based on finite discrete shearlet domain[J].Electronics Optics & Control,2017,24(7):46-51.

TP391.4

A

10.3969/j.issn.1671-637X.2017.07.010

2016-12-07

2017-01-15

国家自然科学基金(11326137)；郑州市科技公关计划项目(131PPTGG421)

焦慧平(1979 —)，女，河南鄢陵人，硕士，讲师，研究方向为基础数学与智能算法。别和遥感等领域[1-2]。对源图像进行多尺度分解后，可以从不同角度刻画图像的整体特性和细节信息，是目前最常用的图像信息表示方式[3]。小波变换是对低频段宽窗分析和在高频段窄窗分析的理想工具[4-5]，在处理图像信号时能够突出细节信息，但是由一维小波张量积生成的二维小波对线或面的奇异性表现较差。为此，人们先后提出了多种方法[6-11]，对图像的分解方式从平移变性到平移不变性的发展，从而对图像信息的表征能力越来越强，但是随着分解层数的增加，分解越来越细，在融合效果变好的同时时效性又变差，计算复杂度变高。为解决这个问题，文献[12]提出了在有限维欧式空间中满足Parseval框架的有限离散剪切波，由于它具有变换域优良的特性，FDST在分解和重构时借助了快速傅里叶变换，所以表现出了更佳的时效性。源图像经过多尺度分解得到一系列子带系数，往往还需要合适的融合策略对系数进行运算选取，而传统的融合策略(低频取平均值，高频绝对值取较大)降低了图像的对比度，容易引入虚假信息。为解决这个问题，采用改进的像素加权与区域空间频率相结合的融合方案对低频系数进行选取，高频则引入区域平均梯度对比度的融合方法，有效改善了图像融合的质量。