基于非下采样Contourlet变换耦合近似度规则的多聚焦图像融合算法

柏涛涛，王茜娟，谭云兰



基于非下采样Contourlet变换耦合近似度规则的多聚焦图像融合算法

柏涛涛1，王茜娟2，*谭云兰2

（1. 安徽广播电视大学滁州分校，安徽，滁州 239000；2. 井冈山大学电子与信息工程学院，江西，吉安 343009）

当前多聚焦图像融合算法主要通过单一的比值取大法来完成高频系数的融合，忽略了不同高频系数间的近似度，导致融合图像存在模糊效应与块效应等不足，采用非下采样Contourlet变换耦合近似度规则对多聚焦图像进行融合，来改善以上不足。利用非下采样Contourlet变换对图像进行多尺度、多方向的分解，获取图像的高、低频分解系数。利用图像的区域能量对低频系数的信息量进行度量，构造低频系数融合函数，用于低频系数融合。利用图像的平均梯度差值对不同高频系数的差异度进行度量，建立近似度规则，根据不同高频系数的近似度采用不同的融合方法获取融合高频系数。将融合后系数通过非下采样Contourlet逆变换获取最后融合图像。仿真表明，所提算法与当前多聚焦图像融合方法相比，融合的图像具有较好的质量。

图像融合；非下采样contourlet变换；区域能量；平均梯度；近似度规则

0 引言

数字图像因具有易于获取、便于传输的特点，得到了广泛的应用[1-2]。虽然数字图像获取变得简单，但是受制于成像设备的技术及环境的限制，不能一次性获取具有多个聚焦的图像[3-4]。因此，为了获取具有良好视觉效果的多聚焦图像，就需要对不同聚焦的图像进行多聚焦图像融合。

对此，本文将非下采样Contourlet变换引入多聚焦图像融合，利用其对图像进行分解，获取图像系数信息。通过低频系数的区域能量特征，构造低频系数融合函数，获取融合低频系数。通过高频系数的平均梯度特征，构建近似度规则，获取融合高频系数。结果显示，所提算法融合的图像具有较好的空间特性，视觉效果较好。所提算法的主要贡献在于：1）通过低频系数的区域能量特征，构造低频系数融合函数，获取融合低频系数，避免了比值取大法带来的融合弊端；2）利用高频系数的平均梯度，建立相似度规则，从平均梯度差值出发，设计不同的高频系数融合规则，获取融合高频系数，使得融合高频系数能够包含源图的更多细节信息。

1 本文图像融合算法设计

本文所提多聚焦图像融合算法的流程图如图1所示。从图1可见，所提算法首先通过非下采样Contourlet变换对源图像进行精细的分解，使得获取的高、低频系数中能够包含更多的源图信息，以助于改善融合图像的清晰度。通过低频系数的区域能量特征，建立低频系数融合函数，使得融合的低频系数能够包含更多的源图能量，以提高融合图像的质量。最后通过高频系数的平均梯度特征，建立近似度规则，对高频系数进行融合，使得融合高频系数具有丰富的源图边缘等信息，进一步提高了融合图像的质量。

图1 本文多聚焦图像融合算法的流程

1.1 非下采样Contourlet变换

非下采样Contourlet变换是依靠非下采样塔式分解(Nonsubsampled Pyramid, NSP)与非下采样滤波器组(Nonsubsampled Pyramid, Directional Filter Bank, NSDFB)对图像进行分解[12]。非下采样contourlet变换对源图分解过程示意图如图2所示[13]，依图可见，源图经过NSP变换进行多尺度分解获取子图后，再经过NSDFB对高频子图进行多方向分解，获取分解系数。

图2 非下采样Contourlet变换的示意图

1.2 低频系数融合

低频系数包含了源图的主要能量，反应了源图的主要图像信息[14]。图像的区域能量能够较好地表述不同低频系数所含图像信息的大小，区域能量越大表示低频系数所含图像信息越多，其越有优势。在此，将借助低频系数的区域能量来完成低频系数的融合。

1.3 高频系数融合

通过近似度规则，可利用（5）式和（6）完成高频系数的融合，从而输出融合图像。

2 实验结果

图3 不同方法的融合结果

图4 不同方法的融合结果

图5 不同方法对亮度差异图像的融合结果

（8）式中，p表示灰度级为的像素点所占的几率[21]。

表1 图3中不同方法融合图像的量化测试结果

表2 图4中不同方法融合图像的量化测试结果

3 结论

本文将非下采样Contourlet变换引入多聚焦图像的融合，设计了非下采样Contourlet变换耦合近似度规则的多聚焦图像融合算法。利用具有平移不变性的非下采样Contourlet变换，对源图进行多尺度、多方向的精细分解，获取包含丰富源图信息的高、低频系数，提高了融合图像所包含源图信息的丰富度。通过区域能量特征获取低频融合系数，使得融合低频系数能够包含更多的源图能量。利用高频系数的平均梯度，建立相似度规则，从平均梯度差值出发，设计不同的高频系数融合规则，获取融合高频系数，使得融合高频系数能够包含源图的更多细节信息，提高了融合图像的视觉效果。

[1] Zhao J F, Cui G M, Gong X L. Fusion of Visible and Infrared Images Using Global Entropy and Gradient Constrained Regularization[J]. Infrared Physics and Technology, 2017, 81(3) :201-209.

[2] Chen Z Y, Muramatsu S. Multi-Focus Image Fusion Based on Multiple Directional LOTs[J].ieice transactions on Fundamentals of Electronics, Communications and Computer Sciences, 2015, E98-A(11): 2360-2365.

[3] 古丽米热·米吉提, 吐尔洪江·阿布都克力木. 基于二进小波变换的遥感图像融合方法[J].新疆师范大学学报:自然科学版,2017,36(4):83-85.

[4] 孔祥阳. 分块噪声自适应高光谱图像去噪算法研究[J]. 井冈山大学学报:自然科学版, 2016, 8(1): 69-74.

[5] Tang S Z, Shen C M, Zhang G X. Adaptive Regularized Scheme for Remote Sensing Image Fusion[J]. Frontiers of Earth Science, 2016, 10(2):236-244.

[6] Zhang Y X, Chen L, Zhao Z H. Multi-Focus Image Fusion Based on Cartoon-texture Image Decomposition[J]. Optik-International Journal for Light and Electron Optics, 2016, 127(3): 1291-1296.

[7] Qin X Q, Zheng J Y, Gang H. Multi-Focus Image Fusion Based on Window Empirical Mode Decomposition[J]. Infrared Physics and Technology,2017,85(1): 251-260.

[8] 王荣荣,杨亚东. 基于复Shearlet变换耦合改进引导滤波的图像融合算法[J].电子测量与仪器学报,2018,32(5): 126-133.

[9] Vikrant B, Aisha M, Anuja S. Multispectral Medical Image Fusion in Contourlet Domain for Computer Based Diagnosis of Alzheimer's disease[J]. Rev Sci Instrum, 2016, 87(7):1-8.

[10] Adu J H, Xie S H, Gan J H. Image Fusion Based on Visual Salient Features and the Cross-Contrast[J]. Journal of Visual Communication and Image Representation,2016, 40(A):218-224.

[11] 程钢,李玮琳,李丽. 基于非下采样Contourlet变换的多模态医学图像融合[J].长春工业大学学报,2018,39(3): 248-252.

[12] Yan T, Liu F X, Chen B. Microscopy Image Fusion Algorithm Based on Saliency Analysis and Adaptive M-Pulse-Coupled Neural Network in Non-Subsampled Contourlet Transform Domain[J]. International Journal of Distributed Sensor Networks, 2017,13(6):1-8.

[13] Shailesh P, Rajesh A T. Contourlet Transform with Sparse Representation-Based Integrated Approach for Image Pansharpening[J]. IETE Journal of Research, 2017, 63(6): 823-833.

[14] Liu S Q, Shi M Z, Zhu Z H. Image Fusion Based on Complex-Shearlet Domain with Guided Filtering[J]. Multidimensional Systems and Signal Processing, 2017, 28(1):207-224.

[15] 赵丹,戴文战,李俊峰. 基于NSST和改进PCNN的医学图像融合[J].光电子·激光,2018, 29(1): 95-104.

[16] Sonam M K. Discrete Wavelet Transform and Cross Bilateral Filter based Image Fusion[J]. International Journal of Intelligent Systems and Applications, 2017,9(1):37-45.

[17] Wang M, He L X, Cheng Y F. Panchromatic and Multi-spectral Fusion Method Combined with Adaptive Gaussian Filter and SFIM Model[J]. Acta Geodaetica et Cartographica Sinica,2018,47(1):82-90.

[18] 刘斌,付忠旺. 基于四通道不可分提升小波的多聚焦图像融合[J].系统工程与电子技术,2018,40(2): 463-471.

[19] Wang Z B, Wang S, Zhu Y. Multi-Focus Image Fusion Based on the Improved PCNN and Guided Filter[J]. Neural Processing Letters, 2017,45(1):75-94.

[20] Li X F, Wang L L, Wang J. Multi-Focus Image Fusion Algorithm Based on Multilevel Morphological Component Analysis and Support Vector Machine[J]. IET Image Processing, 2017,11(10): 919-926.

[21] 李艳玮,郑伟勇. 基于目标提取和信息逼真度的图像融合[J]. 计算机工程与设计,2017,38(4):965-969+988.

Multi Focus Image Fusion Algorithm Based on Nonsubsampled Contourlet Transform Coupling Approximation Rule

BAI Tao-tao1, WANG Xi-juan2

(1. Anhui radio and Television University, Chuzhou branch, Chuzhou, Anhui, 239000,China ; 2. Jinggangshan University, Ji’an Jiangxi, 343009, China)

Currently, most of the focus image fusion algorithms mainly use a single ratio to maximize the fusion of high-frequency coefficients, which ignores the approximation among different high-frequency coefficients, resulting in fuzziness and blocking effects in the fusion image. In this paper, a multi-focus image fusion algorithm based on the coupling approximation rule of non-downward contourlet transform is proposed. The non-downsampling contourlet transform is used to decompose the image in multi-scale and multi-direction to obtain the high and low frequency decomposition coefficients. The information of low-frequency coefficients is measured by the region energy of the image, and the fusion function of low-frequency coefficients is constructed for the fusion of low-frequency coefficients. The difference of different high frequency coefficients is measured by the mean gradient difference of the image, and the approximation rule is established. Different fusion methods are used according to the approximation of different high frequency coefficients to complete the fusion of high frequency coefficients. The fusion coefficients are acquired by the non - down sampling inverse transform to get the final fused image. Experimental results show that the proposed method has better image quality than the current multi-focus image fusion method.

image fusion;nonsubsampled contourlet transform; region energy; average gradient; approximation rule

1674-8085(2019)01-0039-06

TP391

A

10.3969/j.issn.1674-8085.2019.01.009

2018-11-07；

2018-12-19

江西省教育厅科学技术研究项目(GJJ160750)

柏涛涛(1982-)，男，安徽凤阳人，讲师，硕士，主要从事图像处理、计算机应用技术、大数据技术等方面的研究(E-mail:AnhuiddBotaotao@126.com);

王茜娟(1976-)，女，江西吉安人，副教授，硕士，主要从事图像处理、模式识别等方面的研究( E-mail: wxj1976@sina.com);

*谭云兰(1972-)，女，江西新干人，副教授，博士，主要从事图像处理、模式识别等方面的研究( E-mail: tanyunlan@163.com).