基于NSST-IHS变换稀疏表示的SAR与可见光图像融合

盛佳佳，杨学志，董张玉，焦 玮



基于NSST-IHS变换稀疏表示的SAR与可见光图像融合

盛佳佳1,2，杨学志1,2，董张玉1,2，焦 玮1,2

(1. 合肥工业大学计算机与信息学院，安徽 合肥 230009；2. 工业安全与应急技术安徽省重点实验室，安徽 合肥 230009)

针对合成孔径雷达(SAR)与可见光图像成像原理不同，其融合图像常常存在感兴趣目标不突出及光谱失真的问题，提出了一种基于NSST-IHS变换稀疏表示的融合算法。对源图像进行IHS和NSST变换，在所得低频分量上采用基于结构相似性和亮度差异性的稀疏表示融合规则，高频分量上则采用基于改进的拉普拉斯能量和的融合规则，融合结果再通过NSST和IHS逆变换得到。实验以哨兵1号SAR图像与landsat-8可见光图像进行验证，并与传统的IHS、Wavelet、NSCT、IHS-Wavelet-SR和NSST-IHS算法进行比较。结果表明，该算法不论视觉还是评价指标都有了明显提高，空间结构信息和光谱信息得到有效的保持，有利于后续目标检测与识别工作。

合成孔径雷达图像；可见光图像；图像融合；稀疏表示；非下采样剪切波变换

合成孔径雷达(synthetic aperture radar, SAR)和可见光图像由于在成像原理和波段组成上存在较大差异，使得其图像往往能反映地理的不同光谱特征。SAR是主动式微波反射成像，对于人造建筑如桥梁比较敏感，其所得图像含有丰富的纹理特性和细节信息[1]。同时，SAR具有穿透水体的能力，能全天时、全天候成像且不受环境天气影响，故能发现更多可见光传感器不能发现的信息[2]，然而其成像没有丰富的光谱信息且图像有相干斑噪声。可见光图像是光反射成像，反映了丰富的光谱信息和地物轮廓，具有优越的目视效果。但可见光图像依靠发光源，不具有在夜间或恶劣天气下成像的能力，容易遗失特征信息。因此，将SAR图像与可见光图像融合，才能得到两者的有效信息，从而准确描绘场景。在军事侦察、目标检测和灾难应急上有重要的应用[3-4]。

目前，SAR与可见光图像融合算法主要分为两大类：主成分替换法和多尺度分析法。其中主成分替换法主要有IHS变换、PCA变换和Brovey变换等。其中，IHS变换是将SAR图像进行灰度拉伸后取代可见光图像进行IHS空间变换后的I分量，此方法将亮度信息和光谱信息分离，融合结果有较好的光谱信息保持，但融合操作仅在像素间进行，容易出现频谱混叠现象，不能兼顾图像光谱信息和空间细节信息。多尺度分析法主要有小波变换、Contourlet变换和NSST变换等。2004年宋建社等[5]提出将小波变换用于SAR与可见光图像融合，但小波变换的多尺度分解仅在少数几个方向上，使融合结果难以反映良好的空间边缘信息。2005年DO和VETTERLI[6]提出Contourlet变换并用于图像融合，该变换虽克服了有限方向的限制，但多尺度分解不具有平移不变性，融合图像易出现伪吉布斯现象。之后，EASLEY等[7]提出剪切波变换和NSST变换，从逼近上看，NSST变换达到了最优效果，且不同于传统剪切波变换，其在多尺度分解时不进行下采样步骤，故能避免伪吉布斯现象，同时融合图像能有效保持空间纹理和细节。但经过多尺度分析后其低频分量反映的是图像的近视特性，近视值为零的相对较少，低频信息不能被稀疏表示和有效反映其显著特征[8]。文献[9]提出将NSCT与稀疏表示方法用于红外和可见光图像融合，在光谱信息上有很好的效果，但其运算复杂度高，时间较长。文献[10-11]提出了基于小波和稀疏表示的多源遥感图像融合方法，将小波变换与IHS变换方法相结合，融合图像保留了较好的结构特征和光谱信息，但小波变换只能在少数几个方向上进行分解，不具有平移不变性。

本文结合IHS变换能有效区分可见光图像的亮度信息和光谱信息这一优点，以及NSST变换在多尺度分析和平移不变性上的优势，提出基于NSST与IHS变换的稀疏表示SAR与可见光图像融合算法，运用NSST和IHS变换将这两类图像进行多方向、多尺度分解；对其中的低频分量运用结构相似性(structural similarity index，SSIM)与亮度差异性的稀疏表示融合规则，能大量保留结构特征，以免光谱失真；在高频分量上采用改进拉普拉斯能量和(sum modified-Laplacian, SML)融合规则，能保留大量图像细节；最后通过NSST和IHS逆变换得到最终融合图像。

1 NSST变换与稀疏表示融合算法

1.1 NSST变换

对于一个连续小波，具有合成膨胀的二维仿射系统定义为

NSST变换是非正交变换，其离散化过程主要分为：基于非下采样金字塔滤波(not sampling Pyramid, NSP)的多尺度分解和基于改进的剪切波滤波(shearfiltering, SF)多方向分解。多尺度分解是通过进行次反复分解，最终形成大小1个低频分量和+1个高频分量，形成的高低频分量大小相同。多方向分解是运用标准的SF器，从而将伪极化网格系统直接映射到笛卡尔坐标系统上，之后再经过傅里叶变换，实现二维卷积步骤[14]。以此避免标准SF器存在的下采样步骤，达到平移不变目的。NSST离散化过程如图1所示。

图1 NSST离散化过程图

1.2 稀疏表示

本文在稀疏表示分解过程上用OMP算法，在分解的每一步的每一个原子上进行正交化，优势在于同等精度要求下，收敛速度更迅速[16-17]。在字典的选取上，本文选用K-SVD算法[18]来构造训练字典，以下为目标函数

2 改进的融合算法

本文算法以NSST变换与稀疏表示原理为基础，采用IHS变换和NSST变换将SAR图像和可见光图像的I分量分解为低频及高频分量。低频分量是对原始图像的特征逼近，不具有稀疏特性，结合SAR图像与可见光图像的成像特性和亮度差异大的特点，在稀疏表示上运用基于SSIM和亮度差异性的图像融合规则。高频分量由于含有丰富的细节信息，运用基于SML融合规则进行融合。步骤如下：

步骤1. 随机选择几幅SAR和可见光图像进行训练，得到过完备字典；

步骤3. 对低频分量采用SSIM和亮度差异性稀疏表示融合步骤得到低频融合分量；

步骤5. 将低频融合分量和高频融合分量进行NSST逆变换和IHS逆变换，最终得到SAR与可见光融合图像。

图像融合流程如图2所示。

图2 融合图像流程图

2.1 低频融合规则

SSIM是用来描述两幅图像相似度的指标[19-20]，其认为图像由亮度、对比度和结构信息3类不同元素组成。而SAR图像低频分量本身含有丰富的结构信息，其本身又是主动式微波反射成像，所以整体视觉效果在结构和亮度上比可见光图像更显著。在保持可见光图像低频分量空间对比度信息的基础上，利用基于SSIM和亮度差异性的稀疏表示，在最优化情况下可注入更多SAR图像结构信息和亮度信息。

每对图像块的亮度相似性和SSIM信息定义为

融合后，将列向量运用字典转换为图像结构列向量

在融合过程中，SAR图像结构信息的加入程度由两幅低频分量结构的相似性决定，SSIM越大，则注入越多的SAR图像信息，以更好地保留图像中的细节信息；SSIM越小，则更多地保留可见光图像的信息，即保留图像的轮廓信息。同样，SAR图像亮度信息的注入程度也是由亮度相似度决定，亮度相似度越小SAR图像亮度信息注入的越多，以保留融合图像中感兴趣目标区域的亮度；亮度相似度越大则SAR图像亮度信息注入越少，以保留更多的可见光图像亮度信息。

2.2 高频融合规则

其中，是系数间的可调变量，本文对其值总取为1。

也就是进行高频分量比较时，选择SML系数较大值作为融合图像的系数。

3 实验和结果分析

将本文方法与基于IHS变换的融合算法[11]、基于Wavelet变换[5]、基于NSCT变换(nonsubsampled contourlet transform)的融合算法[22]进行对比。此外，为了验证本文方法的效果，将其直接与基于NSST-IHS变换(nonsubsampled shearlet)和基于IHS-Wavelet-SR变换的融合算法也进行了比较。

3.1 数据和参数选择

本文SAR数据源采用欧盟的“哨兵1号” (Sentinel-1)雷达卫星C波段图像，此数据能穿透水面成像，为分辨率5m的天津郊区以及渤海港口图像，同时数据经过降噪处理[23]；可见光图像数据源采用landsat-8，其分辨率30m。本文选择地物信息丰富具有水面、植被及建筑物特征，使得实验结果可靠。

3.2 实验结果和评价

由于缺少标准SAR与可见光融合图像，本文按照WALD等[24]评价指标，采用可见光图像作为参考图像。定量评价采用相关系数(correlation coefficient, CC)、光谱角(spectral angle mapper, SAM)、相对整体误差(relative average spectral, RAME)、相对平均光谱误差(relative global dimensional synthesis error, EGRAS)和通用质量评价指标(universal image quality index, UIQI)[25]对融合图像的效果进行客观评价。其中，CC、SAM、RAME评价融合图像的光谱质量，ERGAS、UIQI从光谱质量和空间细节信息整体上对融合图像进行评价。

第1组实验(图3)选择具有住宅区域与水体区域的遥感图像，含有极其丰富的细节信息和光谱信息。从图3(c)~(e)可看出，IHS算法相比Wavelet、NSCT方法总体色彩较浅，在视觉效果上没有图3(d)和(e)好，但能更好地保持光谱信息，没有明显的光谱扭曲现象。而从图3(d)、(e)、(f)和(g)可看出，图3(g)在颜色保持比其他算法更好，这是由于IHS-Wavelet- SR算法在低频分量上采用了稀疏表示融合规则，使其在光谱信息上有所提升，颜色更接近可见光图像，但在红色方框区域仍有明显的光谱扭曲，尤其是在岛屿和建筑轮廓上。图3(g)相比于(f)，光谱扭曲现象有所改善，但光谱信息上不如IHS-Wavelet-SR算法好，且颜色稍浅。图3(h)整幅图像结合了(f)和(g)的优点，比图3(f)更接近于原始可见光图像的视觉效果，既包含丰富的光谱信息，又减少了光谱扭曲，同时红色方框区域中的目标特征信息被平滑地注入到可见光图像中，所以不管在光谱还是特征信息上，本文提出算法的融合效果最好。

第2组实验(图4)选择具有大量农作物和桥梁建筑的图像。从图4(c)、(d)和(e)可以看出，IHS算法颜色较浅，所含信息相对较少，其没有明显光谱扭曲，但Wavelet算法光谱扭曲明显。而从图4(f)、(g)和(h)可看出，图4(f)颜色更接近可见光图像，但是有明显的光谱扭曲现象，尤其在红色方框区域。图4(g)光谱保持上没有图(f)好，但是没有明显的光谱扭曲。图4(g)结合(f)和(g)的优点，图像在视觉上更接近于可见光图像，在左上角红色农作物区域空间信息得到增强，右边红色方框区域感兴趣特征信息被平滑的注入可见光图像中，故本文算法效果最优。

表1为第1组实验不同融合算法的质量评价指标，可以看出在图像的质量评价指标CC、SAM、RASE、UIQI和ERGAS上传统算法IHS、Wavelet、NSCT的光谱保持指标CC、SAM和RASE效果不好，在整体指标UIQI和ERGAS也比不上其他算法，而比较IHS-WV-SR与NSST-IHS算法发现，后者的SAM和UIQI稍好于前者，而前者的其他指标则好于后者，这说明IHS-WV-SR算法有更好的光谱保真能力，而NSST-IHS算法在空间细节信息保持上更优。而本文算法相比于NSST-IHS算法、IHS-WV-SR算法及其他传统算法不管是在光谱保持指标还是全局质量上都有较明显提升。

表2为第2组实验不同融合算法的质量评价指标，可以看出传统算法IHS、Wavelet、NSCT不管是在光谱保持指标还是整体指标上都比不上其他算法。由于实验2所用源图像拥有更丰富的植被信息，故IHS-WV-SR算法在光谱保持上效果更好，其除了UIQI指标低于NSST-IHS算法，其余指标都高于NSST-IHS算法。而本文算法在融合结果上是最好的。

图3 第1组实验融合结果

表1 第1组实验质量评价指标

图4 第2组实验融合结果

表2 第2组实验质量评价指标

4 结束语

本文提出一种基于NSST与IHS变换稀疏表示的融合算法，相比于传统算法，克服了目标信息不突出以及光谱失真问题。该算法对低频分量强调SSIM和亮度差异性的稀疏表示，提升全局显著结构和感兴趣目标的辨识度，对高频分量分析了局部区域像素间的联系，所提融合规则能保留图像空间细节信息。实验验证了本文算法的有效性，所得结论如下：①结合NSST变换和IHS变换能更有效地保留空间结构与细节信息。②在低频分量上采用SSIM和亮度差异性融合规则，可将SAR图像的结构信息和部分亮度信息平滑地注入可见光图像中。将稀疏表示方法与NSST和IHS变换结合起来，使得低频分量能有效反映图像的显著特征，融合结果的整体质量有了明显提高。NSST和稀疏表示的复杂度较高，今后将研究如何减少算法的运行时间。

[1] BYUN Y. A texture-based fusion scheme to integrate high-resolution satellite SAR and optical images [J]. Remote Sensing Letters, 2014, 5(2): 103-111.

[2] WALESSA M, DATCU M. Model-based despeckling and information extraction from SAR images [J]. IEEE Transactions on Geoscience and Remote Sensing, 2000, 5: 2258-2269.

[3] YANG J, REN G, MA Y, et al. Coastal wetland classification based on high resolution SAR and optical image fusion [C]//Geoscience and Remote Sensing Symposium. New York: IEEE Press, 2016: 886-889.

[4] KWAK Y, YOROZUYA A, IWAMI Y. Disaster risk reduction using image fusion of optical and SAR data before and after tsunami [C]//IEEE Aerospace Conference. New York: IEEE Press, 2016: 1-11.

[5] 宋建社, 郑永安, 刘迎春. 基于小波变换的SAR与可见光图像融合算法[J]. 计算机应用研究, 2004, 21(10): 110-111.

[6] DO M N, VETTERLI M. The contourlet transform: an efficient directional multi-resolution image representation [J]. IEEE Transactions on Image Process, 2005, 14(12): 2091-2106.

[7] EASLEY G, LABATE D, LIM W Q. Sparse directional image representations using the discrete shearlet transform [J]. Applied & Computational Harmonic Analysis, 2008, 25(1): 25-46.

[8] CHEN T, ZHENG-WEI L I, WANG J L, et al. Imaging system of single pixel camera based on compressed sensing [J]. Optics & Precision Engineering, 2012, 20(11): 2523-2530.

[9] 王珺, 彭进业, 何贵青, 等. 基于非下采样Contourlet变换和稀疏表示的红外与可见光图像融合方法[J]. 兵工学报, 2013, 34(7): 815-820.

[10] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation [J]. Information Fusion, 2015, 24: 147-164.

[11] TU T M, HUANG P S, HUNG C L, et al. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery [J]. IEEE Geoscience & Remote Sensing Letters, 2004, 1(4): 309-312.

[12] EASLEY G, LABATE D, LIM W Q. Sparse directional image representations using the discrete shearlet transform [J]. Applied & Computational Harmonic Analysis, 2008, 25(1): 25-46.

[13] 焦李成. 图像多尺度几何分析理论与应用[M]. 西安: 西安电子科技大学出版社, 2008: 1-498.

[14] COLONNA F, EASLEY G, GUO K, et al. Radon transform inversion using the shearlet representation [J]. Applied & Computational Harmonic Analysis, 2010, 29(2): 232-250.

[15] CHEN S, SAUNDERS M A, DONOHO D L. Atomic decomposition by basis pursuit [J]. Siam Review, 2001, 43(1): 129-159.

[16] GAO R, ZHAO R, HU S. Variable step size adaptive matching pursuit algorithm for image reconstruction based on compressive sensing [J]. Acta Optica Sinica, 2010, 30(6): 1639-1644.

[17] PATI Y C, REZAIIFAR R, KRISHNAPRASAD P S. Orthogonal matching pursuit: recursive function approximation with applications to wavelet decomposition [J]. Signals, Systems and Computers, 1993, 1: 1-3.

[18] AHARON M, ELAD M, BRUCKSTEIN A. SVD: an algorithm for designing overcomplete dictionaries for sparse representation [M]. New York: IEEE Press, 2006: 4311-4322.

[19] WANG B, WANG Z B, LIAO Y P, et al. HVS-based structural similarity for image quality assessment [C]// International Conference on Signal Processing. New York: IEEE Press, 2008: 1194-1197.

[20] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[21] QU X B, YAN J W, YANG G D. Multifocus image fusion method of sharp frequency localized Contourlet transform domain based on sum-modified-Laplacian [J]. Optics and Precision Engineering, 2009, 17(5): 1203-1211.

[22] 张少辉, 崔仲远, 于来行. 基于DWT结合NSCT的快速图像融合算法[J]. 微电子学与计算机, 2015(9): 40-44.

[23] PARRILLI S, PODERICO M, ANGELINO C V, et al. A nonlocal SAR image denoising algorithm based on llmmse wavelet shrinkage [J]. IEEE Transactions on Geoscience & Remote Sensing, 2012, 50(2): 606-616.

[24] WALD L, RANCHIN T, MANGOLINI M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images [J]. Photogrammetric Engineering & Remote Sensing, 1997, 63(6): 691-699.

[25] ALPARONEL, BARONTI S, GARZELLI A, et al. A global quality measurement of pan-sharpened multispectral imagery [J]. IEEE Geoscience and Remote Sensing Letters, 2004, 1(4): 313-317.

Fusion of SAR and Visible Images Based on NSST-IHS and Sparse Representation

SHENG Jiajia1,2, YANG Xuezhi1,2, DONG Zhangyu1,2, JIAO Wei1,2

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China;2. Anhui Province Key Laboratory of Industry Safety and Emergency Technology, Hefei Anhui 230009, China)

In order to solve the problem that the interested aims are not prominent and spectral distortion caused by different imaging mechanism of synthetic aperture radar (SAR) and visible images, this paper proposes a fusion algorithm based on NSST-IHS and sparse representation. Firstly, source images are transformed by intensity-hue-saturation (IHS) and non-subsampled shearlet transform (NSST). Secondly, a fusion rule based on the structure similarity and luminance difference of the sparse representation is used in low- frequency components, while a fusion rule based on sum-modified-Laplacian is used in high- frequency components. Finally, the fusion results are obtained by inverse transformation of NSST and IHS. Experiments are carried out with Sentinel-1A SAR images and landsat-8 visible images, and compared with the traditional algorithms of IHS, Wavelet, NSCT, IHS-Wavelet-SR and NSST-IHS. The results show that the new algorithm has obvious improvement whether in visual or evaluation as well as to maintain the spatial structure information and spectral information, which is beneficial to target detection and recognition.

synthetic aperture radar image; visible image; image fusion; sparse representation; non-subsampled shearlet transform

TP 391

10.11996/JG.j.2095-302X.2018020201

A

2095-302X(2018)02-0201-08

2017-06-20；

2017-08-19

国家自然科学基金项目(61371154，41601452)；安徽省重点研究与开发计划项目(1704a0802124)；中国博士后科学基金项目(2016M602005)

盛佳佳(1993-)，女，安徽池州人，硕士研究生。主要研究方向为遥感信息处理。E-mail：shengjiajiahfut@163.com

董张玉(1986-)，男，安徽合肥人，副教授，博士。主要研究方向为遥感信息处理。E-mail：dzyhfut@hfut.edu.cn