浅谈高光谱图像融合方法

洪科 汤漫

摘 要：高光譜图像有着丰富的光谱信息，能够更好的反映地物的实际情况，但是高光谱图像空间分辨率比较低，所以提高高光谱图像的空间分辨率有着极大的作用。高光谱图像融合是改善其图像质量的重要途径。

关键词：高光谱图像;空间分辨率;融合

1 基于贝叶斯的方法

N.Akhtar等人[1]通过考虑将获取的高分辨率图像空间信息与低分辨率的高光谱图像进行融合，提升高光谱图像的空间分辨率。基于该思路，通过非参数贝叶斯稀疏表示将高光谱图像与高分辨率图像融合，联合利用图像的空间结构信息以及高光谱图像的光谱域信息，避免重建图像的光谱失真问题。该方法首先估计场景中材料反射光谱的概率分布以及一组伯努利分布;其次，通过贝叶斯字典学习得到光谱字典，并根据高分辨率图像的频谱量化进行字典变换;然后，利用变换后的字典，通过贝叶斯稀疏编码策略计算高分辨率图像的稀疏编码矩阵;最后，将贝叶斯学习的字典与稀疏编码矩阵联合重建高分辨率的高光谱图像。实验结果分析表明，本方法在主观视觉方面，图像的细节信息更加清晰，客观指标上RMSE 和 PSNR 的值也优于其他稀疏表示方法。

2 基于矩阵分解的方法

R.KAWAKAMI等人[2]提出首先利用光谱分解问题的一个有原则的解，得到了一组表示场景中各种材料反射率的最优基函数。由于基于高光谱图像中每个像素可能只有少量材料的简单观察，我们将解混问题转化为稀疏矩阵分解问题，并通过“L1-极小化”求解。在此基础上，结合高分辨率的RGB观测结果，重建了每个位置的光谱。该方法在高分辨率RGB相机与低分辨率相机之间存在较大的分辨率差距的情况下，能够有效地获得非常精确的光谱估计。

3 基于深度学习的方法

Renwei Dian等人[3]提出不同于HSI的先验模型，HSI锐化方法首先直接利用基于CNN残差学习的先验知识，可以较好地模拟HR-HSIs的先验知识。然后将先验知识通过基于深度神经网络的残差学习引入融合框架。合并体现在两个方面。一方面，首先从通过求解一个西尔维斯特方程，得到了已知的LR-HSI和HR-HSI。然后，为了了解HR-HSI的先验，使用初始化的HR-HSI作为CNN的输入来映射两者之间的残差引用HR-HSI并初始化HR-HSI。这种初始化可以充分利用融合框架的约束，从而提高输入数据的质量。此外，残差学习不仅可以加快训练速度，而且可以提高学习效率。另一方面，将HR-HSI的先验知识返回到融合框架中进行重构。最终估算出HR-HSI，可进一步提高性能。

4 基于张量的方法

Renwei Dian等人[4]提出基于张量的方法提出了一种基于LTTR（低秩张量）的HSI超分辨方法，它融合了HR-MSI和LR-HSI，属于低秩学习的范畴。因为低秩先验是为了有效地学习数据冗余和自相似性，利用LTTR先验估计了LR-HSI和HR-MSI的高空间分辨率HSI（HR-HSI），可以有效地学习HSI空间、光谱和非局域模式之间的相关性类似的HR-HSI立方体。一个典型的自然场景是完全相似的，因此，它经常包含许多非本地的类似内容块。为了利用这个优势，对HR-MSI进行了分区就像很多相同大小的立方体一样，然后，分组相似数据集在一起。基于HR-MSI中的学习簇，HR-HSI立方体也被分组。由于LTTR先验是施加在这些4-D张量上的，所以制定了超分辨率问题为LTTR正则化优化问题，然后用交替乘子法求解。

参考文献：

[1]N.Akhtar，F.Shafait，and A.Mian，“Bayesian sparse representation for hyperspectral image super resolution，”in Proc.of IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Jun.2015.

[2]R.Kawakami，J.Wright，Y.-W.Tai，Y.Matsushita，M.Ben-Ezra，and K.Ikeuchi，“High-resolution hyperspectral imaging via matrix factorization，”in Proc.of IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Jun.2011.

[3]Renwei Dian，Shutao Li，Anjing Guo，and Leyuan Fang，“Deep Hyperspectral Image Sharpening，”in Proc.of IEEE transactions on networks and learning systems，Nov.2018.

[4]Renwei Dian，and Leyuan Fang，“a Low Tensor-Train Rank Representation for Hyperspectral Image Super-Resolution，”in Proc.Of IEEE transactions on networks and learning systems，Feb.2019.