基于GAN网络的遥感图像去云研究

黄广锐 沈闰晗

摘要：主要研究了遥感图像应用中的重要问题，特别是云遮挡可能导致数据准确性下降的情况。为了克服这一问题，采用了组卷积、多头自注意力机制和生成对抗网络，构建了一种端到端的遥感图像去云网络。通过在RICE数据集上的实验证明，研究的方法在解决云层遮挡问题方面表现显著，成功生成了清晰且无云的遥感图像。总体而言，为水利工程和遥感图像处理领域提供了一种高效的解决方案，尤其在空间信息利用、计算和参数优化方面具备明显优势。

关键词：遥感  生成对抗网络  自注意力机制  去云

中图分类号：TP751

Research on the Cloud Removal of Remote Sensing Images Based on the GAN Network

HUANG Guangrui  SHEN Runhan

Zunyi Survey and Design Institute of Water Conservancy and Hydropower Co.， Ltd.， Zunyi，Guizhou Province， 563000 China

Abstract： This article mainly studies a crucial issue in the application of remote sensing images， especially the situation that cloud occlusion can lead to the degradation of data accuracy. In order to address this problem， this article uses group convolution， the multi-head self-attention mechanism and the generative adversarial network to construct an end-to-end cloud removal network of remote sensing images. Experiments on the RICE dataset demonstrate that the proposed approach has a significant effect in solving the problem of cloud occlusion， and successfully generates clear and cloud-free remote sensing images， which provides an effective solution for the field of hydraulic engineering and remote sensing image processing overall， and especially has its obvious advantages in the utilization， computation and parameter optimization of spatial information.

Key Words： Remote sensing； Generative adversarial network； Self-attention mechanism；Cloud removal

近年来，遥感图像广泛应用于土地勘测等领域。然而，当遥感影像受到云阴影污染时，地面覆盖信息可能因稀疏而受到影响，甚至会被厚重的云层完全遮挡。因此，如何有效去除遥感图像中的云阴影问题成为一个重要的研究课题。在处理云阴影问题时，薄云和厚云的区别需要得到充分考虑。去除薄云可以利用自然图像去雾等方法，而厚云的去除相对较为困难，尤其是在大面积厚云的情况下。当前的云去除方法主要可分为两类，基于修复的方法通过patch搜索受云污染区域邻近的有效像素，而基于多光谱的方法则利用同一多光谱图像的无云带来估计多云带和无云带之间的关系。然而，这些方法在处理厚云时存在一定难度。因此，本文引入了卷积神经网络和多头自注意力机制，以提高对遥感影像的特征提取能力，特别是对云阴影孔洞的准确提取。同时，通过引入对抗生成网络，实现了对无云图像的生成，为解决遥感图像云阴影问题提供了一种端到端的解决方案。

1相关工作

现有的云去除方法主要分为三类：传统的基于统计学的方法、机器学习方法以及深度学习方法。传统的基于统计学的方法包括主成分分析法（Principal Component Analysis，PCA）[1]、最小二乘法（least sqaure method，LSM）、多光谱指数法[2]、光谱角度匹配法[3]和阈值法。这些方法在特定场景和特定类型的云遮挡下表现各异，选择适当的方法需考虑图像特性和用户需求。然而，传统方法需要手工设计特征，在处理复杂的地物覆盖和不同云遮挡类型时性能可能较差，对遥感图像中复杂的非线性关系也较难处理。机器学习方法包括支持向量机（Support Vector Machine，SVM）[4]和随机森林[5]，它们能适应不同地物覆盖和云遮挡类型，具有较好的泛化能力。机器学习方法通常能够从训练数据中学到模式，且一些算法的决策过程相对透明，易于解释和理解。然而，机器学习方法对数据质量较为敏感，噪声或异常值可能影响模型性能。深度学习方法如卷积神经网络（Convolutional Neural Network，CNN）[6]在处理遥感图像中表现出色，通过设计适当的网络结构，CNN能够学习图像中的特征，生成对抗网络（Generative Adversarial Networks，GANs）[7]由生成器和鉴别器两部分组成，通过对抗学习自主学习数据分布，具有通用性和调优能力。例如：CGAN通过联合使用监督学习和对抗学习方式，使模型能够获得更优的处理效果。这种特性使CGAN在图像去雨、图像去雾等问题上得到广泛应用。

2方法

本文设计了端到端基于多头注意力去云网络，它是一种encoder-decoder结构，从网络结构上具体来说首先通过组卷积来提取特征图，接着经过了一个1×1步长为1的卷积，然后经过了3×3步长为1的卷积，然后再依次经过两层组卷积，在encoder的最后一层，本文设计了多头注意力模块，能够提取特征之间远距离的信息，接着便是decoder，同样是经过一个1×1卷积，一个3×3卷积，然后再通过两个1×1卷积和一个3×3卷积，最后再经过组卷积，最后输出生成的结果，即去云的图像，网络结构如图所示。因为在encoder-deocder网络中，存在大量的冗余信息，本文引入了组卷积，能有效降低参数量。

2.1 组卷积

组卷积是卷积神经网络中的一种操作，它引入了组的概念。相比标准卷积操作，组卷积将输入和输出通道划分为多个组，每组内的通道共享一组卷积核。具体来说，将输入通道和输出通道分为G组，每组有相应的输入和输出通道数。每组使用一组卷积核进行卷积，这些卷积核分别处理组内的通道，输出是每个组内通道卷积结果的叠加。这种设计降低了网络参数量，提高了计算效率，特别适用于要求模型大小和计算效率的场景。通过选择适当的组数量，可以在减少参数量的同时保持一定的网络表达能力。

2.2 多头自注意力机制

多头自注意力机制是深度学习模型中处理序列数据的重要组件，尤其在自然语言处理和计算机视觉中广泛应用。最初引入于Transformer模型，它通过多个注意力头的引入，提高了模型对序列中不同位置信息的捕捉能力。传统自注意力机制通过将输入序列的每个元素与所有其他元素关联，捕捉序列内部的长距离依赖关系。而多头自注意力机制则通过多个头学习不同的关注焦点，增强了对多种关系的感知能力。这使得模型能够同时关注序列中的多个位置，更好地捕捉序列内部的复杂关系。在遥感图像去云任务中，多头自注意力机制使网络能够更好地理解云覆盖区域和无云区域之间的复杂关系，通过同时关注图像不同位置的特征，有效地处理大范围的上下文信息，对云的准确去除至关重要。

2.3 生成对抗网络

生成对抗网络（GAN）是一种深度学习模型，由生成器和鉴别器两部分组成。生成器负责生成伪造的数据，而鉴别器则负责区分真实数据和生成器生成的伪造数据。二者通过对抗学习的方式共同提高性能，使生成器能够生成更逼真的数据，而鉴别器则变得更加准确。在遥感图像去云中，生成对抗网络可以被设计为生成无云的遥感图像。在训练过程中，生成器努力生成看起来像真实无云图像的图像，而鉴别器努力区分真实无云图像和生成器生成的图像。这使得生成器学到去除云的特征，可以用于实际遥感图像的去云。

3 实验

3.1实验数据集

深度学习方法在云去除领域应用相对较少的一个重要原因是缺乏用于训练的数据集。因此为了促进遥感图像去云技术的研究，提供了一个名为Remote的开源数据集。RICE数据集[8]由两个子集组成，分别是RICE1和RICE2。RICE1数据集包含500个数据样本，其中包括多云图像和无云图像，分辨率为512×512。该数据集通过Google Earth收集，并通过设置云层是否显示来获取。这一数据集的建立旨在为研究人员提供一个有针对性的、用于深度学习方法培训的资源，以推动遥感图像去云技术的发展。

3.2训练

关于RICE数据集的实验，本文采用了Nvidia 3060 12GB显卡。在RICE1数据集中，实验选择了400张图像作为训练集，以及100张图像作为测试集。在RICE2数据集中，实验选择了500张图像进行训练，并使用150张图像进行测试。在训练模型的过程中，本研究将学习速率设置为0.000 3，批处理大小设置为1，epoch设置为500。同时，模型选择了Adam优化器，并设置了beta为0.000 1。这一实验设置旨在在有限的训练资源下，有效地训练模型并在测试集上获得准确的性能评估。

3.3结果

本文的去云网络在遥感图像去云任务中取得了显著的成果，其效果展示如图1所示。

通过提出的方法，本文成功解决了云层遮挡问题，为遥感图像提供了清晰、无云的视野。在这一过程中，特别关注空间信息的考虑，使网络能够更好地预测和处理云层的遮挡情况。总体来说，本文的遥感图像去云网络在多个方面都展现了优势。其显著效果、对空间信息的充分利用以及在计算和参数方面的优化，为遥感图像处理领域带来了一种更为有效和可行的解决方案。

4结语

在本研究中，专注于解决遥感图像中的云阴影问题，采用了卷积神经网络、多头自注意力机制和生成对抗网络构建端到端的遥感图像去云网络。通过实验证明，本文的方法显著改善了遥感图像的质量，成功解决了云层遮挡问题。这一研究为遥感图像实际应用和遥感图像处理提供了高效的解决方案，凸显了在空间信息利用、计算和参数优化方面的优势。未来，将继续优化模型，拓展数据集，以推动遥感图像处理技术的进一步发展。

参考文献

[1] 刘辉，谢天文.基于PCA与HIS模型的高分辨率遥感影像阴影检测研究[J].遥感技术与应用，2013（1）：7.

[2] 王茹月，周航宇.直方图双峰法在遥感影像水体提取中的研究与改进[J].测绘通报，2023（9）：77-81.

[3] 叶昕，秦其明，王俊，等.结合数学形态学与多角度模板匹配的高分辨率遥感图像救灾帐篷识别[J].测绘通报，2015（1）：4.

[4] 宋一明，鞠哲.一种基于动态类中心模型选择的模糊支持向量机[J].大连理工大学学报，2023，63（2）：199-204.

[5] 帅爽，张志，张天，等.特征优化结合随机森林算法的干旱区植被高光谱遥感分类方法[J].农业工程学报，2023，39（9）：287-293.

[6] 云涛，潘泉，郝宇航，等.基于HRRP时频特征和多尺度非对称卷积神经网络的目标识别算法[J]. 西北工业大学学报，2023，41（3）：537-545.

[7] 吴家皋，章仕稳，蒋宇栋，等.基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测[J].计算机应用，2023，43（5）：1565-1570.

[8]LIN D， XU G， WANG X， et al. A Remote Sensing Image Dataset for Cloud Removal[J]. ArXiv， abs， 2019，1901.00600.