深度学习的遥感变化检测综述：文献计量与分析

杨彬，毛银，陈晋，刘建强，陈杰，闫凯

1.湖南大学 电气与信息工程学院,长沙 410082;2.北京师范大学 地理科学学部,北京 100875;3.国家卫星海洋应用中心,北京 100081;4.中南大学 地球科学与信息物理学院,长沙 410083;5.中国地质大学(北京) 土地科学技术学院,北京 100084

1 引言

自然和人类活动所导致的地表覆盖类型变化已引起广泛关注。准确快速地获取这些变化信息对于生态环境监测、灾害管理、农业生产、环境保护和军事国防等具有重要意义（Erturk 等，2017；Ji 等，2019a；Gao 等，2021；许晓聪 等，2021；钟娴 等，2022）。遥感具有多模态、周期性和大范围观测的优势，已被广泛应用于变化检测研究（Coppin 等，2004；Radke 等，2005；Kennedy 等，2009；Chen等，2012；Hussain等，2013；Seydi和Hasanlou，2017）。

遥感变化检测是指利用相同位置不同时期的遥感图像，基于图像处理和数理模型，识别地表实体或现象在不同时期状态差异的技术（Singh，1989；眭海刚 等，2018）。相比其他遥感图像解译技术（如分类和识别等），遥感变化检测需要至少两个时期的图像，其流程更为复杂，包括：图像间高精度几何配准，辐射、大气、物候相对归一化处理，变化特征提取，变化区域及变化类型确定以及精度验证等步骤，如图1（a）所示（佟国峰 等，2015；张良培和武辰，2017）。同时，各种应用对漏检率要求也更严格，因而对技术方法提出了更高的要求。根据不同遥感数据的特点和任务要求，国内外学者研发了多种变化检测方法，如基于代数计算、图像变换和分类后比较的方法（Healey等，2005；Chen等，2003b，2011；刘红超和张磊，2020）。这些方法原理简单、可操作性强，但是对使用的特征或分类结果敏感，易出现较高漏检率和误差累积问题，在精度、自动化或普适性方面目前尚不能满足大量复杂应用场景的需求（Chen等，2003a，2015；Healey等，2018）。

图1 遥感变化检测基本流程及基于深度学习的变化检测流程Fig.1 Flowchart of general and deep learning-based remote sensing change detection

随着计算机技术的快速发展，深度学习被广泛应用于遥感图像处理的各个领域，如分类、去噪、图像生成与融合、目标检测等。深度学习具有类似人类推理的特点（Peng 等，2019），在变化检测所需的特征提取方面具有先天优势，因此已成为遥感变化检测的重要手段。基于深度学习的遥感变化检测方法通常利用神经网络模型提取遥感图像（或图像间的）的深度（差异）特征，并在学习策略指导下训练变化检测模型，根据检测方案输出结果（Chen 和Shi，2020），其流程如图1（b）所示。这类方法精度高、鲁棒性强，已发展为现阶段遥感变化检测领域的研究热点。

近两年有相关综述介绍了深度学习在遥感变化检测中的应用。这些文章从网络结构、数据源或监督和无监督等角度回顾深度学习的变化检测方法，描述其在异质大数据处理、图像复杂性、可靠性、无监督和深度强化学习等方面的挑战或前景（Shi 等，2020b；Khelifi 和Mignotte，2020；Shafique 等，2022）。与现有综述不同，本文提供了更全面的文献计量分析，包括发文量、期刊和机构分布、学者统计、网络模型、数据源和应用领域信息，从宏观视角分析当前基于深度学习的遥感变化检测研究现状和热点；根据深度学习网络处理单元不同，从像素、对象和场景3种分析粒度对现有基于深度学习的遥感变化检测方法分类介绍；并关注深度学习在变化检测中面临的挑战，讨论多模态数据、非理想样本和多元变化信息多个方面的最新研究进展及发展方向。总的来说，本文从文献计量分析、分析粒度、以及重要问题探索等多个方面对基于深度学习的遥感变化检测进行综述，以期为未来遥感变化检测研究提供参考。

2 文献计量分析

本部分计量分析使用的英文数据库为WOS（Web of Science）核心合集数据库，检索策略为：所有字段包含（“remote sensing”或“remotely sensed”）和“change detection”和（“deep learning”或“network”）；文献类型选择“论文”、“综述论文”和“在线发表”；引文索引选择SCIEXPANDED 和SSCI。中文数据库为CNKI，检索策略为：主题包含“变化检测”和（“深度学习”或“网络”）；文献类型选择“学术期刊”。时间范围限制均为2000 年1 月1 日至2021 年12 月31 日。在初步获取检索文献后，通过全文阅读，剔除非相关文献，共获得258 篇英文和94 篇中文论文（这些论文的详细信息已经上传至：https：//github.com/thebinyang/ChangeDetectionReview［2022-04-07］）。

2.1 文献结构

2.1.1 发文量

发文量是衡量基于深度学习的遥感变化检测研究进展的重要指标。发文量年际变化如图2 所示，2016 年以来，国际上有关深度学习的遥感变化检测研究呈现持续快速增长趋势，年均增长率约为99.05%，发文量在2021 年达到125 篇。深度学习已经成为遥感变化检测的研究热点，大量研究利用卷积神经网络CNN（Convolutional Neural Network）（Shi 等，2021b）、自动编码器AE（Autoencoder）（Geng 等，2019）和生成式对抗网络GAN（Generative Adversarial Network）（Hou 等，2020）等实现高精度遥感变化检测。这类方法展示出超越传统遥感变化检测方法的性能（Shi 等，2020b）。国内研究源于2017 年，与国际研究趋势基本保持一致。

图2 基于深度学习的遥感变化检测相关文献统计Fig.2 Published articles on deep learning-based change detection

2.1.2 期刊和机构分布

对论文发表期刊统计分析发现，上述258篇英文论文发表在32份期刊上，其中发文量最多的10份期刊占比86.05%，如表1 所示。从机构发文量来看，共有140 家机构发表相关论文，分别有28、38 家机构的第一篇论文从2020 年、2021 年开始发表，说明基于深度学习的遥感变化检测在近两年受到了更多机构关注。发文量最多机构如图3（a）所示，前10 个机构约占发文总量的66.28%。这十大机构中有8家来自中国，表明中国对遥感变化检测研究重视程度更高，成果最为突出。

表1 基于深度学习的遥感变化检测研究出版量排名前10期刊Table 1 Top ten journals publishing papers on deep learning-based change detection

2.1.3 主要学者

学者合作网络（图3（b））展示了本领域活跃学者及相互之间的合作关系，图3（b）中每个节点代表一位学者，节点大小代表该学者的发文量；节点之间连线粗细表示两位学者之间的合作关系强度。从图3（b）可以看出，本领域中国学者占主导，公茂果、焦李成、张良培等产出较多，并且形成了多个以主要学者为代表的学术团队，在不同研究方向上做出重要贡献。如西安电子科技大学的两个团队关注无监督算法的土地利用/覆盖变化检测应用研究，其中公茂果团队主要构建AE、GAN、CNN 模型提取异质图像或高分辨率卫星图像的变化特征（Gong 等，2017a；Zhan 等，2020；Wu 等，2022b），焦李成团队则多设计CNN模型从合成孔径雷达图像或异质图像中检测变化（Li 等，2019b；Yang 等，2022）。武汉大学的张良培团队以土地管理和灾害评估为主要研究内容，建立了基于CNN 模型的高分辨率卫星图像、航空图像、高光谱图像变化检测方法（Wu 等，2022a；Hu 等，2021；Shi 等，2022）。特伦托大学的Lorenzo Bruzzone 团队提出了使用CNN、GAN 模型的半监督和无监督算法，用于从高分辨率、中低分辨率多光谱图像中检测土地利用/覆盖和建筑变化（Saha 等，2021b；Peng 等，2021）。学者之间的合作关系呈现“整体分散、局部集中”的特点。

2.2 研究热点

本文从数据、网络和应用3 个角度对筛选的258 篇英文文献分类，重点关注基于深度学习的遥感变化检测数据源、深度学习网络以及应用领域。

2.2.1 数据源

基于深度学习的遥感变化检测数据源可分为光学卫星图像、合成孔径雷达SAR（Synthetic Aperture Radar）图像、航拍图像以及其它图像。数据源的使用情况如图3（c）所示。总体来看，光学卫星数据仍然占据主流（48.77%）；高分辨率数据（光学卫星—高分辨率、航拍）应用最为广泛（45.26%），这与深度学习具有的空间特征挖掘优势有关；其次，使用来自不同传感器的多模态异质图像（例如光学卫星图像和SAR 图像，卫星图像和无人机图像）受到越来越多的重视，占比达到9.82%。

2.2.2 网络模型

本文统计的网络模型为包含3 层及以上的深度学习网络，即至少有两个隐藏层的网络（Voulodimos等，2018；Dargan等，2020；Dong等，2021），如图3（d）。其中CapsNet 指胶囊网络（Capsule Network）。目前主要使用的网络模型包括：CNN（68.89%）、AE（10.00%）、GAN（8.52%）、循环神经网络RNN（Recurrent Neural Network）（4.07%）和深度信念网络DBN（Deep Belief Network）（3.71%）等（图3（d））。CNN网络中U-Net（Peng等，2019）、PCANet（Li 等，2019a）和ResNet（Qian 等，2020）使用较多；AE 中去噪自动编码器（Khan等，2017）、变分自动编码器（Zerrouki等，2021）和卷积自动编码器（Mesquita 等，2020）等最常用。此外，GAN 网络主要用于数据增强以及域变换（Niu等，2019；Chen等，2021a），RNN模型用于提取多时相信息，DBN 网络用于无监督特征提取。最新的网络模型也开始应用于遥感变化检测，如：Transformer（Chen 等，2022a）和图卷积神经网络GCN（Graph Convolutional Network）（Tang等，2022）。

2.2.3 应用领域

基于深度学习的遥感变化检测主要被应用于广泛的土地利用/覆盖变化检测（74.22%），建筑（8.59%）（Ji 等，2019a）、森林（3.52%）（Khan等，2017）、城市（3.13%）（季顺平 等，2020；Papadomanolaki 等，2021）变化检测，以及灾害管理（3.13%）（Sublime 和Kalinicheva，2019）和滑坡检测（2.73%）（Chen 等，2018）等领域，在土地规划、城市管理和灾害评估等方面产生重要作用，但仍局限在传统应用领域且在资源、环境和救灾等应用较少。除广泛的土地利用/覆盖变化检测以外，建筑变化检测是研究的热点。

3 深度学习的遥感变化检测方法分类

为将深度学习引入遥感变化检测，并使其适应遥感数据的特点，国内外学者利用各种网络模型开发了多种基于深度学习的遥感变化检测方法。这些方法在像素、对象和场景不同粒度表征地物特征差异，然后通过后续网络处理进一步提取深度特征并判别其变化。图4所示即为基于像素、对象和场景3种情况下的发文量统计，体现了不同方法和网络的使用情况。各部分的详细介绍下。

图4 深度学习的遥感变化检测方法（来自WOS统计结果）Fig.4 Classification of deep learning-based remote sensing change detection methods（Data source from WOS）

3.1 基于像素的方法

基于像素的遥感变化检测方法从单个像素或单个像素的邻域（移动窗口）提取深度特征，逐像素判断变化情况（Lyu 等，2016；Shu等，2021），是深度学习应用于变化检测最早的方法。对于一维特征输入网络（图5（a）），像素或像素邻域特征通常被转换为向量后输入AE（Zhang 等，2016b；Geng 等，2019）、DBN（Zhang 等，2016a）、RNN以及深度神经网络DNN（Deep Neural Network）（Cao 等，2017；Geng 等，2019）等处理。对于CNN 这类输入为二维特征的网络（图5（b）），像素特征则通过矩形窗口内像素共同表征后由网络判断中心像素的变化情况（Gao 等，2016；Li 等，2019b）。

图5 基于像素的深度学习遥感变化检测方法Fig.5 Pixel-based deep learning methods

基于像素的方法简单直观，但是逐像素处理效率较低，并且由于假设每个像素独立，检测结果易产生椒盐噪声（Han 等，2020）。通过移动窗口提取的局部特征可缓解噪声影响，同时降低对几何配准精度的要求，然而移动窗口过大可能导致检测的变化边界模糊（Zhang 等，2016b）。在应用于多光谱图像（Mou等，2019）、SAR（Planinsic和Gleich，2018）和高光谱图像（Huang等，2019）等中低分辨率遥感图像时，基于像素的方法结果较为准确，并且适用于大面积场景，例如检测海冰变化（Gao 等，2019）、荒漠化（Zerrouki 等，2021）和森林砍伐（Adarme等，2020）。对于高分辨率遥感图像则难以避免不同观测角度、阴影等造成的虚假变化（Xu等，2019；Zhang等，2021b）的影响。这些因素一定程度上限制了基于像素的深度学习遥感变化检测发展。

3.2 基于对象的方法

对象是指对应于一定实体、内部相对均匀的像素组合（Chen 等，2012），其能有效结合光谱和空间纹理特征（佃袁勇 等，2016），提供更精确的地物信息（Lei 等，2019b）。基于对象的比较分析利用了对观测条件不敏感的地物空间特征（形状、空间关系等），可有效减弱随机噪声以及季节变化对变化检测结果的影响（Lu 等，2016；Bueno 等，2019；Jing 等，2020），在高分辨率遥感图像变化检测中具有一定优势，并且被用于检测建筑等地理实体变化（Timilsina等，2020；Zhang等，2021b）。

在基于对象的方法中，对象生成是最重要的步骤之一，直接影响网络的检测性能（Song 等，2020）。该步骤需要保证不同时相下的对象边界一致（Yu 等，2021）。对象可通过3 种方式生成：（1）基于组合分割（图6（a）），将多时相遥感图像的波段堆叠（Wang 等，2020b）或者获取差异图像DI（Difference Image）（Lei 等，2019b；Zhan等，2020）后分割生成对象；（2）基于单一时相分割边界（图6（b）），将单一时相的分割边界分配给所有时相（Zhang 等，2020b；Liu 等，2021）；（3）基于多时相独立分割（图6（c）），通过叠加边界得到更细化的分割对象（Gong等，2017c）。

图6 基于对象的深度学习遥感变化检测方法Fig.6 Change detection with object-based deep learning methods

在众多对象生成算法中，简单的线性迭代聚类SLIC（Simple Linear Iterative Clustering）利用特征相似性生成高度同质且保持对象边界的超像素（Gong等，2017c；王艳恒 等，2020），是最广泛使用的算法之一。为解决分割算法的过分割和欠分割问题，Xu 等（2019）和Zhang 等（2023）提出结合像素和对象的变化检测方法，Zhan 等（2020）和Shi 等（2021a）则对多尺度分割的超像素分别检测变化，采用投票机制确定变化类别。这些方法使得基于对象的方法更加鲁棒。此外，由于对象难以直接输入深度学习网络，常将对象特征向量化后切割或填充（Lv 等，2018；Lei 等，2019b），或通过向量重塑以及边界框将对象转换为图像块（Zhang等，2020b；Liu等，2021）。

3.3 基于场景的方法

基于场景的方法分析场景在语义上的变化，将多时相遥感图像作为分析单元，融合后输入单分支网络（图7（a）），或者分别输入双分支网络（图7（b）），一次性判断所有像素的变化情况（Peng等，2019），可考虑局部信息和全局信息，具有高效性，在城市管理、灾害评估领域发挥重要作用（Zhang 等，2019a；de Bem 等，2020；Shi 等，2021b）。得益于LEVIR-CD（Chen 和Shi，2020）、WHU building data set（Ji 等，2019b）、OSCD（ONERA Satellite Change Detection）（Daudt 等，2018）、SZTAKI AirChange Benchmark set（Benedek和Sziranyi，2009）等数据集的公开获取，开展的大量研究不断提高了变化检测性能。

图7 基于场景的深度学习方法的变化检测Fig.7 Change detection with scene-based deep learning methods

为应对超大场景的计算机内存需求，研究学者将遥感图像裁剪成规则图像块输入网络判断图像块中每个像素的变化情况，最后整合出变化检测结果（Lin 等，2020）。图像块的大小影响变化检测性能和计算效率，需要研究人员根据先验知识进行设置（Li 等，2021）。此外，重叠部分图像块可以减少裁剪时在图像块边缘附近的上下文信息损失（de Bem等，2020；Shu等，2021）。

全卷积神经网络FCN（Fully Convolutional Network）（Shelhamer 等，2017）作为传统CNN 的改进模型具有强大的上下文信息提取能力，能够接受任意大小的图像输入进行端到端的训练，将变化检测视为密集像素分类实现基于场景的变化检测。基于FCN的采用编码器和解码器结构的U-Net能够融合多尺度特征具有高效和准确性，例如改进的U-Net++网络（Peng 等，2019）以及具有深度可分卷积的U-Net（Liu等，2020）等。这些研究促使基于场景的变化检测成为快速发展的分支之一，因此CNN 成为变化检测的最主要模型（图3（d）和图4）。然而，FCN 模型依赖大量标注的训练样本，这些训练样本的生成通常耗时费力。

3.4 后续处理网络

在获取像素、对象和场景特征后，通过后续处理网络获得变化检测结果。后续处理网络实现深度特征提取和比较分析，是研究学者改进的重点。目前主流的后续处理网络可分为早期融合和晚期融合方法，前者以融合的多时相遥感图像作为网络输入；后者则采用双分支网络并行提取多时相图像特征。在这两种方法中，融合策略使用堆叠（Liu等，2020；Zhang 等，2020a）、拼接（Lei 等，2019b）保留原始特征信息，差分（Mesquita 等，2020；Wang 等，2021；Gong 等，2017b）突出变化信息，或卷积（Kerner等，2019）等深度融合方式进一步利用时空信息。特征提取则通过CNN、RNN 和AE等网络实现，并且为了提高特征的判别性，在骨干网络上应用稠密连接（Wiratama 等，2018）、跳跃连接（Peng 等，2019）、金字塔结构（Lei 等，2019a）、空间和通道注意力机制（Wang等，2021；Chen 等，2021b）、自注意力机制（Chen 和Shi，2020）以及它们组合的方式（Chen等，2020b；Song和Jiang，2021）融合多尺度特征。早期融合方法可在网络浅层阶段直接学习差异特征，深度差异特征一般通过Softmax、支持向量机等分类器或聚类的方法直接分类变化。晚期融合方法常使用孪生或伪孪生结构，有效减弱输入图像固有差异影响，提取的深度特征利于边界保留（Zhang 等，2020a），并且除了直接分类法，还常使用度量法比较双时相特征的参数化距离，经过聚类或阈值分割获得变化检测结果（Chen 和Shi，2020）；以及分类后比较的方法比较多时相遥感数据的独立分类结果检测变化（Zhang等，2019a）。在具体场景中，根据数据特性和任务需求综合设计不同分析粒度和后续处理网络以实现良好的变化检测性能。

4 挑战及发展方向

随着多模态遥感数据的增加、样本标注问题的突出以及多元变化信息需求的提出，基于深度学习的遥感变化检测面临诸多挑战，如图8 所示。本部分将针对这些关键问题展开讨论，重点描述在这些方向的研究进展及发展方向。

图8 基于深度学习的遥感变化检测面临挑战及发展方向Fig.8 Challenges and development directions on deep learning-based change detection

4.1 多模态遥感数据变化检测

多模态遥感数据能够突破单模态数据在天气、太阳高度、成像周期和成像幅度等方面的限制，对于提升遥感变化检测精度、应急救灾具有重要意义。深度学习在多模态遥感变化检测的应用正在快速增长（图3（c）），这种技术降低了对同质数据和图像配准的要求，从而更好地利用各种平台的多模态数据。深度学习通过逐步聚合低层特征获取抽象的高层表示，并通过度量分析或分类策略获得高精度的变化检测结果。对于多模态异质数据，由于成像机制和拍摄条件不同，以及存在视差和图像失真现象，在低维特征空间难以直接比较。

现有深度学习方法通过特征空间变换解决此类问题。一方面，将异质图像转换到新的特征空间，例如Zhao 等（2017）使用具有耦合结构的深度神经网络，将SAR 和光学遥感图像变换到新的共同特征空间提取具有可比性的特征；Chen 等（2020a）将孪生CNN 提取的空间光谱特征映射到新的特征空间获取变化信息。另一方面，也有研究将某一模态数据转换到另一模态数据的表示空间后与之比较，例如Niu等（2019）和Liu等（2022）分别使用条件生成对抗网络和循环对抗神经网络进行光学图像和SAR 图像的特征空间变换。此外，Gong 等（2019）采用混合的方法，使用耦合变分自动编码器将异质图像变换到共同的潜在空间，构建耦合生成对抗网络将异质图像从潜在空间转换到彼此的表示空间提取特征。

以上特征空间变换方法有效减弱了多模态图像间地物表达差异的影响，但是这类变换方法可能会导致原始图像信息丢失或转换后特征无法高效对比等问题（Shi 等，2020a）。相关改进方法致力于特征空间变换的网络模型，如将卷积网络或自动编码器等与对抗训练相结合（Luppino 等，2022）、通过注意力机制促进异质图像在特征空间交互（Li 等，2022）等，以获取更一致的特征表示。此外，多模态数据融合（Hong 等，2021）以及其他多模态学习方法也为多模态数据变化检测提供了新的解决思路。

4.2 非理想样本条件下变化检测

深度学习模型的训练需要大量标注样本，样本数量和质量是提升变化检测性能的关键（Gao 等，2017；Geng 等，2019）。在遥感变化检测任务中，高质量样本需要专家人工标注，工作繁琐费时昂贵（Yang 等，2019；Zhang 和Shi，2020）。因此，样本问题是基于深度学习的遥感变化检测中的重要问题，主要体现在：在训练数据中，标注的变化和非变化样本数量不充足（即小样本问题）以及变化样本数量远少于非变化样本数量（即样本不平衡问题）两个方面。

4.2.1 小样本问题

针对遥感变化检测中的小样本问题，解决方法主要利用数据增强方法，增加样本数量和多样性以及采用半监督方案降低对标注样本的依赖这两种方式。其中数据增强使用几何变换、颜色变换、GAN 和变分自动编码器等实现（Chen 等，2021a；Luo 等，2021）。半监督方案则利用少量的标注样本从大量未标注样本中学习有区别性的特征，例如通过GAN 和GCN 实现半监督遥感变化检测（Jiang 等，2020；Saha 等，2021a），通过无监督模型和迁移学习提取遥感图像的深度差异特征并利用少量标注样本训练得到变化检测结果（Lu 等，2020；Zhang和Shi，2020）等。

在上述解决方法中，数据增强方案没有利用未标注数据，模型的泛化能力较差；半监督方案依赖算法原理和图像质量，且迁移学习大多在自然图像上训练，需考虑源域和目标域间信息传递的有效性（Song 和Kim，2020；Jiang 等，2022）。因此，需要加强研究小样本情况下判别性特征提取和表征技术。自监督学习方案利用辅助任务从无监督数据中构造伪标签，并将原始图像信息转化为特定的特征空间用于变化检测任务，通过少量标注样本微调提高检测性能（Jing 和Tian，2021）。自监督方案促进了网络从未标注数据中学习更多可解释和有意义的特征表示，成为解决小样本问题有潜力的发展方向。

4.2.2 不平衡样本问题

当样本数量不平衡时，深度学习网络倾向于预测出数量较多样本的类别。为解决该问题，现有基于深度学习的方法可分为算法级和数据级两种方法。其中算法级方法主要采用改进损失函数的方法，例如在损失函数中考虑变化与不变样本比重的各种加权损失函数（Zhang 等，2019b；Chen 等，2021b；Ke 和Zhang，2021；Cheng 等，2021）。数据级方法则从样本选择角度解决不平衡问题，选择平衡的样本数量，例如Li 等（2019a）和Cui等（2019）采用统一选择策略和随机子空间集成学习模块筛选候选样本，Wang 等（2019）引入形态学监督选取变化区域和不变区域边界上的平衡样本训练网络。

上述算法级和数据级方法一定程度上缓解了样本不平衡问题的影响，但均有自身局限性，需要不断改进。例如可将双焦点损失函数（Hossain 等，2021）、无参数损失函数（Du 等，2023）和APLoss（Chen 等，2021c）等新型损失函数应用于遥感变化检测。机器学习领域的其他解决不平衡问题的方法，也被成功用于深度学习领域，例如深度学习模型过采样算法（Dablain 等，2022）和集成学习（Chen 等，2022b；De Angeli 等，2022），也为解决遥感变化检测中的不平衡样本问题提供了新方向。

4.3 多元变化信息获取

目前基于深度学习的变化检测大多针对双时相遥感图像展开，实现了二元变化检测，即能够识别单一的土地类型变化或者简单识别变化的位置，较少考虑变化的语义，难以获取多元信息（如变化类型、变化时间等信息）（Zhan 等，2018）。在实际应用中，这些多元信息对于土地规划、城市管理和灾害评估等具有重要价值，深度学习技术在获取多元变化信息上亟需突破（Wang等，2020a）。

4.3.1 多类型变化监测

“多类型变化检测”将不变的区域标记为不变，同时标记出变化区域及其不同类型，例如城市扩张、变为水体等。其特点是能够从多时相遥感影像中突出变化区域和类型，但是变化前后的具体地物类别不一定清楚。在标注数据充足的情况下，Mou 等（2019）使用CNN 提取空间光谱特征，然后通过长短期记忆网络LSTM（Long Short-Term Memory）提取时间信息实现多类型变化检测；为降低对人工标注样本的依赖；Song等（2018）和Wang等（2020a）通过预分类方法获得多类型变化样本，训练卷积LSTM和DBN无监督地获取变化类型信息；Saha 等（2019）使用预训练CNN 提取深度特征，然后通过深度变化向量分析法识别多类型变化。由于多类型变化样本获取困难，获取的变化类型信息通常只有几类，某一变化类型可能表示多种地物变化信息。

“语义变化检测”生成每个时相图像的语义变化图（即变化区域及其在每个时相影像中的地物类别图），其在多类型变化检测的基础上，详细描述了变化类型的“从—到”信息，并且获取了每个时相的语义信息。基于深度学习的“语义变化检测”最近在遥感领域受到关注。例如，Peng 等（2021）提出以端到端方式，实现大规模遥感数据集的语义变化检测，Xiang 等（2021）增加变化特征引导模块，帮助模型预测语义变化标签等。

在语义变化检测方法中，一种直观方案是使用分类后比较的方法，但是这类方法依赖分类的准确性，存在误差累积和时间相关性考虑不足的问题（Wu等，2017；Wei等，2021）。其他基于深度学习的语义变化检测方法则需要克服大规模标注样本获取困难的问题。除了变化类型信息以外，变化时间等动态信息也对基于深度学习的方法提出了新要求（Verbesselt等，2010a，2010b）。

4.3.2 时序变化检测

时间序列变化检测可以建模时空相关性，提供长时期的变化信息（赵忠明 等，2016；张立福 等，2021），在景观动态监测（Zhou 等，2019）、城市扩张（Li等，2017）、火灾监测（Zhang等，2021a）等领域发挥着重要作用。在各种深度学习模型中，RNN适用于时间序列分析，是良好的变化检测工具。RNN 及其变体，如LSTM、GRU（Gated Recurrent Unit）等，已经成功应用于遥感时序变化检测。例如，Kong 等（2018）和Stephenson 等（2022）利用RNN的时间序列预测能力，将预测数据与实际数据进行比较实现灾害的在线检测，提供了变化的时间和空间范围。除此之外，形变LSTM（Melis 等，2020）、考虑时间间隔的LSTM（Baytas 等，2017）等改进的RNN 模型有望进一步提高遥感变化检测性能。

由于RNN空间信息提取能力不足，联合CNN与自动编码等网络可有效规避该问题。另外，考虑到RNN网络固有的梯度消失和爆炸以及无法并行处理等问题，也可以使用TCN（Temporal Convolutional Network）（Bai 等，2018）和注意力机制等代替RNN 提取时间信息。特别地，基于自注意力机制的Transformer 在建模时序数据的长期依赖性上具有优势，在变化检测（Chen 等，2022a）和分类（Yuan等，2022）任务上展示了优异的性能，为时间序列变化检测开辟了新途径。目前时间序列变化检测大多基于RNN展开，由于时间序列图像中存在多次变化、季节性变化等复杂变化情况（Zhang 和Huang，2018；Kalinicheva 等，2020），现有模型在提取时间序列图像中的长期空间—时间相关性信息方面具有困难（Chen 等，2022a；Zhang 等，2022），并且缺乏公开数据集（Zitzlsberger 等，2021；Yin 等，2022），深度学习在时序变化检测的应用较少，有待进一步研究（图3（d））。

5 结语

遥感变化检测作为对地观测最重要的技术之一，在土地规划、生态监测和灾害管理等领域具有重大应用价值。近年来，基于深度学习的方法促进了遥感变化检测性能和自动化水平的提升。本文系统地总结和评述了基于深度学习的遥感变化检测研究现状。国内外文献的可视化计量分析显示，基于深度学习的变化检测研究在近三年（2020 年—2022 年）持续快速增长。本文从像素、对象和场景3种分析粒度的角度阐述如何实现基于深度学习的遥感变化检测方法，并讨论其优点和局限性。另外，本文还探究了多模态数据、样本问题和多元变化信息方面取得的重要进展。由于应用需求的增加，多模态异质变化检测、语义变化检测和时序变化检测是未来的研究趋势。现有研究在环境监测、城市变化分析和灾害评估等方面的应用较少，需要不断深化深度学习新技术、新方法，推进遥感变化检测广泛深入的研究和应用。