基于梯度信息与差异图融合的土地变化检测

程 岩，赵化启，刘晓敏，王宇春，李国晶，袁东华，刘 琳，郭 浩

（1.佳木斯大学信息电子技术学院，佳木斯 154007；2.佳木斯大学材料科学与工程学院，佳木斯 154007）

0 引言

如何提取同一地域不同时期信息的变化已经成为一项重要的研究课题，地球表面上的生态环境是非静态的，不同时期观察同一个对象或者某一种现象鉴别其状态差别的过程称为变化检测［1］。从20世纪60年代开始，人类就开始使用遥感技术对地球表面进行观测，统计地球表面物体变化，从而完成地表数据的更新。自20世纪80年代开始，美国、日本等国家相继提出了对地观测计划（EOS），使人类对于地球表面的理解达到全新阶段［2］。我国从“六五”时期开始也采取了卫星遥感对土地资源进行调查研究［3］。

国内外研究学者在地球表面的土地变化自动化提取方面进行了深入的研究。早在1998年，Ridd等［4］利用1986年和1990年时期的TM影像，使用图像差分法、KT变换法等进行了土地的变化检测，并进行了结果精度的评估。Ding等［5］使用差值法来进行探测土地覆盖的变更情况。此后，Liu等［6］使用人工神经网络（ANN）的方法来检测卫星图像中描述的城市中的变化情况，进而验证了基于神经网络的变化检测，其检测时间短、准确率高等特点。张华国等［7］经过几何校正、彩色合成和数据融合等遥感数据处理方法，然后采用监督分类法、阈值法、植被指数法和人机交互法相结合的方法进行了土地覆盖分类，获得了南麂列岛土地覆盖的最新信息，其与传统的土地检测相比具有准确度高、时效性强等显著优势。

从技术流程上遥感变化检测分为大致4个环节：数据选择及预处理、差异图生成、差异图分析及精度评估。变化检测的方法可分为以下4类：

（1）代数运算法［8-11］：是一种使用非常广泛的变化检测方法，主要由比值法、差值法、植被指数法构成。比值法和差值法是对图像的灰度值相除或相减得到其差异图，植被指数法差异图的计算是由红光和近红外波段之间进行比值从而突出植被的信息，然后再对植被的指数差值处理而来。对于以上三种方法产生的差异图，再通过阈值对生成的差异图进行二值化，最终得到变化检测图。

（2）分类法［12-13］：包括直接分类法和分类后变化法两类，最常用的是分类后变化法，其过程是对图像进行分类，然后根据分类的结果找到对应的位置进行比较，最终得到图像差异图。直接分类法将多个图像进行重合叠加，再根据所变化的类型来进行分类，不需要对每个图像进行单独的分类操作。

（3）变换法［14-15］：通过对图像数据信息的变换对相关信息进行抑制对所变化的区域有更好的突出。最常用的变换方法有主成分分析法，其过程是将两幅图像数据都进行降维，得到主要的主成分，然后通过差值法来进行运算得到差异图；另一种常用的方法是多元变化检测法，其过程使用两张图像的线性组合的差值来进行变化检测，得到差异图，根据其差异图再进行阈值的选定与分割，进而得到变化效果图。

（4）深度学习法［16-19］：深度网络学习架构相对于传统的变化检测方法能够减少检测的结果对变化检测过程中所产生差异图依赖的影响。其中涉及了卷积神经网络［20］、深度信念网络［21］、卷积自编码器［22］等。

传统的遥感土地变化检测依赖于同质数据，由于光学数据的光照条件或湿度和降水等其他因素的影响，图像可能不均匀。特别是当不同的传感器出现时，这使得直接比较存在变化检测不准确的问题，分类后比较法适用于同质图像和异质图像来进行变化检测。这种方法依赖于在进行分类时分类算法的优劣。copula理论转换［23］，使两幅图达到相似的特征，需要进行合适的关联且采用标记像素来进行训练。核典型相关分析［24］、流形学习［25］等也尝试应用到异质图像变化检测，但是这类方法需要进行人工分析，限制性很大。针对异质图像的特点，将来源不同的图像映射到同一个特征空间，这是一个亟待解决的问题。因此，本文提出了基于自编码器网络架构的梯度信息与差异图融合变化检测方法。

针对于传统的变化检测存在以下问题：

（1）在进行遥感图像变化检测时，来自于不同传感器的遥感图像灰度变化具有非线性关系，直接进行变化检测存在不准确问题。

（2）原始图像具有不明显的轮廓和纹理，直接使用原始图像的轮廓和纹理会导致变化检测结果不准确。

（3）传统的差分运算生成的差异图存在图像特征表达不准确，导致差异图分析过程中检测不准确问题。

本文对于以上传统的变化检测存在的问题提出了以下解决方案：

（1）针对异源图像灰度变化具有非线性关系，本文基于多损失约束的自编码器的方法来实现一个域的数据高度非线性转换到另一个域。

（2）针对图像具有不明显的轮廓和纹理的问题，本文提出对原始图像、形态学梯度图像、方向梯度图像进行融合用于自编码器的输入，提高了本文方法的性能。

（3）针对差异图生成过程中传统差分运算导致图像特征表达不准确问题，本文提出区域特征融合与加权平均融合算法相结合的方法生成差异图，有效增强了差异图的特征表达能力。

1 基于梯度信息与差异图融合变化检测算法方法描述

1.1 基于梯度信息与差异图融合变化检测算法总体框架

针对来自于不同传感器的遥感图像在进行变化检测时灰度变化是非线性关系，轮廓、纹理不明显及差异图特征表达不准确等问题，本文提出了一种基于自编码器网络架构的梯度信息与差异图融合变化检测方法，如图1所示，给定两幅图像，使用自编码器使图像转换到同一域下。其中，自编码器分为编码和解码两个过程，分别生成两组编码图像，选取两组最优编码图像进行图像差分，再采取区域特征融合与加权平均融合的方法生成差异图，最后使用大津法［26］进行差异图分析。同时对原始图像、形态学梯度图像、方向梯度图像进行融合，用于自编码器的输入，有效增强了图像的轮廓和纹理，最终得到了更好的效果。

图1 梯度信息与差异图融合变化检测框架图

1.2 基于多损失约束卷积自编码器网络的图像阈间转换

在数据的预处理阶段，本文采用网络架构以自卷积自编码器为主体。卷积自编码器不仅可以提取图像的有效信息和去除部分的冗余信息，更重要的是可以将两幅图像映射到相同的特征空间，进行差异图的生成，有效地解决异源遥感图像变化检测问题，其本质是用输出图像来高度还原输入图像的一个系统。

图2中组成的系统是自编码器网络的结构图，来实现图像域到域之间的映射，自编码器网络的训练过程包含编码和解码两个部分，在进行解码和编码的过程中，本文引入了文献［22］中的重建损失、周期一致性损失、加权翻译损失、编码相关损失来对自编码器进行约束，使图像在阈间转换过程中更好地对齐。在编码阶段，对输入的图像进行编码，得到编码层M；在解码阶段，对编码层M进行解码，得到输入图像的重构，然后通过多损失约束函数使重构误差达到最小。

图2 自编码器网络结构图

自编码器网络的编码和解码函数如公式（1）所示：

sf为编码器的激活函数，如公式（2）所示：

基于多损失约束的卷积自编码器网络伪代码如图3所示。

图3 多损失约束的卷积自编码器网络伪代码

1.3 基于图像信息增强的方向梯度与形态学梯度

异源图像之间各个方面存在着比较大的差异，这些差异使图像在进行变化检测过程中存在检测不准确问题，为使异源图像的显著信息在变化检测中更好地体现，本文在数据预处理阶段做出了一些改变。本文将方向梯度与形态学梯度图像与原图像放到图像不同的通道中，来进行图像的变化检测。

图像的方向梯度反映了图像的纹理、边缘等显著的信息。梯度值的灰度值变大，图像对比度增强，此时图像的纹理更加清晰，灰度变化更加强烈。图像函数f(x,y)在Q处的梯度，如公式（3）所示：

图像形态学梯度［27］在去除细节和噪声的同时也保留了重要区域的轮廓，图像的轮廓是对物体形态的有力描述，基于形态学梯度算法如公式（4）所示。其中⊕表示膨胀，Θ表示腐蚀，g(x,y)表示输入图像，B(i,j)表示结构元素。

腐蚀操作：是求局部最小值算子的操作，使用结构元素B(i,j)对输入图像进行腐蚀，将结构体元素B(i,j)占用面积最小的像素点分配给参考的指定像素，使像素图像中整体灰度值下降，高亮区域逐渐减少。腐蚀公式如公式（5）所示，结构元素对输入图像进行腐蚀，是以结构元素B(i,j)的原点为中心，在输入图像的区域进行平移，与之并集的就是腐蚀后的图像。

膨胀操作：是求局部最大值算子的操作，使用结构元素B(i,j)对输入图像进行膨胀，将结构体元素B(i,j)占用面积最大的像素点分配给参考的指定像素，使像素图像中整体灰度值上升，高亮区域逐渐增加。在输入图像的区域进行平移，与之交集的就是膨胀后的图像。膨胀公式如公式（6）所示：

无论膨胀或者腐蚀操作，其过程使结构体元素B(i,j)在图像上进行平移计算，从而得出膨胀和腐蚀图像，本文采用3×3的结构元素，过大结构元素会导致图像边缘间产生影响，经过计算得到形态学梯度图像。

1.4 基于区域特征与加权平均融合的差异图生成

对于差异图的生成，如图4所示，SAR图像与光学图像经过自编码器网络后生成了两组差分图像，然后以图像间的相关系数为阈值进行图像的融合，相关系数表现了图像之间的相关程度，如果相关性一般，则选取加权平均融合，如果相关性很大，则选取区域特征融合，更加凸显了差异图像的特征表达［28］。

图4 差异图生成算法结构图

相关系数计算如公式（7）所示：

具体融合规则如下，利用公式（7）中的相关性数值K，以融合图像像素点(m,n)为中心，窗口大小为3×3进行相关性数值K计算，一般情况下K≥0.8时，认为两个变量之间具有很强的关联性，因此阈值选取为0.8。

如果相关性数值K＜0.8，使用加权平均融合算法，图像方差越大，表示图像对应的像素值变化越大，以融合图像像素点(m,n)为中心，计算窗口大小为3×3的像素块的方差，根据每个窗口的方差除以两个图像窗口方差之和得到图像融合时的权重，计算得到两张图像上像素值的加权平均，循环迭代，进行整张图的融合。

如果相关性数值K≥0.8，使用区域特征融合算法，以融合图像像素点(m,n)为中心，窗口大小为3×3计算区域能量，采用窗口能量取小法，取图像能量较小的一方可以极大程度上减小噪声及误判区域对差异图分析的影响，其定义如公式（10）所示：

比较像素点(i,j)为中心的窗口能量，采用窗口能量取小法，如公式（11）所示：

区域特征与加权平均融合的差异图生成伪代码如图5所示。

图5 区域特征与加权平均融合的差异图生成伪代码

2 实验过程

2.1 实验环境

此实验的实验环境为Windows10系统；处理器型号Intel i5；处理器主频2.53 GHz和16 GB的运行内存（RAM）；PyCharm Community Edition 2020.3.2 x64；Python3.8.0；Matlab2016。

2.2 实验数据集

该数据集为中国曙光村土地利用现状情况，如图6所示，其中SAR图像尺寸大小为593×921×1，其图像来自Radarsat-2的C波段，拍摄时间于2008年6月；光学图像尺寸大小为593×921×3，其图像来自Google Earth，拍摄时间于2012年9月，光学图像包括RGB三个波段。

图6 曙光村数据集图像

2.3 评估方法

变化检测评估指标，总精确度（Overall Accuracy，OA），总精确度代表正确像素的比例，计算总精确度引入以下四个指标：真阳性（True Positive，TP），假阴性（False Negative，FN），假阳性（False Positive，FP），真阴性（True Negative，TN）。O A计算方式如公式（12）所示：

另外一个评估指标是Ka ppa系数，它反映了变化检测结果图与参考图的一致性，Kappa系数计算方式如公式（13）和公式（14）所示：

其中Nc=TP+FN，Nu=F P+TN。

2.4 实验结果分析与比较

经过方向梯度公式计算后的各个方向梯度图像，如图7所示，（a）是SAR水平方向梯度图像，（b）是光学水平方向梯度图像，（c）是SAR垂直方向梯度图像，（d）是光学垂直方向梯度图像，各个方向的梯度图像使图像在细节处纹理更加显著。

图7 方向梯度图像

经过形态学梯度计算公式得到形态学梯度图像，如图8所示，（a）是SAR形态学梯度图像，（b）是光学形态学梯度图像，形态学梯度图像很好地描述出图像的轮廓信息，使得图像边缘轮廓处更加明显。

图8 形态学梯度图像

采用不同方法进行图像变化检测，在曙光数据集上检测结果效果图如图9所示，（a）是CVA变化向量检测方法，是通过两个时相间图像的向量大小显示变化的程度，来确定分隔的阈值，从而确定两个时相之间变化信息；（b）是DPCA采用主成分分析和混合分类方法来对图像进行变化检测；（c）是SCCN采用无监督的深卷积耦合网络的方式来进行变化检测；（d）是采用文献［22］中的方法来进行变化检测，记为方法HR；（e）是采用本文所提出的只含有梯度信息融合的方法所得到的效果图，记为方法HRA；（f）是本文提出基于梯度信息与差异图融合的方法得到的效果图，记为方法HRB。

图9 所有方法在曙光数据集上的变化检测图

使用以下几种变化检测方法与本文提出方法进行实验对比，HR在图像边缘处及更多细节处有多处的噪声，HRA方法极大地减少了噪声的影响，但是HRA方法使得图像上的某些区域亮度太高，造成变化检测不准确。从表1中分析可以得出，HRA与HR相比，Kap pa系数提高了0.07左右，总体精度OA提高了0.84左右，从数据上可以看出HRA在原有方法HR之上性能有了一定程度上的提高，实验数据表明方法HRA性能良好。

表1 各种变化检测方法客观性能数据比较

CVA变化向量检测方法效果图噪声较多，数据表明实验效果一般；DPCA的实验数据表明其总体精度OA良好，但Kappa系数低于HRA的值；SCCN的Ka ppa系数略低于方法HRA，总体精度OA略高于方法HRA，实验表明其性能良好。

HRA经过区域特征融合与加权平均融合算法得到方法HRB，HRB方法更好地抑制了噪声的产生，使得变化检测图轮廓更加清晰，HRB相对于HRA在Kap pa系数上提高了将近0.05，在精确度OA上提高了2.08，说明融合后差异图的特征表达更为准确，在进行差异图分析过程中变化检测精确度有了一定幅度的提高，如表2所示。

表2 基于区域特征与加权平均融合性能评价数据

3 结语

针对来自异源图像轮廓、纹理不明显及差异图特征表达不准确导致变化检测不准确的问题，本文提出了一种基于自编码器网络架构的梯度信息与差异图融合的方法，通过自编码网络将异源图像映射到同一空间来进行图像差分，使用区域特征融合与加权平均融合算法来进行差分图像的像素级融合，从而生成差异图，其中，自编码器网络的输入使用了形态学梯度、方向梯度的融合图像，差异图分析采用了大津法。从大量实验结果平均值可以得出，本文从数值指标上取得了不错的结果。遥感变化检测技术在推动着社会的不断发展，在实际生活中，利用变化监测对土地进行监管对于社会的发展具有深远的影响。