一种基于Siamese卷积神经网络的变化检测技术

姬永清 李凯睿 巨炜龙

（1.中国电子科技集团公司第二十八研究所 江苏省南京市 210007）

（2.武汉大学测绘遥感信息工程国家重点实验室 湖北省武汉市 430079 3.武汉大学测绘学院 湖北省武汉市 430079）

1 引言

深度神经网络可以从原始影像中学习复杂的关系，是实现变化检测目地的最优选择。其中卷积神经网络（Convolutional Neural Network，CNN）可以从数据中自动提取多层面特征结构[1]，从而在图像处理领域取得了广泛的应用，在影像分类、影像匹配、目标识别与探测和图像融合[2]等方面也取得了较高的精度。Siamese 卷积神经网络可以将两张对应的影像同时输入网络中，对两张影像进行同步操作，相较传统的CNN，检测精度有较大的提升[3]。

2 基于Siamese卷积神经网络的变化检测技术

基于Siamese 卷积神经网络的变化检测技术可大致分为以下4步：

2.1 样本采集及标注

先手动选取特定范围内的目标地物类型的卫星影像，得到其经纬度信息及范围大小。在选取了一定数量的地物目标后，使用爬虫爬取这些地物目标的一定时间范围内时序影像，形成较为庞大的样 本数据集。

在获取了足够的样本数据之后，采用人工目视的办法，对时序影像的类别及变化情况进行逐一核对，保证训练集的准确性和有效性。

2.2 网络结构设计和训练

Siamese 卷积神经网络由两个完全相同的分支网络和一个决策层网络组成（如图1 所示）。分支网络分别对两时相影像瓦片进行特征提取，提取后的特征经过特征连接，生成两时相影像对的整体特征。此时，这两个特征会输入到顶层的决策层网络中。决策层网络对输入的整体特征进行相似性测量。同时，生成的两个特征也会被分别用来进行分类学习，得到两时相影像的类别，即场景信息。随后，这些场景信息会被修正影像变化检测的结果。

2.3 基于场景分类的变化检测增强

场景分类是指从影像中提取相应的场景特征，生成对应于每一场景的概率值，来判断该影像中的场景信息。由于仅涉及单分类或多分类问题，场景分类的准确率一般都能达到90%以上[4]。因此考虑将场景分类网络融合进变化检测网络，以提高变化检测的准确率，具体流程如图2 所示。

场景信息经由绿色箭头通过场景分类网络传递到了特征提取网络中，指导该网络提取到更好的特征信息，红棕色箭头代表场景信息经特征网络进一步的影响变化检测网络，提高其准确度。

如图3 所示，AB 场景信息以及变化信息与AB 场景分类以及变化检测网络相结合，分别使用binary_cross_entropy_loss 损失函数与变化检测损失函数计算出三个loss 值，并赋予不同权重，即下式：

图1：Siamese 卷积神经网络

图2：场景分类示意图

图3：损失函数计算

图4：高层建筑影像A

图5：高层建筑影像B

先使用上式求解出一个总的loss，再利用该loss 进行反向传播，将场景信息带入到变化检测中去，从而将场景分类网络与变化检测网络相结合，提高了变化检测准确率。

2.4 变化检测损失函数硬例关注

针对变化检测数据仅通过交叉熵损失函数获取较高精度的网络预测参数是极为困难的[5]。因此使用focal loss 替代传统的交叉熵损失函数作为变化检测的损失函数。但是，focal loss 面对的目标为二分类问题中的类别信息识别和分割中的前景背景分析，无法满足变化检测中图像信息丰富、内容离散化分布的数据特点。因此提出了针对遥感影像的变化检测损失函数硬例关注技术。

focal loss 计算公式如下：

其中α 是调节正负样本数量的权重超参数，β 是调节难易样本计算梯度的权重超参数，γ 代表真值，γ'代表预测结果。通过数量和难易样本两个函数进行控制，达到对分布均衡和样本重要性的同时关注。

变化检测损失函数硬例关注技术依托于focal loss，采用不同的关注强化因子以及归一化的硬例描述方式，实现了对变化检测网络参数的高精度训练，提升了变化检测网络的预测精度，解决了单一focal loss 的梯度消失问题，提升了整体网络的稳定性。

3 实验与分析

对拥有20 类地物目标共19595 条数据的测试集影像进行变化检测，损失函数loss 平均值为0.293，测试集精度accuracy为87.5%，代表有87.5%的测试集数据预测正确，总用时为138.572s。

在开发的“遥感大数据智能融合与动态分发”集成平台中，以武汉：高层建筑：009:2011-07-14 2012-04-13 对影像为例，在地物实际发生了变化时，状态变化列表也显示发生了变化。如图4、图5 所示。

4 结语

本文提出的基于Siamese 卷积神经网络的变化检测技术实用强，可以针对变化检测的本身特点将两张对应的影像同时输入网络中，对两张影像进行同步操作，使得检测精度相较传统的CNN 变化检测网络得到更高的提升，具有较好的应用价值和应用前景。