一种基于双通道深度网络的多时相卫星遥感影像匹配研究

安谱阳，何海清，周俊超

(东华理工大学测绘工程学院，330013，南昌)

0 引言

卫星遥感影像匹配在自然灾害评估、军事灾害评估、地面目标识别等军事和民用领域有着重要意义，处理卫星影像的关键和难点之一是进行多时相遥感影像间的匹配[1－2]，卫星遥感影像通常受到复杂背景变化的影响。现有的匹配方法主要为基于灰度和基于特征的方法[3]。较常用的方法有尺度不变特征转换(Scale－invariant feature transform，SIFT)[4]、基于多尺度边缘特征的旋转和尺度不变形状上下文[5]和基于深度学习的影像匹配方法等[6－8]。然而，这些方法在对于具有复杂背景变化的遥感影像匹配难以获取理想的同名点[6，9]。

为实现复杂背景下多时相遥感影像稳健匹配，本文提出一种基于Siamese深度网络框架，通过深层神经网络学习的方式抽取影像块之间非线性、深层次、抽象的高级特征，以适应复杂背景变化下的多时相遥感影像匹配。

1 深度网络驱动的影像匹配

Siamese卷积神经网络的体系结构直接影响相似性学习的性能。在该研究中，深度网络的架构根据影响匹配性能的因素设计。复杂的背景变化可以简化为小的旋转和平移、非线性几何变形、阴影、图像质量下降和土地覆盖变化等类型的因素。

本文所提出的匹配框架主要包括3个步骤:Siamese网络训练、亚像素Harris角点检测、影像块匹配。在训练阶段，从参考影像中提取输入影像块。每个通道为提取特征设置了6个卷积层。在卷积层1和2的之间设置一个池化层，2个通道共享相同的权重。一个点积层和一个全连接层构成相似性度量。由Sigmoid函数给出0～1之间的匹配概率定义相似度，其中1和0分别对应于匹配和不匹配目标输出值。通过匹配和不匹配的标记示例训练Siamese网络，见图1。

图1 Siamese卷积神经网络的体系结构

在训练网络的匹配阶段中，将参考和待匹配影像划分为具有固定大小的网格，并且从每个网格提取多个亚像素Harris角。随后，建立高斯金字塔，通过Siamese网络提取深度特征，同步执行多尺度相似性度量。最后，利用几何约束来去除基于全局二次二项式函数的异常值，见图2。

图2 提出的匹配框架的示意图

本文利用基于高斯金字塔的方法从粗到精来剔除误匹配。

粗匹配:基于匹配概率η(m)和不匹配概率η(nm)的差异来定义影像块相似度，，表示待匹配影像中的第a个影像块与参考影像中的第b个影像块的最大差异。该定义满足等式(1)中的约束。

其中，R是比率阈值，设定为0.6。

多尺度共轭点精匹配:使用基于Harris算法的快速点定位方法，仅选择粗共轭角以找到精确的点位置。通过组合多项式和Random Sample Consensus(RANSAC)算法以消除粗差值。然而，不同地形或土地覆盖的局部几何变形并不一致，需要从高斯金字塔顶层到底层实现从整体到局部的粗差剔除。主要步骤如下。

步骤1:使用几何变换和RANSAC为高斯金字塔顶层找到正确的匹配集CMS。

步骤2:在下一个高斯金字塔层中，使用局部多项式验证所有初始匹配。如图3所示，选择初始匹配(A1，A2)的6个正确匹配以求解局部多项式系数，并且用A1预估点。如果的误差小于三次标准差，那么认定(A1，A2)为一对正确匹配并保存在集合CMS中。

步骤3:重复步骤2，直到完成所有高斯金字塔图层的验证任务。

在验证中，如果在点周围找到多于6个匹配，则选择等式(2)的二次多项式以适合局部几何变换;否则，就选择等式(3)的仿射变换以描述局部几何变换。

其中:(x1，y1)和(x2，y2)分别是参考和待匹配影像中匹配的坐标，而a1，a2，...，a6和b1，b2，...，b6是多项式系数。

其中:(x1，y1)和(x2，y2)分别是参考和待匹配影像中匹配的坐标，而c1，c2，c3和d1，d2，d3是仿射变换的系数。

图3 局部粗差剔除，(A1，A2)表示参考影像和待匹配影像的初始匹配

2 实验与分析

训练数据集是从worldview2和quickbird卫星影像中提取总共80 000对96×96像素大小的影像块。为避免影像旋转、高斯模糊和仿射变换带来的过度拟合，又扩充了240 000对影像块。实验数据为每组各选取一张2013年和2018年同一位置的卫星影像，影像分辨率均为1 604×876，空间分辨率根据背景复杂程度分别在0.59～2.38之间，数据包括河流、海岸线、农田、山脉和农村地区的建筑物，每组数据均包含不同周期、比例、照明、阴影和土地覆盖变化等要素。图4为本文的4对实验影像。

图4 匹配实验影像

通过随机高斯分布对权重进行初始化[10]。动量和重量衰减分别设定为0.9和0.000 5并降低学习率以加速训练并获得良好的表现。在该研究中，采用分段函数来调整学习率。初始学习率设置为0.01，然后逐渐降低，具体公式如(4)所示:

iter表示迭代次数，Piter表示iterth迭代的学习速率，根据以前的学习速率Piter－1迭代;%是计算余数的运算符;通过对实验的观察，在每100次迭代的基础上降低学习率，可以实现最优收敛;α是常量，设置为0.75。

图5为线性整流函数(Rectified Linear Uni，ReLU)激活后Siamese神经网络的部分卷积层(卷积层1－卷积层3)的可视化特征。可见，在卷积层1中提取了低级纹理信息，并且在深度卷积层中提取了许多高级语义特征。对于所有影像对，每个卷积层中的2个特征映射是相似的，表明该网络框架适用于复杂背景变化的影像特征提取。

图5 Siamese深度网络特征可视化示例

为进一步对本文方法进行评价，采用主流的SIFT和相位一致性(phase congruency，PC)匹配方法进行比较，这3种方法的正确匹配数CM，匹配精度MA统计值见表1，CM与MA计算公式如(5)所示:

式中总匹配数为TMN。

表1 具有复杂背景变化的遥感影像的每种方法的NCM和MP值

实验结果表明，当使用具有复杂背景变化的多时相遥感影像时，提出的框架在匹配性能方面有着更显著的改进。原因主要是通过网络训练获得的深度和抽象特征比手动设计的特征更加突出;其次，网格化亚像素Harris算子可以找到均匀分部的角点，定位精度高。最后，基于高斯金字塔耦合四叉树结合粗差点剔除与由粗到精的的搜索策略可以提高同名点的可靠性。

3 结论

本文提出的基于Siamese深度网络匹配框架，在匹配具有复杂背景变化的多时相卫星遥感影像中，该方法的正确匹配数是其他2种方法的2～8倍，匹配精度高于其他方法12%～60%。该框架对具有复杂背景变化的长间隔多时相遥感影像具有较高的匹配能力，匹配同名点数量多、分布均匀，可满足匹配模型解算需要。对遥感影像数据获取、图像融合、图像识别、边缘检测和遥感数据整合集成等领域有着重要意义。