基于知识图谱的遥感图像检索定位方法

王子奇，李华旺，3

（1.中国科学院微小卫星创新研究院，上海 201204；2.中国科学院大学，北京 100049；3.上海科技大学 信息科学与技术学院，上海 201210）

0 引言

遥感技术作为重要的对地观测手段，被广泛应用于环境保护、城市规划、交通导航等领域。近年来，随着人类对太空的不断探索，越来越多的高质量遥感图像被采集利用。为在大规模遥感图像库中快速、准确地检索到所需图像，并获取遥感图像所示区域经纬度等地理信息，本文提出了一种基于知识图谱的遥感图像检索定位方法，并将此方法应用于基于视觉的卫星自主导航中。

基于视觉的卫星自主导航，是一种将捕获的遥感图像与事先存储的图像进行匹配，进而计算出卫星相对位姿信息的自主导航方法，因其价格低廉、自主性强等优点被广泛关注。其中，如何快速、准确地在数据库中检索出带有准确经纬度信息图像的过程，称为基准图像，是基于视觉的卫星自主导航方法的重要组成部分。

目前主流的图像检索方法是基于内容的图像检索，主要包括特征提取与相似性度量两部分。特征提取影响着图像检索的精度，而相似性度量则决定了图像检索的效率。针对特征提取，TAJERIPOUR 等提出了一种将图像颜色、纹理和形状信息融合在一起的新特征；SAYKOL 等结合了图像的距离直方图、角度直方图、颜色直方图，提出了一种不仅具有旋转、平移、缩放不变性，而且提取速度也很快的新特征。

近年来，为了提取图像的更深层特征，越来越多的研究人员将深度学习应用于图像检索领域。KRIZHEVSKY 等设计了一个很深的自编码神经网络，将图像映射为一个二进制的特征串，图像检索的准确率有所提高；ZHAO 等将深度卷积神经网络和哈希函数相结合共同学习特征来表征图像，该特征蕴含了深层的图像信息。特征提取的目的是用特征来表征图像，那么相似性度量就是如何利用这些特征，在数据库中高效地检索出最相似的数据。在海量遥感图像库中，通过遍历即线性检索方法检索图像不能满足时间需求，哈希学习是目前比较常用的解决方案。哈希学习会将特征映射成高维的哈希码，使相似的特征映射后得到的哈希码仍然相似。根据哈希码对图像进行分组，只在哈希码相同的组内进行检索，虽然缩小了检索空间，提高了检索速度，却存在哈希码过长等问题。

针对这些问题，本文提出了一种基于知识图谱的遥感图像检索定位方法。充分利用遥感图像所蕴含的地理信息代替哈希函数进行分组。根据遥感图像所示区域的类别（如城市、森林），对遥感图像进行分组。再根据各类别的代表（如北京、上海作为城市的代表），对组内的图像进一步分组。最后在每一个子分组中用节点代表遥感图像，根据图像之间的相似关系和地理位置在节点间添加关系构建知识图谱。在图中检索代替线性检索，进一步缩小检索空间。将此方法应用于卫星自主导航领域，不仅加快了卫星位姿计算的速度，准确率也有所提高。

1 研究方法

1.1 遥感图像特征提取

目前比较成熟的图像特征包括SIFT、SURF、LBP等特征。考虑到要将方法应用于航天领域还存在星载计算机算力不足、实时性要求较高及所捕获的遥感图像存在平移、旋转等问题，决定使用提取速度较快且具有尺度和旋转不变性的SIFT 特征与BOVW 相结合的方式来表征图像。

SIFT 特征是一种具有尺度和旋转不变性的局部特征，会在整幅图像中检索特征点形成特征描述子来表征图像。首先，通过下采样和高斯滤波构造图像DOG 金字塔以保证特征的尺度不变性；其次，在DOG 金字塔中检索极值点，极值点即为特征点；最后，根据特征点邻域像素的梯度方向，寻找特征点的主方向，将主方向旋转到统一方向以保证旋转不变性后，生成特征描述子。由于SIFT 特征是局部特征，所以在图像中检索到多少个极值点就会生成多少个特征描述子，特征维度过高。为了加快计算速度，采用BOVW 的方式对特征进行降维。

视觉词袋模型（BOVW）最早应用于自然语言处理和信息检索领域，是一种用一组单词来表征文档或者句子的模型。而将该模型应用于图像领域则变成用一组特征来表征图像。首先，在所有遥感图像中提取特征点；其次，对全部特征点进行

K

-means 聚类。根据特征点到聚类中心的距离对特征空间进行划分，落在同一范围的特征点视为同一类别；最后，统计每张图像各类别特征数量，归一化后作为图像的特征。该特征将用于后续的知识图谱搭建和图像检索定位工作。

1.2 图式知识图谱的构建与检索方法

在基于视觉的卫星自主导航方法中进行遥感图像检索，是为了快速准确地获取卫星所在区域如经纬度等地理信息，需要在遥感图像库中检索出与所捕获的遥感图像最为相似的、具有准确经纬度信息的基准图像。为了加快图像检索定位的速度，缩小检索空间，并且充分利用遥感图像所蕴含的地理语义信息，本文提出了一种通过对地表区域进行划分，将遥感图像根据所示区域分组，缩小检索空间的遥感图像检索定位方法。为此，本文构建了一种分层的知识图谱结构。

根据地表类别将整片区域分成包括城市、森林、水域等在内的几大类别，分别对应着知识图谱第1 层节点；第2 层节点则进一步细分各类别的区域范围，挑选各类别的经典代表，以各代表为中心将区域进行互不重叠的分割。以城市为例，挑选北京、上海等城市，将城市区域进一步分组，换而言之就是通过知识图谱前2 层，将整片区域根据地表区域的类别和各类别的代表划分成互不重叠的小区域；第3 层节点则代表上一层节点所对应区域的遥感图像。这些遥感图像大小相同、互不重叠并且覆盖整片小区域。每张图像均对应一个节点，再根据遥感图像的相似度和地理位置，在第3 层节点间建立关系，形成图结构，完成知识图谱的构建。

实验中，我们使用上述SIFT+BOVW 方法对第2 层、第3 层节点所对应的遥感图像提取特征作为节点的属性。计算全部遥感图像特征均值，以均值作为属性，在第3 层中添加一个中心节点作为检索的起始节点。对于第3 层中任意2 个节点，如果所代表的遥感图像所示区域在地理位置上相邻或者图像间的相似度超过一定阈值，则在节点间添加关系。常见的图像相似度计算方法如下：

式中：

x

、

y

为2 张遥感图像特征串；

n

为特征串长度；

x、y

为对应特征串的第

i

位。

式（1）为欧氏距离公式，式（2）为余弦相似度公式。综合考虑计算速度与性能，本文使用欧式距离来度量2 张图像的相似度。构成的知识图谱结构如图1 所示。

图1 图结构知识图谱示意图Fig.1 Graph structure of the knowledge graph

图1 中最内层节点为第1 层节点，包括山脉、城市等几大类别。中间层节点为各类别的经典代表。最外层节点为第3 层节点，代表上层节点所示区域的遥感图像，其中与上层节点直接相连的即为中心节点。

在遥感图像的检索过程中，首先对捕获的大尺度遥感图像进行语义分割。实验中使用速度较快的U-Net进行。统计图像中城市、森林等类别所占比例，按照占比最高的类别进入知识图谱第2层。提取遥感图像特征，与第2 层节点所存储的特征进行相似度计算，进入最相似的第3 层节点。将遥感图像分割成与基准图像相同大小的图像块后，分别以中心节点作为起始位置进行检索。与邻域内的节点计算相似度并沿着特征最相似的方向移动，直到无法继续移动，获取对应的基准图。检索算法伪代码如算法1。

输入：feature遥感图像特征；center中心节点编号

输出：number 模板图像编号

1.3 链式知识图谱的构建与检索方法

本文除了上述的图式知识图谱之外，还提出了链式知识图谱用作对照实验。知识图谱前2 层构建方法与图式知识图谱相同，只是将第3 层节点根据特征排列成有序链而非图结构。

同样的对每一张遥感图像提取特征。通过聚类将图像特征分类，将图像分组。根据分组对特征的每一位计算方差，计算式如下：

方差能反映出一组数据与平均值的偏离程度，而且方差越大该位特征所隐含的信息就越多，区分度也就越高。为了减少特征的匹配次数，将特征串的每一位特征按照方差从大到小重新排列，为每张图像形成新的特征串，对所有新形成的特征串降序排列形成链式结构，如图2 所示。

图2 链式结构知识图谱示意图Fig.2 Chain structure of the knowledge graph

图2 所示的知识图谱与图1 所示的知识图谱基本相同，差别在于图1 中第3 层节点为图结构，而图2 中节点为链式结构。

使用与图检索相同的方法进入知识图谱第3 层后，将特征与几个聚类中心计算相似度，根据最相似的中心对特征进行重排。检索时将特征分段，如128 位特征8 位1 组分为16 组。使用二分查找，在第一组即方差最大的8 位特征中搜索最相似的节点作为检索的起始位置。随后将使用的特征扩展到两组16 位，在以起始节点为中心的邻域内检索最相似的特征串并进行移动。逐步扩展特征位数，缩小邻域范围，重复上述步骤直到节点不再移动，或者相似度超过一定的阈值，该节点即为检索结果。详细的检索算法伪代码如算法2。

输入：feature 遥感图像特征；centers 聚类中心节点特征；features 全部节点特征

输出：number 模板图像编号

2 数据准备与评价标准

2.1 原始数据

实验中我们使用谷歌地球提供的16 级空间分辨率为4 m 的遥感图像瓦片作为原始数据。将瓦片组合切割成大小为512×512 的图像块。这些互相不重叠并且覆盖整片检索区域的图像块将作为检索的基准图。

使用MySQL 存储遥感图像，存储着遥感图像的编号作为主键、原始图像、经纬度等基础信息。使用Neo4j 存储知识图谱，保存了与MySQL 中相同的遥感图像编号及遥感图像特征。将2 个数据库结合使用，在Neo4j 中根据特征检索图像，获得目标图像编号后，从MySQL 中返回相对应的遥感图像及其经纬度等信息。

2.2 测试数据

从遥感图像数据集中随机选取1 000 张与基准图像具有相同分辨率和大小的遥感图像作为测试集。

考虑到在卫星自主导航过程中所捕获的遥感图像存在平移、旋转、噪声等情况，分别对测试集图像进行上述变化，用来检验所提出方法的有效性，原始图像与变换后的图像如图3 所示。

图3 原始数据与测试数据Fig.3 Original data and test data

2.3 评价标准

本文提出的基于知识图谱的遥感图像检索定位方法，是为了在卫星自主导航中准确、快速地定位遥感图像所示区域的地理信息。追求的是捕获遥感图像与检索结果在地理位置上重叠或相邻，而不仅仅是检索出几张类别相同或者比较相似的遥感图像，所以传统的图像检索评价标准不适用于本次实验。

为了检验文中方法的有效性，实验中将图像的经纬度及中心点之间的距离作为评价依据。由于图像存在平移、旋转等情况，所以如果测试图像与检索结果所示的区域在地理位置上相邻，即两者中心点的距离小于512 个像素，根据图像分辨率，两者的实际距离在2 km 以内，则认为检索结果正确。准确率的计算式如下：

式中：

A

为准确率；

S

为总样本数；

T

为检索正确的样本数。

3 结果与分析

3.1 实验1

实验中，分别使用原始图像、噪声图像、平移图像、旋转图像4 个测试集来测试方法的性能，噪声强度、平移的距离、旋转角度均随机生成。2 种方法与线性检索方法在4 种测试集下的准确率见表1。

表1 检索准确率Tab.1 Retrieval accuracy

表中可见，上述变化均会对检索的准确率造成影响。线性检索方法会与全部的图像特征计算相似度，可以在一定程度上抵抗特征变化。然而测试集中存在一些所示区域为海洋、沙漠的图像，这些图像所提取出的特征不具有差异性。

由于链式检索只会跟邻域内的节点计算图像的相似程度，所以相比与线性检索方法更容易陷入局部最优的状况，从而导致检索出错。而图检索中每个节点与更多的节点相连，而且相连的节点只是特征间的欧氏距离更小，特征并不完全相似，在一定程度上解决了局部最优的问题，所以检索的准确率更高。

测试集中还存在着一些特殊的遥感图像，这些图像虽然能提取出特征，但是特征分布与其他图像差别很大，也就是在节点间添加相似关系时，该节点与任何其他节点的相似程度都低于阈值导致和任何其他节点间都不存在相似关系，以至于检索错误。这也是在检索原始图像时，图检索方法的准确率要低于其他2 种方法的原因。

3.2 实验2

本部分实验进一步测试了2 种方法在应对不同强度噪声和不同距离位移时图像检索的准确率。由于图检索方法考虑了图像地理位置之间的关系，如图4 和图5 所示，图检索方法能更好地对抗由噪声和位移所造成的特征突变。

图4 噪声强度与准确率曲线图Fig.4 Curves of noise intensity and accuracy

图5 位移距离与准确率曲线图Fig.5 Curves of displacement distance and accuracy

3.3 实验3

由于本文中所提出的遥感图像检索定位方法将应用于卫星自主导航领域，所以系统的实时性也是一个重要的因素。同样对平均数据库读写次数、平均相似度计算次数、与检索1 000 张遥感图像所需消耗的时间这3 种方法进行了统计，见表2。由表2 知，文中的2 种检索方法均有效减少了检索遥感图像所消耗的时间，提高了系统的实时性。

表2 平均检索时间Tab.2 Average search time

虽然线性检索方法会一次性读取数据库中全部的节点信息，却需要与全部节点进行相似度计算，所以检索速度较慢。而图检索方法检索每张图像平均需要读取数据库3.2 次，需要与656 个节点特征计算相似度。链式检索方法检索每张图像平均需要读取数据库4.6 次，需要与2 355 个节点特征计算相似度。虽然数据库读写次数更多，但是相似度计算次数更少，检索速度有所提高。除此之外，图检索方法只检索与节点直接相连的邻居节点，相邻即相似。而在链式检索方法中，节点成链式排列，为了防止局部最优的问题，需要在多跳邻居内进行检索，这会导致检索时间增加，并且知识图谱中关系越多，这种检索速度的差距就越明显。因此图检索方法的检索速度要优于链式检索方法。

4 结束语

本文将知识图谱的方法运用到了遥感图像检索领域，以真实的遥感图像作为基准图，构建了链式结构、图结构2 种知识图谱。采用上述2 种方法，对原始图像、噪声图像、位移图像和旋转图像的检索准确率与检索时间进行统计分析，2 种方法均有效地提高了检索效率。将方法应用于基于视觉的卫星自主导航中，有效地减少了计算卫星位姿时所消耗的时间及计算资源，提高了检索的准确率。后续会将此方法应用于其他数据集，进一步测试方法的效果。