基于本体知识库的遥感图像智能定轨

2023-06-10高有涛张佳栋

北京航空航天大学学报 2023年5期

高有涛，张佳栋

(南京航空航天大学航天学院，南京 210016)

1975 年，Kau[1]提出一种基于遥感图像地面标志点的卫星导航方法，受限于当时的相机分辨率、地面标志物数据库等因素，卫星导航误差较大，无法用于实际导航任务。随着相机成像等关键技术日趋成熟，标准地面景物数据库等数据精度日益提高，利用遥感图像进行卫星自主定轨方法越来越受到重视。Ho 和Asem[2]提出一种基于NOAA-系列气象卫星搭载的先进甚高分辨率辐射仪(National Oceanic and Atmospheric Administration-advanced very high resolution radiometer，NOAA-AVHRR)的数据图像参考算法，能够简单快速识别图像上任何像素对应的地理坐标，每幅图像的平均误差为2 个像素或3 km。Emery 等[3]使用最大互相关校正图像模板，并修正相应卫星姿态参数，与传统的线性平移方法相比具有更高精度。杨博等[4]提出一种选取性能优良的全球地标样本自动生成全局地标库方法用于航天器自主导航，导航位置误差约为99 m，速度误差约为0.08 m/s。李木子[5]利用遥感图像的特征点信息，根据相机投影模型，确立了自主定轨的观测模型，并对模型的可观性和误差进行了分析。Gao 等[6]提出一种无固定地面标志点的自主导航方法，相较于有控点导航精度提高了20%左右，结果表明在遥感图像处理过程容易引入误差，当出现图像误匹配时，将产生较大的定轨误差，甚至导致定轨数据发散。因此，基于遥感图像的导航算法需要一种能够自主判断图像误匹配的智能化系统。

本体知识库技术为解决此问题提供了思路。20 世纪50 年代，刚刚诞生的人工智能与数据库技术结合，发展出了知识库技术。到了80 年代，科研人员将本体引入人工智能领域，随后将本体与知识库技术结合，建立领域本体知识库[7]，利用概念对知识进行表示，并揭示这些知识内在的关系[8-9]。但这种本体知识库不具备推理能力，要实现知识库的智能化则需要加入规则推理模块。语义规则语言(semantic web rule language，SWRL)是一种将网络语义本体语言和规则标记语言结合形成的语义网络规则语言[10]，作为一种高级抽象语法，其为网络本体语言提供了一种编写规则方法，丰富了本体语言的规则复杂度，提高了本体知识库的实用性和可靠性。李嘉锐[11]在水稻命名实体领域构建了知识库，进行了水稻本体概念层和实例层的构建，完成了水稻命名实体知识库。吴在刚[12]提出一种基于本体的天体目标知识库构建，并将其应用于航天器自主导航，将航天器在运行期间通过各类传感器获得的数据进行信息融合，实现航天器自主导航，导航位置误差达到200 m。

本文将本体知识库和图像定轨方法相结合，以遥感图像中的海岸线为图像特征，对遥感图像进行海岸线识别，并利用快速搜索随机树(rapidly exploring random tree，RRT)算法提取海岸线特征信息，然后分析基于遥感图像自主定轨的相关知识，构建对应知识库系统，最后使用SWRL 构建关于海岸线特征信息可用性和图像模板选择的推理规则，并调用推理机进行推理获得推理结果。以推理结果得到的数据作为观测数据，利用扩展卡尔曼滤波算法进行自主导航实验仿真，验证该系统的可靠性和实用性。

1 图像特征信息提取

选取遥感图像中的海岸线作为特征标志物，通过判断标志物在图像中的位置，确定标志物和卫星相对位置，用于卫星自主定轨。

1.1 海岸线轮廓提取

采用OTSU 算法(大津算法)进行海岸线轮廓提取[13]。OTSU 算法遍历图像灰度值[14]，将图像分为前景与背景，并通过其占比和平均灰度值计算类间方差，当方差最大时对应灰度值即为二值化图像阈值。对给出的分割阈值T，像素灰度值小于阈值T为背景，像素灰度值大于阈值T为前景，则

式中：m为图像平均灰度；p0为灰度图像中背景像素占比；m0为平均灰度；p1为灰度图像中前景像素占比；m1为平均灰度。

类间方差计算公式为

式中：g为类间方差。

将式（3）代入式（1），可得

遍历图像灰度，类间方差最大时即为最佳阈值T，便得到遥感图像的二值化图像，对其进行细化和除噪后，得到了遥感图像中海岸线信息。如图1 所示，图1（a）为原始图像，图1（b）为灰度图像，图1（c）为二值化图像，海岸线边界分布清晰明显，黑色代表海洋区域，白色代表陆地区域。

图1 存在海岸线的遥感图像及处理后的图像Fig.1 Remote sensing image with coastline and processed image

1.2 海岸线信息提取

海岸线是海洋与陆地的分界线，海洋有名称作为其具体概念，而陆地有国家这一行政概念。卫星在轨运行过程中，若在相邻时刻均存在观测资料，则其从中提取得到的地理信息必然存在联系，即上一时刻的卫星观测资料中的国家海洋等概念与下一时刻的概念在现实空间中距离较近，可以用于推理判断海岸线资料的有效性。采用RRT 算法进行区域搜索确定海岸线两侧的国家和海洋特征信息。

RRT 算法是一种全局路径搜索算法，目标是建立由出发点到目标点的最优避障路径，基本思想是以产生随机点的方式通过一个步长向目标点搜索前进，有效躲避障碍物。RRT 算法伪代码如下。

其中，M为地图环境，xinit为初始位置，xgoal为目标位置。执行算法时从起点开始获取随机点xrand，选取树中距离xrand最近的节点xnear，从节点xnear沿节点xrand延伸S tepsize步长的距离得到xnew，并且利用碰撞检测路径Ei是否与地图环境中的障碍物发生碰撞，没有碰撞则完成一次空间搜索，拓展搜索树的范围，重复上述过程，直至搜索到目标位置的空间路径。

使用行政区匹配模板作为地图环境，其中每个国家的国界线作为国家搜索过程的障碍物，同时对海洋进行区域的划分，可以作为海洋搜索过程中的障碍物。初始点为设定的国家或海洋标志点，目标点为海岸线两侧的国家或海洋点，若初始点和目标点在同一封闭区域内，则判定目标点为初始点的国家或海洋属性，具体搜寻结果如图2 所示。图中白色区域为可搜索区域，黑色区域为障碍区域，不可经过。粉点为初始点，绿点为目标点，黄色路径为寻找到的路径，红色和蓝色线段表示树的搜索路径。绿点表示海岸线一侧国家判定点，图2（a）中搜索到由初始点到目标点的路径，因此，判定海岸线一侧的国家为粉点表示的国家，图2（b）同理。

图2 行政区匹配模板搜寻结果（国家和海洋）Fig.2 Search results in administrative region matching template (country and ocean)

2 图像导航本体知识库构建

对遥感图像预处理可得到海岸线特征相关信息，将这些观测资料输入本体知识库系统，可以判断特征信息中的观测资料是否可用有效。本文使用Protégé软件进行基于遥感图像的卫星定轨本体知识库建模。对于本体知识库进行建模，首先需要对图像定轨相关知识进行归纳和知识表示[15-16]，在图像定轨中，本体框架可分为概念和关系两大类[17]。

2.1 本体概念知识建模

概念包括定轨过程中涉及的一切定义“Class”，即“类”，类分为实体、信息和参数3 部分，实体部分包括地球、月球等天体和航天器，信息是由航天器传感器获得的观测数据，参数包括航天器状态、时间、匹配模板和轨道参数等。概念中还包括类的具体内容“Individuals”，即“实例”，实例是类的具象化，比如“chn”是“country”类的实例。图像定轨本体知识库主要创建国家、海洋等类及其实例，用于后续的推理判断过程，主要类和实例设置如表1 所示。

表1 图像定轨本体模型中的主要类和实例Table 1 Major classes and individuals in image orbit determination ontology model

2.2 本体属性知识建模

在确定概念后，需要对概念之间的关系进行描述，这种关系包括对象属性和数据属性。对象属性描述2 个类之间的关系，如“border”描述2 个类的实例是否“相邻”这一属性，“madeof1”描述海岸线类的实例是由国家类的哪个实例“构成”；而数据属性描述实例的数据值，如“right”描述海岸线类的实例中关于图像定轨信息是否有效可用（有效为1），这些数据大部分均由后续推理得出，对象属性和数据属性设置如表2 所示。

表2 图像定轨本体模型中的主要属性Table 2 Major properties in image orbit determination ontology model

3 SWRL 规则设计及推理

SWRL 是一种OWL 语义本体语言和RuleML相结合形成的语义网络规则语言,将两者结合后使用其撰写规则时，可以直接使用本体知识库中所描绘的概念和关系，大大简化了本体规则表示，规则表现具体形式为

SWRL 规则是一种因果关联的表达方式，在任何情况下，只要 antecedent（前部/因）中规定的条件成立，则 consequent（后部/果）中规定的结果必须成立。前部和后部均由若干个因子构成，多个因子构成逻辑中的“与”关系。这种抽象语法符合OWL规范，但由于其复杂冗长，并不方便阅读且容易写错，经常会使用一种更符合人类阅读习惯的非正式规则形式：

式中:前部和后部的因子由 ∧连接，因子中变量的表示需要在前面加“？”，“？x”为x变量的表示方法。

规则推理模块主要包括匹配模板选择和判误规则2 部分。其中匹配模板选择规则的主要逻辑为：根据此时刻卫星速度信息判断卫星运行方向，据此确定下一时刻的4 个相关模板，并根据卫星位置信息判断卫星距离相关模板中心点的最近一个模板，确定其为主模板，最终匹配模板以主模板为主，匹配模板选择示意图如图3 所示。图中：黑色大正方形中的4 个黑色小正方形为4 个匹配模板，4 个黑点为其中心点，红点为卫星位置，绿色小正方形为主模板，蓝色正方形为最终的匹配模板，匹配模板选择的推理逻辑如表3 所示。

表3 匹配模板选择推理逻辑Table 3 Reasoning logic of matching template selection

图3 匹配模板选择示意图Fig.3 Diagram of matching template selection

判误规则即海岸线特征有效性判断规则，该规则的主要逻辑为：对遥感图像中提取的海岸线进行两侧区域判断，若其两侧均为国家，则认为该海岸线是云层在国家上空遮挡形成的误判；若其两侧的国家和海洋相距远，则认为该海岸线不符合逻辑；若上一时刻与当前时刻的海岸线一侧的国家相距远，则考虑到卫星飞行速度影响，该海岸线不符合逻辑，以上情况均判断海岸线特征信息是无效的。根据上述内容，便可以得到海岸线特征有效性判断的推理逻辑，如表4 所示。

表4 海岸线特征有效性推理逻辑Table 4 Reasoning logic of effectiveness of coastline features

建立SWRL 规则后，需要使用推理机进行规则推理。本文使用Jena 中的推理机，是一种针对本体产生式规则前向推理的系统，针对性强，效率比较高，可以很好的完成推理任务，之后使用SPARQL查询方法得到结果[18]，完整的SWRL 规则推理查询模块流程如图4 所示。通过上述推理，丰富知识库的内容，提高对图像中海岸线特征信息的利用率和精准度，进而提高卫星的定轨精度。

图4 图像定轨SWRL 规则推理查询流程Fig.4 Flowchart of reasoning and query result based on SWRL rules for image orbit determination

4 基于本体知识库的智能定轨

4.1 状态方程

选取J2000 坐标系作为世界坐标系，考虑到仿真中的遥感卫星体型较小，轨道高度较低，故忽略卫星运动过程中的日月引力摄动项和太阳光压摄动项等，摄动因素中仅考虑地球非球形引力摄动J2 项及大气阻力摄动项，即卫星动力学模型为

式中：(x,y,z,x˙,y˙,z˙)为卫星在J2000 坐标系下的运动状态；(x¨,y¨,z¨)为卫星的加速度；µ为地球引力常数；J2为地球非球形引力摄动系数；re为地球平均半径；r为卫星轨道半径；Cd为大气阻力系数；S/m为卫星有效面积质量比；ρ为大气密度；vrel为相对大气的飞行速度；(vrel|x,vrel|y,vrel|z)为vrel在3 个方向的分量。

4.2 观测模型

基于遥感图像的定轨模型可以通过卫星相机的成像过程来描述，相机成像的过程可以理解为空间中的三维坐标映射为焦平面上二维坐标的过程。对于理想的针孔相机模型，成像过程满足中心投影几何关系，通过该几何关系可以建立卫星位置、成像景物位置和成像平面坐标之间的数学联系，如图5 所示。

图5 卫星成像几何示意图Fig.5 Diagram of satellite imaging geometry

根据小孔成像原理，可以得出像点坐标关于卫星状态的观测方程为[5]

式中：f为卫星相机的焦距；(xg,yg,zg)为地面特征点坐标；(x,y,z)为遥感图像投影中心坐标，此处简化为卫星位置坐标；(a11,···,a33) 为 (TAT1)−1矩阵中对应的元素，TA为相机的安装矩阵，T1为卫星由体坐标系到世界坐标系的旋转矩阵；h为成像平面坐标系的横纵坐标。

4.3 实验仿真

将遥感图像进行图像处理得到关于图像的海岸线有效信息，并将其通过设计的图像导航本体库系统，利用规则推理出其中可用的导航信息。最后利用基于遥感图像的特征点定轨方法进行定轨，得到导航结果并分析误差。仿真过程中每30 s 卫星获取一次星下点成像，仿真时长为1 天。

卫星仿真初始条件及误差如表5 和表6 所示，星载相机使用某型APS-C 型画幅CMOS 单镜头反光式相机，相机成像为理想小孔成像原理，且不考虑相机成像过程中的畸变等情况。相机图像感应器尺寸为36 mm×24 mm，分辨率为6 720×4 480，有效像素约3 010 万像素，相机焦距为500 mm。

表5 卫星仿真初始条件Table 5 Initial conditionsand errors of satellite simulation

表6 卫星仿真误差Table 6 Error of satellite simulation

将遥感图像放入海岸线特征信息提取模块，便可得到每个仿真时刻对应的观测资料等部分信息如图6 所示。图6 中每行数据表示该时刻卫星获取图像中海岸线的信息，如第1 行表示时刻“20200329040000”没有获得图像或图像中不存在海岸线，即“no coastline”，第3 行表示时刻“20200329040100”图像中存在海岸线，即“coastline001”，且该时刻海岸线由国家类实例“CHN”和海洋类实例“SOU”构成。

图6 海岸线特征信息Fig.6 Coastline feature information

构建图像定轨的本体知识库，相关概念和关系以图形表示如图7 所示。其中输入为卫星的各种传感器输入信号，卫星初始轨道根数等状态信息，可用于推理的信息为全球海岸线信息。

图7 图像定轨知识本体库Fig.7 Ontology knowledge base for image orbit

为了修改编辑知识库文件，并且在加载SWRL规则后可以进行推理查询，提高整个系统的智能性和可靠性，图像定轨过程中SWRL 的部分规则如图8 所示。

图8 图像定轨部分SWRL 规则Fig.8 Partial SWRL rules for image orbit determination

每一时刻输入海岸线特征信息、匹配模板信息和上一时刻状态的最优估计后，知识库模块解释相关概念及其关系，规则推理模块负责逻辑和数值推理，并对得到的推理结果进行分析，输出相应推理结果。首先进行匹配模板推理，若推理得出数据，则使用新得到的模板作为下一时刻匹配模板，否则使用上一时刻模板。然后进行海岸线信息的有效性推理，如果海岸线特征信息与本体知识库中的某些知识冲突，则该输出的推理信息不正确，推理查询后若存在正确结果，则表示当前海岸线为可用的观测资料；否则输出空结果，即不存在可用观测资料。

仿真时考虑到光照条件和云层遮挡等情况来确定遥感图像中是否存在有效观测资料。当卫星处于背阳面运行或被云层遮挡时无法获取遥感图像，自然无法获得观测资料；当卫星运行至海洋、高原等难以区分的地区时可以获取遥感图像，但也无法从中获得观测资料。在这种卫星无法获取观测资料时，使用动力学积分作为定轨解算，当存在观测资料时使用扩展卡尔曼滤波算法进行定轨解算。

在不引入本体知识库进行观测资料有效性判断的情况下，卫星的位置速度等状态与标称轨道的误差曲线，考虑在使用本体知识库系统进行观测资料有效性判断下，卫星的位置速度等状态与标称轨道的误差曲线如图9 和图10 所示。

图9 EKF 导航位置误差Fig.9 Navigation position error using EKF

图10 EKF 导航速度误差Fig.10 Navigation velocity error using EKF

图中自主定轨位置误差大部分在100 m 之间振荡，速度误差大部分在0.1 m/s 之间振荡，而在不加入本体知识库系统判断观测资料的误差曲线中，有几个明显的巨大误差，这是由于遥感图像的误匹配导致观测资料被识别为与其他位置的地面特征点对应，进而造成巨大误差，有时甚至会导致定轨过程发散，定轨精度将产生巨大下降。而加入本体知识库系统后，由于去除了观测资料中误差较大的值，定轨精度得到提升，位置和速度精度分别提升了10.58%和12.49%。由于在不加入知识库推理时误差较大，无法观察定轨误差收敛情况，所以在图9和图10 中左侧插入了初始时刻至收敛时刻的误差，图中横坐标为时间，范围为0～6 000 s，纵坐标为误差，结果表明定轨过程是收敛的。在1 天的仿真时间内，2 种定轨仿真结果的平均位置误差和平均速度误差如表7所示。