智能遥感卫星与遥感影像实时服务

王 密，杨 芳

1. 武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉 430079； 2. 航天东方红卫星有限公司，北京 100094

从第1颗人造卫星的发射，到高分辨率遥感卫星的出现，再到近几年发展起来的小卫星、微卫星，遥感卫星的分辨率越来越高、重访周期越来越短、谱段越来越多、重量越来越轻、用途越来越广。然而，随着卫星技术的逐步发展，卫星应用的问题也随之而来。传统的卫星遥感系统应用模式是地面进行任务规划，卫星在轨数据获取，地面站接收下传数据，卫星处理中心进行处理分发，最后用于专业应用。随着卫星数量的增多、成像模式的多样化以及用户需求的复杂化，传统运控、接收、处理和应用环节相互独立的应用模式复杂繁长，响应时间较慢，无法满足应急条件和高时效用户应用要求。与此同时，随着遥感获取能力的增强，卫星数据量急剧增大，给卫星的存储、下传和后处理带来了很大的挑战[1]，制约了遥感应用和服务发展。

为了进一步促进遥感数据实时处理和智能服务的发展，亟须研究一种支持在轨处理和实时服务的智能遥感卫星。智能遥感卫星能够依据用户需求实现智能规划，并在星上对获取数据进行实时处理，直接生成用户所需数据信息，从而避免资源浪费，实现端到端的实时传输。智能遥感卫星的研发应用打破了传统的卫星遥感系统应用模式，提高了应急响应效率，同时能够升级用户体验，扩展用户市场，为遥感影像的大众化服务提供有力支撑。

本文首先从在轨实时处理、空间信息网络和人工智能方面介绍了智能卫星的发展现状，并对智能遥感卫星的主要特点进行了分析。然后介绍了智能遥感卫星的星地协同智能处理架构，分析了智能遥感卫星的服务模式(位置感知、目标感知和变化感知)，并对星上智能任务规划、星上相对辐射校正、星上高精度几何定位等智能实时处理核心算法进行了介绍。最后基于珞珈三号01星，依据卫星通信传输链路及服务范围的不同，将数据传输方式分为基于境内地面站和基于中继卫星两种类型，设计了两种测控数传站下的珞珈三号智能遥感卫星实时服务架构，分析了智能遥感卫星的实时服务场景，对智能遥感卫星的未来发展进行了展望。

1 智能遥感卫星的发展及其特征

1.1 智能遥感卫星发展

智能遥感卫星起源于在轨处理技术，从20世纪90年代开始，研究人员就展开了相关研究。近几年空间信息网络和人工智能的发展，为智能遥感卫星的研究和应用带来了新的机遇。具体发展情况如下：

(1) 在轨实时处理。在遥感影像在轨实时处理方面，世界各国科研院所与商业公司开展了大量的星上实时处理算法研究，促进了遥感数据实时获取、智能处理、稀疏压缩、实时分发的全流程的发展。表1为国外遥感卫星在轨实时处理应用动态[2-3]。在视频数据压缩方面，美国Skybox公司已将H.264等通用视频的编码技术应用到Skysat卫星视频压缩中[4]。国内在遥感数据在轨实时处理方面也有一定的研究基础[5-6]，北京理工大学、武汉大学、西安电子科技大学、北京遥感信息研究所、航天五院西安分院、中科院自动化所等单位开展了星上光学遥感图像实时处理系统研制的相关技术论证和研究工作，为遥感数据在轨实时处理奠定了基础。北京理工大学和武汉大学紧密合作，针对我国目前最大幅宽光学遥感卫星，完成了在轨特定目标实时检测和定位系统的研制，在轨应用取得良好的效果，这也标志着我国星上遥感数据智能实时处理实现了零的突破。

表1 国外遥感卫星在轨实时处理应用动态

(2) 空间信息网络。关于空间信息网络，世界各国都展开了较为深入的研究[7-8]。典型的项目有美国的转型通信卫星系统计划、SeeMe计划和欧洲的天基互联网计划[9-11]，其中美国国防预先研究计划局(DARPA)提出了通信遥感一体的SeeMe计划[12-14]，可以使用地面移动终端直接指挥有效载荷操作并接收图像，指明了未来实时遥感星座发展的一个方向。近年来，我国对空间信息网络的理论探索也有了相关的研究。文献[15—18]对空间信息网的基本概念、关键问题与体系架构进行了综合的论述，为我国空间信息网络建设提供了参考[15-18]。李德仁院士提出了“对地观测脑”的概念[19]，将遥感卫星、导航卫星和通信卫星相组合，形成多层卫星网络结构，共同服务于用户。

(3) 人工智能。随着遥感数据量的增多和影像分辨率的提高，人们逐渐采取人工智能技术对遥感影像进行处理，以提高影像的自动化处理能力，并解决因分辨率提高而导致的“同物异谱”和“同谱异物”现象[20-21]。从早期出现的人工神经网络、支持向量机，再到近年来迅速发展起来的深度学习，人工智能技术在遥感领域的应用越来越广泛，已运用到目标检测、场景分类、语义分割、变化检测等方面[22-25]，典型的算法有卷积神经网络、稀疏自编码器等，主要用于处理高分辨率和高光谱遥感影像[20]。美国的Orbital Insight和Digital Globe等公司利用人工智能、机器学习等技术对遥感影像进行自动化处理和深度分析，从而为国防、安全、环境等领域提供服务。国内方面航天星图有限公司，利用机器学习技术对遥感影像进行智能化处理，并计划通过融合用户知识将遥感数据信息转变为对社会运行有用的知识。遥感人工智能应用技术研究中心，通过结合人工智能、大数据等新兴技术，来推动遥感数据的智能化发展。

智能遥感卫星的发展源于遥感影像在轨处理技术，其包含了大量的星上实时处理算法研究，为智能遥感卫星的实时智能处理提供了基础保障。随着空间信息网络和人工智能的发展，智能遥感卫星的研究迎来了新的机遇。空间信息网络能够为智能遥感卫星的运行提供环境基础，为智能遥感卫星的实时传输提供基础保障，人工智能的发展，能够极大地提高星上数据处理的智能化和自动化水平，为卫星的智能化发展提供强有力的支撑。在空间信息网络和人工智能时代背景下，智能遥感卫星的研究成为一种必然趋势。

1.2 智能遥感卫星特点

智能遥感卫星是一种可重构可扩展，具有自主任务规划、遥感数据处理、信息提取、星间星地数据信息传输能力，可以适应快速、准确、灵活的遥感数据获取和信息产品生产需求的新型遥感卫星，其在设计、功能、任务规划、应用模式、管理方式和智能水平方面具有以下特点：

(1) 设计逐渐从硬件定义转向软件定义。智能遥感卫星在设计方面采用软件定义的方式，将传统的由分系统硬件方式实现的功能以软件形式来实现，支持算法、参数上注更新，支持功能的动态扩展，提高了卫星的自动化和智能化水平。

(2) 功能逐渐从单一化转向通导遥综合化。智能遥感卫星在空间信息网络环境下能够实现通信卫星、导航卫星和智能遥感卫星的综合化运行，使卫星之间相互连接，扩大应用范围，解决了传统卫星功能单一，星间孤立的问题。

(3) 任务规划逐渐从地面规划转向星上智能规划。智能遥感卫星任务规划采用星上智能规划的形式，地面只需将任务需求上传至卫星，星上智能规划系统能及时结合卫星状态、过境信息和云量信息求解出最优的规划方案并进行数据获取，这种方式缩短了处理时间，并结合实际情况获取最优的观测方案，满足应急情况的需求。

(4) 应用模式逐渐从产品驱动转向任务驱动和事件感知。智能遥感卫星的应用模式结合了任务驱动和事件感知，目标更加明确，应用更加智能化，解决了传统卫星以产品驱动为导向而带来的星地资源配置不合理，应急响应效率较低等问题。

(5) 管理方式逐渐从测控遥控分离转向测控遥控服务一体化。智能遥感卫星的管理方式采用了测控遥控服务一体化的形式，改善了传统卫星因测控遥控分离所带来的处理困难、时效性降低等问题，为遥感卫星的智能化和大众化发展奠定了基础。

(6) 智能水平逐渐从单星智能转向多星协同群体智能。智能遥感卫星的提出能够使卫星群的智能水平由单星智能转向多星协同群体智能，通过星地星间链路实时传输功能，将通信、导航和遥感卫星连为一体，实现多星协同的群体智能发展。

2 智能遥感卫星在轨处理及服务模式

2.1 智能遥感卫星在轨处理架构

任务驱动的智能遥感卫星星地协同在轨处理架构，以用户的任务需求为核心，主要通过建立任务模型，对任务进行分类、描述和分解，然后依据星地资源能力模型，基于最优化等理论，进行任务规划、执行和管理，实现空间信息网络环境下从任务描述、任务分解到资源调度的自动映射，满足从观测到决策“快”“准”“灵”的应用需求。图1所示为任务驱动的智能遥感卫星星地协同智能处理概念图。相比传统的以产品为核心的数据处理和应用模式，任务驱动的遥感数据星地协同高效处理模式的任务目标更加明确、处理方式更加灵活、星地资源配置更加合理，能快速响应突发事件或其他实效性要求较高的任务，如时敏目标检测、抗震救灾等应用。

图1 任务驱动的智能遥感卫星星地协同智能处理架构Fig.1 Intelligent processing architecture of intelligent remote sensing satellite ground collaborative based on task driven

2.2 智能遥感卫星服务模式

智能遥感卫星的典型服务模式主要包括位置感知、目标感知和变化感知3种类型。其中，位置感知主要是根据任务提供的位置信息(如经纬度信息)来确定ROI(region of interest)范围，然后对ROI成像区域内的数据进行处理。目标感知区别于已知精确地理信息的处理流程，是一种以目标为驱动的处理模式，通过对成像数据流进行目标检测，来实现目标区域的数据处理。变化感知则是对成像范围内的变化信息进行提取。

位置感知的处理对象包括视频数据和非视频数据。针对视频数据，位置感知的处理流程如下：首先根据任务位置信息对视频序列图像进行定位；基于ROI对视频进行稳像并判断是否进行云检测；如果需要云检测，则通过视频图像云检测得到云检测二值化视频，然后通过视频压缩得到最终的结果；如果不需要云检测，则直接对获得的ROI视频进行压缩，得到最终结果。针对非视频数据，位置感知的处理流程是：首先根据任务位置信息对单帧图像进行定位；基于ROI对图像进行几何校正并判断是否进行云检测；如果需要云检测，则通过单帧图像云检测得到云检测二值化图像，然后通过图像压缩得到最终结果；如果不需要云检测，则直接对获得的ROI图像进行图像压缩，得到最终结果。

目标感知的处理流程为：首先根据待检测目标参数对数据流进行目标检测，得到n个包含目标的ROI影像；然后分别对每个目标ROI影像进行影像定位和几何校正，得到n个目标ROI校正影像；最后进行图像压缩处理，得到n个目标ROI校正影像压缩结果。

变化感知的处理流程主要是：首先根据任务位置信息对数据流进行ROI影像定位；基于历史影像或上传参考影像对定位后的影像进行影像匹配；对影像进行几何校正，并基于历史影像或上传参考影像进行变化检测；通过变化区域识别得到变化区域的语义信息；最后对图像进行压缩处理，得到顾及变化信息的压缩结果。

2.3 星上智能实时处理核心算法

遥感数据星地协同智能实时处理算法主要是围绕任务规划、数据获取、数据处理、数据存储和数据传输的资源优化配置进行研究。以目标检测任务为例，从任务规划到原始数据获取再到目标识别信息提取，传统的处理模式需要经过任务规划、原始数据解析、辐射校正、标准景产品生产、目标检测识别等流程。由于整景图像数据量大，传统的数据处理流程不再适用于星上处理，因此，需要通过高精度定姿、定轨和定标数据，根据目标所在地理范围，准确获取目标的成像范围，对成像范围内的影像进行必要的辐射校正、几何校正处理，得到高质量高精度传感器影像，进一步进行目标检测，最后通过几何定位算法得到目标的地理坐标。以下针对光学遥感卫星星上智能实时处理所涉及的核心算法进行详细介绍。

2.3.1 星上智能任务规划

智能遥感卫星星上任务规划，首先需要用户提交观测任务需求，包括地面移动站或中继卫星的可用时间窗口信息，将这些信息通过星地星间通信链路上注到智能遥感卫星上；星上任务规划系统接收到这些任务需求信息之后，依据对观测目标的过境信息、云量信息，在满足观测目标约束、卫星资源约束和目标与卫星之间关系的各种约束条件下，利用智能求解算法求解出综合效益值最大的任务规划方案、自动生成任务指令并自主进行数据获取。星上智能任务规划还可以结合星上智能图像处理的结果，判断是否按用户需求获得了需要的观测目标信息数据，自主决定下一个工作周期是否继续进行数据获取。智能任务规划，大大减少了对地面管控的依赖，减少了复杂功能卫星任务指令上注数据量，并真正让图像智能处理的结果得到及时响应。

2.3.2 光学影像相对辐射校正

光学影像星上相对辐射校正，首先需要分析影响探元光电响应变化的各种因素，并以最大后验概率理论为依托，通过引入约束条件和加权思想构建在轨自适应的系统辐射校正模型；然后利用定标数据或实时获取的遥感数据，构建样本的智能筛选模型，并采用增量统计的策略，优化辐射定标参数的解算精度；最后基于地面辐射定标结果，将定标查找表上注更新至星上，星上根据查找表进行相对辐射校正，得到校正后影像。光学影像相对辐射校正关键在于定标模型的确定和定标参数的获取，对于星上存储空间有限的情况下，需以最小化定标查找表和保证校正质量为原则确定适用于星上的相对辐射校正算法。

2.3.3 高精度在轨几何定位

光学影像星上高精度几何定位技术以严密成像几何模型为基础，在几何定标的基础上，根据星上环境下的存储能力和处理能力，构建适用于星上实时处理单元的光学卫星严密成像共线方程模型，并结合地面内外定标系统对星上成像模型参数进行修正及优化，实现星上高精度实时定位。根据目标区域覆盖范围，基于全球DEM(数字高程模型)数据，对目标区域影像采用分块间接法进行几何校正处理，生产带地理坐标的目标区域2级经纬度投影产品。

2.3.4 光学遥感影像智能云检测

云检测是实现影像中云区域准确、快速高效的检测和提取，重点在于区分云与冰、雪等高反射目标，以及水域、河流、城市场景中的某些平坦区域存在的似云目标。通过获得影像精确的云区域提取结果，为后续的ROI区域提取、多时相影像变化检测等提供精确的影像云覆盖情况信息。云检测算法类别较多，由于每一类算法原理不同，计算过程中需要消耗的计算资源、内存资源、存储资源也各不相同，在既能保证检测可靠性和高效的条件下，需合理选择星上处理算法。

2.3.5 高分辨率遥感影像智能目标检测

目标检测是在星上资源受限的条件下，进行飞机、舰船等典型静/动态目标的实时智能检测。针对星上原始数据压缩和不压缩两种应用模式，一般有两种目标检测技术路线。原始数据需要压缩的模式下采用压缩域目标信息提取技术，利用图像压缩过程中生成的稀疏字典，挖掘压缩域中所蕴含的图像目标特征信息。由于压缩域目标信息提取和图像压缩采用同一套数据稀疏和特征建模方法，可直接在压缩码流中提取目标特征信息，达到有效节省星上计算和存储资源的目的。原始数据不需要压缩的模式下采用目标ROI快速筛选技术，主要是对传感器获取的海量原始数据进行在轨快速筛选，获得仅包含目标及周围邻域的小数据量ROI集合，达到节省星上存储资源、减少星地传输数据量的目的。

2.3.6 卫星视频智能压缩和运动目标检测

为了将卫星视频采集的数据实时传输到地面，满足用户对遥感视频中运动目标更加直观的观测需求，需要在星上计算资源、传输带宽受限的条件下，实现对关键信息的在轨实时编码及传输。卫星视频智能压缩是在星上有限的计算资源条件下，通过高效的智能压缩算法将原始数据压缩到星地带宽所能承受的范围之内，在压缩效率、编码帧率和压缩质量3个方面满足星地传输的需求。卫星视频运动目标检测需要在压缩域对运动目标进行检测，并在解码端对检测结果进行线框的标注，从而满足卫星视频在星上实时处理的需求，充分利用压缩过程中的中间结果，满足用户的观察需求。

除此之外，智能遥感卫星在轨处理算法还包括变化检测、视频稳像、语义分割、场景分类、形态学房屋指数计算、控制点匹配、序列图像时空融合、三维重建等。这些算法共同组合应用，为遥感影像的实时在轨处理和智能服务提供基本保障。

3 珞珈三号01星及应用场景设计

珞珈三号01星是武汉大学联合航天东方红卫星有限公司等单位联合研制的一颗光学智能遥感卫星，具有动静态成像、在轨智能处理以及星地、星间传输通信功能。卫星平台将集成演示验证海量遥感数据实时获取、智能处理、稀疏表征与压缩传输的关键科学问题。

3.1 珞珈三号01星智能服务场景设计

智能遥感卫星的在轨处理和星间链路实时传输的特性，打破了传统的卫星遥感数据服务模式，缩短了卫星数据获取、处理、传输和分发的时间，能够有效提高突发事件的动态应急响应速度和效率，同时为遥感数据的大众化移动终端服务提供有力支撑。根据卫星通信传输链路及服务范围的不同，将珞珈三号01星的服务场景分为两种类型，一种是基于境内地面站的实时服务场景；另一种是基于中继卫星的中转传输在轨处理与实时服务场景。

3.1.1 基于境内地面站的智能服务演示验证场景

主要通过地面站来进行任务上注和数据下传，从而实现星上在轨处理数据的分发，图2为基于境内地面站的演示验证场景。其主要步骤如下：首先针对用户对感兴趣区域或目标的观测需求，通过集成演示验证客户端，提交观测任务需求，地面测控数传站将任务需求上注智能遥感卫星；智能遥感卫星自主任务规划产生任务指令并执行，当卫星过境任务区域时进行成像，获取所需图像；星上智能处理单元实时对数据进行定位、几何校正、云检测、目标检测、变化检测、动目标提取与跟踪等处理，并进行智能高效压缩，经星地传输链路实时下传至地面接收站；最后通过地面网络进行实时分发，通过5G手机基站或WiFi热点方式将在轨处理结果反馈给用户移动终端，从而实现分钟级的遥感智能信息服务。

图2 基于境内地面站的演示验证场景Fig.2 Demonstration and verification scenario based on domestic ground station

3.1.2 基于中继卫星的智能服务演示验证场景

主要通过中继卫星进行任务上注、数据转发和数据下传，在中继卫星的支持下，智能遥感卫星可实现全球范围内的实时信息服务，图3为基于中继卫星的演示验证场景。其主要步骤如下：首先用户通过集成演示验证客户端提交观测任务需求，地面移动站或中继卫星控管中心将任务需求上注至中继卫星；然后通过星间网络将任务需求转发到智能遥感卫星；智能遥感卫星自主任务规划产生任务指令并执行，当卫星过境任务区域时进行成像，获取图像；星上智能处理单元实时对数据进行定位、几何校正、云检测、目标检测、变化检测、动目标提取与跟踪等处理，并进行智能高效压缩；最后经星间传输链路将处理结果转发给中继卫星，再由中继卫星实时下传至中继卫星测控数传站或移动站，通过WiFi热点方式将在轨处理结果反馈给用户移动终端。

图3 基于中继卫星的演示验证场景Fig.3 Demonstration and verification scenario based on relay satellite

3.2 珞珈三号01星服务模式

基于境内地面站的服务主要是针对地面站可接收卫星信号范围的区域进行服务，实现在轨处理信息的实时分发。基于中继卫星的服务，主要通过星间链路进行实时、低时延传输，能够实现全球范围内的智能服务。基于境内地面站和中继卫星的服务模式基本一致，以下从ROI视频直播、目标检测、变化检测、动目标提取与跟踪4种典型服务模式进行介绍。

(1) ROI视频直播。ROI视频直播主要是针对用户感兴趣或者热点区域，如大型露天广场、旅游景点、重要交通枢纽等进行视频直播，满足用户查看该区域实时状态的需求。ROI视频直播的处理类型是视频位置感知，卫星在轨处理流程主要包括视频序列图像定位、视频稳像和视频压缩，预期处理效果是能够通过境内地面站或中继卫星地面站，俯瞰所选热点区域的实时动态，进行视频直播。

(2) 目标检测。目标检测的任务主要是针对单帧图像数据进行识别检测，主要包括飞机、舰船、大型车辆等，相应区域包括机场、港口、高速公路或大桥等。目标检测的处理类型主要是目标感知，卫星在轨处理流程主要包括目标检测、目标定位和图像压缩，预期处理效果是能够通过境内地面站或中继卫星地面站，实现目标区域内重点目标的提取和数量统计。

(3) 变化检测。变化检测主要针对单帧图像数据进行检测，包含两种星地协同处理模式：一是上注模式，在任务指令上注前，将历史参考影像等数据通过高速上行通道上注卫星；二是存储模式，针对特定区域两次或多次成像，将前一次拍摄影像处理后存储在卫星上，与后一次拍摄影像进行变化检测。变化检测任务的卫星在轨处理流程主要包括图像定位、图像配准、变化检测和图像压缩，预期处理效果是能够通过境内地面站或中继卫星地面站，对目标区域内的变化信息进行提取，得到变化范围、类型等拓扑语义信息。

(4) 动目标提取与跟踪。动目标提取与跟踪主要针对视频数据进行开展，主要针对但不限于运动飞机、舰船、大型车辆的提取与跟踪。动目标提取与跟踪的卫星在轨处理流程主要包括视频序列图像定位、视频稳像、动目标检测、动目标跟踪和视频压缩，预期处理效果是能够通过境内地面站或中继卫星地面站，提取观测区域内运动目标的运动轨迹与速度信息，并对其运动状态进行跟踪。

4 结 论

智能遥感卫星影像在轨处理与实时服务核心是构建星地协同任务驱动和事件感知的智能化的对地观测系统，支持遥感卫星从观测到决策的“快”、“准”、“灵”的智能化应用服务。通过构建一个遥感通信一体化的可重构轻小型开放式智能化卫星试验平台，开展多学科交叉研究，进一步推动智能对地观测系统的深入研究和应用。

5G、6G和人工智能技术为智能遥感卫星的低时延传输和智能化研究提供了重要支撑。在新的时代背景下研究智能遥感卫星实时服务技术，将遥感影像数据应用模式从“事后处理分发”向“在轨处理实时传输”转变，实现GB级海量遥感数据向KB级有效遥感信息的跨越，完成遥感卫星从面向专业用户的服务转向大众移动终端服务的突破。

致谢：感谢朱映特聘副研究员、仵倩玉博士在写作过程中的帮助。感谢李德仁院士对本文写作的指导。