遥感智能信息处理的发展及技术前景

杨晓梅， 王志华， 刘岳明， 张俊瑶， 刘晓亮， 刘彬

（1.中国科学院 地理科学与资源研究所，北京 100101；2.中国科学院 资源与环境信息系统国家重点实验室，北京 100101；3.中国科学院大学，北京 101408）

现今，以综合对地观测网和卫星导航系统为代表的地球观测系统持续、主动地实施对地球的观测和监测，产生出地球科学领域规模最大、覆盖面最广的遥感大数据［1-2］。由传统的通过单一数据源服务不同领域的遥感“一源多用”时代进入到围绕特定应用充分调用多方数据源的“多源多用”时代，急需构建融合成像机理、多源数据、多学科知识和混合计算于一体的遥感大数据计算体系新思维、新方法，推动遥感科学从经典向现代化的跃迁。

遥感信息提取技术自有遥感数据以来就不断发展，是一个弥久不衰、既传统又热点的问题。随着各方技术不断发展以及遥感数据源不断丰富，遥感信息提取演化出多个路径，沿着多条主线不断发展和丰富。遥感智能计算与信息提取包括从数据处理到信息产品到多行业地学应用的长技术链条及关键节点间的多种组合策略，涉及多源多模态海量遥感数据、众多机器学习模型算法、时空谱及地学知识的多元协同，以及地表覆被分类、专题要素提取、目标识别、变化检测等不同应用目标在内的众多研究热点。但遥感信息智能化识别提取始终在精准性以及实用性等方面面临巨大的瓶颈问题，难以满足地学信息和知识获取的需要［3-4］。在发展历程中，常有老酒换新瓶的过程，产生一些似是而非或易于混淆的概念需要辨析。同时，随着大数据、算力、算法模型的发展，还会不断产生更多研究的新热点。为此，有必要围绕遥感智能计算和信息提取这个发展主题进行总结和讨论。

尝试从“机理—尺度—数据—智能”4个不同层级总结现有发展，在此基础上提出新的关键技术点和研究发展前景。一是着重阐述遥感信息处理的2条发展道路，并以应用为导向逐步结合。二是随着遥感高分时代的到来，被广泛采用的基于像素和面向对象方法，表象看是处理单元上的差别，其潜在是多尺度、多层次思想的发展。三是多源遥感数据层面，从最初朴素的空谱融合、空间一致性插值、亚像元分解等思想，发展到当前大数据时代遥感的全时、空、谱的融合［5］。四是遥感信息提取涉及机器学习和人脑视觉认知智能问题，随着技术的不断突破，遥感智能解译的智能化、自动化演进深度将不断拓展。基于此，最后提出数据获取知识和知识引导数据双向驱动、遥感大数据和地学知识图谱相融合的遥感智能计算架构，将成为解决复杂地学问题的有益途径。

1 2条发展之路逐步融合：定量遥感与定性遥感

遥感信息处理初始就有2条发展道路，一条是侧重谱信息建立具有物理意义方程以及模型的定量反演道路，用以回答量的问题；另一条是以空间形态类别划分为主，基于统计模型的分类道路，用以回答是什么、在何处等问题。

定量遥感的核心研究内容主要是从遥感数据中反演陆表环境变量的数值，并在初级产品的基础上生成标准的高级产品供用户使用［6］，例如地表反照率（albedo）、叶面积指数（leaf area index， LAI）、地表温度、土壤水分、蒸散发等。依据是否需要明确的物理传输机制，反演算法可分为3类：统计方法、物理方法和混合方法。统计方法无需掌握明确的物理传输机制，依靠统计回归算法建立光谱信息与陆表环境变化的映射关系，但是需要大量的地面实测数据，限制了对遥感观测和地表参数真实关系的表达精度；物理方法基于光谱辐射传输机制建立相应的数学模型来实现映射关系，但物理传输过程涉及因素众多，模型复杂，在传输机制不清晰时，往往难以实现高精度定量反演。混合方法是将统计方法与物理方法结合，从而综合发挥统计方法与物理方法的优势。

定性遥感是从卫星遥感成像角度，将遥感影像看成特殊的“图”，将遥感图像中的每个像元或对象，根据其光谱特征、空间结构特征或其他信息，按照一定规则或算法划分为不同的类别。从某种程度上可以归结为图像分析的范畴，将遥感影像当作特殊的“图片”，以统计模型和计算机视觉为基点进行遥感信息提取、图像分类与目标识别。在遥感信息提取中，更多是充分利用影像光谱、纹理、形状特征或空间、时间高维特征扩展，基于机器学习算法，利用样本学习对算法模型进行训练并最终实现影像分类。近年来兴起的深度学习方法，更加广泛应用于高分遥感图像领域［7-9］。

当前遥感数据已成为研究地理时空对象分布状态和变化过程的主要数据源，如何更好地将基于地物单元表达的空间形态和类型与基于像素的机理参数量化指标和变化过程相结合，也就是定性、定量相结合，综合反映地表的现状、质量及变化，将是提升遥感应用能力亟待解决的问题。以一致性和可对比性为特征的定量化是遥感的基础，地学特征和参量的遥感响应模型是地学特征识别、分类和地学参量提取的基础，而定量的算法则是随着遥感信息处理和应用技术的进步逐渐走向精准［10］。目前主要关注的研究问题包括：

（1）多粒度定性定量的有机结合。传统反演方法都是以遥感像元为基本单元，忽视了地物本身的空间特性，地表要素提取结果难以实现精准化应用。而地表覆被分类或要素图斑尺度基本为几十米到米级精细表达，需要有效的尺度递推和多粒度融合方法支持地表空间信息和地物量化要素的组合优势，通过对外在结构变化特征与内在发生机理参数的综合反演，实现对地表要素的空间分布、内外动力等的全面挖掘。

（2）深化形态—类型—结构—状态—趋势应用层级。建立统计表征与物理表征融合的遥感大数据智能分析模型与方法。以地理图斑为基本单元，通过浅层的视觉感知和深层的模式挖掘，定位图斑在空间分布的精确位置、形态及组团结构，以及图斑的自然和社会功能属性类别；确定图斑所承载信息的量化指标及变化过程；分析图斑在该地理场景中存在状态差异以及被外力影响后的变化趋势［11］。定量反演的时序产品本身可作为机器学习的多维特征，而基于地理对象的辐射传输模型也是提高反演精度的有效信息，定性定量遥感的结合对各自提取方法的改进和优化起到互促作用。遥感大数据的定性与定量融合计算研究，可以实现地理对象从形态—类型—结构—状态—趋势的全方位的认知，推动遥感在多行业的深层次应用。

2 多尺度分区分层的拓展：基于像素与面向对象

遥感影像空间分辨率的提升，可以将常见地物目标（例如单个建筑、单颗树木、单辆汽车等）不足一个像元的低分模式（L-Resolution）升级为多个像元协同表达的高分模式（H-Resolution）［12］。一方面，地物目标的空间特征被显著表达，例如光谱统计特征、纹理特征、目标形状特征、斑块之间的邻接拓扑特征等，为定量化描述地物目标带来巨大机遇；另一方面，地物目标内部的光谱异质性也开始凸显，仅仅依靠像元光谱特征不足以支撑复杂地物目标的表征，即通常所说的同物异谱。这种变化的实质原因是地表景观具有等级斑块结构特征，当遥感影像观测的空间尺度发生变化时，所聚焦的地表景观层次也随之变化［13］。基于这种多尺度、等级结构为特点的新型面向对象解译方法随之成为研究热点。

相比基于像素，面向对象解译可以借助计算机视觉的影像分割与认知理论，丰富多个像元协同表达的空间特征和语义综合特征，提升高分遥感影像智能解译精度。此外，面向对象解译还可以直接实现与经典地理信息空间中点、线、面的矢量要素关联耦合，充分聚合和利用传统矢量化数据和相关地学知识，辅助高分遥感智能解译和数据更新［14］。这些优势，使得面向对象在遥感土地覆被的利用、变化监测、目标识别等方面得到广泛应用。

然而，面向对象影像解译的基础——影像分割，仍然需要进一步发展。影像分割是空间特征和语义综合特征的基础，然而在未充分认知目标前，又很难精准地实现，需要分割—分析—再分割的循环迭代过程。此外，影像分割算法通常复杂度较高、运算效率较低，难以并行处理，这也限制了面向对象方法在大规模云平台上的实践设计。此外，当研究目标的尺寸小于像元分辨率时，所谓的高分影像也会处于低分模式（L-resolution），空间特征并不显著，面向对象解译的应用优势也不明显［15］。

从具有多尺度、等级结构形式的面向对象解译来看，基于像素的解译可以视为多尺度分割最低层的面向对象解译，如图1所示。分割对象的多尺度、多层次性与景观的等级斑块结构具有极高的相似性，在综合多尺度、多源的地理大数据进行地表景观协同建模方面具有巨大应用潜力。但是还存在系列关键问题需要进一步攻克，主要如下：

图1 遥感影像的多尺度分割模型示意Fig.1 Schematic diagram of multi-scale segmentation model for remote sensing images

（1）语义分割问题。分割是面向对象生成解译空间单元、特征提取表达的基础和关键，对最终的分类、提取精度至关重要。现阶段的遥感影像分割算法，多是基于光谱或者纹理的匀质性、异质性特征进行的分割，难以实现不同分割对象组合、具有一定空间功能的复杂目标分割（例如商业区、居民区等），即语义分割问题。深度卷积神经网络（Deep Convolutional Neural Networks， CNN）利用卷积和反卷积操作，并通过海量样本训练学习，可以隐含获取像素群协同表达的语义特征，有效实现语义分割［16］。但在卷积和反卷积过程中会出现边缘模糊效应，而海量样本的训练则进一步制约其应用。如何减少样本的需求，与常规分割方法协同解决边缘模糊效应，是此方面进一步发展的技术前沿。

（2）尺度优选问题。分割尺度决定了分割对象的大小，影响着分割对象的特征表达，也决定着分割对象对应的景观等级结构的层次，是多尺度分割最关键的核心问题［17］。受基于像元的局部方差启发［18］，Drăguţ等［19］提出的面向多尺度分割的局部方差方法（Local Variance， LV）得到广泛应用。但也有一些研究质疑方法的有效性，Wang等［20］进一步指出尺度优选时指数采样问题。现阶段，亟需在多个典型场景中，组织严密对比实验，比较不同方法和采样的适宜性，给出有效性结论。当前已经存在探索研究，尤其是分割结果的定量化评价［21］，但是领域内仍缺乏统一的评价标准，阻碍面向对象解译的进一步发展。

3 时空谱数据融合再计算：影像融合与时空融合

受制于传感器硬件和数据传输等条件的限制，遥感数据始终存在“空谱矛盾”和“时空矛盾”，无法同时具备高空间分辨率、高时间分辨率和高光谱分辨率的性能指标。因此，通过影像融合技术实现多源遥感影像之间空间、时间和光谱信息的互补融合，克服单源数据在物理属性、信息聚集度等方面的局限性，对提高影像数据利用率、增强影像对地综合观测能力具有重要理论意义和实用价值［22］。根据融合方法所处理对象、层级的不同，一般可将遥感影像融合归结为3个层次，即像素级、特征级和决策级。像素级融合是以像元为基础的原始影像数据的融合，是在像元高精度配准的前提下实现影像分辨率、完整度、清晰度等物理参数的提升；特征级融合是以从原始影像中所提取的多源特征信息为基础的面向特征的融合，通过对空间维、光谱维、时间维等特征信息的融合归纳，实现多维特征协同下的地物分类、参数反演、变化检测等专题应用。决策级融合是在经影像处理分析得到初步解译结果或决策知识的基础上，通过一系列判别、推理和决策规则以实现知识层面的融合，从而获得更综合、可靠的决策结果［23］。在具体实际应用中，需根据影像数据的类型、特点和研究目标以确定最佳的融合策略，3种融合策略既可仅在某个单层次上进行，也可相互兼容联合使用，自适应多层递进的融合策略也是当前遥感数据融合领域的前沿研究热点。

根据融合算法所提升指标的不同，当前遥感影像数据的融合主要包括：以提升影像空间分辨率和光谱分辨率为目标，解决单源遥感影像高空间、低光谱分辨率或低空间、高光谱分辨率之间矛盾的空谱融合；以提升影像空间分辨率和时间分辨率为目标，解决单源遥感影像高空间、低时间分辨率或低空间、高时间分辨率之间矛盾的时空融合。空谱融合多年来发展了很多算法，其目标是融合后的影像可在保留地物光谱信息的同时，强化地物的几何、纹理等空间细节信息。时空融合是在空间域和时间域上进行的融合，通过将多源影像的高空间分辨率和高时间分辨率综合互补，实现高空间分辨率影像在时间上的连续。代表性算法有混合像元分解法、时空滤波法和模型优化法。与传统空谱融合不同的是，时空融合通常需要根据一定的物理模型来计算影像中像元或端元随时间维和空间维的光谱特征变化信息，从而实现对遥感观测数据中缺失信息的预测，其所得到的融合影像通常具备明确的时相特征。

大数据条件下影像融合可进一步发展为影像融合再计算，能够综合多源数据时空谱的多维优势信息，弥补单源影像数据的不足，为后续遥感应用提供更优质的数据资源。尽管学者们已经提出了大量的多源影像融合算法，但当前不同融合算法的发展和应用领域仍然相对独立，存在诸多问题亟待解决，未来多源遥感影像融合的发展应注重以下几点：

（1）构建时空谱一体化融合框架。当前融合算法一般只能进行时间、空间、光谱分辨率之间的两两融合，即空谱融合或时空融合，而未能有效利用当前海量多源遥感数据的优势，尤其是缺乏针对时、空、谱三维指标综合提升的融合算法。因此，迫切需要发展基于遥感大数据的时—空—谱融合与再成像研究，构建具有严密物理基础和数学关系的时—空—谱影像一体化融合方法，发展基于遥感大数据的再计算成像模型，实现遥感大数据的多时相、多尺度、时—空、空—谱的融合。

（2）多模态数据融合。与过去的单传感器对地观测相比，遥感大数据时代的多传感器多模态对地协同观测提供了从不同角度、不同时相、不同尺度获取的多类型地物目标信息，将这些特性各异的多模态遥感数据进行融合能够获取更精确、可靠的综合观测结果，例如合成孔径雷达（Synthetic Aperture Radar，SAR）图像与全色、多光谱图像的融合能够综合利用被动成像和主动成像的独特优势，LiDAR与多光谱、高光谱图像的融合能够综合地物的三维结构信息和光谱信息。但现有多模态图像融合方法的输入端多是2种不同模态的图像，2种以上的多模态图像的融合方法相对缺乏。如何从多种模态的遥感数据中提取和挖掘相互关联的多层次特征，实现相同位置的地理实体不同特征的有效关联，探索新的跨模态特征级、决策级或多级融合方法是当前亟需解决的技术难题。

4 智能化因素的逐步深入：机器学习与智能解译

当前遥感智能解译大多是利用机器学习和人工智能领域的工具进一步开发，满足地球科学问题求解的需要［24］。传统的机器学习方法具有理论完备、可解释性强的优点，能够很方便地融入专家知识对遥感图像进行解译。当样本数据较为完备、应用任务相对单一时，机器学习算法能取得良好的效果。在大数据、计算能力以及算法模型的发展背景下，一种机器学习新范式——深度学习，近年来获得了极为迅猛的发展。例如，ImageNet等较为完备的数据集为深度学习提供海量有标注的训练样本，图形处理器（graphic processing unit，GPU）为深层网络模型的参数运算提供了足够的算力，各种模型算法支持网络结构构建［25］。

遥感解译影像特征长期停留在较为低层的色调/色彩、光谱、大小、形状、纹理、阴影、位置、简单关系等，对于相对复杂的空间格局分布、空间关系的数学统计表达方式始终很匮乏。光谱信息单一的高分辨率影像可获取的特征更为有限，这也进一步促使可自主学习复杂深层特征的深度学习方法蓬勃发展。

但在行业实际应用中，遥感目视解译始终占据较大比例，其深层原因还是现阶段的智能因素难以满足需求。视觉认知活动虽然对于人类来说是显然的，但是其运作机制却相当复杂。计算机视觉研究的初衷就是模拟人类对客观场景的认知过程。对于遥感信息提取来说，目视解译则是遥感地学专家对真实地理空间场景的认知表达。因此，模拟地学专家目视解译的视觉机制表达与建模，是遥感智能解译突破的一个重要方向。在遥感影像解译过程中，还有一个通过分析判读结果以揭示事物内在联系和规律的环节，由认知过程中的思维环节来完成，可称为扩展的空间认知模型［26］。它的发展涉及认知心理学和视觉计算理论的进展。大量认知科学领域的实验研究表明，人类智能具有以下几个特性：知觉组织的选择性注意机制忽略大量的局部特征性质；模块化的层次结构和分布式表征模块组成复杂的层次结构；通过层次间的传递和反馈实现对输入信号的主动调节等［27-28］。随着人工智能和大数据全方位发展、地学专家知识的表征和融入，开展信息空间深层次的推理建模还是大有可为的。目前主要关注的研究包括：

（1）构建更具普适性的遥感影像解译框架。区域自然场景表现出地形地貌多样、气象条件复杂、地表结构细碎等复杂性与混合性的特点，造成当前遥感解译方法难以快速准确地获取信息。因此需要发展自适应的地学分区方法，将复杂异质性的场景进行分区、分层解构［29］。并针对不同区域特征和应用目标，形成不同地学分区下的智能解译方法的最优组合策略。

（2）面向地理实体多特征组合的复杂建模。遥感解译的主动视觉过程是将“注意”指向感兴趣的影像区域，如特征提取、特征整合、目标分析等，对地理实体进行重点分析。构建面向地理实体的整体、局部、轮廓线等多视觉空间特征组合，建立一个局部特征索引，对视觉信息的组织、识别和解释判定，同时考虑多模态数据协同的结构复杂要素判定。目前遥感解译中还主要利用色调、纹理、几何等有限特征，边缘、轮廓、结构等特征没有有效的融入，面向地理实体多特征组合复杂建模对于高分影像智能解译至关重要。

（3）地学知识与深度学习融合的智能解译系统。深度学习提取的影像视觉特征更多为局部特征，不随位置而发生变化，而地理学区域的时空异质性和遥感影像成像时刻受多种因素影响，使得当前深度学习模型在复杂变化场景下置信度、鲁棒性差。而深度学习本质上是一种“黑箱”式的学习机制，无法人为通过知识指导网络学习。如何将地学知识融入深度学习训练过程，使深度学习更具“方向性”， 提升遥感应用中的精度、扩展能力和适用性，是深度学习未来发展的一个重要方向。

5 重回遥感影像认知机理：遥感大数据与地学知识图谱

随着遥感数据量的成倍增加，遥感大数据的多源、多尺度、异构的特点为其计算和分析带来了困难［30］。传统依赖于机器学习等智能算法的遥感信息处理方法在精度和地学实用性等方面已触及瓶颈［31］，在大数据背景下无法满足数据到知识高效转化的需求［32］，对地学知识应用不充分的现状形成了“大数据、小知识”的局面［33］。因此如何高效实现海量数据的智能提取和知识挖掘是遥感大数据时代亟须解决的问题［34］。

当前遥感大数据处理的难题在于系统化的数据融合、挖掘和知识转化，而“图谱”思想是实现这一难题的关键。早在20世纪90年代，陈述彭先生等［35］提出了地学信息图谱的概念，以期通过信息化与智能化方法，从多角度、多层次、多尺度揭示地学规律。随着谷歌2012年发布的知识图谱引擎［36］，知识图谱的概念在各界得到广泛的应用。它通过图模式揭示客观世界中的事物及其相互之间的关系，并进行形式化的描述，形成可以被人和机器共同理解的大规模知识库，进一步实现知识的检索、推理等应用［37-38］。在知识图谱引入地理信息科学领域之后，地理知识图谱［39］、地学知识图谱［40］等概念逐渐被提出。然而当前知识图谱在地学领域的发展大多是通过对地学知识的组织和表达进一步实现地理规律的推理、反演和预测等功能，尚未应用于遥感智能解译的实践中。

遥感成像所获取的信息并非是地理环境综合体的全部信息，瞬时化、区域化的影像信息已无法满足当前遥感解译的精度要求，在大数据背景下地学知识的充分融入是解决这一问题的有效手段。随着图谱思想的不断发展和积累，笔者团队提出了面向遥感大数据的地学知识图谱新构想［41］，旨在将多源遥感大数据与地学知识系统化融合，并进行层次化、显性化表达，进而深化地学规律认知，实现地学知识检索、推理、更新、拓展的同时提升遥感大数据处理分析的精度和地学实用性。如图2所示，现实世界的地理空间通过遥感大数据的获取在影像空间中得到呈现，进一步基于遥感信息提取实现信息空间的表达。在将地理实体转换为遥感数据，并提取相关信息的过程中，地学知识发挥了重要的作用。通过将地学数据和影像数据的交叉与融合，实现地学知识的系统化与形式化的表达。形成的地学知识除了可以深入指导遥感信息提取，还可以进一步深化对地学数据和影像数据的相关认知，而数据认知的丰富又可以进一步对已形成的地学知识进行检校和更新，进而在数据与知识之间形成可循环优化的一体化机制。

图2 面向遥感大数据的地学知识图谱构架Fig.2 Geoscience knowledge graph architecture for remote sensing big data

面向遥感大数据的地学知识图谱是一种以地学思维为核心的新构想，当前仍然有许多理论、技术方面的关键问题需要突破。但根据其对“图谱”概念的思想传承、与新时代大数据特征的自适应融合，这个新构想将实现以下两点应用价值：

（1）地学知识的深化认知与检校更新。地学数据种类多、覆盖面广，如何将具有不确定性的地学信息系统化、形式化地转化为计算机可以理解的数字化的形式，进一步实现各层次知识间的关联推理和迭代优化是关键问题。在地学知识图谱构建的过程中，多种地学数据相互融合、地学数据与影像信息相互交叉，对地学规律的认知随着地学知识的不断积累而逐渐深入，与此同时可以反过来对已有知识进行检校，同时对新知识的获取进行指导。

（2）遥感解译的精度和地学实用性提升。遥感解译面临的同物异谱和异物同谱的问题单纯依靠提升数据质量和智能算法的鲁棒性很难根本解决，其本质是地学知识应用不足。地学知识图谱不仅承载了地理实体的物理属性，还包含了不同实体间的时空关系以及不同层次间实体的推理规则，地学知识图谱应用于遥感解译在精度和地学实用性提升方面有着广阔的前景。

传统遥感探索的方向是如何突破从遥感数据到精准信息以及有用知识之间的智能化快速转换，其实是一种过于理想化的数据－信息－知识的单向进程，或者可以称之数据获取知识的算法思维。它缺乏的正是用已有的地学知识体系化地引导遥感信息提取的地学思维。因此，在现有算法思维基础上，充分利用地学思维，构建一种拥有反馈迭代机制的数据获取知识和知识引导数据的双向驱动理论架构，并在此基础上突破地学知识自动积累、知识消歧校正精准化技术以及地学知识引导的遥感信息自动提取技术，就不仅可以实现遥感信息高精度智能提取，还可以实现地学知识图谱库的积累、精准表达，达到双赢局面。

作者贡献声明：

杨晓梅：整体设计、论文修改、文献调研。

王志华：第2部分初稿撰写、文献调研。

刘岳明：第4部分初稿撰写、文献调研。

张俊瑶：第5部分初稿撰写、文献调研。

刘晓亮：第3部分初稿撰写、文献调研。

刘 彬：第1部分初稿撰写、文献调研。