基于专利的卫星遥感应用现状与关键技术发展分析
2023-10-25宋洁琼潘丽君刘鹏飞
文 | 宋洁琼 潘丽君 刘鹏飞
1.中国航天系统科学与工程研究院
2.上海无线电设备研究所
一、前言
在21 世纪初期,全球遥感卫星市场还主要服务于军方和政府领域[1],随着越来越多商业巨头不断进入,遥感数据商业应用已逐步成为推动遥感卫星市场发展的重要动力。现阶段,基于卫星遥感数据的非传统应用行业需求不断涌现。同时,智能技术与遥感应用也开始快速融合,大数据、海量存储、高性能计算、人工智能及云计算等新一代信息技术对卫星遥感数据处理领域不断渗透[2],已成为行业服务能力提升的突破关键。多源数据融合和海量数据智能处理手段的日益丰富,使更多的遥感应用场景被打开。通过共享平台实现跨行业、跨领域、跨学科的数据分享,也成为卫星遥感综合应用能力快速提升的有效手段[3]。根据本文检索标引出的近三千项卫星遥感相关专利的承载信息,可看出国内外对数据反演类型改进和数据信息处理技术的专利申请量长期处于大小相当的状态,即卫星遥感应用能力与范围的拓展,与全球企业对处理技术的创新投入呈共促进、同发展的趋势。同时,在国际化浪潮与国内政策的持续推动下,中国也已成为相关领域内的创新主要来源地。
二、专利数据检索与分析方法
基于广泛收集的国内外卫星遥感应用相关技术资料,根据信息处理手段、数据应用方向和近年面临的存储与处理难题,本文重点关注了针对卫星遥感信息的智能化信息处理、定量化数据反演、海量数据处理平台设计与应用三个技术领域,进一步在其基础上又细分出了噪声抑制、目标识别、多源影像融合、数字地形模型构建、气象预测、环境检测、农业管理、传输与分发、存储与运营等13 个技术分支。通过对上述分支相关的中英文关键词和IPC分类号的全面收集与匹配,在全球专利数据库中对1980 年至2022 年间各国创新成果进行检索,共挖掘出技术相关专利2816 项。
其中,专利检索使用的商业数据库包括德温特专利数据库和智慧芽专利数据库,能够支持160 余个国家和地区的近2 亿条专利数据的专业检索。专利分析部分综合采用客观定量、主观定性及语义聚类等多维度分析方式。在不同定量维度信息梳理中,充分结合情报、技术等其他要素,力图既突出每项分析主旨,也系统构建出卫星遥感应用技术发展现状的宏观影像。以期通过呈现出的技术发展现状和热点应用方向,对国内相关领域技术发展提供清晰有效的启示与建议。
三、卫星遥感应用各领域关键技术创新分布
首先通过对卫星遥感信息的定量化数据反演技术、智能化信息处理技术、海量数据处理平台设计与应用技术这三大技术领域内各个技术分支的专利申请量进行统计,梳理卫星遥感应用各关键技术上的创新分布情况。结果如图1 所示。
图1 卫星遥感应用各领域关键技术专利量分布图(单位:项)
1.定量化数据反演技术领域
卫星遥感数据定量化产品及技术在全球气象变化、农作物估产、生态环境监测等方面有着广泛的应用,各国均有需求。从技术发展的支撑来看,近年来全球遥感卫星载荷性能、定标与分析技术均得到了快速的发展,地表、大气观测系统及数据处理方法也日趋成熟,对自动化、高精度、高性能快速处理的遥感卫星数据定量化反演技术的优化及产品的研制也逐步加快。本文在定量化数据反演技术领域中,关注了技术分支5 个,分别为数字地形模型构建技术(专利143 项)、气象预测技术(专利151 项)、农业管理技术(专利523 项)、环境检测技术(专利250项)和灾害评估技术(专利271项)。
(1)农业管理与环境检测是数据反演热点应用方向
20 世纪八十年代起,欧美日等多国已经开始了农业农村领域的卫星遥感数据应用,经过近四十年的发展,农业管理已经成为定量化数据反演技术领域中,专利申请量最丰富的应用方向。围绕产量预测、品质判断、施肥管理、病虫害诊断、土地使用、农企信息服务等需求,中国、美国、印度和日本几个专利丰富国家均进行了较多创新。近年,针对农户成本估算、受灾保险定损、地块估价、授信额度确认、种植险承保等的农业金融管理业务,开始成为卫星遥感数据在农业生产上的新应用热点。该类专利技术最早起源于美国,现今美国CIBO 科技公司都还在持续推出基于过去生长情况的地块估价和基于碳足迹检测的地块管理等应用创新。我国在该方向上也积极尝试,中国科学院遥感与数字地球研究所最早提出了将高分遥感影像应用在农业保险承保理赔查勘环节中的优化方法,并支持成立了新兴农业遥感服务商——中科光启空间信息技术公司,已在农保承保系统和保险定损上提出了几个专利方案。中国平安保险和中国工商银行也先后提出了灾情评估和理赔的具体应用专利设计。通过遥感数据精确测定承保标的面积、数量、位置等信息,从宏观上辅助了灾害总体损失情况及空间分布的可靠掌握,为承保风险管控提供了有效支撑。
(2)数字地形模型构建能力推动反演精度提升
作为多类遥感数据定量化反演工具的构建基础,数字地形模型(DTM)与分支数字高程模型(DEM),及其衍生出来的数字表面模型(DSM)、数字栅格地图(DRG)等承载着这个地球地理信息数字世界的底层形态框架,在测绘、水文、地貌、工程建设、通信、军事等国民经济和国防建设领域应用非常广泛,有着关键性的基础作用,也赋能了卫星遥感多元业务的数字化成长。对于数字地形模型构建技术的研究,前期主要由美国在支撑,其中对领域内影响较大的专利技术,为美国DIGIMARC公司在专利US20020124171A1 中公开的对卫星等空天遥感图像的实时管理及基于最新数据对数字高程模型和地图进行实时更新的创新方案。该专利中涉及的跟踪用水印技术自首次提出后,被DIGIMARC公司在全球各国先后进行了千余项的同族布局,也历经了多次技术许可。
近年来,关于数字地形模型构建的创新方案主要来源于中国。美国虽整体专利量不再突出,但其EAGLE 科技公司的专利产出较为亮眼。该公司致力于使用深度学习、语义检测、深度预测、神经网络等智能化手段在3D 地理空间模型中执行检测和更新的系统。这代表了未来对于数字地形模型校正与应用的一个重要方向,德国航空航天中心(DLR)与华中科技大学、西安电子科技大学、同济大学、武汉大学、北京市遥感信息研究所也在陆续提出相关方案。数字地形模型构建的另一个发展方向是模型数据源获取方式的改进,利用无人机、激光测高仪、激光雷达、星载干涉SAR 等新的观测工具已成为业内共识,深圳大学、中国空间技术研究院、中国测绘科学研究院、IBM 公司、德国航空航天中心、首尔大学、韩国国立山林科学院等机构均有专利方案涉及到。
2.智能化信息处理技术领域
在卫星遥感应用产业链中,遥感影像处理环节处于承前启后的重要位置,前端承接卫星地面设施,后端面向农林、气象、自然资源等行业具体的业务应用。故对处理过程中的图像处理精度和信息提取效率的优化和提升,在遥感应用过程中显得尤为重要。本文在智能化信息处理技术领域中,关注了技术分支6 个,分别为噪声抑制技术(专利58 项)、特征提取技术(专利172 项)、目标识别技术(专利384 项)、场景分类技术(专利291 项)、定标校正技术(专利235 项)和多源影像融合技术(专利150 项)。
(1)定标校正技术是早期多国关注重点
早期对智能化信息处理技术的创新研究主要产自于美国,相关专利最多的技术方向是定标校正技术。由于传感器误差、物镜畸变、大气折光、地球曲率、地球自转、地形起伏等因素导致的综合影响,遥感原始图像上地物的几何位置、形状、尺寸、方位等特征会发生形变,必须要先对图像进行校正处理。故在深度学习等智能化手段未普及时,各国在定标校正技术上的创新投入更多。针对其技术关键性,在该技术上参与创新的重点企业也极为丰富,法国国家空间研究中心(CNES)、德国航空航天中心、美国军方、韩国电子通信研究院(ETRI),以及美国的霍尼韦尔公司、洛·马公司、哈里斯公司均有专利方案陆续公开。
(2)智能处理助力目标识别与场景分类成为近年创新高地
21 世纪的第一个十年之后,围绕智能化信息处理的专利申请量开始快速提升,中国专利拥有量也大幅提高。以云计算、大数据、人工智能为代表的新技术为遥感图像处理注入了新的活力,也为解决卫星数据的大规模自动处理和智能信息提取提供了多样化创新手段。该阶段,目标识别和场景分类两个技术方向成为创新重点。目标识别技术上,西安电子科技大学的创新成果量远超其他单位,成为这一方向上的佼佼者;其次,哈尔滨工业大学、北京航空航天大学和中国电子科技集团公司第54 研究所是成果相对丰富的创新主体。场景分类技术上,以武汉大学和西安电子科技大学的创新量最为丰富;其次为中国科学院遥感与数字地球研究所、河海大学和南京信息工程大学。可以看出,以目标识别和场景分类为创新代表的卫星遥感智能化信息处理技术,现阶段主要的研发支撑还是国内的高等院校。
3.海量数据处理平台设计与应用技术领域
对地观测技术的发展,造成了遥感数据体量的持续增长,数据获取和更新周期缩短,时效性越来越强,卫星遥感已进入大数据时代。如何有序、高效地存储管理海量遥感数据,实现遥感信息的快速分享已成为空间信息科学领域关心的重点问题;且出于遥感影像数据的空间性、多样性、复杂性和海量性,使得很难对海量遥感影像数据进行有效存储和高效检索,这也是目前遥感应用领域亟待解决的难题。本文在海量数据处理平台设计与应用技术领域中,关注了2 个技术分支,分别是传输与分发技术(专利58 项)和存储与运营技术(专利130 项)。
(1)信息传输与分发成果主要源自航天科技与中国电科
遥感信息传输与分发是卫星遥感信息得以充分利用的重要环节。针对数据传输,相关单位主要从星地链路、数传机制、在轨处理等方面进行了创新改进;针对数据分发,则主要从用户建模、系统建设、分发协调几个方面进行了性能提升。整体上,创新主体以中国航天科技集团有限公司、中国电子科技集团有限公司及其下属院所为主。在轨状态下的处理优化是近年随着星上处理器性能提升后逐步出现的新型改进思路。中国科学院微小卫星创新研究院在专利CN111309477A 中公开了一种卫星在轨数据处理系统,支持DSP 计算节点和FPGA 计算节点的资源扩展,提升了星上处理能力和可靠性,并采用SRIO 高速数据接口和SRIO 数据交换网络提高了在轨数据处理的扩展性和自由度。国防科技大学在专利CN113542687A中提出了一种视频卫星在轨实时探测系统及其视频传输方法,通过采用视频图像数据在轨实时压缩、实时路由数传下传等,为超大数据量视频遥感卫星在轨实时探测提供了解决手段。该类技术目前还较为稀缺,未来有待提升投入。
(2)数据存储与检索创新颇受关注,运营专利仍较稀缺
在对遥感数据的存储、检索与运营上,武汉大学和中国科学院下属院所是主要创新主体。相关专利主要以存储和检索为主,数据运营技术涉及的专利极少。分布式可扩展的存储体系架构是目前解决海量遥感影像数据存储的一种主要解决途径,主要通过利用分布式的存储系统满足海量数据的存储需求,利用可扩展的体系架构适应遥感数据量指数级的动态增量。近年来,中科星图、河南农业大学、中电38 所和中国科学院空天信息创新研究院(2019年在中国科学院电子学研究所、遥感与数字地球研究所、光电研究院的基础上整合组建)提出的结合Kubernetes 和Ceph 的遥感数据存储系统、基于分布式hbase 存储的海量遥感数据组织管理、基于R tree 索引的优化分类树存储模型等方案,也均具有一定的技术代表性。
遥感影像检索上,降低检索时所需内存、加快检索速度、提升检索准确度是各单位的主要追求目标。利用深度学习进行特征识别神经网络训练,基于神经网络再进行影像检索,是武汉大学、西安电子科技大学、华中科技大学等高校的主流创新方式,如专利CN109086405B 中基于显著性和卷积神经网络的遥感图像检索方法、专利CN109960737B 中半监督深度对抗自编码哈希学习的遥感影像内容检索方法等。与高校解决方式不同,北京四维新世纪信息技术公司、航天宏图信息技术公司、中国科学院遥感与数字地球研究所等则在基于图片内容切分比对相关方式上进行检索搜寻,如专利CN107291801A 中基于格网补偿的单时相全覆盖遥感数据检索方法、专利CN112966164A 中用于海量遥感影像目标提取的快速定位方法等,代表了技术创新中的另一个关键方向。
四、创新产出地域分布与中外技术投入对比
根据专利优先权国家对专利数据进行统计和分析,可以了解卫星遥感应用相关技术的创新产出区域分布情况,以了解各国的技术研发能力和创新水平分布。如表1 可以看出,本文检索出的2816 项卫星遥感应用技术相关专利主要来自于中国、美国、日本和韩国。
表1 卫星遥感应用技术专利申请来源国分布情况
1.主要专利来源国申请量分布
卫星遥感应用技术相关专利最早出现于20 世纪八十年代,前期创新以美国产出为主。到21 世纪初的十年间,日本开始发力,专利申请量有了较大提升,中国则在中国科学院、中国农业科学院的带领下,创新成果量逐步超越了日本。自2010 年后的近十来年,由于我国的大力扶持和投入,国内卫星应用研究机构的研制能力逐步提高,加之于国内对创新保护意识的不断增强,联合促使了我国相关专利申请量持续快速上升,逐步成为了卫星遥感应用领域中全球专利申请的最大来源国。在这期间,美国专利申请量虽也有增长,但增长幅度已较中国差距较大。
2.中外技术构成分析
中国的创新研究中,针对定量化数据反演技术中的农业管理技术和智能化信息处理技术中的目标识别技术最为重视,专利申请量最丰富(图2)。其次,中国也较为重视定量化数据反演技术中的环境监测技术、灾害评估技术和智能化信息处理技术中的场景分类技术、定标校正技术。另外,中国机构对于海量数据处理平台设计与应用技术的研究近年也有较大幅度的提升,具体细分方向上有着明显的重存储、轻分发的态势。
图2 中国专利在各分支申请量分布
国外的创新研究中,对定量化数据反演技术中的农业管理技术最为关注,专利申请量远超其他各细分方向,其中美国、印度和日本在该方向上均成果相对突出(图3)。其次,国外机构也较为重视定量化数据反演技术中的数字地形模型构建技术、灾害评估技术,以及智能化信息处理技术中的定标校正技术。
图3 国外专利在各分支申请量分布
由以上两组的信息对比,可看出国内外在卫星遥感应用上的关注重点有较大区别。中国重视环境监测、目标识别,而国外更加重视数字地形模型构建和灾害评估。相同的是,国内外均关注农业管理的发展,也都愿意在定标校正上进行投入。
3.重点技术方向上的中外发展分析
数字地形模型,尤其是其中的数字高程模型,已开始在地学领域发挥越来越重要的作用,长期受到国外机构重点关注。作为一种基础数据,更作为一种数据处理和应用方法,数字地形模型已经成为地理信息系统的一个重要组成部分。中国相关专利中,关于利用遥感影像进行模型构建的创新较为丰富,南京大学、武汉大学、长光卫星技术公司、自然资源部国土卫星遥感应用中心的相关专利均为构建或处理方案。其中,对于数字高程模型和数字表面模型的研制方法最多,对高分辨率和高精度模型的追求是产品研发的重点,使用星载干涉SAR 和激光雷达是近年的热点手段。图4 为中国数字地形模型构建技术相关专利关键词云。
图4 中国数字地形模型构建技术相关专利关键词云
国外相关专利中,对数字高程模型的研制也是重点,方法上国外更关注系统中处理器和数据库的使用与维护。对生成后数字地形模型的更新与修复也是国外创新的重要着力点。在3D 地理空间模型中采用人工智能、神经网络等先进手段是近年国外集中出现的新热点,也代表了未来对于数字地形模型校正与应用的一个重要方向。基于在表达地面形态方面无可比拟的优越性,国外创新主体的参与数量与研究热情,均体现出了数字地形模型及其衍生产品在线路勘测设计、工程规划选址、城市规划和土地利用等方面的需求显著。图5 为国外数字地形模型构建技术相关专利关键词云。
图5 国外数字地形模型构建技术相关专利关键词云
五、专利分析结论
1.中国专利体量优势明显,创新新兴方向与市场紧密贴合
卫星遥感应用相关研究中,前期创新以美国技术为主,2010 年后中国在中国科学院、中国农业科学院的带领下,专利申请量出现了快速提升。随着政府性商业遥感数据应用领域和深度的不断扩大,及多颗高分卫星的广泛应用,促使了国内对卫星遥感创新研究的大爆发。至今,中国已成为相关领域内创新成果最为丰富的国家,占全球专利申请总量的74%。
卫星对地观测与云技术、大数据、移动互联、人工智能的紧密结合,极大丰富了业务应用和服务领域。遥感应用产业正在从图像售卖转向分析判读和观测数据处理与分析等业务,下游信息产品、处理服务和数据服务已展现了较大的发展空间,并演变成近年新兴的专利技术方向。卫星遥感应用能力与范围的拓展,与全球企业对数据处理技术的创新投入呈共促进、同发展趋势。
2.国内外遥感数据积极服务农业与环境应用
定量化数据反演技术中,农业管理相关专利量最丰富,且长期保持高创新投入状态,共有专利523 项。近年,针对成本估算、保险定损等的农业金融管理,成为卫星遥感数据在国内外农业生产上的新应用热点。同时,环境监测技术随着地表、大气观测系统及数据处理方法的日趋成熟,也成为近年研究活跃方向,共有专利250 项。中国科学院等单位在遥感应用上布局广泛,除了自有技术积累外,还成立了农业遥感服务商中科光启、支持中科星图并购了专业气象公司,综合强化农业、环境、气象、海洋相关业务服务能力。
3.识别与分类处理技术快速发展,多源融合有待投入
智能化信息处理上,依托于机器学习的目标识别技术和场景分类技术相关专利申请量提升最为显著,分别有专利384 项和291 项,其主要研发支撑是西安电子科技大学、哈尔滨工业大学、北京航空航天大学、武汉大学等国内高校。但在空天地协同观测、大场景高“时-空-谱”无缝观测等需求盛行的当下,国内外对遥感数据中的多源影像融合研究明显不足,仅产生专利150 项,有待于进一步加大研发。
4.数据平台建设技术门槛高,专利总量尚在低位
在海量数据处理平台设计和应用技术领域,中国航天科技集团有限公司、中国电子科技集团有限公司及其下属院所的专利产量明显突出。针对数据传输,专利显示主要从星地链路、数传机制、在轨处理等方面进行改进;针对数据分发,则主要从用户建模、系统建设、分发协调几个方面进行性能提升。围绕对遥感数据的存储、检索与运营,专利成果主要产出在近五年,因技术门槛较高,专利总量还相对低位,其中涉及存储和检索的专利居多,涉及数据运营的创新极少。
六、启示与建议
1.乘环保与“双碳”大力发展之势,增强环境监测应用能力
基于遥感的环境监测已成为近年国内专利布局重点。国家层面现高度重视生态环境保护,卫星遥感服务落地场景巨大而丰富。生态环境部下发《生态环境监测规划纲要(2020-2035)》,在环境质量监测方面对卫星遥感提出了非常细致的要求。同期“碳中和、碳达峰”相关政策颁布,遥感技术再次被重点聚焦。中国科学院作为国内遥感应用产业领军机构,旗下企业已开始瞄准“双碳”市场积极投资并购,发展相关业务。借此大力发展之势,相关企业应重点投入该类应用方向解决方案,在现代化生态监管体系与碳排碳汇空间遥感监测体系建设中大力提升相关应用服务能力。
2.强化地理模型全链条建设能力,高效服务数字中国描绘
国外机构重视数字地形模型构建技术的创新,专利占比相对较高。高精度DEM 是建立地理模型、实现实景三维的基础数据,卫星遥感作为获取全球DEM 数据的主要手段,基于合成孔径雷达、雷达测高、激光测高均是关键获取方式,国内外已做了一定量的研究。国内部分单位针对新型载荷特点和应用前景,已对星载干涉SAR 和激光雷达等新型载荷的定标和基于DEM 衍生的定量化产品进行了深入研发。建议相关企业在此基础上进一步加大关注,在国内尚无成熟DEM 产品,基于国产测绘卫星数据提取数字地面模型的研究还较为鲜见的形势下,推动基于新型载荷的高精度DEM 生产系统及派生产品的全链条生产能力,早日在国土、林业、灾害监测、精确定位等方面得到应用推广。
3.增强遥感数据处理平台系统服务与生产效能
遥感数据处理平台因构建技术门槛高,专利产量持续低位。近年航天、航空、临近空间等多遥感平台不断增加,数据的空间、时间、光谱分辨率不断提高,遥感数据已经越来越具有大数据特征。现阶段国内面向市场的产品体系设计还不足,产品数量还较少,研发投入有待于进一步提升。后续建议在平台架构、组织机制、分发模型、检索算法等方面继续改进钻研,增强系统可拓展性和多类型应用的适应性,以更好地服务国内自然资源、环保、应急等领域的需求。并在后续通过核心产品及时保护和批量化生产能力的构建,实现国外市场融入与开拓。