美欧对地观测卫星系统数字云平台的发展与应用

2022-12-30宋晶晶北京空间科技信息研究所

国际太空 2022年11期

宋晶晶（北京空间科技信息研究所）

1 概述

卫星遥感是采集地球数据信息的重要技术手段，几十年来，对地观测数据的质量和采集速度不断提高，超过了数据分发、处理和管理领域的创新，这导致卫星数据商业应用的速度大大低于预期。随着应对气候变化和人口增长等挑战的卫星数据需求的快速增长，未来10年将发射的大量新型对地观测卫星将为科学家提供更详细的信息，同时也会产生海量数据，因此非常需要一种真正有效的方式为全球数百万新用户提供满足其需求的对地观测产品。

近年来，美国和欧洲的主要航天大国正大力发展基于遥感卫星数据的数字云平台，利用云计算、大数据、人工智能等创新技术，使工程师和科学家在云端能够处理、存储和分析所有数字信息，实现对卫星数据的大规模自动处理和智能信息提取，从而更充分地挖掘海量遥感数据的价值。而近3年的全球新冠疫情更是加速了航空航天以及许多其他行业的数字化转型，云计算的发展速度比以往任何时候都要快，推动了大规模的协作和通信。全球天基对地观测数据处理技术进入了一个颠覆性的创新时代。

2 NASA将在下一代对地观测任务中普遍采用云平台

美国国家航空航天局（NASA）是全球处理和提供最多对地观测数据的机构，管理这些数据是一项艰巨的任务。多年来，NASA一直在“地球科学数据系统”（ESDS）计划框架下致力于解决信息量的挑战，将数据和数据处理系统从本地服务器转移到云端，通过部署支持云的数据和工具以实现最有效利用，通过改进和简化运营来进一步鼓励对数据的自由和开放访问，投资开源工具，提高数据访问和管理能力，以及与战略合作伙伴和开源社区互动，从而使用户受益。迄今为止，NASA已经建立了多个数据中心，配置了超级计算机，开发了一系列云计算、可视化和大数据分析软件系统。

目前，对地观测卫星将数据发送回地面站，工程师在那里将原始信息从1和0转换为人们可以使用和理解的测量值，然后将测量结果发送到服务器上进行存档。一般来说，当研究人员想要使用数据集时，他们会登录网站，下载想要的数据，然后在个人机器上使用。随着未来对地观测任务产生数据的指数级增长，现有的数据下载和存储能力将跟不上数据采集的速度，同时，将所有数据都从航天器处传回并存储到本地会带来极其高昂的成本。因此，有效存档和处理更大数据量的需求将需要新的数据管理技术和体系结构。NASA将在下一代对地观测任务中普遍采用云平台，以更具成本效益、最灵活和可扩展的数据管理架构和技术，发展有效获取、处理和归档海量数据的能力，卫星遥感数据处理将进入一个全新时代。

美国和欧洲联合开发的哨兵－6/杰森－服务连续性（Sentinel－6/Jason－CS）任务下的哨兵－6卫星是NASA第一颗利用ESDS计划云系统的卫星。未来，由NASA和法国国家空间研究中心（CNES）联合开发，计划于2023年发射的“地表水和海洋地形”（SWOT）卫星，以及计划于2023年发射的NASA-印度空间研究组织合成孔径雷达（NISAR）卫星，都将使用基于雷达的仪器来采集信息，二者每天将产生大约100TB的数据（SWOT卫星约20TB，NISAR卫星约80TB）。其中NISAR卫星将用于监测地球表面和采集环境特征数据，SWOT卫星将用于监测地球表面水的高度。

NASA喷气推进实验室（JPL）物理海洋学分发式主动存档中心（PODAAC）是ESDS计划下的几个数据中心之一，负责处理、存档、记录和分发来自该机构的对地观测卫星数据。来自SWOT卫星的数据将在该中心存档，而来自NISAR卫星的数据将由阿拉斯加卫星设施分发式主动存档中心处理。在传统的数据处理模式下，如果研究人员想从SWOT卫星上下载一天的数据大概需要20台电脑，每台电脑存储数据量1TB。如果想从NISAR卫星下载4天的数据，在普通家庭互联网连接上执行大约需要一年时间。而在云中处理和存储这些数据将为他们提供一种经济高效的方法，既无需支付存储大量数据或为所有这些硬盘驱动器维护物理空间的费用，不必担心受基础设施限制，也不用等待数月将大量文件下载到他们的本地系统。尽管如此，云计算不会取代研究人员处理科学数据集的所有方式，但会有助于在地球科学领域取得进展。

NASA工程师为了对云计算处理大数据的优势进行概念验证，使用了来自欧洲“哥白尼”（Copernicus）计划下的哨兵－1（Sentinel－1）卫星数据。工程师使用云中的Sentinel－1卫星数据花费一周时间制作了一张彩色地图，显示了地球表面从植被区到沙漠的变化。如果要在云之外做这件事，则需要数千台机器。

NASA的另一个数据中心——对地观测系统数据和信息系统（EOSDIS）存档的数据量约为60PB，根据ESDS计划，预计到2025年，该中心将保存超过250PB的数据。到21世纪末，EOSDIS中心存档的数据量预计将超过320PB。随着存档数据量的持续增长，EOSDIS中心存档的数据摄取速率预计将随之大幅提高。而ESDS计划的一项战略愿景就是在商业云环境中开发和运行EOSDIS系统的多个组件。

3 ESA大力推进DestinE数字孪生云平台倡议

欧洲航天局（ESA）在欧盟委员会（EC）的领导下，正在与主要欧洲国家一起开发高精度的地球数字模型，以监测和模拟自然和人类活动，从而实现可持续发展并支持欧洲环境政策。在2021年10月的ESA理事会上，成员国批准了一项“贡献协议”，为在欧盟数字议程的背景下与欧洲委员会就“目的地地球”（DestinE）倡议开展合作铺平了道路。2022年3月30日，欧盟委员会与执行实体、欧洲中期天气预报中心（ECMWF）、ESA和欧洲气象卫星组织（Eumetsat）一起，组织了一次公开的在线活动，启动了DestinE倡议。

DestinE相当于各方面信息的一个数字孪生体，可以全面监测、分析、预测和保护陆地，包括气候动态、自然灾害、粮食和水安全、海洋循环和生物多样性。该平台将面向从专家、科学家和决策者到个人的所有利益相关方。DestinE将通过ESA开发的一个用户友好且安全的基于云的数字建模和模拟平台进行访问，该平台将采用新型数字技术，如：基于云的超级计算和人工智能，为用户提供超大规模的数据分析、地球系统监测、模拟和预测能力。同时，它将允许用户定制平台，整合自己的数据，开发自己的应用程序。

具体而言，DestinE将用于：支持高精度预测自然灾害和人为环境破坏；通过关注气候变化的影响，例如对海洋、水、地球冰盖、土地使用等的影响，实现对地球健康的持续和准确监测；更好地了解气候变化的社会经济影响和极端自然灾害的发生。这些模型将帮助科学家、政治家和公众理解环境和人类在塑造地球未来中的复杂互动。DestinE还将成为欧洲适应“数字化战略”的有效基准，以支持绿色转型，帮助欧盟实现2050年“碳中和”的目标。

DestinE将在未来5～6年内逐步实施，欧盟委员会将领导和协调欧洲主要组织核心小组之间的实施工作，该小组将负责制定该倡议的主要内容，小组成员包括ESA、ECMWF和Eumetsat。ESA将负责开发DestinE开放核心服务平台，该平台将采用最全面、最先进的天基观测数据，包括ESA的“地球探索者”（EE）、Sentinel卫星系列、气象卫星等。EUMETSAT将负责建立数据湖——一个基于分布式数据源的数据池。ECMWF将负责开发DestinE倡议下的2个初始数字孪生项目：气象和地球物理极端事件以及气候变化适应，计划于2024年完成。到2027年进一步增强DestinE系统，并集成其他数字孪生体和相关服务。到2030年完成地球的完整数字孪生体。

“气象和地球物理极端事件数字孪生”项目将为评估和预测环境极端事件提供能力与服务，决策者能够更加准确地预测洪水和森林火灾等极端自然事件的发生和影响；“气候变化适应数字孪生”项目将帮助分析见解和测试预测情景，以支持区域和国家10年内的气候适应和缓解政策。这2个项目将在2030年12月推出。未来，更多数字孪生体还将会出现，可能涉及海洋、生物多样性和城市环境等领域。

美国海洋与大气管理局（NOAA）目前也在探索数字孪生技术的潜力，随着该机构逐渐转向依赖低地球轨道（LEO）上的小型卫星和更多的商业数据源，气象数据的量预计将激增。NOAA计划融合包括海洋、大气、冰冻圈，以及空间天气等要素的所有数据并将其放入一个地球环境的数字副本中，建立一个一站式服务云平台，用户可在通用界面中选择感兴趣的数据。

4 NASA和ESA合作开发用于开源科学数据的云平台

NASA不仅在其机构内部开展工作以促进对通用云基础设施的高效访问，还在科学界访问、分析和使用这些数据。NASA目前正在与ESA合作开发一个革命性的开源科学工具，用于分析云中的地球科学数据，称为“多任务算法和分析平台”（MAAP）。MAAP提供了对NASA和ESA地球科学数据的无缝访问，是开源科学合作和分析的典范。MAAP是全球首个统一的地上碳评估的主平台，对于管理全球气候变化至关重要。

利用MAAP平台创建的开源科学数据产品，利用来自NASA的冰卫星－2（ICESat－2）、NASA/美国地质调查局（USGS）的陆地卫星－8（LandSat－8）和ESA的“哥白尼数字高程模型”（Copernicus DEM）数据，以30m分辨率绘制了“环北方森林生物量密度图”。

MAAP经历了2年的研制，目前已全面投入运营，并将在未来一段时间逐步扩大用户群体。2022年6月发布的MAAP第二版中增加了额外的数据来源，帮助解决更多的地球科学问题。

MAAP使科学家能够合作开发算法和代码，并对来自卫星遥感仪器、“国际空间站”（ISS）以及空基和地基等来源获得的大型数据集进行分析及可视化。MAAP所需的大数据和高性能计算，以及共享的代码存储库和目录，都在云中存储并进行管理。NASA和ESA支持并共享MAAP的能力。通过遵循开源科学原则，包括对数据的完全和开放访问、开源代码的使用以及数据用户的无限制访问，MAAP消除了参与科学调查的障碍，提升了平台的多样性和包容性。

MAAP的初步应用侧重于测量地表生物量，获得一部分地球森林面积和碳含量的相关资料。这些数据对于我们了解气候变化和预测其影响至关重要，并将支持政府间气候变化专门委员会（IPCC）定期更新信息。地表生物量是MAAP的第一个应用，NASA、ESA和类似的研究机构可以利用其获得广泛的科学数据，并进行更多科学探索。

目前，MAAP支持的数据包括NASA的“全球生态系统动态调查”（GEDI）和NASA/ESA的联合项目“非洲搜索救援运动”（AfriSAR campaign），并将最终支持来自NASA和ESA后续任务的数据，如：ESA的“生物量”（Biomass）任务和NISAR任务。同时，该平台还将与NASA位于加利福尼亚州硅谷的艾姆斯研究中心的超级计算设施进行连接，将能够高效处理极其庞大的MAAP全球数据集，包括来自NISAR任务的海量数据集。

2020年环北方森林生物量密度图

5 基于云平台的多种新型对地观测数据服务模式不断涌现

随着对地观测卫星提供的数据量和复杂性的快速增长，移动数据产生巨大成本和延迟，给提供商和用户带来了巨大的挑战，这种需求只能通过将本地存储和内部处理转向基于云的分布式解决方案来满足，用户可以在这种解决方案中，将数据轻松地与先进的计算和分析功能放在一起。因此近年来，包括传统对地观测机构、云服务提供商以及一些初创企业都在考虑如何利用云计算，在开放式数据平台上提供对数据、存储、计算和分析工具的在线访问，从而涌现出多种服务模式。

欧盟通过不同云平台服务提供商之间的竞争刺激创新

欧盟的旗舰对地观测计划Copernicus框架内所有Sentinel卫星都运行时，每年将交付10PB以上的数据。加上来自其他卫星的数据以及来自Copernicus现场组件的信息，增加了由Copernicus计划生成或提供的地理空间数据总量。技术的发展，特别是在可用性和可访问性方面，使Copernicus成为世界上最大的空间数据提供商，目前每天产生12TB数据，因此用户群正在迅速增长，以延伸到全球的企业、企业家和公民等新的利益相关者。

Copernicus和更早的“全球环境与安全监测”（GMES）数据和信息的大规模共享和使用始于一系列混合平台，而用户却承担了下载、处理和存储的重任。为了促进数据访问并使其标准化，欧盟委员会于2017年启动“哥白尼数据和信息访问服务”（DIAS）计划，出资部署了5个基于云计算的一站式服务平台即CREODIAS、Sobloo、Mundi Web Services、ONDA-DIAS和WEKEO，每个平台都是由对地观测卫星运营商、增值服务提供商和云提供商组成的联合体共同构建的。这些平台是竞争关系，都提供对Copernicus对地观测计划内的所有数据、信息以及处理工具的集中访问，该项目是Copernicus计划的重要里程碑，为启动欧洲数据访问和云平台服务奠定了基础。

越来越多的对地观测卫星公司推出基于云平台的增值服务

空客公司（Airbus）通过自己的数字平台“一个地图集”（OneAtlas），利用大数据云技术可实现灵活、可扩展的存储，以及结合不同源数据融合技术开展分析。OneAtlas云平台允许用户访问卫星图像、全球数据集、高程数据和3D模型。通过采用流式传输、下载和应用程序接口等灵活的访问模式，可轻松集成到地理信息系统工作流中。

5个DIAS云平台

美国绿色科技初创公司地球脉搏公司（TerraPulse）将人工智能技术应用于ESA公开的全球卫星图像档案，开发了监测从地方到全球范围内生态系统变化的“地球视图”（TerraView）云平台，并于2022年2月推出世界上首张展示2017年至今的全球树木冠层覆盖、地表水和城市化变化的卫星地图（10m分辨率），这张地图再次打破了全球地图分辨率的记录，在空间尺度上设立了新的标准，具有里程碑式意义。

英国领先太空技术初创公司“开放宇宙”（Open Cosmos）部门于2022年6月发布了一个多卫星数据平台——“数据宇宙”（DataCosmos），该平台将提供高级可视化和数据使用工具，以解决关键的生态和可持续性气候挑战。DataCosmos与其他平台的不同之处在于其界面结合了来自卫星、无人机、传感器等多种数据类型，用户可以在几秒钟内访问、下载、可视化和处理高分辨率图像。

DataCosmos平台界面

云服务提供商的加入促进了对地观测数据服务市场的进一步成熟

除了麦克萨技术公司（Maxar Technology）和空客公司这样的传统卫星运营商之外，美国谷歌公司（Google）、亚马逊公司（Amazon）和微软公司（Microsoft）等云服务提供商纷纷推出云服务，让卫星通信网络连入云基础设施，帮助客户把数据从卫星直接送入云计算网络进行处理和存储。随着云服务提供商与传统卫星运营商，以及新兴数据服务提供商等多方积极发展各种创新战略合作伙伴关系，对地观测增值服务市场高度分散并进一步成熟。

NASA利用云计算为科学界带来的好处包括与亚马逊、谷歌和微软在内的云服务提供商合作开展项目或技术合作。例如：利用亚马逊公司的亚马逊云服务（AWS）、微软公司的天蓝地图（Azure Maps），以及谷歌公司的谷歌地球引擎（Google Earth Engine）这些云平台改善NASA科学数据集的发现、访问和使用，并对云平台的利用价值进行研究，不断提高NASA的人工智能能力。

微软公司与空客公司合作以提升微软Azure Maps的空间服务能力，Azure Maps是在微软Azure云中的服务、平台和应用生态系统的默认位置服务之一，空客公司的“斯波特”（SPOT）、“昴宿星”（Pleiades）、“新一代昴宿星”（Pleiades Neo）卫星图像和“全球数字高程正射校正”（WorldDEM4Ortho）模型的高程数据可以在微软公司的Azure Maps服务中全面使用。

美国卡佩拉空间公司（Capella）通过“国际移动卫星”（Inmarsat）网络实时访问其“合成孔径雷达”（SAR）卫星，发送命令并收集数据后通过AWS云平台，在30min内将数据发送至客户。阿根廷卫星逻辑公司（Satellogic）使用亚马逊地面站服务（AWS GroundStation）来控制其卫星和下载星上数据。亚马逊地面站是一项托管服务，允许卫星运营和接收卫星数据，并将其与应用程序和AWS云平台上的其他数据集成，而运营商只需为AWS 云平台使用的容量付费。美国乌尔萨空间系统公司（Ursa Space Systems）与亚马逊公司就AWS云平台的数据交换（ADX）系统进行合作，使卫星数据和分析业务易于在云中查找、订阅和共享。乌尔萨空间系统公司将在AWS云平台的ADX系统上列出其图像服务目录和数据分析服务，利用其平台上的数百颗射频和成像卫星提供的数据，为用户实现快速响应、决策和分析。德国实时对地观测公司（LiveEO）于2022年3月成为AWS云平台“合作伙伴网络”（APN）的认证独立软件供应商（ISV）合作伙伴，利用AWS云平台的可靠性和可扩展性来分析基础设施。美国Maxar公司越来越多地采用其基于云平台的天气预报服务。来自Maxar公司和AWS云平台的数据科学家和工程师团队合作创建了一个自动化工作流，利用AWS云平台的高性能计算（HPC）能力为NOAA服务，实现更快地开发、测试和发布新版本的天气模型，最终将加速改善气象部门的业务天气和气候预测任务，以拯救生命、保护财产和加强美国经济。

6 小结

全球对地观测卫星系统正加速向新一代基于云平台的数字化转型

云计算实现了通过互联网而不是内部基础设施访问共享和可配置的资源，还使服务提供商能够提供基于网络的低成本服务，为数据分发和分析开辟了创新模式。天基对地观测快速增长的海量数据给供应商和用户带来愈发严峻的挑战，用户需要强大的访问能力、强大的计算能力和创新的处理方法以释放这些前所未有的海量数据所提供的洞察力。因此，包括政府部门和新兴卫星公司在内，越来越多的组织机构均积极开发基于大数据的云平台，许多对地观测卫星数据提供商正在或已经转向云环境来创建数字运营中心，或将其现有运营模式向数字运营中心过渡。

发展星地一体化多源融合大数据分析的对地观测云平台已成为必然趋势

就服务提供商来说，云服务通过集中的资源确保了更大的灵活性和可扩展性，缩短了入市时间，且更加关注客户满意度，能够应对不断变化的用户需求。利用下一代超级计算机功能和云计算技术，用户能够在最需要的时间和地点访问其数据并产生近乎实时的分析结果，以提供信息集成的变革能力。

公私合营的创新战略合作伙伴关系将推动对地观测技术快速发展

积极的公私部门合作是新航天生态系统的基石之一，发展创新与战略合作伙伴关系，有利于培育基于云环境的新对地观测产品组合，同时为投资者提供了机遇。由对地观测卫星运营商、增值服务提供商和云提供商组成的合作伙伴关系不仅提高了数据系统运营的效率，还进一步推动了对数据的自由和开放访问，使科学界和更广泛的公众能够公开共享数据、信息和知识，从而加速科学研究和理解。