APP下载

美国统一预报系统研发进展和展望

2023-10-24唐伟于丹肖芳贾朋群

关键词:组件数值系统

唐伟 于丹 肖芳 贾朋群

(中国气象局气象发展与规划院,北京 100081)

0 引言

地球系统数值预报模式发展是国际研究热点,欧美等发达国家纷纷对未来5~10 a模式的研发和业务化提出明确目标,并都强调了业务人员和研究人员共同攻关的重要性。如在研究机构众多的美国,采用的是政产学研协同攻关方式。美国国家海洋和大气管理局(NOAA)借助其下一代全球数值预报模式(NGGPS)研发计划,提出了统一预报系统(UFS)[1]建设。实际上,统一预报系统这个概念并不是美国首创,欧洲中期天气预报中心(ECMWF)的集成预报系统(IFS)[2],英国气象局的统一模式(UM)[3],包括我国数值天气预报系统[4],都提出了综合一体化的基础架构,这样不同的应用可以在一体化模式系统上实现[5-6]统一。UFS还是一个社区模式,采用“众筹”式的开放创新机制,实现了以NOAA业务应用为主导,由政产学研协同研发数值预报模式。NOAA期待着借由UFS保持(或者说重回)其世界“领先”水平的预报能力。NOAA的做法为我们提供了他山之石,可供借鉴。

1 美国统一预报系统研发进展

1.1 从“铁板一块”转向开放式的社区模式

多年来,NOAA的数值预报模式因像“铁板一块”外部很难介入而广受诟病,尤其是美国高校学者多次公开批评NOAA,称其模式水平已经坠入世界“第二集团”。因一直以来NOAA和其他学术机构分别独立开发数值预报模式,导致不同机构间的模式和物理参数化无法进行交互、对比和验证,阻碍了美国数值模式发展[7]。如NOAA的全球天气预报模式(GFS)最初在20世纪70年代后期编写,其程序是为当时的特定操作系统IBM AIX和NOAA当时拥有的硬件架构编写的,没有设计成供外部使用或支持外部使用,因此无法在其他硬件上运行。此外,因为缺乏用户支持文档,GFS的程序就像一个复杂的代码迷宫。这个障碍的结果是加剧了NOAA和学术界其他机构互相并行而不协同的发展,虽然各方有着不同的动机和使命,但都认为对方为了竞争有限的联邦资金而重复劳动。2014年以来,UFS的出现实现了一个范式转变,UFS将NOAA的预测模型套件从许多独立的系统简化为一个统一的预报系统,并提供多个应用软件。

2014年10月,NGGPS项目计划实施方案发布,提出“用5 a时间,设计、开发和实施下一代全球预报系统,保持其世界水平的预报能力”,实现将可用预报时效延长8~10 d,改进飓风路径和强度预报,将天气预报延长至14 d,极端天气预报提前3~4周。2015年,一份来自美国国家环境预报中心(NCEP)的大学大气研究联盟社区咨询委员会的报告建议要精简模式套件并更好地利用外部研究力量,最终激发了开放式创新[8]的UFS的创建。正是针对UFS的研发,让美国气象业务主管机构NOAA和研究机构美国国家大气研究中心(NCAR)深刻思考双方之间在合作战术上的短板。由于多年来两个机构独立发展,导致彼此的模式组件互不兼容,一些优秀和有特色的模块很难在不同机构之间进行试验和对比验证,在很大程度上限制了最好的模式专家共同研发最好的业务模式。2016年,为了促进创新型研究业务化,NOAA和NCAR整合了物理参数化方案和软件基础设施框架,提出通用社区物理包(CCPP)的概念。简单来说,基于CCPP,各模式可以直接调用给定的物理参数化套件,即模式之间具有物理互操作性。对于UFS来说,CCPP的出现是一次重大的转折,互操作性成为业务研发的前提,极大地推进了UFS的“统一”。从2020年开始,UFS已经在NOAA业务体系中逐步落地,并在GitHub网站上发布其应用软件的开源代码。

1.2 可提供多个应用的统一的系统框架

UFS能够将NCEP的预测模型套件从许多独立的系统(如全球天气预报、全球天气集合预报、短期区域集合预报、中期天气预报、次季节—季节(S2S)预报、全球海洋和海冰预报等,每个系统都需要分别进行升级和维护)简化为一个统一的预报系统,并提供多个应用软件(图1),从而能够为美国及其合作伙伴提供更准确的预测。UFS的应用软件提供中期天气、S2S、飓风、短期、空间天气、近海、空气质量预报等功能,这些应用软件本质上是公共代码库的特定配置,而不是从头构建的独立代码,这是UFS的一个关键。可以说,UFS是一项系统工程。

图1 UFS概念图(来源:https://epic.noaa.gov/who-weare/community-modeling/)Fig. 1 The conceptual graph of UFS (Source: https://epic.noaa.gov/who-we-are/community-modeling/)

1.3 可互操作的统一的基础架构

UFS的基础架构包括科学组件、配套基础设施和系统架构,这些都是构建应用软件所需的。UFS应用软件之间共享一组科学组件,即数值预报模式组件,包括地球系统模式的各分量模式,如大气动力核心有限体积立方球体FV3、海洋模式MOM6、海冰模式CICE5、陆面模式Noah MP等(表1)。

表1 UFS应用软件中使用的模式组件情况Table 1 Usage of model components in UFS applications

UFS的应用软件还共享一个系统架构(图2),该架构描述了科学组件如何结合软件基础设施元素,生成专业化的、端到端的预报并支持研究。其中,紫色框表示工作流环境和数据库,浅蓝色粗线表示顺序,红色框表示可执行文件,蓝绿色框表示NOAA环境建模系统(NEMS),黑色框代表科学组件、接口层和中介组件,橙色框表示大气模式的子组件(FV3、CCPP),粉红色框显示部分数据同化系统,蓝色框表示库和实用工具。

图2 UFS系统架构中的4个主要层次:库和实用工具、UFS应用程序、预测包和工作流环境[9]Fig. 2 Four main layers in the UFS system architecture: libraries and utilities, UFS applications, prediction packages,and workflow environment[9]

UFS的应用软件也共享一组软件基础设施包。可互操作的CCPP即是基础设施包中的一员。其他基础设施包还有数据同化框架(JEDI)、耦合模型组件(ESMF、NUOPC、CMEPS)以及模型验证框架(METPlus)、工作流软件等,所有这些基础设施包都公开可用。

耦合模型组件中,地球系统建模框架(ESMF)[10]是由NEMS系统采用社区开发和社区管理的软件流程来构建的。国家统一业务预测能力(NUOPC)层是ESMF的一组扩展,可提高组件互操作性并提供增强的架构选项以简化模型耦合[11]。GitHub网站上提供了用于耦合的各种中介器,包括地球预测系统社区中介器(CMEPS)。这是一种通过NOAA和NCAR合作开发的符合NUOPC标准的耦合器[12-14]。通过CMEPS框架的设计,不同的动力核心也可以互换,如跨尺度预测模型(MPAS)[15]和FV3[16]。工作流软件包括统一后处理器(UPP)等,UPP可以将本机输出插值到各种网格和文件格式,以用于可视化和预测产品生成。

软件基础设施包的设计是为了支持各组件之间的互操作性。对于一个软件基础设施包,有一个包装器或软件的“接口(cap)”层(如图2黑色框所示),它充当组件适配器,可以调用科学代码,将用户编写的科学代码转换为基础设施包可以理解的标准数据结构和元数据。系统的其他组件使用标准“接口”与该组件交互。

2 美国统一预报系统实现“众筹”的主要机制

UFS自研发以来,一直是以达到世界领先水平为目标的。在业务实施效果上,UFS也确实取得了一定成绩,其全球模式GFS在2021年3月有整整一周击败了ECMWF,这在很长一段时间内都没有发生过。UFS取得这样的成绩,其中一个重要的原因就是NOAA首次真正实现了开放式创新——NOAA和NCAR以及高校、企业在模式研发上的联合创新,引领业务数值预报模式走向了“众筹”之路,和我国提出的科技创新“新型举国体制”不谋而合。UFS的“众筹”理念主要体现在:1)具有完全开放的视角,吸引和利用各方人才和智慧;2)先建立业务模式框架和体系,再吸引“局外”智慧和业务模式“无缝隙”接轨。其实现“众筹”的机制主要包括:1)提供通用的“集装箱”式模式研发框架和基础平台;2)提供开源资源和友好的用户支持;3)通过联邦协调机构构建行业协同伙伴关系;4)设立专门成果转化项目激励基于UFS框架的创新等。

2.1 提供通用的“集装箱”式模式研发框架和基础平台

UFS是一种“集装箱”式的架构,地球科学模型集装箱化的优势在许多论文中进行了讨论[17-18],该架构可以保证UFS安装方便、可移植性高、重现性好[19]。UFS采用的CCPP建立了全国通用的数值模式物理过程编码基础,使得不同模式的物理参数化方案可以“互操作”。同时,UFS使得未来“插件”式的模式有可能被铸造:即在模式技术层面上有了统一规则和基准或标准后,一个新模式的诞生可能是各方最优秀的“模式插件”的组合而已,即世界上最好的模式也许是实验室A的大气核心+实验室B的海洋模式+实验室C的物理参数化方案……。数据同化是当前数值预报模式研发的核心,NOAA目前正在与云服务提供商合作,设计和构建一个面向公众的数据湖,该数据湖将用作集中式存储库,其中观测值可以实时转换为JEDI使用的通用格式。

2.2 提供开源资源和友好的用户支持

UFS的天气应用软件和所有的基础设施包都支持代码发布。目前在GitHub上已发布的应用软件包括中期天气应用、短期天气应用、CCPP等。UFS支持访问完整的代码库,还可以链接到JEDI基础设施上进行数据同化。UFS鼓励合作伙伴在GitHub上基于UFS公开版本贡献代码。在开源这一点上,ECMWF和UFS思路一致。为了加强合作、提高效率、增强IFS可扩展性,2020年6月ECMWF决定在GitHub上部分或完全开放其预报模式IFS的代码。目前,IFS已经开放了6个模式软件,很快还要开放2个模式软件。ECMWF期待各成员国全面和深刻评估开放IFS的优点,以推动IFS[20]的全面开放。

而且,UFS所有应用软件和软件基础设施包在UFS网站和GitHub Wiki上都有广泛的用户支持文档。此外,还有一个论坛用于发布和回答问题、访问最新版本以及报告错误。有测试案例显示,在只有8 GB内存的笔记本上就可以下载、编译和运行整个UFS工作流程,该案例下载代码、安装和链接花费了不到2 h,以C96(100 km)分辨率将完整的FV3-GFS运行12 h大约用了1 h。众多反馈显示,参加测试的用户从终身教职员工到高中生,从商业云HPC到视频游戏机等平台上都成功运行了UFS。

2.3 通过联邦协调机构构建行业协同伙伴关系

行业协同是UFS开放式创新成功的关键。UFS起初仍然是在NOAA内部研发的。其中一个关键的转折点是2019年NOAA与NCAR达成合作协议,建立了新的伙伴关系,CCPP框架即是其共同设计的一个通用软件基础设施平台。CCPP框架为气象行业的研究人员和业务人员提供相同的工具,可以加速模式开发,最大限度地发挥效益。此外,美国联邦机构之间也通过组建气象服务机构间委员会加强了行业协同。白宫科技政策办公室(OSTP)和NOAA响应2017年的《天气研究和预报创新法案》,于2020年8月成立了推进气象服务机构间委员会(ICAMS)。这是自1964年联邦气象服务和支持研究委员会(FCMSSR)成立以来,联邦机构之间协调工作最重大的重组[21]。通过四个ICAMS委员会(研究与创新,观测系统,网络、设施和基础设施,服务)可以更有效地利用共享资源,减少重复工作。2017年《天气研究和预报创新法案》、2018年《国家综合干旱信息系统再授权法案》的颁发,促成了一个虚拟中心——地球预测创新中心(EPIC)的成立,EPIC通过构建伙伴关系、在云开发环境中提供模式代码和数据、提供稳定的长期政府投资、引导基于UFS的定向投资等,使得UFS真正向高校、企业、研究人员乃至学生等开放。

2.4 设立成果转化项目激励基于UFS框架的创新

NOAA建立的研究向业务转化分级政策极大地推动了创新。2016年NOAA以NAO-216-105B号局长令的方式,发布了《研究和开发过渡政策》。根据该政策,NOAA资助内部或外部研究项目,以及得到外部资助的研究项目,都按照其与业务化的“距离”,划分为1~9级(用RL表示):RL1~2(研究)、RL3~5(开放)、RL6~8(展示)、RL9(业务实施)。特别是,该政策将业务环境评估(5级)、原型系统演示(6级)、进入业务系统演示(7级)和准业务运行、培训(8级)工作流程纳入研究项目等级序列,可以更好地将研究成果规范化、流程化,完成了RL8就能够很快转化成业务,极大地提高了研究向业务转化的效率。

此外,为支持NOAA开发基于政产学研协同的UFS,NOAA专门设立研究向业务转化(R2O)项目,为的是响应产学研界的建议,在统一建模框架和协作策略下集成和共同管理UFS建模和数据同化。该项目已得到了美国国家天气局(NWS)科学和技术一体化办公室(OSTI)和NOAA海洋和大气研究办公室(OAR)为期2 a的资助。未来3~5 a的愿景工作也即将开展,以不断推动可向业务转化的创新。在NOAA对UFS的资助项目(图3)中,UFS-R2O项目是一个主要来源,约1300万美元/a,由NWS OSTI和NOAA OAR联合资助。此外,还有很大一部分资金来源是飓风和灾害补充项目(HSUP)。

图3 NOAA对UFS的资助情况[22]Fig. 3 NOAA Investment in UFS[22]

UFS-R2O项目将开发两个重要的预报系统:一个是适用于中长期预报(数日到数周)的完全耦合的全球集合预报系统(GEFS),另一个是适用于短期预报(数小时到数日)的区域集合预报系统(RRFS)。这两个系统都将于2024年业务化,并将成为首批由NOAA和产学研界协同开发的业务系统。

在团队建设上,UFS-R2O项目共有来自NOAA内部和外部的200多名参与者,他们共同在一个管理框架下工作。该项目分为3个应用团队,分别专注于中期天气预报和S2S的全球建模、短期天气预报和飓风建模、软件和数据基础设施研发。团队的参与者所在机构包括NOAA、卫星数据同化联合中心(JCSDA)、NCAR、乔治梅森大学、科罗拉多州立大学、科罗拉多大学、威斯康辛大学麦迪逊分校、美国海军研究实验室等。其中,中期天气预报和S2S的全球建模团队由NCEP环境建模中心(EMC)的Avichal Mehra和乔治梅森大学的Cristiana Stan担任负责人。

基于UFS框架的R2O项目的实施,真正使UFS实现了“众筹”式研发。在NOAA主导下,美国高校在UFS的研发向业务转化中发挥了重要的作用,绝大多数R2O项目都是由高校完成的。R2O项目的成果,在研究向业务转化分级政策的指导下,可以很快地进入UFS中实现业务化。NWS的科学和技术一体化办公室OSTI每年都会发出资助项目申请通知,以支持开发UFS。资助人员的面向范围是美国高等教育机构、商业组织、各地政府和其他美国非营利组织。资助项目研究范围包括:1)下一代全球预测系统;2)次季节—季节(S2S/第3—4周)计划;3)飓风预报改进计划(HFIP)。资助总额为2 a约300万美元。资助项目的选择侧重于RL4~7相关的项目。在2020财年,9个资助项目中有7个项目的受资助单位是高校。此外,NOAA其他机构也在资助UFS框架下的研发。如2022财年,NOAA的天气计划办公室资助了基于UFS框架下的54个研究项目,研究人员来自30余个大学和科研院所。

3 我国数值预报模式研发面临的机遇和挑战

我国数值天气预报经过60多年发展,目前迎来了最好的发展环境。一是国务院印发《气象高质量发展纲要(2022—2035年)》,在国家层面凝聚了气象高质量发展、发展气象国家“芯片”的共识;二是中国气象局于2021年成立了地球系统数值预报中心,集全系统优势形成了合力;三是在中国气象局以外,中国科学院、自然资源部、高校和部分企业开展数值预报模式研发的能力和热情持续提升;四是最近20多年来,中国气象局通过“局院合作”“局校合作”等机制,保持与局外主要研发力量的联系、交流和沟通,有较好的合作基础。

不过,我国地球系统数值预报模式研发还存在着一些亟待解决的问题,需要摒弃急功近利的做法,认真思考问题和不足。一是我们对一体化的、地球系统数值预报的科学认识是否清晰,有没有形成普遍共识?二是我们目前业务应用的全球数值天气预报一体化模式和正在研发的地球系统一体化模式,有没有软件工程上的系统开发理念、软件工程开发技术,有没有匹配的软件工程开发人员?三是我们有多少研发工作是可理解的——程序代码是否通用、易读、易于维护?有没有保证研发可持续性的完整全面的用户支持技术文档?四是仅依靠气象系统的数值预报模式研发人员队伍能否胜任在未来10 a实现预报能力全球领先的艰巨任务?

目标导向更能够激励创新[23]。可以说,我国的数值预报水平在国际上仍处于第三阵营(图4)。而且,欧美国家一直在持续创新和进步,ECMWF提出了未来10 a地球系统模式研发目标[24],英国气象局也已经开始部署下一代模式系统的研发。而我国要实现到2035年气象预报水平全球领先的目标,就意味着不光要缩小差距,更要实现跨越式的赶超。因此,亟需开展政产学研合作创新,并发挥政府主管部门(中国气象局)在其中的主导作用。

图4 1998—2022年世界主要气象机构的全球数值天气预报模式500 hPa高度场的5 d预报RMSE对比(来源:https://wmolcdnv.ecmwf.int/scores/time_series/500_z)Fig. 4 Comparison of 5-day forecast RMSE of 500 hPa height field by global numerical weather forecast models from major world meteorological agencies during 1998-2022(Source: https://wmolcdnv.ecmwf.int/scores/time_series/500_z)

4 对中国气象局数值预报模式研发机制的启示

4.1 由中国气象局主建全国统一的模式研发基础平台,凝聚模式研发优势力量

2021年国际上成立的开放建模基金会(OMF),核心就是通过现有标准或者开发新的标准来促进建模的开放[25]。同样地,UFS提出的CCPP框架表面上是提供数值预报模式组件的程序库的软件工程服务,但其背后却具有在技术层面规范模式研发活动的意义。CCPP规范了交流的“轨道”,能够推动实现不同机构的模式互通交流、甚至“加挂”或重新“组合”成全新的模式。CCPP在模式研发底层架构和规范标准层面的意义在于,它使政产学研机构在技术层面上能够直接进行对话,进而产生巨大效益。CCPP带来的“统一”,其目的并不是建立适用于所有应用场景的庞大模式系统,而是着力构建可以在不同模式之间交换组件的基础结构。这是一项艰巨的软件工程,其核心内容之一就是实现不同模型间的物理参数化的互操作性。这样,气象研究人员不需要从头做起,只要有任意一个组件的研发,就可以通过重新组合来对比验证新组件的好坏。因此,应尽快建设模式研发、耦合、物理参数化、资料同化、模式后处理等的统一的基础平台。通过统一底层基础框架、研发平台和研发标准规范,简化研发流程,让模式研发实现可互操作性。并通过规范标准的制定,确保中国气象局在模式研发中发挥主导作用,以确保模式创新在业务预报中应用,更好服务国家、服务人民。在资金资助上,可以鼓励基于该研发基础框架的创新性研究,对相关的研究给予资金资助,用好“揭榜挂帅”“赛马制”等,充分调动产学研机构的积极性。

4.2 分步骤实施模式开源开放,提升模式核心关键技术的研发效率和创新能力

过去10 年,国际上采用了一个FAIR原则,即可发现性、可访问性、互操作性和可重复使用,促进了数据和软件开放共享[26]。ECMWF和NOAA也不约而同地采取了模式代码开源的方式,这是研发数值预报模式的必由之路。因此,应坚定走开放的道路,标准化编写模式软件代码(必要时需要进行代码重写),提高模式研发效率、利用产学研力量增强模式创新能力、在日益激烈的国际科技竞争中把核心关键技术牢牢把握在自己手里。同时,从实际出发,可以采取分步走的开源开放方式,先在核心合作伙伴之间提供模式源代码,再在保证自主可控、安全的前提下,向高校、科研院所开放模式源代码,保证开放落实落地。

4.3 提供易访问易操作的数据环境和模式技术支持,厚植开放创新的土壤

当然,仅开放源代码是不够的,没有通用的、灵活的数据环境(读取、存储等)、没有通用的计算环境(环境变量设置等)和云端布置的高性能计算能力,程序就转不通,就没办法修改和对比验证,开源就成了一句空话[27-28]。在数据环境、计算环境、云平台等领域,产业界(企业)有着明显的优势。因此,应加强和企业的合作,为产学研提供易访问的模式的数据环境、计算环境和云端布置的高性能计算平台。同时,还要向用户提供友好的技术文档,引导用户如何方便、快速地完成模式下载、编译和运行,保证易操作性、可重复性、可供同行评议,这是开放式创新理念的精髓,将能够加速政产学研的联合创新能力。另外,还需要建立气象局和用户、用户和用户之间讨论的平台,积极营造联合创新的氛围。

4.4 紧紧抓住核心合作伙伴,夯实地球系统数值预报模式研发的开放基础

NCAR是美国气象学术圈中的龙头机构,NOAA选择和NCAR合作,不仅能够借助前期NCAR研发“众筹”式模式WRF的经验,还能更大限度地调动来自美国高校的积极性,也能够利用美国国家科学基金会、美国国防部、美国海军等多方资金资助,可谓是“一石多鸟”的成功决策。ECMWF也有其核心合作伙伴雷丁大学,双方的密切合作、优势结合,是ECMWF业务能力全球领先的重要保障。中国气象局和科研院所有很好的合作经验。中国科学院大气物理研究所有着深厚的模式研发和基础理论研究基础。此外,中国科学院大气物理研究所和清华大学共建的国家重大科技基础设施“地球系统数值模拟装置”已经完成建设,国家不太可能再投资兴建另一个这样的大装置。因此,在新发展阶段,应和中国科学院大气物理研究所建立核心合作伙伴关系,借助其模式研发创新能力,在科研院所和高校中形成联合创新的领头作用,同时让“地球系统数值模拟装置”充分发挥其经济社会效益。

猜你喜欢

组件数值系统
用固定数值计算
Smartflower POP 一体式光伏系统
无人机智能巡检在光伏电站组件诊断中的应用
数值大小比较“招招鲜”
WJ-700无人机系统
新型碎边剪刀盘组件
U盾外壳组件注塑模具设计
基于PowerPC+FPGA显示系统
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
基于Fluent的GTAW数值模拟