基于数据产品供需关系的气象工程集约化设计方法

■ 伍洋 翟薇 张勇 顾青峰 李俊 陆楠

气象工程是一项涉及观测采集、传输交换、加工处理、综合分析、应用服务、支撑保障等全方位业务流程的系统工程。随着气象部门不断推动落实《气象高质量发展纲要（2022—2035年）》目标任务，如何在有限的建设周期和资金预算下，科学、合理、高质量的发展包括综合气象观测站网在内的各项气象业务能力建设，迫切需要开展以需求为导向的气象重大工程项目统筹设计研究。2021年11月，气象大数据云平台（天擎）通过业务化评审，实现了对计算、存储、网络等基础设施资源的统筹，构建了以气象大数据云平台为“云”、气象业务系统为“端”的“云＋端”气象技术体制新架构。2022年9月，中国气象局印发《气象业务软件统筹工作方案（2022—2025年）》，更进一步明确了建立以监测、预报、服务、信息核心业务软件为支撑，定制化、轻量化、多样化的应用软件为主体的气象业务软件生态发展目标和蓝图。

我国每年新增气象资料容量超过1000 TB，且格式种类繁多、表现形式迥异，但在面向服务对象时，由于对气象数据产品资源体系的顶层设计、相关标准规范不够完善，且各业务单位的数据产品资源仍存在分散部署、冗余重复、供需不够匹配的情况，使得气象工程集约化设计越来越难以适应对数据集约的发展要求。2020年6月，中国气象局组建气象发展与规划院的目的之一，是提升对国家气象重大工程建设的综合性咨询服务能力，全力做好生态气象保障、气象防灾减灾能力提升、海洋气象保障、区域人工影响天气等国家级气象重点工程的统筹集约设计。本文从气象数据产品供给与需求之间的矛盾出发，通过设计一套工程集约化设计方法与工具，为加快工程项目推进、统筹国省建设资金提供实现路径。

1 气象数据产品供需关系问题分析

气象数据和产品在供给侧和需求侧之间存在的问题主要包括：一是在部门内循环中，气象数据产品供给端与数据产品需求端在工程设计时期存在较为明显的脱节，数据链条上下游没有形成很好的对接，导致产生“数据有供给无需求、数据有需求无供给”等问题（图1a）；二是在部门外循环中，作为气象服务产品需求端，政府和外部门对气象服务产品的需求往往没有明确、完整的清单列表，一般都会表示希望气象部门提供越多越好的气象服务产品，从而表现出“服务供给无法完全满足需求”的状况，当然也不排除少量“研制的服务产品无人使用”的状况存在（图1b）；三是气象数据产品供给端分布于多个单位，在数据质量控制和评估方面，存在一定程度的业务交叉重叠，从而产生重复的对内数据产品供给（图1c）；四是由于缺乏数据产品的相关业务标准和清晰的分类体系，作为部门内循环的数据产品需求端（同时也是部门外循环的服务产品供给端），各单位在数据加工制作产品环节存在较大的“不透明度”，供需双方无法按照同样一个维度划分各自的产品类别，无法在相同的一个数据产品分类层级上进行供需对接，在把数据产品加工制作成服务产品的过程中易产生冗余、无效等处理操作（图1d）。

图1 气象数据产品供需关系现状

据统计，现行的气象资料分类标准主要有三个（表1）。《气象资料分类与编码》将气象资料划分为15类一级资料；《气象卫星数据分类与编码规范》遵循GB/T 40153-2021，规定一级资料“卫星气象资料”按照属性的不同组合进行二级资料划分；《大气成分观测资料分类与编码》遵循GB/T 40153-2021，规定一级资料“大气成分资料”4个大气成分数据共同具有的属性的不同组合进行二级资料划分。目前，其他13类一级资料尚未见到相应的二级资料分类编码标准发布。

表1 气象资料分类编码现行标准

2 气象工程集约化设计方法

2.1 双循环体系

集约化设计目的是解决供需矛盾问题，集约化设计方法研制主要基于气象部门数据和产品全流程需求供给规律，以及引起供需矛盾的本质原因。图2系统展示了以数据产品为核心的气象部门内循环和以服务产品为核心的气象部门外循环共同构建的气象部门数据和产品双循环体系，以及贯穿其中的气象数据全流程体系。

图2 气象部门数据和产品双循环体系

2.2 技术思路

对于图1a所示的供需矛盾，在部门内循环中，消除无效供给和无效需求、实现气象数据产品供给端与需求端有机衔接的技术路线有三条：一是从数据产品供给端出发，供给端基于双方认可的数据产品分类分级方式，梳理《气象原始数据供给状况表》全集目录，交由数据产品需求端进行勾选，包括原始数据名称、对应业务种类名称等；二是从数据产品需求端出发，需求端基于双方认可的数据产品分类分级方式，梳理《气象数据产品需求状况表》全集目录，交由数据产品供给端进行勾选，包括数据产品名称、使用的观测设备名称等；三是数据产品供给端和需求端同时提出各自的资源状况和需求指标，进行对接匹配，从而构建起集约有效的供需关系。

对于图1b所示的供需矛盾，在部门外循环中，消除无效供需、实现科学对接的方式可参考上述三条技术路线。但是，考虑到政府各部门间的沟通对接方式和传统流程，先由气象部门梳理出能够提供的《气象预报和服务产品资源清单》全集目录，再向政府和外部门等服务对象发函征求意见，或许是相对可行的路线选择。另外，结合业务工作实际，通过确认政府在服务产品报告的批示签报、与外部门的服务合作协议等公文依据，也可一定程度上消除“服务产品有供给无需求”的状况。

对于图1c所示的供需矛盾，技术路线可采用：基于中国气象局分管职能司对数据质量控制业务的分单位职责划分情况，梳理分析《气象观测资料质量控制项目清单》，明确各类气象观测数据全流程各环节的质量控制项，对开展气象观测资料质量控制业务的数据供给端各单位开展现状调查，从而排除冗余、无效的质量控制过程，实现对内数据产品供给集约。

对于图1d所示的供需矛盾，部门内循环的数据产品需求端（即部门外循环的服务产品供给端）是气象数据全流程体系中最为关键、承上启下的环节。但往往在数据产品加工制作环节涉及业务单位较多，由于缺少一级资料“数值预报产品”和“气象服务产品”等的二级资料分类标准，以及清晰成熟的加工制作业务体系架构，拟从数据产品正向推导至服务产品并剔除掉所有冗余项是较为复杂和困难的。因此，倒推法则更为适用，以《气象预报和服务产品资源清单》为基础开展重复性检查，反向梳理排除冗余的上游数据产品需求环节，从而实现对外服务产品供给集约。

综上，气象工程集约化设计的技术流程应为：《气象预报和服务产品资源清单》→《气象数据产品需求状况表》→《气象原始数据供给状况表》→《气象观测资料质量控制项目清单》，以此实现数据和产品资源供需清单及其配套工程建设内容的统筹集约。

2.3 技术方法

2.3.1 重复性检查

1）预报和服务产品重复性检查：由气象预报预测系统和公共气象服务系统生成的、基于气象服务之目的而制作的、可直接服务于用户的气象信息产品均属于预报和服务产品，对这类产品是否存在重复的检查称为预报和服务产品重复性检查。

2）数据产品需求状况重复性检查：部门内循环中对需求的数据产品是否存在重复的检查称为数据产品需求状况重复性检查。

3）质量控制项目重复性检查：气象数据的质量控制是指采用一定的工艺措施，使气象数据资料满足相关质量要求的过程。广义的质量控制，涵盖数据全生命周期，贯穿数据全链条流程，凡是为追求真值而进行的操作都可以称作质量控制，包括定标、预处理、数据整合、质量控制、质量评估、偏差订正、黑名单等；狭义的质量控制，包括基本质量控制、考虑观测和模式背景场关系的质量控制、气候资料均一性订正等。对同一气象观测资料拟开展的质量控制项目是否存在广义分类或狭义分类上的相同或相似的检查称为质量控制项目重复性检查。除了质量控制项目类型外，还有质量控制算法类型也可进行重复性检查。当前实际业务中常用到的气象观测资料质量控制项目见表2，国内外现有的质量控制算法包括空间回归检验算法、反距离权重插值算法、综合质量控制算法（NCEP CQC）、变分质量控制算法（ECMWF VarQC）、偏差订正算法（NCEP RADCOR）、基于贝叶斯理论的自动质量控制算法等。

表2 气象观测资料质量控制项目分类

2.3.2 有效性检查

1）预报和服务产品有效性检查：部门外循环中，对外提供的预报服务产品制作依据是否充分的检查称为预报和服务产品有效性检查。通常认为，充分有效的依据性文件包括与外部门的服务合作协议、政府在服务产品报告的批示签报等。

2）数据产品需求状况有效性检查：对内数据产品需求端提出的需求的数据产品是否能有效转换为其作为对外服务产品供给端提供的服务产品的检查称为数据产品需求状况有效性检查。有效转换的含义，包括对内需求的数据产品清单与对外提供的服务产品清单之间能够建立起“一对一”“一对多”“多对多”等关系，不存在有需求无供给或者有供给无需求的情况；在转换过程中不存在应由数据产品供给端完成的任务操作，包括格式改变、质量控制、数据插补、单位换算、量度变换、统计计算、汇编整编等。

3）原始数据供给状况有效性检查：部门内循环中，对内提供的原始数据是否能与需求的数据产品形成合理有效的供需关系的检查称为原始数据供给状况有效性检查。合理有效的供需关系主要指不存在有需求无供给或者有供给无需求的情况。

4）质量控制项目有效性检查：对内数据产品供给端开展的质量控制项目是否能与数据产品的供给和需求情况相匹配的检查称为质量控制项目有效性检查。

3 气象工程集约化设计工具

基于第2节集约化设计方法确定的技术思路和技术方法，设计了《气象预报和服务产品资源清单》《气象数据产品需求状况表》《气象原始数据供给状况表》《气象观测资料质量控制项目清单》等4个工具，科学有效地运用集约化设计工具，可引领气象重大工程项目统筹设计高效能发展。

3.1 气象预报和服务产品资源清单

由部门外循环的服务产品供给端各单位进行填写（表3）。该表的重点在于理清对外提供的预报服务产品的重复性和有效性，即预报服务产品是否统筹集约、制作依据是否充分。该表共设置14个字段。

表3 气象预报和服务产品资源清单

3.2 气象数据产品需求状况表

由部门内循环的数据产品需求端各单位进行填写（表4）。该表的重点在于理清可用于制作预报服务产品所需求的数据产品的重复性和有效性，即数据产品是否统筹集约、与预报服务产品之间是否形成合理有效的供需关系。该表共设置11个字段，其中，第2、6～8个字段应与表3相关字段构成关联关系。

表4 气象数据产品需求状况表

3.3 气象原始数据供给状况表

由部门内循环的数据产品供给端各单位进行填写（表5）。该表的重点在于理清观测系统采集的原始数据的有效性，即与数据产品之间是否形成合理有效的供需关系。该表共设置15个字段，其中，第9～15个字段应与表4相关字段构成关联关系。

表5 气象原始数据供给状况表

3.4 气象观测资料质量控制项目清单

由部门内循环的数据产品供给端各单位进行填写（表6）。该表的重点在于理清质量控制项目的重复性和有效性，即数据质量控制项是否统筹集约、与数据产品上下游供需两端是否形成有效联系。该表共设置9个字段，其中，第2～5个字段应与表4相关字段构成关联关系；第6～7个字段应与表5相关字段构成关联关系。

4 结果与讨论

自2021年7月底，基于气象工程集约化设计方法和设计工具已在《生态气象保障能力提升与气候变化监测评估工程可行性研究报告》设计中得到实践应用，初步实现了针对气象数据产品需求状况和原始数据供给状况的有效性检查与优化处理设计。运用气象数据和产品双循环供需体系的设计思路开展气象数据全链条流程分析，对于全面把握生态工程建设总体框架、科学合理设置生态气象保障工程建设内容有明显提升作用。最终，生态气象保障能力提升与气候变化监测评估工程涉及的20多个系统、760个子系统、130亿元左右的建设投资需求凝练成为8个领域、25个重点方向、42种发布载体、共348项服务产品清单，达到了基于生态气象数据产品供需统筹的工程集约设计要求。

本文针对气象数据和产品在供给侧和需求侧之间的衔接问题，通过理清对外服务产品供给、对内数据产品需求、原始数据供给和质量控制之间的关系，研究提出了气象工程集约化设计方法，为构建集约有效的供需关系进行了探索。1）该方法包括重复性检查、有效性检查等，每种检查又包含多项设计方式和内容；2）该方法基于气象部门数据和产品双循环体系开展工程统筹设计，涵盖《气象预报和服务产品资源清单》《气象数据产品需求状况表》《气象原始数据供给状况表》《气象观测资料质量控制项目清单》4个设计工具；3）该方法在生态工程设计实践过程中，对于排除冗余、无效的数据产品和服务产品有较明显作用；4）从促进服务产品不断优化、升级的角度来说，保持适度的冗余是必要的。如何细化完善气象数据和服务产品分类分级标准、在投资效益与事业发展之间找到“最优化”状态、实现计算机自动化匹配检查等方面，将是气象工程集约化设计方法研究未来改进的方向。

深入阅读

赵芳, 何文春, 张小缨, 等, 2018. 全国综合气象信息共享平台建设.气象科技进展, 8(1): 171-180.

廖捷, 周自江, 2018. 全球常规气象观测资料质量控制研究进展与展望. 气象科技进展, 8(1): 56-63.

廖捷, 胡开喜, 江慧, 等, 2018. 全球大气再分析常规气象观测资料的预处理与同化应用. 气象科技进展, 8(1): 133-142.

任芝花, 张志富, 孙超, 等, 2015. 全国自动气象站实时观测资料三级质量控制系统研制. 气象, 41(10): 1268-1277.

李庆祥, 2016. 我国气候资料均一性研究现状与展望. 气象科技进展, 6(3): 67-74.

王海军, 刘莹, 2012. 综合一致性质量控制方法及其在气温中的应用. 应用气象学报, 23(1): 69-76.