青海省生态气象业务系统建设

■ 陈国茜 校瑞香 祝存兄 曹晓云 史飞飞 赵彤 肖建设

青海省境内河流密集，湖泊沼泽众多，雪山冰川广布，是我国极为重要的水源涵养地和国家生态安全屏障，被誉为“中华水塔”“亚洲水塔”。21世纪以来，青海省气象部门积极主动融入地方生态文明建设，2003年建立了全省生态环境综合监测网络，逐步积累了草地、土壤水分、风蚀风积、干沉降等生态要素地面观测资料，发展形成了高寒草地、积雪、水体、土壤水分、荒漠化等卫星遥感反演技术。2015年开始设计建设省级生态气象业务系统并具备一定规模的业务服务能力。2018年起升级改造省级生态气象业务系统，加速构建“136”青海生态气象保障服务格局，进一步提升了省、州、县三级生态气象服务能力。

青海省生态气象业务系统（简称“EAMIS”）以业务需求为导向，实现了多源异构生态气象数据的收集整理、标准化处理、产品自动生成和发布，有效地解决生态气象资料多源异构数据管理低效、科研成果利用率低、平台分散化，以及生态监测服务产品难以高效制作发布等难题，形成省级生产、州县两级应用的扁平化生态气象业务服务格局，充分发挥了气象服务助力地方经济社会高质量发展的作用。

1 青海省生态业务系统EAMIS 1.0建设

1.1 背景

随着生态气象业务逐步成为青海省气象部门生态文明建设工作的核心，省、州、县各级气象部门对生态气象服务产品的需求日益旺盛，而青海省生态气象服务业务初期只部署在省级气象部门，产品制作以人工为主，效率低下，且省级到州、县级的产品渠道不通，从而使得州、县两级气象部门不具备生态气象服务能力，严重制约了青海省生态气象业务的发展。为解决生态气象服务产品快速制作发布的业务需求瓶颈问题，2015年青海省气象部门启动了省级生态气象业务系统建设任务，2018年建成第一版“青海省生态气象监测评估预警一体化平台”（EAMIS 1.0），较好地解决了重要生态气象业务产品的自动化制作与发布难题。

1.2 系统设计建设情况

EAMIS 1.0采用SOA架构模式，基于B/S架构开发，由支撑平台和发布平台组成。其中，支撑平台由数据访问中间件、服务流程管理等组成，实现流程、服务、数据的可视化配置和运行监控等基础支撑功能；发布平台采用WebGIS服务，实现省、州、县三级的用户身份认证，栅格/矢量、专题图、文档和统计表格共4种类型生态气象业务产品的可视化检索、浏览、下载功能。

EAMIS 1.0从技术构架上设计成基础设施即服务层、平台即服务层、数据即服务层、软件即服务层和用户层共5层（图1）。其中基础设施即服务层和平台即服务层为系统提供各类软件、硬件的基础设施支撑，包括计算机、存储设备、网络设备和安全系统，操作系统、数据库管理系统等底层支撑软件和辅助软件，地理信息系统和遥感影像处理等专业软件；数据即服务层主要实现原始资料库、产品库、业务管理库的统一存储管理及快速检索功能；软件即服务层主要包含各种业务应用系统功能，实现系统间的数据集成和流程的统一集成；用户层是系统信息服务的窗口，实现对数据和服务的统一访问。

图1 EAMIS 1.0技术构架

EAMIS 1.0采用了插件化技术，即基于包含统一处理接口、统一数据格式、统一配置界面接口、统一运行管理监控接口在内的统一接口，将服务、数据、可视化的配置和运行监控作为“插件”插入到支撑平台上（图2）。该项技术实现了用户“按需装配”，使得系统具备较强的可扩展能力和较高的维护管理性能。

图2 EAMIS 1.0插件化技术路线

EAMIS 1.0还采用了面向多计算任务的多节点作业调度技术。该项技术要求根据多个计算节点的状态、节点资源利用率、任务计算量、数据相关性、执行时效、计算数据量等因素进行计算资源的动态分配与计算节点的动态负载均衡，并保证调度任务的异常监控和容错处理能力，从而制定符合生态气象业务要求的、合理高效的作业调度策略，以满足高时效、多任务并行的生态气象业务产品生产需求。

1.3 系统部署和应用

EAMIS 1.0部署在青海省气象科学研究所所属的2台Windows Server 2003物理服务器上，挂载25 TB磁盘阵列。EAMIS 1.0在省级部署后，省、州、县三级气象业务人员无需安装软件即可通过内网登录EAMIS 1.0发布平台，按需检索、下载所需产品。2017年在玉树藏族自治州和果洛藏族自治州玛多县进行业务试用的反馈结果显示，该系统操作简单、产品图表精细，服务效果较好。

2 EAMIS 2.0建设

虽然EAMIS 1.0整合了当时较为成熟的生态气象业务流程，但暂时搁置了数据管理问题。随着生态气象数据来源多样化、数据量快速增长，数据问题已经成为制约青海省生态气象业务发展的瓶颈。同时，在EAMIS 1.0业务运行过程中出现了3次服务器中毒事件，相关业务中断时间长达3个月以上，系统安全问题日益突出。为此，青海省气象部门启动了EAMIS 2.0建设。

EAMIS 2.0仍然采用B/S架构，在逻辑上分为基础设施层、数据层、业务监测层、产品发布层和用户层共5层。该系统总体设计为“一套业务模式、六大子系统”，其中运行管理子系统、生态气象业务子系统和农业气象业务子系统分别面向系统超级管理员、生态气象业务管理员和农业气象业务管理员提供不同的系统管理和业务管理功能；业务分析子系统提供多源生态气象数据的管理和分析功能；发布展示子系统为气象内网用户提供生态气象业务产品检索、展示、下载等功能；对外服务子系统主要为社会公众提供生态气象服务。该系统沿用了EAMIS 1.0的插件化技术和面向多计算任务的多节点作业调度技术，并从系统安全建设角度，通过架构升级实现了支撑平台运行环境从Windows环境切换至Linux环境，采用服务分布式部署和系统业务运行数据实时备份技术。

在2019年春季青南雪灾应急气象服务中，EAMIS 2.0每日实时向青海省、州、县三级气象部门发布雪深产品支持各级部门救灾决策工作，被赞“发挥作用突出”。目前EAMIS 2.0仍在业务运行，实时提供省、州、县三级生态气象业务产品，支持各级气象部门向当地政府或相关管理决策部门提供生态气象服务。

3 EAMIS云建设

随着EAMIS 2.0部署运行和生态气象服务需求的变化、信息技术的快速发展，云计算、云存储、云安全等技术难点的攻克，中国气象局逐步开展气象大数据云平台国家—省级业务布局，自西北人影指挥应用系统开始，全国各级气象部门业务系统正加速融入气象大数据云平台。EAMIS须充分利用气象大数据云平台的运算、存储与数据资源及运维性能等，尽快完成融云工作，以有效降低系统开发运维成本，提升生态气象技术支撑能力。

3.1 系统构架调整

按照业务系统融入“天擎”的工作要求调整EAMIS系统构架。调整后的EAMIS系统构架从逻辑上由生态气象云收集存储子系统、生态气象云计算子系统和生态气象云服务子系统共3大子系统构成。其中生态气象云收集存储子系统负责生态气象观测数据的收集、传输、存储和监控，构建生态气象专题数据库，由“天擎”进行统一的监控和管理；生态气象云计算子系统实现在“天擎”加工流水线上调用各种生态气象算法生产产品；生态气象云服务子系统则面向不同服务对象提供不同服务终端手段（图3）。

图3 融云后的系统构架（绿色为气象大数据云平台功能，蓝色为青海省生态气象业务系统功能）

3.2 融云设计思路

根据融云后的EAMIS系统构架，应充分利用已有的EAMIS系统建设成果，从数据、算法、应用服务和业务监控4方面进行融云设计。

3.2.1 数据融云设计

数据融云设计包括数据源的接入设计和数据存储设计。EAMIS的数据来源可以归纳为5大类，而EAMIS 2.0的业务分析子系统基本完成了所有数据（非常规观测数据除外）的分类、入库、存储等管理工作。因此，EAMIS云系统需要根据“天擎”对数据存储的要求，针对不同来源数据进行融云设计（表1）。

表1 EAMIS生态气象数据来源及融云设计思路

将EAMIS 2.0的数据采集存储流程改造为：需要从外网获取的数据通过各种数据采集方式进行采集后临时存储在省级资源池，再通过FTP推送到“天擎”的生态气象基础数据库（NAS），经过预处理后形成规范格式的数据，采用分布式实时数据库（Cassandra）存储，形成实时生态气象基础数据库；省级卫星直收站数据经过预处理后进入实时生态气象基础数据库；各业务加工流水线主要从实时生态气象基础数据库和“天擎”数据服务接口调用各类数据进行产品制作，生成产品存放在实时生态气象专题库供各种应用端进行调用，随后导出到生态气象最终产品库（NAS）中进行长期存放（图4）。

图4 EAMIS云数据采集存储流程设计

3.2.2 算法融入设计

算法改造工作主要是对分散部署在各虚拟服务器上的数据收集、数据预处理、产品生产和数据推送分发等生态气象算法按照“天擎”要求进行拆分、改造，进行严格测试后打包，并进行容器中间件（Docker）封装，在产品加工流水线上进行调用（图5）。算法改造工作需要重点考虑从提高复用性角度来改造算法流程，且在算法中添加发送DI、EI的设置。

图5 EAMIS云产品加工流程设计

3.2.3 应用服务端的融入设计

EAMIS的应用服务端包括发布展示双前端和桌面应用分析端，其中发布展示双前端包括内网发布端和外网发布端。因此需要进行3个端的融云改造工作。

1）内网发布端的改造。一是基于众创服务接口开发实现内网发布平台的后台数据从“天擎”接入，将用户统一至“全国气象局统一认证服务CAS”并重新设定用户权限。二是将原EAMIS 2.0业务分析子系统的空间可视化查询展示与统计分析功能集成至内网发布端，基于众创服务接口开发实现对省级生态气象数据调用、数据空间可视化查询展示与统计分析。

2）外网服务端的改造。外网服务端作为一个相对独立的服务端，只需基于众创服务接口开发实现脱密处理后的产品数据从“天擎”到DMZ区服务器的单向传输，同时网站设计需兼顾科普性与科技感，后台预留与祁连山国家公园青海省管理局、三江源国家公园管理局等外部门业务系统对接的接口。

3）桌面应用分析端的改造。需要考虑国家级业务单位对Smart软件（卫星监测分析与遥感应用系统）的融云工作计划，目前省级业务单位可以在数据接入与输出方面进行一些设计，主要是基于众创服务接口开发实现对省级生态气象数据调用、Smart人机交互产品替换“天擎”省级特色生态气象数据或产品等功能。

4）业务监控融入设计

在“天镜”通用版提供服务器CPU、内存、存储、网络、关键进程等相关服务器及基础服务监视信息基础上，结合各生态气象算法DI、EI信息，基于“天镜”监控体系及众创接口构建省级生态气象数据收集、计算、存储和服务的全流程监控，面向管理人员和业务值班人员定制告警策略，定向推送重要告警信息和定期报告，实现“天镜”的业务本地化。

4 结论与讨论

通过EAMIS的建设与部署应用，有效解决了青海省、州、县三级生态气象产品高效制作发布和多源异构生态气象数据管理的难题，实现了省、州、县及任意区域重要生态气象监测评估预测产品的实时生产与发布，加快了青海省省级气象部门的生态气象关键技术研发与业务转化应用能力，发展了州、县两级气象部门生态气象服务能力，并使得部分州级气象部门具备一定的生态气象技术研发与本地化应用能力，有效提升了青海省省、州、县三级生态气象服务能力。总之，EAMIS在青海省各级气象业务部门、生态气象科研与业务转化中起着非常重要的桥梁和纽带作用。

EAMIS系统建设过程中取得的主要经验有3方面：一是建立EAMIS建设团队，由单位主要负责人主管，核心成员负责日常系统建设工作的具体执行，确立日常沟通机制，以周报和月报形式分解、落实系统建设任务；二是实现生态气象核心算法自主可控，EAMIS生态气象算法由青海省气象部门研制，大部分算法属于原始创新，算法更新迭代过程自主可控；三是依托EAMIS初步建立省级研制、州县级应用与检验的生态气象业务体系，打通了各级产品流通渠道。

系统建设过程也存在一些问题影响了系统建设进度与生存周期。一是未充分结合国家级生态气象业务总体布局和发展思路，导致系统顶层设计不足、长远性考虑不周，且前期不够重视系统安全与系统运维能力建设；二是系统建设过程中与软件公司的需求对接不够充分、不够及时，导致系统建设过程中反复修改软件模块功能；三是核心生态气象算法的自主研制进度缓慢，基于“天擎”的技术研发能力不足；四是系统管理方面存在气象部门内部及气象部门与软件公司之间的权责不清、沟通不顺畅，系统建设经费分散，成果保护意识单薄等问题。

深入阅读

Yang M, He W C, Zhang Z Q, et al, 2019. An efficient storage and service method for multi-source merging meteorological big data in cloud environment. EURASIP Journal on Wireless Communications and Networking, (1): 241.

王江山, 2004. 青海省生态环境监测系统. 北京: 气象出版社.

李甫, 肖建设, 2021. 青海省生态环境监测与评估. 北京: 气象出版社.

肖建设, 陈国茜, 祝存兄, 2019. 省市县生态气象一体化业务平台建设与发布系统. 青海科技, (5): 40-44.

方忠进, 2019. 云环境下气象数据安全共享关键技术研究. 南京:南京信息工程大学.

阮峰, 2019. 面向气象专有云的数据布局关键技术研究. 南京: 南京信息工程大学.

李德泉, 李集明, 田建兵, 等, 2021. 基于“云＋端”业务框架的西北人影指挥应用系统综述. 气象科技进展, (5): 57-64.

张晖妍, 杨青军, 李林, 等, 2019. 青海省气象大数据云平台设计. 青海科技, (3): 67-71.

杨永毅, 赵思亮, 赵芳, 2020. 气象大数据在Cassandra数据库的应用研究. 现代科学仪器, (3): 14-20.

朱辉, 辛文鹏, 冯勇, 等, 2020. Docker容器技术在省级气象云服务中的应用. 机械制造与自动化, 49(5): 113-115.

秦运龙, 王迎迎, 张冰松, 等, 2020. 省级外网气象大数据服务平台研究与实现. 气象科技, 48(6): 823-828, 854.

张晓, 陈文琴, 2021. 基于天镜的自动化运维应用研究. 信息系统工程, (6): 140-143.