气象业务系统融入“天擎”“天镜”技术要点分析

杨远恒，李进讷，廖婷婷，莫仕灯，李 波

(贵州省气象信息中心，贵州 贵阳 550002)

0 引言

贵州省气象大数据云平台(天擎)[1]是贵州省气象数据和算力支撑的核心平台，该平台构建了以气象大数据云平台为“云”、气象业务系统为“端”的“云+端”的气象技术体制；贵州气象综合业务实时监控系统(天镜)[2]是国省统一的实时业务监控平台，该系统具备全面支持对天擎和气象业务系统的监控能力。“天擎天镜”实现了业务流程的数据直传、产品直算、服务直通和全程监控。按照业务系统集约整合布局，新增气象业务系统要基于“天擎天镜”建设，原有气象业务系统要经过改造融入“天擎天镜”，以实现气象业务布局分工优化、业务运行和管理效率提升，为推进气象事业高质量发展提供有力支撑。

业务系统的融入是由各个业务系统研发部门主导，省级信息部门作为技术支撑，在融入前期通过系统推进会、技术培训等方式统筹推进，在融入推进过程中建立融入联系人对接团队，方便指导解决各单位在融入过程遇到的问题。如从融入方案到具体的融入流程，用户需要了解测算申请资源、数据融入、产品写入、算法融入、监控融入效果等问题，业务用户往往对技术环节理解不全面或不清晰，影响融入的整体推进。贵州省在融入中以气象台、气候中心等核心业务部门作为突破口，开展深度合作。本文通过分析整个业务融入过程中存在的技术难点，总结贵州省前期系统融入过程中的经验，为今后各单位业务系统融入提供借鉴和指导。

1 概述

融入“云”，是指用户算法、产品、监控等都基于“云”的资源功能实现，包括硬件、软件计算环境、存储环境等。根据《气象信息系统集约化平台标准》，应用融入标准主要包括数据融入、算法融入、监控融入3个方面，即用户使用数据来源于天擎，产品存入天擎，系统算法纳入加工流水线，系统监控信息进入天镜，其目的是实现应用走向“云+端”模式，体现业务系统集约化的思想，优化业务流程，提升业务运行和管理效率。

天擎核心功能按照一定标准开放，以支撑用户应用系统的开发、运行、服务和管理；天镜提供规范监控信息接入标准，以支撑用户应用系统的监控。用户按照对应标准改造应用系统“端”，以此达到应用融入目的。

2 技术路线

2.1 数据应用融入

数据应用融入是指系统使用数据来源于天擎。天擎继承了CIMISS[3]的标准接口规范，提供更为强大的数据获取和写入功能，为用户提供全国统一、标准、丰富的数据访问服务和应用编程接口，包括客户端调用服务、REST 服务和脚本服务等多种服务方式，同时支持跨平台、多语言的开发。

2.2 产品数据融入

产品数据融入是指业务系统生成的产品写入天擎存储系统，并按照元数据管理标准对数据进行全流程管理。天擎基于多种数据存储支撑技术，提供分析型数据库、关系型数据库、云数据库、表格数据库、共享文件等多种存储方式，这些数据库分别以专题库、云数据库等形式向用户提供服务。用户可根据业务需要，选择合适的存储方式，通过数据库直连方式将产品写入专题库、云库。专题库存放业务数据，云库存放自用数据。如针对需要毫秒级响应的业务数据，可存入表格数据库；针对秒级响应的结构化业务数据，可存入分析型或关系型数据库；针对非结构化业务数据，可存入共享文件存储；针对业务系统自身的配置数据、中间结果数据、实验数据等，可存入云数据库和共享文件存储……以此实现业务数据规范化、自用数据个性化管理。

2.3 算法运行融入

算法运行融入是指业务系统的执行运行程序部署在天擎加工流水线上运行，用户基于加工流水线实现个人算法的有效管理，或申请使用他人算法。天擎加工流水线提供了普通计算、GPU 计算、流式计算、容器计算、并行计算等多种计算框架，同时也提供了多种手段来保障算法运行安全和数据访问安全。用户可按照加工算法标准，对接天擎存储的输入输出数据源，支持但不限于C、C++、C#、JAVA、Python、Fortran、NCL等开发语言。纳入天擎加工流水线管理的算法，其输入数据取自天擎，输出的业务产品存入天擎，算法通过直连数据库或调用天擎接口实现与天擎对接。

2.4 业务监控融入

贵州天镜系统具备对业务系统的基础资源、系统运行、全流程业务数据、全方位业务服务监视的能力。系统业务数据和业务服务可按照天镜标准，主动将监控主要指标发送给天镜系统。天镜的通用功能可实现服务器、进程、操作系统、算法等通用监控。在天镜通用版不能满足用户监控需求的情况下，需通过天镜本地化开发，订制专题监视展示页面满足用户需求。

3 技术要点

3.1 编制融入方案

在系统融入正式实施前，首要任务是编写融入方案。融入方案需对融入的整体情况进行系统分析评估，包括全面测算并论证所需的加工算力资源、存储资源、云数据库资源以及消息服务资源；根据写入产品结构化/非结构化、业务数据/自用数据等划分，合理规划存储数据库以及库表设计；按需设计消息中间件的消息内容；按需提供产品读取/写入/更新接口；按需设计业务监控的数据信息(DI)和告警信息(EI)内容等，以确保系统融入的整体推进。

3.2 账户申请

天擎按照“一个业务、一个账号、一个责任人”原则，业务管理设计平台登录实名账户、业务系统账户2类账户。登录实名账户是登录天擎用户空间开展业务系统账户申请的前提；业务系统账户是应用程序访问天擎提供的存储、计算、数据、接口、算法等多种资源和服务的认证方式。每个气象系统内部员工采用证书登录，与办公系统登录方式一致。在正确安装了“气象证书工具”后，用户通过访问天擎门户网站(PROTAL)，在“用户空间-用户信息-业务账户申请”页面进行账户申请。

3.3 资源申请

天擎包括了丰富的气象数据资源、专业全面的气象算法、功能强大的接口资源、海量的存储资源，以及多种软件服务资源。各种资源在天擎中实行统一管理、按需调配。用户在申请了业务系统账户后，按照融入方案中测算过的资源，在PORTAL页面“用户空间-我的资源”页面进行按需申请，包括所需的数据资源、算法资源、接口资源、存储资源、中间件资源的申请等。

3.4 数据注册

天擎按照气象元数据的标准[4]进行管理数据。数据必须在天擎元数据系统中注册、审核、发布之后方能使用。业务数据在注册时将为它分配标准、合规的存储编码，纳入全流程管理，可面向其他用户提供服务；中间结果数据在注册时不分配标准的四级编码，仅纳入天擎存储，一般不开放给其他用户使用。用户在申请业务系统账户后，即可在PROTAL“用户空间-我的数据-数据注册”进行注册。

3.5 算法注册

天擎算法加工系统提供算法注册、发布、管理，以及算法可视化编排的能力，算法的分类、权限管理、生命周期管理，以及算法的输入输出、监控等都提供了相应标准，用户按照标准对业务系统算法进行改造，实现输入输出对接天擎的存储或接口，日志信息、告警信息发送到天镜。

改造的算法通过算法部署规范流程，将算法注册到加工流水线运行。算法注册时，用户按照相关标准填写算法基本信息、输入输出、贡献者信息、参数信息、运行环境、运行命令等，同时将算法源码包、算法执行包、算法说明文档、第三方依赖库上传至系统平台。正确地进行算法注册并通过管理员审核后，该算法即可进入算法库中。游客无法进入算法注册页面。被授权的用户及超级管理员可进入算法注册页面进行算法注册操作。用户在申请业务系统账户后，即可在PORTAL“用户空间-我的算法-算法注册/修改”进行注册。

3.6 监控接入

3.6.1 准备阶段 业务系统融入天擎后，系统使用过的基础资源、应用资源属于天擎系统，天镜已经接入这些资源的监控信息，融入系统无需关注。若用户仅仅是数据应用融入天擎，但需纳入统一监控，需要填写“基础资源调研表”和“系统资源调研表”并对接天镜技术人员。基础资源调研表内容包括所属业务系统名称、IP地址、操作系统版本、关键进程及其告警阈值、所在机房和机柜等详细信息；系统资源调研表包括所属业务系统名称、IP地址、应用类型(如mysql、Kafka)、应用版本等。

对业务数据监视，主要包括业务系统自身的产品生成、加工处理、集群状态等运行情况的监视。如果业务系统已经融入天擎，则不需要再次研发 DI 信息发送功能，因为天镜已经和天擎进行了对接，相关监视信息从天镜获取。

对业务服务监视，主要包括业务系统的服务信息监视，如业务系统对外提供的API 接口状态、页面点击量、产品数据下载量、用户访问量等。如果业务服务使用的是天擎接口服务系统，则不需要再次研发DI信息发送功能，天镜已经和天擎服务接口系统进行了对接，相关监视信息可以从天镜获取得到；反之，则按照天镜标准，将DI信息推送至天镜系统。

对业务系统将自身的运行异常或数据处理状态监视，用户填写“系统名称、数据来源，事件编号，事件业务分类编号，告警级别，告警标题，故障对象，故障内容”等内容对接天镜技术人员，并按照天镜标准，将EI告警信息推送至天镜，天镜则根据业务规则对告警进行进一步处理。

3.6.2 专题订制开发 业务系统的专题监视由第三方基于天镜众创平台开发，由天镜技术人员协同系统融入一方，与第三方开发对接，针对专题监视的需求、前端页面渲染效果、后端DI、EI接入确认等方面进行确认，开发完毕并经过验证测试无误后，方可在天镜系统部署上线运行。

4 总结

深入理解业务系统融入关键技术，对推进业务系统全面融入至关重要。随着“云+端”气象业务技术体制建设的不断推进，2022年贵州省业务系统的“云化”改造和融入取得了一定进展和融入经验：

①融入方案的质量决定融入过程的顺利程度。现阶段气象部门的大量软件系统均采用外包形式开发，因为前期融入方案编制时，在系统架构、算法剥离、业务流程、产品存储等多方面考虑不全面，导致用户对技术细节不甚了解；因此系统的、全面的、详细的编制融入方案，是后期有序推进系统融入的前提。

②资源申请需要信息部门的深度介入。由于专业性差异，对不同资源之间的区别，用户了解并不深入，信息部门需要详细了解用户资源的适应性场景，如后期对数据产品的访问范围是公开还是有限公开，业务逻辑之间的关系等，业务系统所属部门需要与信息部门人员深度合作才能更好地推进融入工作。

③业务系统改造需将原业务系统软件重新进行模块化设计，将系统每个小功能从原系统剥离，设计独立的、符合天擎输入输出标准的算法程序，并按业务逻辑确定算法间的调度协作，这也是算法融入最难突破的点。因此在改造前，用户需详细分析系统的功能及其业务流程，确保每个算法实现1个业务功能，并能实现合理的调度。

④监控融入的难点在于深入融入到业务逻辑中。资源、进程、硬件、网络的监控在天镜中都很容易实现，但算法业务层故障的快速定位取决于DI和EI细粒度。因此，在算法设计时也要同步设计监控信息，按接口标准发送到天镜，才能在天镜系统中进行后续的配置和研发。