APP下载

基于“云+端”业务框架的西北人影指挥应用系统综述

2021-11-20李德泉李集明田建兵田显穆建华李宝梓白向东李圆圆

关键词:指挥系统人影西北

李德泉 李集明 田建兵 田显 穆建华 李宝梓 白向东 李圆圆

(1 中国气象科学研究院灾害天气国家重点实验室,北京 100081;2 中国气象局云雾物理环境重点开放实验室,北京 100081;3 青海省人工影响天气办公室,西宁 810000;4 陕西省人工影响天气办公室,西安 710000;5 宁夏回族自治区人工影响天气办公室,银川 750000;6 甘肃省人影办,兰州 730000;7 巴彦淖尔市人工影响天气办公室,巴彦淖尔 015000;8 新疆维吾尔自治区人工影响天气办公室,乌鲁木齐 830000)

0 引言

作为防灾减灾工作的重要内容之一,人工影响天气(以下简称“人影”)业务近年来发展迅速。人影业务核心是综合利用目前已有的各类观测、通信、监测、作业技术和数据分析手段,推断作业对象的云微物理结构和其形成、演变的云微物理过程,进而进行“三适当”设计,即在适当的时机选择适当的部位进行适当剂量的播散,然后在一定的有利时机和条件下,通过人工催化等技术手段,对云中局部区域的物理过程施加影响,使其按照预期有利方向发生变化,从而达到减轻或避免气象灾害目的,形成了人工影响天气“五段式”(过程预报、潜力预报、监测预警、跟踪指挥与作业实施、作业分析与效果检验)业务模式。可以看到,人影业务技术核心是各类资料分析手段和处理算法,而其业务保障核心重点是各类数据获取的实时性与精准性、密集处理计算的快速性与稳定性、信息发布的及时性与广泛性。

人影业务作为研究型业务,构建的业务体系核心为“横向到边,纵向到底”。“横向到边”指人工影响天气业务要遵循“五段式”流程,横向循序渐进,科学分析、决策、作业、评估。“纵向到底”则是自上而下建立覆盖国家级、区域级、省级、市级、县级直至作业点的人工影响天气业务信息流转流程。这些信息流转流程包括实时数据获取与分析、指导产品发布与共享、指令下达与接收、作业信息上报与审核等。人工影响天气指挥应用系统,是人影部门的核心业务系统之一,作为人影业务模式和服务理念的实际载体,其建设目的是实现“横向到边,纵向到底”业务功能支撑。

依托人工影响天气发展规划、人工影响天气业务三年行动计划和东北、西北等区域人影工程建设,人工影响天气业务系统持续研发与改进。2016年依托人影东北区域工程建设完成的东北区域人影指挥系统,其突出成果为首次全面实现“横向到边,纵向到底”业务功能。东北区域人影指挥系统基本覆盖“五段式”业务功能,并划分为“一平台四系统”,“一平台”为综合处理分析平台,“四系统”为数据管理分系统、综合管理分系统、共享发布分系统和移动终端分系统。同时,各省人影部门也本地化开发各类人影业务系统,涉及地理信息(GIS)、综合信息管理、资料展示、交互分析等各个方面。这些省级业务系统以及东北区域人影指挥系统基本上仍可被归类为传统的业务系统,即仍采用传统的自建体系思路,沿用从收集到发布的一条龙式气象传统业务架构。这也就不可避免地存在数据烟囱、重复收集、存储集约化不够等先天不足,进而在传输链路、数据获取实时性、存储效率、大数据访问效率等方面存在性能瓶颈。

随着信息技术发展迅速,尤其是近几年气象部门的集约化平台和“天擎”气象大数据云平台陆续业务化,客观上对人影指挥系统在内的气象业务部门各业务系统的数据、计算、监控、服务上提出了新要求。2018年开始,依托西北人影工程启动建设的西北区域人影指挥系统,顺应气象大数据云平台的发展趋势,依据系统集约化原则,改进形成“云+端”的新一代人影业务综合应用系统。其在“天擎”内部实现数据集约、密集计算处理集约,紧密对接基础气象业务,推动并实现云计算、分布式存储、移动互联网、物联网等新技术在人影业务系统的应用。在数据层将人影各类资料纳入“天擎”统一管理并扩展专用业务接口,在计算层实现人影算法库在“天擎”加工流水线上的部署运行,在应用层面深入开发MICAPS应用框架下的人影业务桌面端。在后台“云”上,依托大数据云平台框架实现人影特种资料和服务产品的收集、处理、存储、监控,在“端”上基于MICAPS的框架下开发完成基于云服务理念的人影综合业务桌面,构建移动应用(A端,即APP)、浏览器(B端,即Browser)、桌面系统(C端,即Client)三种业务客户端,从而形成“4C+ABC”新型人影业务系统框架。

1 西北人影指挥系统采用的云架构体系

西北区域人影作业指挥应用系统(简称“西北人影指挥系统”,即Smart Platform of Analysis and Cloud sEeding for Northwest,SPACE-NW),是西北区域人工影响天气能力建设项目(简称“西北项目”)重要建设内容之一。作为覆盖区域、省、市、县、作业点的新型“云+端”人工影响天气业务支撑应用软件,提供信息收集与传输、数据存储管理、综合处理分析与作业指挥、产品共享指令发布等核心功能,实现各级人影指挥的上下互通、功能互补、规范集约,提高人影作业指挥的效率和科技水平。

1.1 “云+端”业务框架下人影特色的“4C+ABC”

西北人影指挥系统以云框架的方式重新组织和设计功能,形成具有人影业务特色的“云+端”业务系统架构,即新的4C架构(云收集、云计算、云存储、云服务)和ABC共3种业务端操作模式。指挥系统由人影特种数据云收集、云计算处理、云存储、云服务4个分系统构成(图1)。

图1 西北人影指挥系统的组成结构Fig. 1 System structure of the SPACE-NW

●人影特种数据云收集分系统软件承担人影特种观测数据、飞机轨迹、观测和作业数据,装备弹药数据等数据的收集、传输与监控。

人影云收集分系统基于气象地面业务宽带网、人影空地通信网络、物联网和无线传输等技术支撑,重点解决目前未实际纳入基本气象探测数据收集业务的那部分人影资料的传输与收集问题,实现人影资料的“最后一千米”收集,即主要解决试验示范基地及其外场试验区专项数据探测的无线传输和收集、空地通信系统数据收集、物联网数据无线传输收集、空域信息收集等问题。该系统充分考虑兼容性和开放性,使其移植到全国其他省份应用时可根据不同的实际需求进行对接。

●人影云计算处理分系统负责构建人影业务有关的算法库,实现各种人影算法在“天擎”加工流水线上分布式并行计算,生成相应的人影产品。

该分系统的核心是人影算法库的实现和标准化封装,以及如何与“天擎”配合,形成人影产品加工流水线,为实时业务算法合理匹配、调度计算和存储资源,按照业务自然时序衔接集成、高效运行。

●人影数据云存储分系统在“天擎”内建立人影专题库,该库作为人影业务数据全集,由“天擎”进行统一的监控和管理,形成省级统一的人影业务数据环境。

人影数据云存储分系统将收集到的(飞机、地面)作业信息、特种观测资料、机载探测数据、飞机轨迹、物联网监控信息、人影管理信息(人员、作业站点、行政区划等)等“天擎”内进行存储,将人影的业务产品和云精细化分析有关的资料存储仿照MICAPS 4.0数据库设计相应的存储结构,存储在“天擎”内的分布式文件系统之中,可以从MICAPS 4.0统一的接口进行访问。

●人影云服务分系统按云服务的思路设计,提供多种服务终端手段进行人影作业指挥业务。包括有人影业务桌面子系统(C端)、业务门户网站(B端)、移动终端APP(A端)等多种形式。

人影业务桌面子系统作为云服务的C端(Client端),以MICAPS 4.0客户端为基础开发,覆盖人影指挥所需的数据显示、云降水交互分析、产品交互制作与修订、作业预警与实时监控、空域申请、指令发布、信息处理、物联网弹药管理等功能。

云服务分系统另外构建具有移动业务办公性质的业务门户网站(B端)和人影移动终端系统(A端)。两者通过使用目前流行的HTML5技术和Web前端开发框架,可以实现绝大部分代码重用。

人影4C+ABC完全基于“天擎”云基础,其业务化后将大幅度增强省级数据共享能力。首先,云收集扩展“天擎”资料采集渠道,为省级信息部门收集人影特种观测提供标准化国内通信系统(CTS)配置方案,使尽可能多的人影特种观测纳入“天擎”管理;其次,云存储首次确立全国的省级人影统一数据环境,实现人影观测、作业信息、管理信息、指导产品等在“天擎”内标准化存储、统一接口访问,为气象各部门开发、存取人影数据奠定技术基础。

1.2 西北人影指挥系统与“天擎”的关系

西北人影指挥系统与“天擎”同步发展,在“天擎”省级平台投入应用后,立即在其上部署并提供人影业务支撑能力。西北人影指挥系统的数据环境、计算环境、监控环境都统一基于气象大数据云平台“天擎”基础上构建(图2),其各部分系统的构建基础也是 “天擎”的标准和框架。从云平台架构角度看,两者在多方面进行深度融入。

图2 西北人影指挥系统与天擎的深入融合Fig. 2 The deep integration of SPACE-NW and Sky Engine platform

西北指挥系统的4大系统纵向上又分布在气象大数据云平台“天擎”中数据层(DAAS)、平台支撑层(PAAS)、应用层(SAAS)等3个核心层面,每个层都是按照“天擎”的架构模式对接融入。

在DAAS层,包含人影专题数据库和人影业务应用支撑库的底层数据支撑。

在PAAS层,实现数据收集、处理和存储;云收集依托气象大数据云平台和国内通信系统(CTS),实现人影云收集分系统,解决人影特种资料的实时采集问题,为其他子系统提供人影特种资料的采集来源;云计算处理基于“天擎”统一的任务调度框架、流程编排与管理、算法管理等支撑,实现对人影业务各种算法的注册、分类、审核、发布和管理,并得到计算结果;云存储基于MUSIC接口规范,实现数据的增删改查及常用统计功能的数据管理界面,提供人机交互接口。

在SAAS层,构建三种云服务终端。端依托于“天擎”中不同的“云”后台数据和计算支持,形成不同业务场景应用。

可以看到,西北人影指挥系统整体构建在“天擎”云业务构架下,形成新的业务流程和数据流转通道:省级通信系统被扩展可以接收人影特种观测资料和人影云模式、卫星云反演产品,这些资料在“天擎”内均具有对应的解码和入库流程;“天擎”内构建新的数据库用于存放人影有关的预报、观测、作业信息和指导产品;加工流水线上部署了人影算法,在数据抵达后立即自动执行并生成各类人影指导产品及入库;所有的人影数据只要进入“天擎”,就可以通过标准的“天擎”访问接口被ABC三种云服务终端实时调显。

2 人影业务深度融入“天擎”的关键技术

人影业务深度融入“天擎”主要从5个方面着手,收集环境、存储环境、计算环境、监控环境和端的改造。

2.1 收集环境融入

收集环境基于西北人影数据需求,在各省CTS节点进行配置文件扩展,不对CTS软件本身进行改造。由于涉及资料配置文件修订及采集传输,其融入必须得到各省信息部门的许可及权限支持。图3表明针对宁夏人影部门的特种观测资料收集流程设计,特种观测数据建立起传输通道,统一由省级CTS接入并最终入库,确保人影特种观测在省级“天擎”上获取。

图3 宁夏特种观测的云收集流程Fig. 3 Cloud collection process of special observation in Ningxia

2.2 存储环境融入

此项工作分为专题库和支撑库2个方面建设。

2.2.1 专题库

西北人影指挥系统的云存储分系统在“天擎”中创立了人影专题库框架。通过对人影各类资料和产品进行系统性梳理,形成《人工影响天气数据分类与编码》标准规范,并据此指导完成人影数据在“天擎”中的数据编码申请与存储设计。表1展示人影数据经梳理后,归入14大类气象资料的人影资料数量统计。

表1 人影资料梳理与归类数量Table 1 Data sorting and classification quantity of weathermodification data

基于“天擎”数据存储规范,并与国家气象信息中心共同设计确定,已完成43种人影资料的数据编码申请,设计存储表42个,提供MUSIC服务接口44 个。人影资料首次在“天擎”内按照MUSIC标准封装为服务接口,供前端调显。例如人影云模式(CPEFS)、风云二号卫星(FY-2)云反演产品及机载云微物理观测等业务重点关注的资料,都已完成数据与应用融入。

2.2.2 支撑库

依托“天擎”中已有的Cassandra分布式数据支撑设计,西北人影业务支撑库在其上存储人影业务专用的模式、反演产品、融合产品等数据,为大量的C端实时并发访问提供分布式支撑。一方面,“天擎”Cassandra数据库已经存在的数据(如EC高分辨率数值预报、雷达组网数据资料、雷达单站数据、卫星数据等),由“天擎”直接面向人影C端提供数据访问接口服务;另一方面,人影业务急需的专用数据(如CPEFS、人影特种观测、人影业务产品等)纳入“天擎”Cassandra数据库存储管理,扩展形成“天擎”内人影分布式支撑库,并最终面向人影C端提供数据快速访问接口服务。

测试表明,使用“天擎”支撑库后,C端数据访问效率提升明显。数据解析效率大幅度提升,数据从接收到写入支撑库分系统平均仅需5 s,单个实时数据平均写入时间为0.3 ms。数据查询时效从秒级提升为毫秒级,平均查询时间为10 ms(不计算网络传输时长)。

2.3 计算环境融入

计算环境融入,不仅仅是形成人影算法库并在“天擎”产品加工流水线部署和运行,而是通过使用容器中间件(Docker)的算法封装,使算法部署标准化、可移植,使运行环境和算法开发环境剥离,避免因部署环境变更导致算法部署和执行困难的问题。

针对西北人影算法运行需求,国家气象信息中心与中国气象局人工影响天气中心共同确定人影算法库在“天擎”产品加工流水线的对接、部署标准。人影算法库在“天擎”内部署及运行直至生成产品的流程如图4所示。

图4 人影算法库在“天擎”部署及运行流程Fig. 4 Deployment and operation process of algorithm library in Sky Engine

西北人影指挥系统目前在每个省“天擎”集成的算法平均约50余种,涵盖潜力区、预警区、作业区等区域识别、指导产品生成等专业算法,以及格式解析、外推、插值等通用气象算法。这些算法主要基于Python、Java语言开发,经过严格测试后提交成算法包。算法包与Docker基础镜像共同封装,构建成一个个可以被“天擎”Docker容器加载运行的容器镜像。容器镜像被部署在“天擎”加工流水线的容器内,统一接受“天擎”的加工流程在线编排,并设置该加工流程被驱动的触发条件(定时驱动或者数据驱动),从而形成了“微服务”(RestFul)形态的算法。微服务算法被调用后,会生成产品结果供ABC三种端随时调显。微服务形态算法虽然需要占用少量资源,但是其对气象应用具有2项优势:一是进行流程定义时,所编排的算法或环节能够支持相互之间的数据传递;二是快速响应并运行的处理能力突出,因此对气象数据交互、产品生成等高并发、密集计算类的应用具有天然优势。

此外,西北人影指挥系统在“天擎”加工流水线内进行了多项算法部署技术尝试,包括:对算法进行编排、组合,由原来的多个算法,组合串接形成新的算法,新组合的算法也可用于任务编排;添加人影算法的服务状态的监视,便于任务编排时识别算法的可服务或可使用的状态;基于数据源状态的实时分析,按条件触发下游产品加工,大幅度提升以前定时加工产品的性能;在西北省份部署时,依托“天擎”提供算法批量迁移、批量部署的支持。

2.4 监控环境融入

基于大数据云平台技术的新一代业务监控系统“天镜”由国家气象信息中心主持建设,又称“气象综合业务实时监控系统”,2020年12月21日投入业务运行。

西北人影指挥系统基于“天镜”监控体系构建省级人影业务监控环境:基于天镜监控代理(Agent),实现对人影业务相关服务器及基础服务监控;基于天镜数据存储接口,实现人影系统监控DI、EI数据存储;基于“天镜”众创接口,构建西北人影指挥系统在省级收集、计算、存储、服务的全流程监控界面,面向一线值班人影和业务运行各环节制定告警策略,实现人影业务全流程监控,并实现告警信息的对信息部门、人影部门的定向微信推送。

2.5 端的改造

端面向人影一线业务人员,提供人影“五段式”分析工具支撑。以人工增雨支撑来说,人工增雨的一般流程是:云系作业条件(或增雨潜力)的判别,然后持续监测,分析并选择催化技术,确定催化时间、部位、催化剂量,实施催化作业后,获取作业信息并开展催化效果评估。端为这个流程的每个环节提供对应的分析功能,典型的功能包括:引入数值模式分析判别增雨潜力,基于雷达、卫星资料滚动监测潜力区变化并设计、调整作业方案,发布作业指令并监视作业实施过程,分析作业合理性并生成效果评估报告等。

端的改造主要指西北指挥系统把原来“数算显”一体化的终端软件进行拆解,把数据解析、算法、产品处理等从端中剥离出来放入云后台形成接口,把显示保留在端内,最终将前端改造成支持标准化数据接口、应用接口的交互显示端。

需要指出的是,从用户感受来看,改造前和改造后的端似乎都是一样的,数据和分析工具功能变化不大。但实际上,改造后的端必须依托云才能完整实现一个功能。同样是一类资料展示,改造前,端需要通过网络下载该资料文件到本地,然后自行解析、加工处理、显示。而改造后,端不需要下载资料到本地,只是将需要显示的内容作为参数传递给云,云反馈加工处理完毕的结果给端显示。交互分析过程中,数据也不再是先下载到本地再由端分析计算,而仅仅是获取屏幕交互,形成参数传给云,云后台执行“数算一体”计算,将结果数据返回给端上显示。端的执行效率不再依靠客户端硬件条件,而是依赖于云计算能力和网络带宽。显然,端被改造后其分工更明确,其工作重心是交互参数获取和云返回结果的显示。端原来的数据、算法则被抽出来“上云”,在云上执行数算一体,不仅提高计算效率,也更利于计算资源标准化、集约化利用。

端的改造对象主要是C端。A端、B端因使用HTML5技术开发,通过数据和应用接口调用后台云服务,已实现剥离,改造工作很少。C端改造方法如下:

● 针对C端的改造,关键是要求C端内部采用三层设计(每层均须标准化),三层主要划分为展示层、逻辑层和数据层。

● 数据层,支持标准化格式(nc/Grib/hdf/json等)的人影相关要素级格式解析,或者将不同格式统一转换为标准格式或矩阵式数据结构,这样可以一定程度屏蔽资料和厂家差异。

● 逻辑层,主要是对端的显示进行配置化和简要逻辑处理,通过配置可以设定数据源和显示源,标准化格式的数据可以通过配置直接在端上显示,避免端过多的个性化开发和一类一类资料的单独解析适配工作。

● 针对气象数据特点,端的展示层针对资料提供要素级显示和分析手段,并且显示数据内部数据结构尽量采用矩阵式数据结构,便于接口开放和数据解析交换。

改造后的C端的内部结构如图5所示。

图5 改造后的客户端的内部结构Fig. 5 Internal multilayer structure of upgraded client

3 系统部署及应用效益

西北人影指挥系统于2019年11月开始启动部署,首先在西北区域的青海、陕西2省的省级人工影响天气业务平台上开展试用,并根据省级使用反馈进行多轮迭代更新。其中,西北人影指挥系统的A端和B端中的空域申报功能,在青海省投入业务运行,形成作业点至省级并最终送达空管部门的完整的申报、审批、回复的自动化流程,已成为全省作业空域申报的关键性业务支撑。

2020年下半年,西北区域各省 “天擎”陆续上线试用,西北人影指挥系统也在各省人影部门、信息部门的支持下,启动在省级“天擎”上的部署与试运行工作。2020年10月,西北人影指挥系统在新疆、青海“天擎”上开展联调联试及试用验证,取得第一手试验运行能力分析资料。12月中旬,“天擎”“天镜”陆续发文开始正式业务化运行,中国气象局人工影响天气中心也会同国家气象信息中心在内蒙古“天擎”上开展业务标准化部署试点。2021年6月,试点完成并形成标准化版本,标志全国首个基于业务化“天擎”云平台进行标准化融入的省级人影业务系统的正式运行。2021年7月,陕西、新疆陆续更新成标准化版本。在陕西,该系统已成为陕西“十四届全运会”保障活动的核心业务支撑,在全省范围内投入业务运行;在新疆,该系统成为天山试验区进行研究试验的关键性数据分析工具支撑。图6展示的是新疆省级标准化融入后B端运行时的界面。系统将在2021年底前完成西北区域所有省的安装部署并全面试运行。

图6 新疆B端运行界面Fig. 6 Runtime interface in Brower of Xinjiang

4 结论及讨论

西北人影指挥系统在新疆、青海、内蒙古的试用、标准化部署与运行表明,人影部门已经基于“天擎”气象大数据云平台,初步建立起一套能够跨区域联合作业的人工影响天气能力建设作业指挥应用软件,打通西北区域联合作业通道,开展全方位空地立体化的人工影响天气作业,并实现人影数据在业务上的共享互通。西北人影指挥系统将向规模化、集约化的方向发展,实现区域内各省信息无缝衔接,并针对大规模天气作业条件进行统一指挥、决策、协调、部署,完成跨省(自治区、直辖市)人工影响天气作业调度运行决策机制,提高人影作业的科学性和规模效益。西北人影指挥系统作为省级应用系统改造融入的先行示范,可以充分利用“天擎”大数据云平台各类资源,实现人影数据统一存储,人影产品加工的统一调度管理,五段业务全流程的统一监控,保障数据应用的一致性,提升业务运行和管理效率。同时,也应看到,近年来人影业务新方向也对西北人影指挥系统未来发展提出新的需求,例如目前热点的空中云水资源分析技术、无人机指挥、部分新型探测仪器资料分析等业务新方向还没有对应功能支撑,需要后续补充完善。

可以看出,从东北到西北区域工程设计思路的改变,正是在近年来气象信息化、集约化大背景下,人影新技术、新数据不断涌现,人影业务与基本气象业务深度融合,共同推进“智慧气象”“智慧人影”的必然结果。人影业务系统未来发展趋势是“统一框架、模块迭代、算法众创、功能自主”,即在统一框架下,各省可自主发展特色算法和本地功能模块,进行算法众创并在业务平台上灵活试验,从而形成统一的、完整的、可持续的人影业务软件良性发展生态。西北人影指挥系统的“4C+ABC”的应用框架,也将是中部、西南等各个后续人影工程延续发展的重点,从而通过持续性的技术投入,促使全国人影业务系统不断升级改进,为人影精细化作业、科学化作业、安全作业提供业务基础支撑。

猜你喜欢

指挥系统人影西北
陈成立“月到中秋”
河北省冬季奧运会交通应急保障指挥系统
指挥系统迭代升级带来的挑战与对策
深夜窗外的人影
深夜窗外的人影
国外驱护舰作战指挥系统技术现状与发展趋势
一座西北小城
星空人影(下)
西北不惑
黔西北行吟