基于CMS理念的气象数据的应用分析

龚勋 邵宇 魏文华 马庆岩 赵小舟 徐年平 邱盼

摘要：本文主要针对海量的气象数据模型和分析相对滞后等实际问题，利用CMS（Content Management System）的理念，对气象数据的输入和输出等诸多环节进行分类汇总，将气象信息内网的内容管理系统从逻辑层面划分为3个层次，重点设计和开发了管理器的功能，建成了以CMS技术为主导的气象部门综合数据交互平台。该系统涉及到数据结构设计，功能设计和系统搭建等完整的数据分析处理应用过程所包含的各个技术环节。该系统的实施，有效提高了常规气象信息的管理效率，同时为用户提供了新的数据分析和展示方式用户可以通过Web浏览器进行各种复杂的查询和分析，查询分析的结果可以以多种直观的、可视化的方式进行展示，从而提高了数据利用效率，进一步为气象决策服务。

前言

CMS是Content Management System的缩写，即内容管理系统。采用CMS技术构建网站是因为它本身具有许多基于模板的优秀设计，可以加快网站开发的速度及减少开发的成本。气象信息内网采用CMS技术建成气象部门综合信息交互平台，加快气象数据系统的电子政务进程。本文主要针对以上这些问题，进行了气象信息联机分析系统的研究与开发。旨在为各类不同用户提供个性化的气象分析服务，依据不同的用户权限，用户可以根据自己的需求定制数据、浏览数据、分析数据，为气象人员在指挥生产，组织防灾减灾、资源开发利用和环境保护等方面科学决策提供气象信息服务。它是一项涉及社会稳定、经济发展和人民生命财产安全的全局性、综合性和高层次的气象服务平台。

1气象预报体系现状分析

随着信息技术的飞速发展以及自动数据采集技术的日渐成熟和广泛应用，在各个领域都产生了大量的数据，如人类对太空的探索，银行每天的巨额交易数据等等。数据量增加同时给人们带来的烦恼是：如何从海量的数据中找到自己想要的信息变得越来越困难？在数据爆炸的时代，就出现了如下情形：丰富的数据，贫乏的知识。

由于数据的快速增长导致传统的数据处理和分析技术已经不能满足人们数据处理和分析的需求，从而提出了更深层次的问题：如何以一种新的方式来组织数据，使得人们更加方便的从大量的数据中找到有用的信息和知识，从而为决策服务？在这种情况下，数据仓库和联机分析处理技术就应运而生，并得到了广泛的应用。气象资料是我国历史年代最长、保存最完整、最系统的地球信息资源之一。气象资料来源复杂、种类繁多、格式多样、表现形式各异、数据量巨大。随着气象部门各种气象观测工具的不断使用，积累了大量的数据信息，以甘肃省气象局的一个雷达观测站为例，每六分钟采集一次数据，数据量就高达20M，那么一个观测站点一天所采集的数据就有4G之多。并且不同观测工具所观测到的数据结构不同，都以各自原始的格式存储着，如：数据文件、数据集合等，这样一来就无法实现数据的集成和共享，无法使大量的气象数据得到有效的利用。

在气象信息的查询和统计分析方面，传统的方法只能进行简单的查询和统计，涉及到比较复杂的查询、统计，由于气象数据的海量性和复杂性，传统方法就无法在有效的时间内及时响应，甚至无法实现[1]。

关系数据库中所存储的数据通常是实体对象的最低级别的细节信息。例如：西北地区常规气象信息包含每个气象观测站点、每天的气温、降水、气压、湿度等等。但是对于气象决策人员来说，他们往往更加关注气象要素的统计信息及变化规律，所以经常需要对细节数据进行集成，并且在更高的概念级别上表示。在OLAP出现之前，数据分析经常使用的技术是关系数据库、电子数据表、各种统计方法。数据库通常由专业人员建立和维护，最终用户则直接使用电子数据表（如Microsoft Excel）。由于数据库系统是针对事务处理而设计，在关系数据库操作语言SQL中，仅定义了Max，Min，Sum，Count和Avg五个聚合函数和一个Group By分组语句，因此对于在数据统计和分析过程中经常使用的操作需要编写大量的、复杂的SQL查询语句。对于最终用户来说，使用数据库，只能在数据库开发人员提供的集成查询环境中按照程序设计人员定制好的查询模板进行数据查询，对于程序设计中没有定义的查询操作几乎无能为力。然而分析的需求通常是经常变化的，传统的电子数据表和数据库技术很难适应用户对数据的复杂查询应用。尽管目前使用的商业数据库产品中增加了部分OLAP功能，但是对于非数据库专业人员来说难于使用。通常在一个简单的多维模型上定义聚合操作需要熟练人员数天或者更长的时间来完成，数据处理已经成为科研人员日常工作中费时费力的工作[2]。由于使用的方法不同，不同的科研人员往往可能得到不同的查询结果。

显然，受关系数据库和电子数据表的局限，直接在关系数据库和电子数据表上进行复杂的气象数据分析是不现实的，大量的氣象信息也无法得到有效的利用。联机分析处理技术通过建立原始数据的多维模型（数据立方体） 能够很好地解决这类复杂的数据查询和汇总工作，减少数据分析人员的劳动，从而提高气象数据分析的效率，使大量气象数据得到充分利用。

2气象信息内网的CMS结构设计

内容管理系统（CMS）的一个基本思想就是将内容管理与内容设计彻底分离。页面美工设计存储在页面模板中，内容存储在数据库或独立的文件中（又称为数据仓库），当一个用户请求页面时，各部分联合生成一个标准的html页面，这个合成的Web页面中可包含多个数据源。

气象信息内网在建设过程中充分考虑了CMS的特点，结合气象部门的特点，将气象信息内网的CMS结构在逻辑上设计成3个层面，即后台业务管理系统、Portal系统（入口系统）、前台发布系统，功能主要由4个相对独立的管理器（物理层面）来实现，即网站管理器、企业管理器、配置管理器和服务管理器（见图1）。

气象信息内网的结构设计的内容管理系统逻辑上被划分为3个层面，主要是考虑了CMS的不同功能需求。后台管理系统优先考虑的是管理，重在对内容的管理；Portal系统优先考虑的是页面的表现，重在对网页所有模板的管理；而前台发布优先考虑的是网站运行的效率，重在对站点发布的管理。气象信息内网的内容管理系统在物理上采用网站管理器、企业管理器、配置管理器和服务管理器实现CMS的所有功能需求[2-3]。软件设计采用基于Java和XML的瘦客户端/服务器构架来实Web的内容管理，突出了内容仓库、内容管理、数据库配置、设计与内容分离、元素控制、工作流机制、权限管理、审核与统计报告及个性化界面设置等功能特点，是一个较为完善的内容管理系统。

3功能设计

该系统分为4大模块分别为天气预报预警信息降水实况温度风能见度实况和探测信息。

3.1预警信息

该模块为我国气象台及各地市气象台发布的大雾、霾、大风等预警信息，并以不同图标做出提醒。预警信息是本系统的核心部分，时效要求很高。由于目前，国内发布预警信息都发到国家突发事件预警信息发布系统，所以我们利用后台程序与国家突发事件预警信息发布系统有效对接，从而使预警信息统一、及时。

3.2降水实况

该模块为我国过去一段时间的降水量分布实况，包括统计各个量级分别的站数，以及全国降水区域和降水量，点击地市可以显示相应地市各雨量观测站的详细降水情况，每小时发布一次。降水实况包括1小时降水量、12小时降水量和24小时降水量，分别为过去1小时12小时、24小时内的降水累计量图形化显示降水实况，通过不同颜色显示降水区域和降水量。

3.3温度、风、能见度实况

该模块包括温度、风、能见度3部分，分别为我国气温实况、极大风速实况、能见度实况，包括统计各个量级分别的站数，各区域通过不同颜色标识相应的级别，点击地市可以显示相应地市各观测站的详细情况，每小时发布一次。

3.4探测信息

该模块包括卫星监测热点及雾霾、环境气象、雷达回波强度和卫星云图。

环境气象为我国的当前空气质量情况，包括实况监测分析环境气象日报、环境气象周报环境气象评估实况监测分析主要为当前时刻AQ实况及分布图城市信息等级统计其中，当前时刻Q实况及分布图为全国各城市空气污染等级 AQ指数、首要污染物和全国的AQ实况分布图；城市信息为全国各城市的过去24小时AQ指数变化情况空气质量等级统计为全国各城市的空气质量、出现站数、AQ均值，AQ极值、首要污染物和相应的观测站信息环境气象日报为空气质量的实况分析和未来三天空气质量预报，环境气象周报为空气质量的上周空气质量回顾和本周空气质量预报、环境气象评估为对上月环境气象的评估等。

4系统实现

4.1数据统计平台搭建

本系统采用完全免费的Limux+ Apache+Mysql+ Php（LAMP）

搭建Web服务器和数据库等，LAMP具有Web资源丰富、轻量、快速开发、易于维护的优点，因此无论是性能、质量还是价格都是本系统的首先平台间。

4.2数据统计收集与处理

数据处理采用目录监控和定时作业相结合的方式，以满足不同资料的时效要求。数据存储采用Mysql数据库和文件系统相结合的方式，便于使用关系数据库管理的数据采用Mysql数据库进行存储，而对于文件较大且不适合于关系数据库的数据将采用文件库进行管理。并且，本系统与“国家突发事件预警信息发布系统”等多个系统进行了有效的对接，使数据更加便捷、统一。本系统采用了开源WebGIS平台，可以访问到WebGIS站点中的空间数据和进行相关的空间分析和数据管理，避免了只能在本地电脑上浏览自己的空间数据，进行专题图的制作的局限，实现基本的地图操作功能，包括地图放缩、拖动等[3]。

5结语

CMS气象数据统计系统创新了气象大数据共享应用的开发模式，提升了气象大数据的服务效率和质量，对推动大数据技术发展、支撑气象防灾减灾、服务地方经济建设、促进农村改革发展发挥了重要的作用[4-6]。该系统有效的解决了传统气象信息管理和共享服务系统在可复用资源、系统集约化程度、信息管理能力、加工处理能力、共享服务能力等方面的局限性。

参考文献：

[1]史建国，张彦刚.气象灾害防御综合信息显示系统.数字技术与应用，2016，（06）：108-109.

[2]卫建国，王建林，庄立伟.气象软件设计模式的研究与实现[J].计算机工程，2010，36（09）：59-61+64.

[3]景东侠，吴林荣，白光弼. 基于CMS技术的陕西气象信息内网的设计与实现[A].信息技术在气象领域的开发应用论文集（二）[C].：中国气象学会，2006：4.

[4]姚志平，范生晔，吴娜.基于CMS技术的镇赉气象信息服务网站设计与实现[J].吉林气象，2013（02）：21-22+32.

[5]吴林荣，景东侠，白光弼.CMS技术在陕西气象信息内网的应用[J].陕西气象，2006（03）：35-37.

[6]郭昌松，赵伯听. 基于CMS的福建省气象服务网网站群[A]. 中国气象学会.第35届中国气象学会年会 S20深度信息化：应用支持与智能发展[C].中国气象学会：中国气象学会，2018：3.作者简介：龚勋，男，博士后，研究员，研究方向：产业经济学，E-mail：gongxun83@aliyun.com

基金项目：中国科协高端科技创新智库青年项目资助（DXB-ZKQN-2017-043）；中國船舶工业综合技术经济研究院《国外材料领域国防实验室军民融合发展策略研究》项目

（作者单位：龚勋、邵宇、魏文华、马庆岩、赵小舟，葫芦岛市军民融合和新材料产业发展中心；徐年平、邱盼，武汉超碟科技有限公司）