新一代天眼防汛抗旱水文气象综合业务的开发与应用
2014-10-25戚建国
王 琳,郑 文,戚建国
(水利部水文局,100053,北京)
作为支持国家防汛抗旱工作的重要业务应用系统之一,天眼防汛抗旱水文气象综合业务系统获得了2002年度国家科技进步二等奖,并推广到多个流域机构和省、市防汛抗旱业务部门应用,取得了显著的经济和社会效益。10年来,随着经济社会的不断发展,国家对防汛抗旱事业提出了更细、更严、更高的要求,为应对这些新要求、新挑战,水文气象业务服务的内容、方式和服务水平需要有极大的提高。水利部水文局(水利信息中心)从业务应用需求出发,联合多家科研院校和高新技术企业,吸收引进国内外水文气象新科技成果,并紧跟计算机应用技术的发展,持续进行科技开发和系统升级改造,建立了新一代天眼防汛抗旱水文气象综合业务系统。
一、系统结构
新一代天眼系统在继承原有系统各模块应用功能的基础上,从业务需求出发,重新设计了系统结构,对数据处理、产品制作加工各功能模块进行了全面开发,实现了数据接收处理、产品制作各环节的自动监控运行,系统结构如图1所示。
1.数据传输
数据传输子系统实现了天眼系统各类数据的输入输出管理,既能完成各类原始资料数据的接收、解码、格式转换、质量控制、入库及数据打包转存等预处理功能,又能为外部系统用户提供数据传输下载的FTP服务功能,即为水利系统天眼系统用户和云图广播客户端用户提供数据下载服务,同时为中国气象局提供实时水文数据共享下载服务。
2.数据管理
数据管理子系统实现了对天眼系统数据库内各类资料数据的维护管理。天眼系统数据库是整个系统正常运行的基础,库内各类资料数据的准确性和特征统计分析、历史资料整编维护等工作,直接决定了业务系统运行的质量。数据管理子系统主要实现了对实时数据的维护管理(增、删、改)、特征统计分析、历史数据整编转存以及数据库用户管理、安全检测、实时和定时备份等管理维护功能。
3.产品处理
图1 系统总体结构
产品处理子系统实现了系统产品的后台制作处理,是系统各类产品后台加工处理中心,通过多台计算机的全年连续不间断运行,实现从数据库中查询雨量、天气、热带气旋等原始数据进行分析处理,自动加工制作成各类雨情、温度、干旱及热带气旋等服务产品,并将各类产品存入数据库统一管理,同时打包转存至FTP服务器,满足水利系统天眼系统用户传输下载各类产品的需要;同时系统于2012—2013年开发了定量降水预报产品制作软件,预报员可以实时人工交互制作未来多日降水预报图和预报降水定量分析表,并将产品存放在数据库中。
4.应用服务
应用服务子系统为水利系统各类用户提供了查询应用水文气象各类产品的Web应用服务平台,采用了全新的Microsoft.NET体系结构,以ArcGIS10.0空间应用服务为WebGIS应用服务平台,以Microsoft的IE浏览器结合ArcGIS的SilverLight为用户应用终端,通过方便简捷的操作,将查询应用的各类水文气象产品以统一美观的风格展现给用户。应用服务子系统的用户包括水利部局域网用户、水利广域网用户和其他相关防汛部门的用户。
二、关键技术改进
1.全新应用体系结构
为满足当前防汛抗旱业务工作发展的需要,天眼系统需要提供更广泛、全面、高效、精准的水文气象信息查询应用服务。为此,新一代天眼系统应用较为成熟的先进计算机软件开发技术,全面改造了应用系统体系结构,取消了文件系统,消除了客户端应用软件,将应用服务系统从基于Client/Server体系结构改造为基于Microsoft.NET体系结构的Web应用系统,从而扩大了应用服务范围。
新一代天眼应用系统建立在微软NetframeWork4.0的Web应用服务框架中,采用COM+组件应用服务技术和ArcGIS10.0空间应用服务技术,实现了Web用户—HTTP服务管理器—组件应用服务/空间应用服务—数据库的多层应用服务体系,最大限度地发挥每一应用层次的优势,在继承以往C/S应用系统技术成果基础上开发新的应用服务,高效利用应用服务资源,实现了扩充应用产品种类,提高应用产品质量,提升应用服务水平的目的。
2.海量高效数据库
随着防汛抗旱气象业务工作的深入发展,系统数据种类逐年丰富,降水气温等水文气象要素的历史资料也得到大量收集,数据库数据容量大幅度上升,为保证数据安全和数据应用效率,2009—2010年系统数据库逐步由MsSQLServer数据库迁移至ORACLE数据库。
数据库迁移后,实现了五个方面的显著改进:
①实现了海量数据存储,数据库表由原来的80个扩充至300个,到2013年10月数据总量已由迁移前的50GB涨至4.5TB,并仍以每年1.5 TB的速度逐年增长。②数据库表分类更合理,形成了基础数据、实时数据、历史数据、产品数据、热带气旋数据、雷达数据和致洪暴雨数据7大类数据库。③优化数据特征统计触发器,提高了数据入库和特征统计效率。④实现了双机并行数据库系统,在提高数据库稳定性的同时,能够支持更多用户的并发访问,满足了业务系统应用范围不断扩展的需要。⑤数据备份方式由定期磁带机备份升级至采用策略的磁带库备份,进一步保证了数据安全。
3.WebGIS应用支撑
2011—2013年,天眼应用服务子系统进一步升级改造,在WebGIS平台上实现了水文气象产品应用服务,应用系统在以下6个方面有了较大的改进,显著提升了系统的应用技术水平和效果。
①并行服务快捷高效。应用服务子系统一方面充分利用目前服务器多核处理器的优势,在IIS服务器和空间数据服务器中都采用了并行服务方式,能够同时启动多个进程并行处理多个数据服务请求,提高了Web应用服务的效率;另一方面利用ArcGIS的SilverLight客户端能够实现多线程并行计算的特点,对于用户提交的复杂应用请求可以分解为多线程计算处理任务,分步提交显示计算结果,满足了用户Web查询快捷高效的应用要求。
②产品展示形象生动。以GIS地图作为展示应用平台,各类气象信息产品由图片转变为GIS图层展现应用,在Web浏览器中实现了产品图像的透明化处理及放大、漫游、定位、测距、地理信息查询等空间查询应用功能,并实现了展现内容随图像放大逐步细化显示的功能。
③操作应用灵活便捷。WebGIS应用服务是将GIS的Client/Server技术与基于Web的Internet技术相结合的成果,即保留了Client/Server技术交互便捷、事务处理严谨完整的优点,又利用了Web技术分布式布设、简便灵活的特点,从而使天眼Web应用服务更加灵活,用户交互操作更加便捷,即实现了在同一窗口中的多类图像产品展示应用,便于防汛抗旱会商汇报,又将图像、数据表、气象要素柱状图(折线图)等不同风格产品多窗口展示应用,便于专业人员分析应用。
④查询分析高效准确。应用服务子系统针对雨量气温等水文气象要素重新规范了数据查询原则和方法,各类要素的实时产品在后台全天候定时自动加工为GIS图层数据并存放在数据库中,便于用户快速查询应用;各类要素的任意时段产品根据查询目的进行了查询数据范围和查询SQL语句的规范,并利用ArcGIS的强大空间计算能力,实现了产品图层制作与统计分析计算的并行处理,使用户能够在极短时间内查询出点面图像产品、数据列表和分行政或流域统计分析列表,满足了防汛抗旱会商对各类水文气象信息产品高效准确查询展示应用的需要。
⑤多类信息叠加应用。系统实现了在GIS地图上卫星云图、实况雨量、气温和热带气旋路径等多类水文气象信息以图层形式叠加显示应用,用户可以通过业务图层数据显示控制面板,灵活控制每一类数据的显示和消隐,满足用户综合分析应用水文气象各类信息的需要。
⑥扩展应用前景巨大。Web技术基于的标准是开放的、非专用的,是经过标准化组织IETF和W3C为Internet应用制定的,这为WebGIS的进一步扩展提供了极大的扩展空间,使得WebGIS很容易与Web中其他信息服务进行无缝集成,建立功能丰富的具体GIS应用。因此,随着水文气象业务拓展和计算机应用技术进步,天眼WebGIS应用服务功能仍有着巨大的发展空间。
4.智能计算管理
随着水文气象业务工作的发展,天眼系统接收处理数据量成倍增长,目前系统每日通过专线网络接收到的水文气象原始资料数据量已由10年前的200 MB增长到14 GB、通过卫星天线接收到的静止气象卫星数据量由10年前的1 GB增长到3 GB。系统后台各类数据处理和产品制作计算程序由10年前的不足20个增长到目前的70多个。支撑天眼系统后台计算处理的计算机已由10年前4、5台微机升级至目前的6台服务器、5台高性能微机,这些机器全年不间断自动运行。
为协调管理系统后台计算处理任务,实现计算资源的最大化利用,并及时处理计算过程中出现的各类错误,天眼系统在分析3年多人工积累的各类后台计算处理程序日志资料基础上,开发了后台处理系统调度管理软件,实现了以下管理功能。
①合理调度计算任务。实现了全部后台处理任务在6台服务器、5台高性能微机上的合理分配,并在其中一台出现故障时,自动将该机器上的处理任务分配至其他计算机处理。
②智能监控处理进程。实现了对每一个后台处理程序的实时监控,一方面控制其运行的时间、频次,另一方面在程序出现错误或程序进程挂起时,自动停止该进程、记录错误日志、发出告警信息、并根据已设置的时间表重新启动程序运行。
③及时发布错误告警。实现了对监控到的程序运行错误信息,在记录日志的同时,以短信的形式,按照已设置好的值班表,发送到当前系统运维值班人员的手机上,以保证系统运行错误信息能够以最快的方式告知值班人员。
④查询分析程序信息。后台处理系统的每一个处理程序在运行过程中都实现了自动记录日志的功能,记录内容包括各类错误信息,每一关键环节处理结果,程序运行中占用的系统资源情况,日志信息实时写入数据库,值班人员通过天眼应用服务子系统中的后台程序信息查询功能,可以查询分析每一个后台处理程序运行状况,便于分析掌握后台处理系统存在的问题,不断改进后台处理系统。
三、主要应用功能
1.实时监视直观全面
在系统的WebGIS应用服务软件平台上,用户能够实现对卫星云图、雨量、雨量距平、天气雷达、数值预报、热带气旋、气温、气象传真、干旱监视、人工降水预报等10余类60多种水文气象实时信息产品的监视应用。各类监视产品均为系统在后台已加工处理好的实时产品,以点图(数值分布图)、面图(数据空间插值分级充色图)和数据表、柱状图(折线图)等多种形式展现。其中图像产品充分应用了GIS平台强大的图像展现能力,与行政区域、流域分区、河流、湖泊、水库等地理信息结合,以透明图层、分量级着色、任意缩放漫游的显示方式实现了产品信息与地理信息的形象直观展现。
2.多类信息交互查询
在系统的WebGIS应用服务软件平台上,用户能够实时在线交互式查询任意时段累积降水量、累积降水量距平、任意时刻气温、任意时间特征气温(最高、最低、平均)或气温距平、历史热带气旋信息、热带气旋特征统计信息、多家降水数值预报任意时段累积值、多家气温数值预报特征值等多类水文气象历史实时信息,查询结果能够按照用户要求在Web服务器中实时加工处理成数据表、点图、面图或柱状图(折线图)等多种产品快捷地返回到用户浏览器中展现。
由于系统Web应用服务采用了多CPU核心并行服务技术,后台负责查询处理计算的COM组件应用了多线程并行计算处理技术,使WebGIS应用服务软件一方面能够满足多用户同时查询的业务需求,另一方面能够满足用户实时在线交互式查询的时效要求。
3.特征分析快捷准确
系统分析计算了水文气象雨量基本站的历史雨量均值、各省(含地市)和流域(含一级子流域)的历史面雨量均值,分析计算了气象基本站的历史气温特征值,分析统计了热带气旋生成、路径、移速、强度变化和登陆等多项指标的历史特征值,并将这些特征值存放在数据库中,能够为用户提供快捷准确的雨量距平、气温距平、热带气旋特征分析等查询应用服务。
4.定量预报制作应用
系统在2012—2013年设计建立了定量降水预报产品制作软件,该软件建立在ArcGIS10.0地理信息系统平台上,预报员可以通过这个软件人工交互制作未来逐日降水预报面图和过程降水预报面图,并能够根据降水预报面图定量分析计算各省 (地市、县)或各流域(一级、二级子流域)预报面平均降水量表和降水量笼罩面积表,图表产品存放在数据库中,通过Web应用系统可以查询显示,实现了定量降水预报制作和应用。
5.防汛抗旱信息并重
系统在满足卫星云图、雨情、雷达、数值预报、气象传真、热带气旋、降水预报等防汛信息应用服务的基础上,集成了实时气温(最高、最低和平均)、气温距平、少雨日、高温日、蒸发能力和气象干旱指数、水文干旱指数、遥感干旱指数等大量水文气象干旱信息产品应用服务,真正实现了防汛抗旱信息并重。
6.服务水利远程应用
系统的Web应用服务子系统在设计开发过程中,充分考虑了与Oracle数据库、Web应用服务器和 ArcGIS空间应用服务器之间数据交换传输的效率,能够满足在较低网络带宽(1Mbps左右)条件下的查询应用服务。因此,系统能够通过水利广域网,为各流域机构和各省防汛抗旱水利部门提供远程应用服务。
系统在2008年单独为水利系统远程用户布设了查询应用防汛抗旱水文气象信息的天眼Web应用网站(10.1.18.101),到目前一直不间断全年提供应用服务,至2013年汛期已达到日均近200个用户、10多万次点击的访问量,用户来自20多个流域和省水利部门。
四、展 望
随着国家对防汛抗旱业务工作要求的逐年深入,服务于国家防汛抗旱事业的天眼系统将不断发展,未来两三年将在天气雷达信息深入应用、气候特征监测信息应用、降水过程定量化描述和降水预报质量评估应用等方面将有进一步发展。
1.天气雷达信息深入应用
随着国家防汛抗旱指挥系统二期工程的建设应用,水利部门将能接收到来自气象部门的158部天气雷达数据和产品信息,能够建立雷达反演降水与地面观测降水相融合的多元融合定量估算降水业务系统和基于雷达信息的暴雨监视预警应用系统,这些业务系统的建成将促进天眼系统实现天气雷达信息在实时监视、定量估算、临近预报等方面的深入应用。
2.气候特征监测信息应用
目前的天眼系统主要侧重于防汛抗旱水文气象监测信息和中短期降水预报信息的应用,缺乏气候特征监测信息应用。未来两三年内系统将陆续收集历史和实时气候特征监测信息,建立气候特征数据库,实现气候特征监测信息查询应用和中长期降水预测的制作应用。
3.降水过程定量化描述应用
目前防汛抗旱业务工作中,对实况和预报降水过程都缺少定量化描述。天眼系统将在未来两三年内,定量化分析历史降水过程,结合气象部门对降水过程强度等级划分的相关规定,研究确定降水过程定量化描述方法,逐步实现实况和预报降水过程的定量化描述应用,为防汛抗旱业务工作提供更好地指导作用。
4.降水预报质量评估应用
在定量降水预报产品应用服务的基础上,天眼系统还将结合防汛抗旱工作对定量降水预报的应用要求,研究确定预报质量评估方法,在天眼系统中逐步实现定量降水预报质量评估业务应用,促进定量降水预报水平的不断提高。
[1]杨扬,张建云,吴炳方.防汛抗旱水文气象综合业务系统简介 [J].中国水利,2003(6A).
[2]徐胜,王琳,郑文,张利娜.黄淮流域天气雷达应用系统介绍与应用分析[J].水文,2013,33(3).
[3]Jason Price著,冯锐,由渊霞译,Oracle Database 10g SQL开发指南[M].北京:清华大学出版社,2005.