四川省级农业气象综合业务平台开发与应用
2018-01-15张玉芳游超杨德胜罗永康陈东东薛永强
张玉芳 游超 杨德胜 罗永康 陈东东 薛永强
摘要 根据省级气象服务业务的需求,按照“集约化、规范化、标准化”的理念,开发建成了基于B/S的四川省级农业气象综合业务服务平台,实现了省、市、县3级业务服务共享、基于WEB GIS数据可视化以及业务流程管理,并对核心业务功能进行了简单介绍。平台的使用情况表明,四川省农业气象综合业务平台解决了市、县地区缺乏技术指导的能力,将省、市、县3级的多个平台融合到同一平台上,最终实现了集约化的可持续发展,同时也提升了农业气象服务的智慧化程度,缩减了一线工作人员的工作量,提升了服务质量。
关键词 农业气象;综合业务平台;开发;应用;四川省
中图分类号 P409 文献标识码 A 文章编号 1007-5739(2018)22-0206-05
Abstract According to the needs of the provincial meteorological service business,following the concept of "intensive,standardization,standardization",the Sichuan provincial agricultural meteorological comprehensive business service platform based on B/S was developed,which realized provincial,municipal and county level business service sharing,GIS data visualization based on WEB,and business process management,the core business function was also briefly introduced.The usage of the platform showed that Sichuan provincial agricultural meteorological comprehensive service platform had solved the lack of technical guidance.Multiple platforms at provincial,municipal and county levels were integrated into this platform,intensive and sustainable development had been achieved finally.At the same time,it increased the wisdom of agrometeorological service level,reduced the workload of frontline staff,improved the service quality.
Key words agricultural meteorology;comprehensive business service platform;development;application;Sichuan Province
近年來,随着我国农业气象信息业务现代化的迅速发展和农业气象信息处理需求的不断增加,农业气象业务系统变得越来越复杂,以前单一的业务平台根本无法满足现在的需求。虽然省、市、县3级各气象局单位都有自己的农业气象业务软件,但是之前的软件平台在建设初期没有统一的规范和标准,与农业气象业务通用性、规范性、重复性的要求不符,加上这些软件平台比较分散,影响了农业气象业务规范化、集约化、标准化的实现。为了解决上述问题,进一步提高农业气象业务能力,促使农业气象业务更好地发挥其效益,亟须开发一个信息资源类型丰富、数据信息及时准确的省、市、县3级农业气象综合业务服务系统[1],为农业生产者、经营者、管理者、研究者和决策者提供准确、及时、全面的信息服务。
本系统需要整合和完善已有的业务技术研发成果,摒弃原有小而乱的业务软件,建成统一高效、网络化的业务服务系统平台,以解决气象部门开展专业化、精细化的现代农业气象业务服务技术支撑平台问题,迅速提高业务服务水平,满足现代农业发展对农业气象服务的要求。同时,可以利用该系统平台对当前全省自动化农业观测资料进行质量控制,为省、市、县3级气象部门开展专业化、精细化农业气象科研和业务服务提供数据支撑,从而较大程度地提升全省农业气象业务服务能力和技术水平。
基于目前的情况,四川省农业气象中心还需要构建B/S架构的农业气象综合业务服务系统,在农业气象服务业务系统(数据支撑部分)的基础上构建省、市、县3级农业气象综合业务支撑体系。本次建设的系统包括内部业务系统和手机客户端。业务系统通过B/S架构实现,在省一级集约化部署,省、市、县3级用户通过气象局内部网络使用和共享,本系统的数据将从农业气象服务业务系统(数据支撑部分)中获取[2]。
1 平台设计
1.1 平台架构
本系统采用J2EE架构体系、B/S架构方式进行设计开发,系统采用组件化的方式,遵循可扩展、可重用、可维护、高效敏捷开发的原则,自左向右按照统一的标准规范建立安全保障服务,确保系统开发规范和运行安全。整个架构从下到上分为4个层次,从左往右按照规范标准建立安全保障机制,具体如图1所示。
本项目基于大数据和云计算的技术框架来构建智慧农业气象数据库系统、产品制作系统和业务服务平台。该平台采用数据层、处理层和应用层3层结构体系。
数据层采用Oracle分布式数据库的大数据系统来实现农业数据库的存储和更新。农业气象业务服务涉及到观测、预报、模拟等要素。同时,除了观测和业务系统生成的可数字定义的结构化的数据产品要素外,在农业气象服务中还出现了大量非结构资料,如Word文档、文本文件、图片、视频文件等。随着农业气象业务和服务的发展,农业气象数据也体现出典型的大容量、存储久、可共享、可靠性强等特点,故采用Oracle分布式数据库来存储农业气象业务服务使用的数据。
处理层采用系统集成的业务模型对大量的农业数据进行处理。目前,对于实况、历史、预报、统计等数据,应采用ArcGis技术对地理空间分布进行反距离权重算法插值,生成空间色斑图展示。
应用层为用户提供数据存储的物理结构和目录体系,以实现对数据的管理。通过构建自动化与人工交互相结合的数据入库流程,实现全流程监控;建立分布式数据库的大气、土壤、作物、灾情等数据访问接口[3-4],从而实现数据存储、调用的高效化,大大提升用户体验。
1.2 功能结构
四川省农业气象综合业务系统主要包括数据分析平台、业务支撑平台、科研支撑平台、专家知识库平台、系统管理平台等5个子系统,其组成结构如图2所示。
1.2.1 数据分析平台。通过与已有的农业气象数据库进行通信,仅为本系统提供数据接口,实现数据流的标准化、规范化流转,同时建立基于农业气象业务数据的统计分析、制图等功能。
1.2.2 业务支撑平台。依据农业气象业务需要,业务支撑平台包括农业气象产品制作、灾情监测和气候区划分等模块,建立农业气象预报、情报预报,形成农业气象业务支撑服务[5-6]。
1.2.3 科研支撑平台。提供日常科研使用的数学模型和方法,利用一期数据库平台提供的数据,结合数学模型和方法进行分析,可计算出结果,同时可以对结果采用数学模型和方法进行验证,最终将模型纳入日常业务。省、市、县3级用户可共享模型,利用这些模型展开农业气象业务。
1.2.4 专家知识库平台。建设农业气象专家支撑平台,构建专家知识库,实现专家决策分析为农业提供气象服务和生产建议,同时构建专家知识库共享机制,保证专家库在省、市、县3级用户的共享和使用下逐步完善。
1.2.5 系统管理平台。对系统用户进行角色划分,配置省、市、县3级用户延伸到每个县用户。基于安全和使用严格区分用户的权限。同时,能根据用户所在地区进行划分区域,提供精细化和专业化农业气象服务。管理者能通过平台监控系统的运行状况,查看日志,便于后期的维护[7-8]。
1.3 软件环境
系统整体采用B/S架构,满足省、市、县3级用户通过浏览器在线访问系统平台,便于后期维护、数据安全的控制以及高效的开发效率和低投入的成本开发。①操作系统:服务器采用Windows Server 2012操作系统。②开发工具:使用Java、jsp、css、flex、JavaScript和jQuery等程序开发语言;集成开发工具为IntelliJ IDEA、Myeclipse;以Web Service为访问接口;开发版本同步工具SVN;数据库访问工具PLSQL。③运行环境:数据库系统采用现在流行的Oracle数据库;应用服务器采用Tomcat8;GIS服务器采用ArcGIS 10.1版本;在线产品编辑采用Pageoffice 4.0版本[9-10]。
1.4 网络部署结构
本系统采用B/S架构,采用省一级集约化部署,省、市、县3级用户通过气象局内部网络进行使用和共享,外网的手机APP为了保障系统的安全性,需要通过DMZ区进行访问控制,本系统的数据将从已有的农业气象数据库中获取[11-12]。具体网络布署结构如图3所示。
2 平台核心功能与实现
2.1 存储管理
存储管理采用多种方式进行数据管理,将数据集中存放于省中心数据库服务器中,以虚拟化的方式进行本地化存储。这样增强省、市、县单位数据分类管理,提高了系统的数据交换效率,保障了数据的安全性,减少了后期的维护成本。同时,与智能化接轨,自动采集有用数据进行存储,减少工作量,提高准确率。这样数据库可以按照不同需要进行输出,对数据进行加工整理,提高数据的分析能力。
2.1.1 数据自动采集。全省农业气象数据种类繁多,包括实况数据、历史数据、预报数据、农事站作物发育期数据、农田小气候数据、农田实景数据、产量预报数据、同化数据、产品文件资料数据等。这些数据不仅种类繁多,而且又分为不同时次,小到分钟数据,大到常年数据,并且每种数据本身包含的信息量和解析格式又有自己的特性,因而对数据进行自动化采集存储是平台建设的重中之重。
首先,通过全省气象信息传输网络自动接收目前全省农业气象数据信息的原始文件。其次,对农业气象数据进行分类,根据目前全省农业气象信息的编制格式标准进行数据的规范解析入库,开发出能兼顾不同数据格式的数据处理软件,实现统一数据格式及标准。最后,根据全省数据的不同渠道和时间进行数据同步更新和订正,保证数据的实时性和正确性。数据自动采集流程具体如图4所示。
2.1.2 数据存储。采用Oracl数据库,系统符合国家信息全等级保护二级(或三级)的相关规定。对接CIMISS收集各类气象实况要素、地理信息、灾害预警信息、气象服务产品、农田小气候数据、农村经济数据、作物生长情况、土壤墒情监测、指标信息、各类农业气象服务产品等,建立农业气象大数据库,数据通过分类进行子库存储[13-16]。存储形式分为数据化存储和非数据化存储。数据存储技术路线采用面向的是大数据的MPP架构的新型数据库。农业气象数据存储采用Shared Nothing架构,通过顺序存储、索引等多项大数据处理技术,同时结合MPP架构高效的计算效率,完成对农业气象数据的分析应用。运行环境PC Server成本較低,具有高效率和高扩展性的特点,适合数据量大的业务系统,应用极其广泛。这类MPP架构(图5)可以量化PB级别的数据分析,优于传统数据库技术,在行业处于领先地位。
2.1.3 数据输出。为了适应不同的业务分析要求,业务产品交互制作平台针对各种专题提供了多种文件输出格式,其中包括数据和图片的导出,导出的形式有.txt、.exl、.doc、.png、 .jpg、.pdf等。这些数据可以用来保存分析,也可以用来制作产品。
2.2 农业气象数据分析平台
通过与已有的农业气象数据库进行通信,仅为本系统提供数据接口,实现数据流的标准化、规范化流转,同时建立基于农业气象业务数据的统计分析、制图等功能,包括对基础要素、农田小气候数据、土壤墒情信息、灾害信息、农村经济信息、同化数据以及用户上传的调查数据进行查询统计、图表展示、GIS空间制图等[17]。
2.2.1 气象数据分析。气象數据包括地面气象数据(气温、降水、日照、湿度、风速、积温)、土壤水分数据、农事站观测数据、同化格点数据、预报数据等。通过自动采集的数据分类存放到数据库中,针对农业气象大数据的特性,对相应数据按类别进行功能设计,提供专业的气象数据查询分析,能够有针对性地进行数据查询和统计,完成日常工作中的数据报表收集、数据对比,针对气候条件对农作物生长发育过程中的影响情况提供数据支撑。同时,能通过ArcGIS在线生成空间分布图,展现全省的气象条件以及作物情况,为用户提供更直观的资源。
2.2.2 灾害自动分析。农业气象是判断气象条件对农业生产的影响。极端恶劣的天气会对农作物生长造成严重的影响,甚至产生灾害。本系统平台中添加了灾害统计模块,包括秋绵雨、连阴雨、凉夏、暴雨洪涝、湿渍害、霜冻、高温热害、干旱(春旱、夏旱、伏旱、冬干)、低温冻害(春季低温、初夏低温、盛夏低温、秋季低温)等,这些灾害都是可以预报的。通过气象数据的农业模型指标进行高效运算,根据多种气象因子综合量化后的结果,系统会自动进行统计运算,形成标准性和规范性的结论以供参考,以便及时关注天气变化,提前做好灾害防御工作。
2.3 农业气象专家知识库
建设农业气象专家知识库,实现专家决策分析为农业提供气象服务和生产建议[18],同时构建专家知识库共享机制,保证专家库在省、市、县3级用户的共享和使用下逐步完善。
省中心用户进行初设,后期市、县用户可以针对每个指标进行修改,但修改后也要保留之前的指标,修改时需要留下修改人信息和指标检验的情况,省、市、县3级用户均可查看和使用,进而显示统计指标的使用次数和使用用户所在地,从而知晓检测指标是否合理、是否被广泛使用。通过这种专家知识库共享机制,保证专家库在省、市、县3级用户的共享和使用下逐步完善。
2.4 气象服务产品制作平台
本系统提供省、市、县一体化的农业气象产品模板库,模板库内汇集各种类型农业气象服务产品的标准模板,库内所有模板省、市、县3级都可以调阅使用。同时各级产品制作人员也可以调取模板库中的模板进行个性化编辑,完成后保存为本地个性化产品,经过服务器统一发送到指定位置。
2.4.1 基础设置。专业气象服务产品的特点是专业性和可变性,对应的专业服务产品也需要专业的气象业务服务,同时也需要随时调整产品制作流程。因为产品制作是针对省、市、县3级的用户,所以使用过程中各类用户也有着不同的需求。系统采用统一模板库定时制作,在线编辑和预览,与以往的制作过程相比大大节省了时间,同时提供的基础服务也为用户制作产品提供可靠及有效的支撑。基础设置主要包括制作人、签发人、文件名、服务方式、产品类型、流程记录等,这些基础信息配置好以后,系统就会根据配置内容自动生成每期产品,只需要用户审核确认即可生成完整的产品。
2.4.2 制作流程。为了保障产品的规范化和流程化,在整个制作过程中也提高了可视化程度,可以按照系统提示逐步制作,让用户对每一个内容数据项进行确认和编辑,同时也熟悉整个产品的制作流程。为了提高系统的智能性,根据用户的基础配置,也能够定期为用户生成完整的产品,并存放到指定位置待用户审核,这样大大提高了工作效率,省去了中间很多不必要的环节。专业气象服务制作流程图如图6所示。
2.4.3 产品管理。产品的制作是通过模板库获取对应规范的产品模板,然后填充材料和图片说明,形成图文并茂的产品。可以随时打开制作好的产品进行编辑修改,审核通过后才能对外服务。每次操作过的产品记录都保存到历史信息中,便于后续跟踪查看。对外服务的农业气象产品有多种,包括农业气象旬报、农业气象月报、土壤水分监测公报、农用天气预报、农业气象快报、农业气候评价、农业气象专题分析报告、林业有害生物气象等级报告、农业气象灾情报告、特色农业气象服务产品、农业气象病虫害报告、雨晴通报等。
2.5 农业气象科研平台
提供日常科研使用的数学模型和方法,利用科研成果提供的模式,结合数学模型和方法进行分析,可计算出结果,同时可以对结果采用数学模型和方法进行验证。经过验证的模型为固定模板,根据市、县用户本地化使用,满足本地化需求,最终将模型纳入日常业务,省、市、县3级用户可共享模型,利用这些模型展开农业气象业务。
2.5.1 基础数学方法。将常用的数学方法以及校验方法在系统中展示出来,包括一元线性回归、多元线性回归、T检验、F检验等数学工具。工具的提供是以输入输出的方式,输入是用户提供的数据通过直接输入数字或者以规定格式的Excel数据表单上传,通过系统自动计算分析后输出结果,输出的结果形式包含结果数据集、图表等,经过检验后的数据或者方程以检验报告的形式返回。
2.5.2 农业气象模型。结合农业气象的实际生产和研究成果,将农业气象上比较成熟的模型作为可视化开发的农业气象工具,以数据库中现有的数据资料通过模型运算,根据气象数据影响因子综合判断作物生长情况,进而通过回归反复迭代检验模型的可靠性,最终固化形成符合本省农业气象的模型,往后再逐年校验调整参数,进而让模型更准确。将模型运算出来的结果进行分析判断,形成数据表格,再对比历史数据,掌握作物关于气象条件生长的规律,提供更好的服务支撑,同时简化数据并结合GIS形成空间图。目前,嵌入的模型有水稻高温热害模型、气候年景预测模型、基于水分盈亏指数的冬小麦干旱模型、基于湿润指数的干旱等级模型、基于水分盈亏指数的玉米干旱模型、湿润指数模型、土壤水分推测模型、基于水分盈亏指数的水稻干旱模型、基于SPEI指数干旱模型、攀西烤烟模型、冬小麦适宜度模型、夏玉米适宜度模型。
3 关键技术解决方案
3.1 数据自动转换
由于气象信息数据的采集来源较多,数据种类繁多。采集进程相应也比较多,数据维护工作较重[19]。从采集的处理过程看,数据采集主要分为信息收集(FTP传输、数据库采集、网络交换)、解码/解锁、入库几个阶段。因此,可以通过参数配置将这几个阶段涉及到的设备信息、处理、存储位置通过配置实现自动化管理。自动化配置需要创建相应的规则库,从而自动化匹配不同型号设备、不同数据种类、不同格式的数据。
3.2 J2EE技术
本系统采用J2EE架设整个系统,Java是一个开源的、跨平台的语言系列,拥有高效的、丰富的函数库。J2EE技术可满足农业气象复杂多变的需求,更能体现出该技术的灵活性和扩展型,保障了后期的平台运行和维护。
本系统需要通过专线网络实现省、市、县3级的业务平台的资源共享,J2EE Web架构技术能根据B/S模式进行Web形式访问,可确保系统升级的一致性和技术的兼容性,由省级统一部署便于管理和节约成本。因此,本方案采用基于J2EE技术体系的架构,同时采用spring、springmvc、mybatis等框架,实现界面、业务逻辑与控制等模块有效的分离,保障系统稳定运行。
3.3 在线文档编辑
产品的制作采用先进的Page Office,它是一款帮助Web应用系统或Web网站实现用户在线编辑文档、模板动态填充、在线输入提交的一种方式,是目前Web Office在线编辑的一个全面、先进、高效的解决方案。在产品制作过程中实现的功能有:①在Web网页里在线打开、编辑、打印预览在线文档;②提供产品修订痕迹、发送、电子印章等公文模块的必备功能;③根据产品需要动态填充文本、图片、表格等进行定时自动化制作产品;④支持另存到本地、保存到服务器、发送到指定地方等功能;⑤根据用户权限控制产品的编辑、审核、流转。
3.4 GIS技术
根据气象业务的特点,需要图形化地展现各种气象因素。通过构建GIS服务平台,在电子地图上,可以对农业气象要素信息、地理分布信息、图层控制信息、运行状态信息等进行分类别、分层次、分区域的展示,为预报人员、产品制作人员、分析决策及预警信息等提供更直观的地理位置信息支持,具体包括地图文件打开、地图放大、缩小、保存,动态添加、修改、删除地图要素,不同插值的运算,可以选择多种图层风格,地图的打印输出等功能。
3.4.1 基于GIS的农气产品制作。基于GIS地理信息系统,建立农业气象服务产品制作软件框架,实现精细化地理信息、作物特殊地理信息、气象数据和服务产品的叠加显示、数字化编辑制作、个性化产品生成[20]。特别是针对农业气象服务,开发相关农业气象图形化产品制作软件,将GIS融入更多农业气象信息,进一步细化社会经济信息和农业气象信息,使之与地理信息融合更加紧密。
3.4.2 基于GIS的农气产品显示。基于B/S模式,采用分层架构设计、模块化的设计思路,构建稳定、高效的业务平台。结合地理信息系统(WebGIS技术),将GIS系统和农业气象业务数据有效结合,实现农业气象信息精确化的显示和农业气象服务产品的精准化展示。
4 应用情况
四川省农业气象业务平台(图7)于2016年试运行,2017年川气减函(2017)30号文件确定该系统正式投入全省业务化运行。由此摒弃了以前杂而乱的业务系统,实现了省、市、县3级业务平台共享,省级对上统一编整资料上传国家局,对下指导市、县2级开展工作,同时提供重要的业务平台服务。为保证服务质量,通过短信、语音、建立QQ群以及平台留言等方式,收集用户的使用情况和建议,从而达到完善系统建设的目的。
至今系统仍保持流畅、稳定、高效的运行。实践证明,系统平台的成功建立,加快了农业气象的自动化、集约化和智慧化的步伐,减少了工作人员重复的操作,实现了数据资源的可视化,提高了农业气象服务的整体质量。
5 结语
农业气象综合服务系统通过系统自动化定时收集、解析入库并对数据进行自动统计分析,为四川省各市县提供决策服务发挥了重要的作用。本系统平台解决了以前杂而乱的各类气象服务软件,同时本平臺接入了省、市、县3级用户的使用,实现本地化特色服务,共享了省、市、县3级资源,开创了全国农业气象服务的共享理念,同时高效的运算效率、智能的服务、大数据的存储、GIS服务框架以及多用户的并发控制具有一定的先进性,为其他省份提供了借鉴。系统自投入使用以来,运行稳定、高效、方便快捷,具有良好的推广应用前景。
随着农业气象信息化和智能化的不断深入,将引入农田小气候的数据,强化农田小气候管理和开展新的业务体系。同时,强化学习,开发基于格点资料的省级农业气象业务产品,并按要求上传国家气象局。系统尚在不断完善中,用先进的技术创造更有用的价值,推动农业气象信息化服务不断发展。
6 参考文献
[1] 王馥棠.中国气象科学研究院农业气象研究50年进展[J].应用气象学报,2006,17(6):778-785.
[2] 李威,李晓红.Web应用存储型XSS漏洞检测方法及实现[J].计算机应用与软件,2016,33(1):24-27.
[3] 李艳兰,罗莹,黄雪松.广西农业干旱动态评估模型[J].广西气象,2006,27(2):11-14.
[4] 王华兰,赵同应,魏宗记.山西省农业干旱研究[J].中国农业气象,1998,19(1):10-14.
[5] 李芬,于文金,张建新,等.干旱灾害评估研究进展[J].地理科学进展,2011,30(7):891-898.
[6] 邓国,李世奎.中国粮食作物产量风险评估方法[M]//李世奎.中国农业灾害风险评价与对策.北京:气象出版社,1999:122-128.
[7] 宋巍,张春柳,邬斌亮.Web系统性能测试研究与实践[J].计算机应用与软件,2015,32(3):4-6.
[8] 孙想,吴华瑞,李庆学.农业海量信息资源管理平台设计与实现[J].计算机应用与软件,2015,32(3):75-78.
[9] 赵林林,何永鑫.基于GIS的油田地面工程可视化管理系统的实现[J].计算机应用与软件,2015,32(3):93-96.
[10] 杜欣,赵康,倪友聪,等.一种基于逻辑的Java模块依赖图构建工具[J].计算机应用与软件,2016,33(4):6-10.
[11] 冯凯,陈军,王鹃,等.基于统计学的Web论坛增量更新策略研究[J].计算机应用与软件,2017,34(6):31-36.
[12] 杨丽琴,康国胜,蔡伟刚,等.业务流程挖掘算法研究[J].計算机应用与软件,2016,33(4):44-50.
[13] 甘书龙,付绶宁,唐洪潜,等.四川省农业资源与区划[M].成都:四川省社会科学院出版社,1986:90-92.
[14] 陈淑全,罗富顺,熊志强,等.四川气候[M].成都:四川科学技术出版社,1997:139-142.
[15] KARL T R.Some spital characteristics of drought duration in the United Stated[J].Journal Climate Applied Meteorology,1983,22:1356-1366.
[16] 四川亚热带丘陵山区农业气候资源及开发利用课题组.四川亚热带丘陵山区农业气候资源及开发利用[M].成都:四川科学技术出版社,1997:256-270.
[17] 程志华,杨孝果,付雄.面向大规模云数据中心的轻量级监控研究[J].计算机应用与软件,2017,34(6):7-11.
[18] 陈怀亮,余卫东,薛昌颖,等.亚洲农业气象服务支持系统发展现状[J].气象与环境科学,2010,33(1):65-72.
[19] 董中强,郑海霞,徐芙枝,等.中国农业气象信息技术的发展趋势[J].河南农业科学,2002(11):8-9.
[20] 余劲松弟,佟瑞菊,陈远杰.GIS时空参考动态坐标系Web标识与解析[J].计算机应用与软件,2018,35(3):21-26.