经济林果水旱灾害综合数据库设计与建设实践:以北方苹果/葡萄水旱灾害为例*
2022-10-25何延波姜月清毛留喜刘布春卢业伟
何延波,刘 园,姜月清,毛留喜**,刘布春,卢业伟
经济林果水旱灾害综合数据库设计与建设实践:以北方苹果/葡萄水旱灾害为例*
何延波1,刘 园2,姜月清1,毛留喜1**,刘布春2,卢业伟3
(1.国家气象中心,北京 100081;2. 中国农业科学院农业环境与可持续发展研究所/作物高效用水与抗灾减损国家工程实验室/农业农村部农业环境重点实验室,北京 100081;3.云众世纪科技有限公司,北京 100081)
以北方为主产区的中国两大经济水果苹果、葡萄常见的水旱灾害为例,收集整理长时间序列气象、水文、灾害、生产管理、遥感及其反演参数及土壤属性、基础地理信息等多类数据,并通过数据质量控制、标准规范制定、数据库总体方案及数据库接口设计,采用开源MySQL数据库建库技术,构建了基于C/S架构的经济林果水旱灾害综合数据库;同时基于数据库软件开发工具、GIS中间件、Quartz开源组件等,引入RBAC模型,研制了数据库管理子系统,建立数据库完备安全机制和作业调度机制,实现完善的数据采集、更新、管理、查询、分析和高效访问与共享功能,为苹果、葡萄水旱灾害监测预警、风险评估模型以及风险转移综合防范技术决策服务平台建设提供数据支撑。以北方苹果和葡萄水旱灾害为例的经济林果水旱灾害综合数据库的成功建设,为其他地区、其他林果种类和其他灾害类型的灾害综合数据库建设提供了宝贵经验。
经济林果;苹果;葡萄;多源数据;数据库;灾害;洪涝;干旱
苹果、葡萄长年来为中国主要水果。据国家统计局数据,2019年全国苹果产量为42425.4kt,葡萄为14195.4kt,分别位列水果产量第2、4位;从果园面积统计看,苹果和葡萄分别以1978.10khm2和726.20khm2处于第2、4位(https://data.stats.gov.cn/ easyquery.htm?cn=C01)。从果园分布上看,苹果有渤海湾、西北黄土高原、黄河故道和秦岭北麓以及西南冷凉高地4大产区;葡萄有东北中北部、西北地区、黄土高原、环渤海湾、黄河故道、南方地区及西南冷凉高地7大主产区,中国北方的广大地区是苹果、葡萄的共有主产区。因此,开展北方地区苹果、葡萄两大主产水果生产中相关灾害监测、预警与评估研究工作,可集中有限精力去了解一部分主产水果在生产实际中的灾害特性,建立灾害综合风险评估指标体系,为科学防灾减灾决策服务的同时,也为后续其他水果种类或其他地区水果生产灾害研究与业务服务工作积累经验。
近年来,在全球气候变化背景下,自然灾害特别是气象自然灾害频发,农业生产损失严重[1]。根据中国气象局资料统计,所有自然灾害中以气象灾害占比最大,达70%以上,每年气象灾害造成的经济损失约占国民生产总值的1%~3%[2−3]。而气象灾害风险特征分析表明,在气象灾害中,干旱、洪(渍)涝等灾害造成的经济损失相对较大[4−5]。对于苹果、葡萄产区来说,干旱、洪(渍)涝等灾害影响也是十分严峻的。暴风、暴雨等极端天气破坏果园设施,致使葡萄园遭受洪(渍)涝害时有报道;干旱导致水资源缺乏,苹果园因无水灌溉致使果树受旱死亡也不鲜见。杨小利等在构建甘肃东部苹果气象灾害综合风险评估指标体系时,选用包括危险性、易损性、敏感性和防灾减灾能力4个方面的12个指标,其在危险性评估的5个指标中,就选用了春末初夏干旱、伏期干旱、着色期连阴雨3个指标,与旱涝相关的指标占据了较大比重[6];葡萄生育期内气象条件分析表明,干旱、连阴雨均是影响葡萄产量与品质的主要灾害之一[7],因此,水旱相关灾害在苹果、葡萄产业链中有着较大影响。
在苹果、葡萄生长发育期内,不同时期内水旱灾害的影响不同,总体上,苹果、葡萄水旱灾害都会导致落叶、落果现象,易诱发病虫害发生,果品商品率或优果率下降,严重时树株死亡[8−12]。此外,多雨渍涝天气还会致使苹果、葡萄果树根系窒息、腐烂、果实开裂或裂纹、着色不良、含糖量下降;持续高温干旱少雨天气也导致果树树体衰弱、抽枝困难,果实品质差。水分过多或过少,均对苹果、葡萄生长产生不利影响或危害,适宜的水分条件是确保产量与品质的基本条件之一。
对于水旱灾害对苹果、葡萄等经济林果的影响研究,前人也开展了一些工作,主要集中在灾害原因分析及其应对措施[13−17],或建立水旱灾害相关指标体系,开展灾害危险性评估或风险区划[18−19],但尚未建立一套完善的技术体系,实现水旱灾害的灾前预警、灾中监测、灾后评估,进而引入林果灾害保险机制,转移和分散林果水旱灾害风险,达到防灾、减灾、救灾之目的。究其原因,主要缺乏完善的数据支持来实现上述目标。
事实上,无论从灾害综合研究、灾害综合风险评估指标体系构建,还是灾害监测、预警与评估业务服务与科学防灾减灾决策制定,致灾因子、孕灾环境、承灾体还是灾情等级、影响范围与程度等用于描述灾害相关数据的获取及有效管理,都在农业生产的各阶段都起着至关重要的作用[20],也是农业防灾减灾领域科学研究、业务服务的重要基础支撑[21]。丰富的农业灾害数据不仅可为高效开展农业灾害监测预警、应急响应、风险评估和救灾决策提供充足有效的信息,也是提升灾害管理能力,减低农业灾害损失,实践农业灾害风险转移综合防范技术的迫切需求[22−26]。
随着农业政策调整和人们生活水平的提高,中国经济林果产业发展迅速,规模与产量逐年增加,经济林果灾害的敏感性及其农业气象风险越来越引起经济林果产业工作者和科学家的广泛关注,但经济林果相关的灾害数据缺乏长期且完整的记录,也未见相关数据库的构建,因而在科研及业务工作中缺乏相应的综合数据集以支持工作深入开展。
数据库技术是计算机科学技术中发展最快、应用范围最广、实用性最强的技术之一。数据库技术在生产或科研活动中主要用于数据管理,以提高数据的应用效率和管理时效[27]。数据库技术在中国农林科研领域和业务服务中已获得较为广泛的应用[28],是“智慧农业”、“数字林业”的关键技术之一[29−31]。因此,利用数据库技术开展经济林果灾害数据的收集、整理工作在技术上是可行的。虽然,经济林果水旱灾害综合数据库建设面向专业应用,在利用数据库技术管理数据上与通用数据库数据管理会略有差异,但也都包括有数据库设计、数据库功能及数据库应用等通用的几个方面内容,实际上,经济林果水旱灾害综合数据库建设也包含通用的数据库建设内容。尽管经济林果灾害研究涉及的数据具有多学科领域、多时空尺度、多来源的多样化特性,具备一定的多源属性,但均可由数据库技术进行编译处理,并结合其他IT技术得以高效管理。
1 数据库建设
1.1 建设目标
在国家重点研发计划项目“林果水旱灾害监测预警与风险防范技术研究”支持下,以北方苹果和葡萄水旱灾害为例,将数据库构建技术作为手段,收集整理长时间序列气象、水文、灾害以及遥感等各类数据,满足多源、多尺度大容量数据集存储管理、空间数据分析与挖掘以及果园生产管理决策措施制定等需求;通过数据的质量控制、数据标准及规范设计、数据库总体设计以及数据管理、共享方案设计等,建立了经济林果水旱灾害综合数据库并研发数据库管理系统,为经济林果水旱灾害的监测预警、风险评估模型以及风险转移综合防范技术等相关研究与服务工作的开展提供数据支撑,以提高林果生产风险防范的能力。并在此基础上,拟将积累的工作经验推广到全国其他地区、其他水果种类的灾害综合数据库建设,为林果产业或其他经济作物的灾害监测预警与风险防范决策服务。
1.2 设计原则
经济林果水旱灾害综合数据库存储和管理所有相关数据,在充分分析多源数据特性的基础上,采用MySQL建库技术,以关系数据库管理系统(Relational Database Management System,简称RDBMS)方式存储包括经济林果水旱灾害监测相关气象、水文、灾害等数据,灾害评估模型及其参数,业务平台及数据库系统的配置、运行日志等信息。数据库设计中遵循了必要的数据库范式理论,以确保数据的完整性与正确性。
(1)数据库命名。数据库、表、索引等对象的命名遵循统一的设计原则,同时参照《气象数据库系统存储及命名规范》等已颁布的行业或国家标准[32−33],采用统一的命名规则,如设计字段在规范中已存在,可直接引用;否则,重新设计,以方便各类用户和管理员查询、使用和维护。
(2)公用表。对经常使用的、共用的数据(如某些参数、代码表或站点信息),设计单独的表并以表链接的方式进行共用信息访问,以便于信息维护的同时,减少记录数量,提高用户访问效率。
(3)索引。对于大的数据库表,合理的索引将会提高整个数据库的操作效率。在索引设计中,索引字段挑选重复值较少的字段;对建有复合索引字段进行检索时,按复合索引字段建立的顺序进行。
(4)表分割。对长时间序列的数据库表,如长时间序列气象数据,由于其记录多,为提高数据访问效率,将数据库表按时间段分割成多个数据表进行信息存储管理。
(5)事务优化。遵照功能和非功能性要求,对数据库管理系统进行优化和参数调整,避免长事务的出现。
基于上述原则和经济林果水旱灾害监测、预警与评估业务及其所涉及多源数据的特点,将经济林果水旱灾害综合数据库划分为基础气象资料库、气候资源数据库、经济林果生产管理数据库、经济林果灾害数据库、水文资料库、土壤属性数据库、基础地理信息数据库、遥感及其反演参数数据库共8个逻辑库以分类存放对应数据信息。
1.3 总体架构
经济林果水旱灾害综合数据库系统是一个整合多源数据且集存储、管理与分析的大数据管理系统。面向经济林果水旱灾害的监测预警、风险评估平台建立与业务服务需求,不仅需要实现不断增长的经济林果水旱灾害数据与各类相关资源数据的存储管理,还需要兼顾多源信息资源整合、数据共享、大数据挖掘与分析等功能,为此,数据库系统总体架构的设计需要有良好的兼容性、扩展性与高效性。在当前较好计算机硬件资源支持下,考虑多源数据管理的便捷性和数据分析使用的方便性,数据库总体架构设计为由计算机软硬件资源层、数据资源层、基础服务资源层、业务应用层和用户层五个功能相对独立又彼此关联的结构层组成(图1)。
(1)计算机软硬件资源层。包括网络通信设备、MySQL数据库服务器、应用服务器、经济林果物联网设备等。
图1 经济林果水旱灾害综合数据库系统总体架构
(2)数据资源层。包括经济林果水旱灾害研究相关的气象、水文、生产管理、灾害及基础地理信息、果园土壤属性信息和遥感灾害反演信息等。
(3)基础服务资源层。围绕经济林果水旱灾害监测、预警与评估主线,以数据服务为核心,实现数据访问、GIS空间分析与可视化表达、系统配置与维护等常用功能、经济林果灾害监测、预警与评估模型算法等多类型基础类库,供系统直接调用。
(4)业务应用层。包括各类支撑应用、通用应用和专业应用,在基于框架和插件开发规范基础上,结合GIS/RS等功能组件、应用C#语言开发核心业务功能插件,然后按功能需求配置组装成应用子系统,如经济林果水旱灾害综合数据库系统的数据库管理应用子系统所具有数据调度、综合展示、查询和统计分析等功能。
(5)用户层。包括经济林果水旱灾害综合数据库系统的管理维护人员和数据应用分析人员、临时数据访问人员,如数据库管理员(系统维护)、科研人员(数据收集、整理、分析及模型构建)、业务应用人员(数据库业务运行、产品制作与决策服务)、公众用户(临时用户数据访问)等。
1.4 建设内容
根据经济林果水旱灾害综合数据库管理数据特性及其储存访问方式(表1),分别建设了8个主要数据库。
(1)基础气象资料库。包括基于地面气象观测站点的地面气象日值数据库表、30a日值标准数据库表和全国城镇站点预报产品数据集以及基于格点的CMA陆面数据同化系统实时数据产品集(CLDAS2.0)和GRAPES数值预报产品。
地面气象日值数据库表:收录826国家基本、基准气象站,1961年以来逐日观测的日值数据资料,包括平均气压、最高气压、最低气压、平均气温、最低气温、最高气温、平均水汽压、平均相对湿度、最小相对湿度、20:00−次日8:00降水量、8:00−20:00降水量、20:00−次日20:00降水量、小型蒸发量、大型蒸发量、平均风速、最大风速及其风向、极大风速及其风向、日照时数等要素。同时在日值数据库表的基础上,可派生出上述要素的旬、月、年值数据库表。
30a日值标准数据库表。826国家基本、基准气象站1981−2010年间日值数据库表中主要要素的30a日均值,包括平均气温、最低气温、最高气温、平均水汽压、平均相对湿度、最小相对湿度、20:00−次日20:00降水量、平均风速、日照时数等。
表1 经济林果水旱灾害综合数据库中主要数据及其存储方式
全国城镇站点预报产品。包括平均气温、最低气温、最高气温、相对湿度、24h降水量、风速等要素的预报日值,预报时效为1~10d。
CMA陆面数据同化实时数据产品。包含地面温度、土壤温度(5、10、40、100、200cm)、土壤湿度(0−5cm、0−10cm、0−40cm、40−100cm和100−200cm土层)、降水量、2m高处相对湿度、风速等要素,时间分辨率为1h,空间分辨率为5km。
GRAPES数值预报产品。包括平均气温、最低气温、最高气温、降水量、相对湿度、风速等要素的预报日值,预报时效为1~10d。
(2)气候资源数据库。从基础气象资料库派生出来,主要保存系统统计过程中产生的年、季、月、旬等气象要素站点平均值、累计值等气候资源类库表,也包括年、季、月、旬等气象要素站点距平值等要素。
(3)生产管理数据库。苹果、葡萄主产区内果园及其生产管理信息、气象观测站与园区对应关系、主产区主要品种及关键发育期、平均发育期等信息。
(4)经济林果灾害数据库。从果园实地调研、统计年鉴等获得的苹果、葡萄生产过程中有重大影响的灾害数据信息,包括干旱、洪涝、低温霜冻、连阴雨等灾害。
(5)水文数据资料库。存储主要与经济林果生产相关的水资源信息,包括与基本基准气象站相匹配的自动土壤水分观测站的位置信息、8:00土壤相对湿度观测值等;与林果生产水资源相关水文站位置信息及其主要河流水位、流速及水库水位、库容等信息。
(6)土壤属性数据库。基于全球土壤数据库(HWSD V1.2.1)中国地区的1:100万土壤数据集,提取主产区分层的土壤深度、土壤有机质含量、黏土含量、粉砂含量、砂土含量、砾石含量等土壤属性数据,并估算土壤田间持水量、饱和含水量(最大含水量)、有效水含量、凋萎系数、田间持水量、容重、饱和导水率等土壤属性及水文常数数据。
(7)基础地理信息数据库。基于国土资源部公布的,整体现势性为2015年的全国1:100万基础地理数据集,提取全国范围内经济林果果园相关的行政区(面),行政境界点(领海基点),行政境界(线),水系(点、线、面),公路、铁路(点、线),居民地(点、面),居民地地名(注记点),自然地名(注记点)等12类要素。基础地理信息的主要作用是作为模型建模、数据库查询及数据可视化分析等的辅助数据。
(8)遥感及其反演参数数据库。包含部分果园的MODIS、FY-3A等卫星的L3数据及其反演的NDVI、VCI、果园地物分类结果、经济林果灾害反演参数等相关信息。
2 数据库的核心功能
2.1 管理系统
以充分满足经济林果水旱灾害综合数据库监测、预警与评估科研和业务产品制作数据需求为指引,依托数据库总体设计,通过数据分类编码、元数据标准、数据规范、质量控制标准、数据库逻辑与物理结构、数据库接口规范、数据安全策略等设计,基于数据库软件开发工具、GIS中间件、Quartz开源组件等,开发了数据库管理子系统,建立数据库作业调度机制,研发数据查询和统计分析等功能模块。为提高统计分析的执行速度,针对均值、距平等查询、统计操作等,管理系统通过预先定时作业,完成基于站点尺度的平均值统计和累计值统计,并将相关的统计结果保存在气候资源数据库中。当重复统计操作时可直接调用存储的统计结果,避免重复运算,提高数据库访问效率。管理系统还提供了简单的数据可视化表达功能,包括站点数据的空间展示、行政区划等矢量数据绘制、遥感反演结果栅格数据渲染等可视化操作以及通用的地图缩放、平移、图层管理和模板定制等功能。
2.2 数据查询
数据查询检索模块可对选定范围内的二维属性数据库表,如气象、水文、灾害、生产管理等进行要素查询,并通过阈值设置,实现定制查询。在数据库管理系统的支持下,查询数据结果可以图或表形式实现查询结果的可视化表达(图2)。也可对文件形式存储的格点要素数据进行查询并以渲染的图形化进行可视化表达。主要查询功能包括以下几方面。
(1)地面气象要素等离散数据查询。通过按台站、行政区域、林果种植区域(果园)等方式,并进行时间、要素等设置,可实现多方式组合的数据查询,包括水文、气象要素的日、旬、月值数据及台站基本信息在内的多种数据库信息查询,如气象日资料、气候资源数据库表中的平均气温、最高气温、最低气温、降水量等要素查询;经济林果历史灾害数据查询,如灾害种类、林果品种、成灾面积等,查询结果可进行表格或图形化(柱状图、散点图、折线图)展示。
图2 经济林果水旱灾害综合数据库数据查询
(2)遥感反演参数等栅格数据查询。按行政区域等方式查询遥感反演参数(NDIV、果园面积提取、灾害监测结果等)、土壤属性(土壤含沙量、田间持水量、容重等),查询结果以栅格渲染图展示。也可对栅格类的CMA陆面数据同化实时数据、GRAPES数值预报产品进行查询展示。
(3)经济林果生产资料查询。提供收集的全国范围经济林果相关生产资料查询,可按行政区域、经济林果种植区域(果园)或站点检索,包括经济林果发育期信息、产量、品质、生产管理措施等,检索结果以表格或文本展示。
2.3 统计分析
统计分析模块可实现兴趣区域范围内任意时段、日、候、旬、月、季、年的基本农业气象统计,并提供阈值设置,统计数据结果可进行图表显示(图3)。
(1)累积值统计。包括单站及区域的活动积温(≥0℃·d、≥10℃·d)、有效积温(≥0℃·d、≥10℃·d);起止日内累积降水量、参考蒸散量;日照时数和太阳辐射等。
(2)平均值统计。包括某一时段平均气温、平均最低气温、平均最高气温、平均气温日较差和平均相对湿度等。
(3)稳定通过日期统计。包括稳定通过界限温度(0、5、8、10、13、15、18和20℃)的初日和终日,以及初日到终日期间的日数、平均气温、活动积温、有效积温、日照时数、太阳辐射、降水量和参考蒸散量等。
(4)初霜日、终霜日和无霜期统计。降温季节里第一次出现最低气温≤0℃的日期、升温季节里最后一次出现最低气温≤0℃的日期及一年内终霜日与初霜日之间的间隔日数。
(5)距平值统计。包括各个时段的气温、降水量、日照时数等与30a日值标准(1981−2010年平均值)的距平。
(6)某一时段某个变量符合某种条件的日数和连续日数统计。包括无霜期内的无降水日数、某一时段内的连续无降水日数、日最高气温≥35℃的日数、日平均气温≥30℃的日数、日最低气温小于−20℃的日数等。
图3 经济林果水旱灾害综合数据库统计分析
3 数据库建设的关键技术
3.1 数据采集技术
(1)气象数据实时数据采集。在项目实施阶段并获得授权的情形下,在中国气象局气象云平台,遵循气象数据统一服务接口(MUSIC:Meteorological Unified Service Interface Community)及其相关标准规范,通过MUSIC接口,设置好时间、台站级别(基本、基准站)等控制条件,从中国地面日值资料(SURF_CHN_MUL_DAY)、中国地面旬值资料(SURF_CHN_MUL_TEN)、中国地面月值资料(SURF_CHN_MUL_MON)、中国地面年值资料(SURF_CHN_MUL_YER)、全国城镇站点预报产品要素资料(SEVP_CHN_WEFC_RFFC)、CMA陆面数据同化实时数据小时NC产品−亚洲(NAFP_ CLDAS2.0_RT_HOR_ASI)和GRAPES区域中尺度预报产品(NAFP_FOR_FTM_LOW_GRAPES_CHN)等表中实时获取经济林果水旱灾害综合数据库所需的基础气象观测与预报数据、气候资料等。
(2)果园气象综合观测站数据采集。项目期间,经北京市顺义区中国农业科学院农业环境与可持续发展研究所综合试验基地(顺义区七大路与Y415交叉路口)果园气象综合观测站授权许可,数据库管理系统目前可远程访问且以FTP数据下载方式从果园业务气象综合观测站实时获取数据,以更新实时果园气象观测信息库表,更新信息包括空气相对湿度、气温、光合有效辐射、空气二氧化碳浓度等气象要素以及土壤温度(30、50cm)、土壤湿度(5、10、30、50、70cm)等经济林果生长环境要素和部分果园管理措施信息。
3.2 信息安全技术
(1)采用C/S架构设计。信息安全是目前大数据时代关注的重点话题,一旦发生数据泄露,包括数据丢失或者数据被窃取,都会造成难以估量的损失。基于C/S架构的RDBMS数据库系统在信息安全方面具有一定优势,一方面,数据信息存储在数据库中并接受数据库系统管理及可疑信息的安全审查,另一方面,数据库系统服务器通过侦听用户端的各种连接请求,只有通过验证之后的用户才可以建立起服务器端和客户端机器间的数据库访问连接,实现数据库中的数据访问。经济林果水旱灾害综合数据库系统使用者既有科研人员,也有授权公众用户,甚至开放了有限数据给未授权用户访问,对数据库系统安全有着较高要求。此外,经济林果水旱灾害综合数据库数据来源是多源的,包括来自现有业务运行数据库系统(中国气象局气象云平台)、果园业务运行的气象综合观测站的实时、近实时观测数据和收集或交换来的数据文件。为此,采用C/S架构建设林果经济林果水旱灾害综合数据库系统即可实现系统的高安全性目标,同时通过数据库管理系统,在Quartz任务调度引擎支持下,实现数据库多源数据的实时采集。
(2)采用分级访问权限设定。经济林果水旱灾害综合数据库系统具备严密的数据质量控制,并严格遵循相关数据规范,确保用户可从数据库获取正确、规范的数据信息;同时采用成熟的基于角色的权限控制(Role-Based Access Control,RBAC)模型[34−35],将数据库系统用户通过其角色与权限进行关联,建立详尽的用户访问级别和用户权限级别(表 2),确保通过认证的用户连上数据库后能访问到正确的数据信息。通过数据分级访问,确保用户顺畅使用数据库数据的同时也保证了数据库信息的安全性,维护系统稳定运行。
(3)采用实时和周期性数据自动备份。保证数据安全的一个重要方面是防范数据丢失,加强数据备份。在某些意外情形下,如遭病毒攻击或计算机硬件资源损坏,或操作系统故障,导致数据库系统崩溃,造成数据丢失,这时需要进行数据库系统恢复。数据库系统恢复的前提是已经做好了数据库系统的备份。数据备份包括物理备份与逻辑备份。经济林果水旱灾害综合数据库系统采用逻辑备份策略,主要是通过开启MySQL的lob_bin服务实现实时备份的同时,利用脚本进行增量和全量两种方式同时进行备份,以最小的工作量进行最全面的数据保护。具体做法是:周一−周六每日3:00执行增量备份,每周日3:00执行全量备份,备份完成后复制备份文件mysql-bin.00000n到移动介质上,同时删除上周留下的mysq-bin.00000n备份文件(n为1~7,代表对应周日期的备份文件)。复制文件完成后,移动介质脱离主机,达到离线备份的目的。
3.3 数据库性能优化
(1)SQL查询优化。随着数据库管理的数据量增加,关系型数据库管理系统(RDBMS)在处理较大数据量时性能会下降,此时,数据库系统优化成为重要工作。数据库性能与数据查询操作的执行效率紧密相关,因为查询操作是数据库系统的主要执行对象,其他的诸如数据的增删改操作也通常建立于所需数据的查询操作基础之上。因此,对查询操作的优化是提升数据库性能的主要手段。
查询优化通常是通过解析数据库系统的SQL查询执行过程,分析查询效率影响因素以通过创建有效索引、语句优化和合理利用查询缓存等措施来提升查询效率[36]。经济林果水旱灾害综合数据库主要采用SQL语句优化来优化、提升数据库性能。SQL语句优化主要采用了①采用等价表达式以减少“LIKE、IN、Between And”等不支持索引的运算符使用,②利用等式或不等式对查询条件进行化简,③尽可能使用多表连接查询,减少子查询次数,提高查询效率,④利用内连接替代外连接,加快查询速度等措施。
(2)人工智能数据库性能优化技术。随着机器学习深化与技术发展,人工智能也成为SQL查询自动优化技术的研究方向。其优化过程是利用人工智能反馈式搜索引擎对输入的SQL语句进行重写,形成N条等效的SQL语句,并再次输入人工智能反馈式搜索引擎中进行重写,反复此过程直至筛选出最佳的SQL语句,以提高查询语句执行效率[37]。经济林果水旱灾害综合数据库数据优化在SQL语句人工智能优化方面进行了初步尝试,虽未达到实用化程度,但依然是未来的重要工作方向之一。
表2 数据库权限分配
3.4 多源数据处理与存储技术
经济林果水旱灾害综合数据库所收集的数据涉及众多学科领域,不仅包含位置相关的空间数据,也包括水文、气象等长时间序列数据和水果品质、产量等社会经济统计数据,其数据的多源性特点十分明显。
(1)空间相关性。经济林果水旱灾害综合数据库研究对象为果树的生长状况,即在特定气候、气象条件下的受灾情况。果树的表征信息、相关环境参数均对应着特定的空间位置,即特定的地理单元。这样,对于一个地理单元,对应着多种类型的数据,如气象站点的经纬度、海拔高度、地形地貌、土壤等自然地理特征信息以及相关时间的温度、降水等观测值;行政单元、人口和产量等社会经济信息,信息的空间相关性十分明显。
(2)多时空性和多尺度。诸如气象、水文等序列数据,不仅有同一时间不同空间的数据系列,也有同一空间不同时间的数据系列。而空间数据序列还有空间分辨率的差异性,时间序列数据还有观测时间间隔的差异性。因此,从时空尺度上看,经济林果水旱灾害综合数据库序列数据集是多时空分辨率数据的集成。
(3)获取方法多源性。经济林果水旱灾害综合数据库数据来源具有多元化特点,包括从现有的数据库系统中获取,如从中国气象信息中心CIMISS系统中获取气象、气候数据;或从国土局地理信息中心获取行政边界数据;或从果园管理处获取的生产管理措施数据和果园实地调查数据;或从果园土壤、气象观测站直接获取的地温、气温等观测值实时数据;以及项目科研结果数据等。这些数据或API接口获取、或纸质记录录入,或数据存储介质转录,其数据进入经济林果水旱灾害综合数据库数据的方法是多样化的,数据处理方法也都各不相同。
(4)存储格式多样化。经济林果水旱灾害综合数据库系统不仅包括空间数据,也包括二维属性表数据。空间数据还包括矢量数据和栅格数据,如行政边界、果园边界等矢量数据和果园遥感灾害反演参数、遥感反演果园面积分布等栅格数据。属性数据在数据库中以表格形式存储,便于SQL语句查询、统计分析;空间数据虽其数据本身储存在数据库系统外,是以文件库形式存储,但在数据库内以属性表形式存储空间数据文件的类型、用途、目录、文件名等信息。通过访问空间数据的属性数据表信息,实现从数据库中对空间数据的查询、引用。
4 数据库的应用
4.1 果园干旱风险监测
根据降水距平与干旱等级的对应关系(表3),2019年6月1−30日降水距平监测显示,环渤海苹果产区内的辽宁、河北、山东部分地区出现了不同程度的干旱(图4)。后经实地调研发现,由于6月无降水,且前期降水偏少,部分果园中树龄小的果树由于水资源紧张无法灌溉而出现旱死情形。
表3 降水距平干旱指标
图4 基于降水距平指数的北方苹果产区干旱监测(2019年6月1−30日)
4.2 鲜食葡萄裂果风险监测
2021年8月31日监测结果显示,由于前期华北、黄淮等地降水频繁,陕西、山西南部和山东大部出现重−特重程度的鲜食葡萄裂果风险,因此,根据鲜食葡萄成熟采收期裂果灾害指标[38],对处于成熟期的中国北方葡萄进行初步的裂果风险分析(图5),并为葡萄裂果等灾害业务产品制作和灾害监测、预警与评估提供先行预警信息。灾害分级指标见表4。
图5 北方鲜食葡萄主产区成熟期裂果灾害等级空间分布
5 数据库应用范围及注意事项
针对北方主产水果苹果、葡萄水旱灾害监测预警、风险评估模型以及风险转移综合防范技术决策服务平台建设之需要,通过广泛的数据收集与管理、数据库详尽设计,在国家重点研发计划项目支持下,构建了林果水旱灾害综合数据库,为相关研究与服务工作的开展提供数据支撑。
数据库收集整理的长时间序列气象、水文、灾害以及遥感等各类数据,不仅满足了水旱灾害监测与风险区划、防御措施制定之需求,还通过引入气象预报数据等,结合实测数据及其他支持数据,使构建监测、预警与评估综合模型和建立一套完善的技术体系成为可能,以实现苹果、葡萄水旱灾害的灾前预警、灾中监测、灾后评估,并引入保险机制,转移和分散林果水旱灾害风险,达到防灾、减灾、救灾之目的,提高林果生产风险防范的能力。同时,认真总结目前仅服务于北方区域苹果、葡萄水旱灾害相关工作的综合灾害数据库建设经验,并将相关成功经验推广到全国其他地区、其他水果种类的灾害综合数据库建设,为林果产业、或其他经济作物的灾害监测预警与风险防范的决策能力建设服务。
尽管目前针对灾害综合数据库的推广开展了一些工作,如目前的林果灾害综合数据库收集管理的气象、水文、土壤属性等数据不仅仅局限于北方地区,而是全国范围的;同时,收集整理的灾害信息也不仅仅局限于水旱灾害,其他的如冷害、冻害、冰雹等也都有涉猎,苹果、葡萄外的其他林果种类如柑橘、梨、桃等的灾害影响信息也都有收集,这也为后续其他地区、其他林果种类或其他灾害的研究奠定了初步的数据基础。
当然,在此基础上,开展其他地区、其他林果种类或其他灾害的灾害监测、预警与评估研究,提高林果生产风险防范的能力建设工作,还需要进行特定区域、特定林果种类和特定灾害类型的背景环境、林果生长特性、历史灾害信息、灾害指标等一些信息的补充与完善,并在此数据支持基础上,构建监测、预警与评估综合模型和建立一套完善的技术体系,才能实现提高林果生产风险防范能力的目的。这是下一步的工作方向,也是提高整个全国林果产业风险防范能力的正确方向。
表4 鲜食葡萄成熟采收期裂果灾害降水等级指标
从整个数据库建设过程上看,目前经济林果水旱灾害综合数据库设计与建设是成功的,实现了预期目标。但在整个数据库构建过程中,并未使用目前最为先进的数据库技术。特别地,随着互联网技术与应用的飞速发展,数据库技术得到了长足进步。从数据库技术发展与部署方式上看,数据库已经从集中式的单一数据库和数据库集群、分布式数据库逐步发展到现今的云数据库。云数据库是指部署到虚拟云计算环境中的数据库,与传统的分布式数据库相比,云数据库具有高可扩展性、高可用性,具备强大的数据存储能力,可最大限度处理海量数据,满足大数据处理需求[39]。但对于目前处于科研实验阶段的经济林果水旱灾害综合数据库来说,尽管有着分布式访问需求,但数据量尚未达到海量数据级别;而且对处于项目阶段的科研实验性质数据库,基于数据安全上的考虑也不适宜于将经济林果水旱灾害综合数据库部署到公有云虚拟计算环境中。因此,构建运行于局域网内的单一数据库方案,具备较高的安全性,且计算机软硬件投入比重不大,技术方案成熟也易于维护;同时,由于所管理的数据量也不是十分巨大,业务应用也不是十分复杂,建立的经济林果水旱灾害综合数据库具备了高效的数据管理性能,达到预期目标。事实上,在IT技术爆发的时代,没有必要追新逐热,应用的技术满足需要就行。当然,随着工作继续推进,待管理的数据不断膨胀,服务需求也日益广泛时,采用数据库最新技术,部署广域网数据库系统也将提上日程。
[1] 国家减灾委办公室.2018年中国自然灾害图集[M].北京:中国地图出版社, 2019.
Office of National Disaster Reduction Committee. Atlas of natural disasters in China in 2018 [M].Beijing: China Map Press,2019.(in Chinese)
[2] 吴吉东,傅宇,张洁,等.1949-2013年中国气象灾害灾情变化趋势分析[J].自然资源学报,2014, 29(9):1520-1530.
Wu J D,Fu N,Zhang J,et al.Meteorological disaster trend analysis in China:1949-2013[J].Journal of Natural Resources, 2014, 29(9):1520-1530.(in Chinese)
[3] 房世波,阳晶晶,周广胜.30年来我国农业气象灾害变化趋势和分布特征[J].自然灾害学报, 2011,20(5):86-88.
Fang S B,Yang J J,Zhou G S.Change trend and distributive characteristics of agrometeorological disasters in China in recent 30 years[J].Journal of Natural Resources,2011,20(5): 86-88. (in Chinese)
[4] 卢丽萍,程丛兰,刘伟东,等.30年来我国农业气象灾害对农业生产的影响及其空间分布特征[J].生态环境学报, 2009,18(4):1573-1578.
Lu L P,Cheng C L,Liu W D,et al.Effect of the agricultural meteorological disasters on agricultural production and its spatial distribution characteristics during the last 30 years in China[J].Ecology and Environmental Sciences, 2009,18(4):1573-1578.(in Chinese)
[5] 刘兰芳,蒋凯伦,周松秀.2011-2015年中国气象灾害风险特征分析[J].衡阳师范学院学报,2017, 38(3):113-118.
Liu L F,Jiang K L,Zhou S X.Analysis of characteristics ofmeteorological disasters in China:2011-2015[J]. Journal of Hengyang Normal University,2017,38(3):113-118.(in Chinese)
[6] 杨小利,周嘉,周安宁,等.甘肃东部苹果多灾种气象灾害综合风险评估[J].中国农业气象,2021, 42(6):518-529
Yang X L,Zhou J,Zhou A N,et al.Integrated risk evaluation on multiple meteorological disasters of apple in eastern Gansu[J].Chinese Journal of Agrometeorology,2021,42(6): 518-529.(in Chinese)
[7] 孟丽霞,王溢梅,马秀兰,等.清徐县露地葡萄生育期气象灾害及防御措施[J].果树资源学报,2021,2(5): 57-60.
Meng L X,Wang Y M, Ma X L,et al.Meteological disaster and countermeasure during grape growth period in Qingxu county[J].Journal of Fruit Tree Resources,2021,2(5):57- 60.(in Chinese)
[8] 郝燕燕,赵旗峰,赵龙龙,等.山西雹灾涝害苹果受损及减损措施[J].果树资源学报,2021,2(6):64-65.
Hao Y Y,Zhao Q F,Zhao L L,et al.Disaster by flooding and hail and the method of disaster relief[J].Journal of Fruit Tree Resources,2021,2(6):64-65.(in Chinese)
[9] 刘彩香,王建国.干旱对苹果生产的影响及预防措施[J].中国园艺文摘,2016,32(8):196-197.
Liu C X,Wang J G.Effects of drought on apple production and preventive measures[J].Chinese Horiculture Abstracts, 2016,32(8):196-197.(in Chinese)
[10] 孙昂,刘利民,聂琳,等.商丘市苹果园主要自然灾害防控[J].山西果树,2019(5):71-73.
Sun A,Liu L M,Nie L,et al.Prevention and control of major natural disasters in apple orchards in Shangqiu City[J]. Shanxi Fruits,2019(5):71-73. (in Chinese)
[11] 许彦平,姚晓红,袁雅萍,等.农业气象灾害对甘肃天水苹果生产的影响[J].果树学报,2009,26(5):597-602.
Xu Y P,Yao X H,Yuan Y L,et al.Effects of agrometeorologicaldisasters on apple production in Tianshui,Gansu Province[J]. Journal of Fruits Science,2009,26(5):597-602.(in Chinese)
[12] 王凤琴.乌海市葡萄生育期气象条件分析及灾害防御[J].内蒙古气象,2013(3):23-24.
Wang F Q,Analysis of meteorological conditions and disaster prevention during grape growth period in Wuhai city[J].Journal of Inner Mongolia Meteorology,2013(3): 23-24. (in Chinese)
[13] 马延庆,刘长民,朱海利,等.陕西咸阳渭北旱塬地区优质苹果基地生态气候特征分析[J].干旱地区农业研究, 2008,26(1):146-153.
Ma Y Q,Liu C M, Zhu H L,et al.,The analysis of ecosystem characteristic of high quality apple producingbase on Weibei arid plain region in Xianyang of Shaanxi Province[J].Agricultural Research in the Arid Areas,2008,26(1):146-153. (in Chinese)
[14] 张名福,廖炜原,吴联生,等.红地球葡萄灾害性天气和不良气象因素及其应对措施[J].中国南方果树,2015, 44(3):153-155.
Zhang M F,Liao Y Y,Wu L S,et al.Severe weather as well as bad meteorological factors and their countermeasures for Red Earth Grape[J].Journal of South China Fruit Tree,2015,44(3):153-155.(in Chinese)
[15] 张沁之,唐艳鸿.气候变化对中国酿酒葡萄生产的影响[J].中国酿造,2021,40(7):1-6.
Zhang Q Z,Tang Y H.Effects of climate change on wine grape production in China[J].China Brewing,2021, 40(7): 1-6. (in Chinese)
[16] 李凤琴.哈密市葡萄成熟期降水对产量的影响及防御措施[J].农业技术与装备,2021(6):150-151.
Li F Q.Effect of precipitation on grape yield and its defense measures in Hami City[J].Agricultural Technology & Equipment,2021(6):150-151.(in Chinese)
[17] 胡禧熙,王迪,徐慧春,等.葡萄园暴风洪涝灾害防御及减灾措施[J].果农之友,2021(9):15-16.
Hu X X,Wang D,Xu H C,et al.The prevention and mitigation measures of storm and flood disasters for Vineyard[J].Fruit Growers’ Friend,2021(9):15-16.(in Chinese)
[18] 柏秦凤,霍治国,王景红,等.中国主要果树气象灾害指标研究进展[J].果树学报,2019,36(9):1229-1243.
Bai Q F,Huo Z G,Wang J H, et al.Progress in research on meteorological disaster indicators of major fruit trees in China [J].Journal of Fruit Science,2019,36(9):1229-1243. (in Chinese)
[19] 杨建莹,霍治国,王培娟,等.中国北方苹果干旱等级指标构建及危险性评价[J].应用气象学报,2021, 32(1):25-37.
Yang J Y,Huo Z G,Wang P J,et al.Evaluation index construction and hazard risk assessment on apple drought in northern China[J].Journal of Applied Meteorological Science,2021,32(1):25-37.(in Chinese)
[20] Kayi A,Erdogan M,Yilmaz A.The role of national and international geospatial data sources in the management of natural disasters[J].ISPRS-International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences, 2014, XL(8):47-51.
[21] 范一大.综合减灾地理空间信息共享探讨[J].中国减灾,2004(3):49-50
Fan Y D.Discussion on geospatial information sharing for comprehensive disaster reduction[J].Disaster Reduction In China,2004(3):49-50.(in Chinese)
[22] Zhang W H.Geological disaster monitoring and early warning system based on big data analysis[J].Arabian Journal of Geosciences,2020(13):946
[23] Arslan M,Roxin A M,Cruz C,et al.A review on applicationsof big data for disaster management[C]// International Conference on Signal-Image Technology & Internet-Based Systems.IEEE Computer Society, 2005:370-375.
[24] Wirtz A,Kron W,Low P,et al.The need for data:natural disasters and the challenges of database management[J]. Natural Hazards,2014,70(1):135-157.
[25] 仇林遥.面向自然灾害应急任务的时空数据智能聚合方法[D].武汉:武汉大学,2017.
Qiu L Y.An intelligent aggregation method of spatiotemporal data for natural disaster emergency tasks[D]. Wuhan: Wuhan university,2017.(in Chinese)
[26] Lei Y,Cui P,Amar D R,et al.An international program on Silk Road disaster risk reduction:a belt and road initiative (2016-2020)[J].Journal of Mountain Science,2018, 15(7):1383-1396;1617-1618.
[27] 赵燕萍.数据库技术在信息统计管理中的应用[J].数字技术与应用,2021,39(7):38-40.
Zhao Y P.Application of database technology in information statistics management[J].Digital Technology & Application,2021,39(7):38-40.(in Chinese)
[28] 陈海昆,张瑞芳,张海燕,等.数据库技术发展及其在农业领域中的应用[J].安徽农业科学,2008,36(18):7818-7820.
Chen H K,Zhang R F,Zhang H Y,et al.Development of the database technology and its application in agriculture[J]. Journal of Anhui Agricultural Sciences,2008,36(18):7818- 7820.(in Chinese)
[29] 王瑞锋,王东升.基于ARM技术的智慧农业网络架构布局分析[J].农机化研究,2021(12):242-246.
Wang R F,Wang D S.Analysis of smart agricultural network architecture layout based on ARM technology [J].Journal of Agricultural Mechanization Research,2021 (12):242-246.(in Chinese)
[30] 耿鹏鹏,杜文忠.智慧农业过程模型及系统框架分析[J].经济界,2020(2):82-88.
Di P P,Du W Z.Analysis of smart agriculture process model and system framework[J].Economic Affairs,2020(2):82- 88.(in Chinese)
[31] 杨丹,冯仲科.中国数字林场建设关键技术研究[J].测绘科学,2005,30(5):65-67.
Yang D,Feng Z K.Study on key technologies of digital forest farm construction in China[J].Science of Surveying and Mapping,2005,30(5):65-67.(in Chinese)
[32] 赵芳,高峰,高华云,等.气象数据库存储管理命名(QX/T 233-2014)[M]. 北京:气象出版社,2014.12
Zhao F,Gao F,Gao H Y, et al.Naming for storage and management of meteorological database(QX/T 233-2014) [M]. Beijing:China Meteorological Press,2014.12. (in Chinese)
[33] 庄立伟,吴门新,王颖,等.农业气象数据库设计规范(QX/T 435-2018)[M].北京:气象出版社,2018.12
Zhuang L W, Wu M X,Wang Y,et al.Specification of agrometeorological database design(QX/T 435-2018)[M]. Beijing:China Meteorological Press,2018.12. (in Chinese)
[34] 张才千,杨英浩.基于RBAC的档案管理系统权限设计[J].开封大学学报,2013.27(5):86-89.
Zhang C Q,Yang Y H.Design of authority for file management system based on RBAC[J].Journal of Kaifeng University,2013,27(5):86-89. (in Chinese)
[35] RajeshRao K,Nayak A,GhoshRay I,et al.Role recommender- RBAC:optimizing user-role assignments in RBAC[J]. Computer Communications,2021,166(15):140-153.
[36] 石怡.基于MySQL数据库的查询性能优化研究[J].四川职业技术学院学报,2021,31(1):164-168.
Shi Y.Research on query performance optimization based on MySQL database[J].Journal of Sichuan Vocational and Technical College,2021,31(1):164-168.(in Chinese)
[37] 郝小凤.基于C/S架构的SQL数据库技术研究[J].电脑编程技巧与维护,2021(2):104-106.
Hao X F.Research on SQL database technology based on C/S architecture[J].Computer Programming Skills & Maintenance,2021(2):104-106.(in Chinese)
[38] 张耀文,木纳格葡萄成熟采收期裂果灾害降水指标研究[D].乌鲁木齐:新疆师范大学,2019.
Zhang Y W.Research on precipitation index of cracking disaster in Munage grape harvesting period[D]. Urumqi: Xinjiang Normal University,2019. (in Chinese)
[39] 林子雨,赖永炫,林琛,等.云数据库研究[J].软件学报,2012,23(5):1148-1166.
Lin Z Y,Lai Y X,Lin S, et al.Research on cloud databases [J].Journal of Software,2012,23(5):1148-1166.(in Chinese)
Design and Construction Practice of the Comprehensive Database for Cash- Trees’ Flood and Drought Disasters: A Case Study on Apple and Grape in Northern China
HE Yan-bo1,LIU Yuan2,JIANG Yue-qing1,MAO Liu-xi1,LIU Bu-chun2,LU Ye-wei3
(1. National Meteorological Center, CMA 100081, China; 2. Institute of Environment and Sustainable Development in Agriculture, CAAS/National Engineering Laboratory of Efficient Crop Water Use and Disaster Reduction/Key Laboratory of Agricultural Environment, Ministry of Agriculture and Rural Affairs, Beijing 100081;3. Yunzhong Shiji Technology Co., Ltd, Beijing 100081)
Apple and grape are the major cash-trees in China and their main producing areas are located in northern China. The common flood and drought disasters of apples and grapes are adopted as a case how to setup a comprehensive database for cash-trees’ disasters with powerfull abilities, which required by the comprehensive prevention technology and the decision-making service platform, for disaster monitoring and early warning, risk assessment,as well as risk transfer in this study. The database is constructed by plentiful data collections and managements, strict data quality controls and multi-source data formats requirements, as well as detailed design for database overall schemes and database interfaces, by involving the open-source MySQL database building techniques with the C/S architecture. Multi-source and multi-type data are well managed by the comprehensive disasters database, such as long-term meteorological and hydrological data, cash-trees’ disaster and orchard’s producing management information, remote sensing data and its derived information, soil properties and basic geographic information, and so on. These multidiscipline data have been stored in different ways managed by the database system. For example, the quantitative/qualitative attribute data has been input into the database tables, whereas the vector and raster datasets have been kept in the computer operation file system formats and indexed by the database table. For the efficient data management and sharing, a sub-system for database managing activities is developed by using the database software developing tools under the supports of GIS function middleware and Quartz open-source components. Within the sub-system, the Role-Based Access Control (RBAC) model has been introduce to assign the database user’s privileges and to control their behaviors for accessing the database tables. Meanwhile, many functions have been developed for task schedules, data collections and updates, data managements and storages, information statistical analyses and extractions, I/O ports accesses and model links from other platforms, as well as the basic data visualization abilities within the sub-system. Under the supports of the completely comprehensive disaster database, the early warning risk and disasters monitoring can been clearly illustrated in the cash-trees' producing areas by using the stored data and in terms of the preliminary disasters’ indicators. Therefor, the successful case study of building up this comprehensive disasters’ database contributes to promote other disaster database construction for cash-trees’ except for apple and grape, or other disasters except for floods and drought, even or other areas except for northern China.
Cash-trees; Apple; Grape;Multi-source data;Database;Disaster;Flood;Drought
10.3969/j.issn.1000-6362.2022.10.007
何延波,刘园,姜月清,等.经济林果水旱灾害综合数据库设计与建设实践:以北方苹果/葡萄水旱灾害为例[J].中国农业气象,2022,43(10):846-859
2021−12−08
国家重点研发计划“重大自然灾害监测预警与防范”重点专项(2017YFC1502803)
毛留喜,正研级高级工程师,气候资源利用与农业适应气候变化研究、现代农业气象情报预报业务服务,E-mail:Maolx@cma.gov.cn
何延波,E-mail:yanbohe@sina.com