APP下载

月酸雨观测资料数据文件审核软件开发研究

2025-02-21陈蓓莹黄纯玺郭阳年飞翔金津

现代信息科技 2025年2期
关键词:软件开发

摘 要:根据国标酸雨观测规范中关于酸雨观测的审核规则,文章利用IDL语言开发了一款月酸雨观测资料数据文件审核软件。该软件具备报表解析和数据审核功能,能够对酸雨报表文件中的台站参数、月统计数据、日观测数据、附加参数、现用仪器情况和备注等内容进行检查和审核。检查内容包括格式、界限值、内部一致性、数据一致性和准确性检查,最后形成输出检查结果的审核单,供业务人员参考。月酸雨观测资料数据文件审核软件的开发,有助于行业内相关数据自动化审核的规范化管理。

关键词:IDL;酸雨观测;数据审核;软件开发

中图分类号:TP311 文献标识码:A 文章编号:2096-4706(2025)02-0100-05

Research on the Development of Monthly Acid Rain Observation Data File Audit Software

CHEN Beiying1, HUANG Chunxi2, GUO Yang2, NIAN Feixiang2, JIN Jin2

(1.Hebei Information Engineering School, Baoding 071000, China;

2.Tianjin Meteorological Information Center, Tianjin 300074, China)

Abstract: According to the audit rules of acid rain observation in the national standard acid rain observation specification, this paper develops a monthly acid rain observation data file audit software using IDL. This software has the functions of report analysis and data audit, and can check and audit the station parameters, monthly statistical data, daily observation data, additional parameters, current equipment status, and notes in the acid rain report files. The inspection content includes format checking, limit value checking, internal consistency checking, data consistency and accuracy checking, and finally the software forms audit sheets for output inspection results for reference by business personnel. The development of monthly acid rain observation data file audit software is helpful to the standardized management of automatic audit of relevant data in the industry.

Keywords: IDL; acid rain observation; data audit; software development

DOI:10.19850/j.cnki.2096-4706.2025.02.018

0 引 言

目前世界上面临着包括海洋污染、气候变暖、森林锐减、生物多样性减少等多种严重的环境问题,其中酸雨蔓延是最严重的影响事件之一。酸雨的出现是由于烟雾中的二氧化硫氧化形成硫酸或者酸雾所致,工业革命以来,英国、比利时、美国、日本等国家相继出现了由酸雨导致的重大公害事件,酸雨蔓延引起了烟雾事件、湖水酸化、森林损毁和建筑物腐蚀等后果。1982年6月,国际社会召开了“环境酸化会议”,标志着酸雨污染已经成为当今世界重要的环境问题之一。我国酸雨问题是从20世纪90年代开始突显,在《中华人民共和国大气污染防治法》实施情况报告中指出,我国酸雨区面积正急速扩大,降水酸化率急速升高。因此,酸雨观测是气象基本业务之一。

1982年,我国开始开展酸雨观测业务。至1989年,全国共设有22个酸雨观测站点,主要分布在东部地区。此时的酸雨观测业务是科研性质的,尚不具备业务化能力,观测项目也只有降水pH酸碱度。2005年,酸雨观测站点增至89个,遍布全国各地,酸雨观测实现了全面业务化,观测项目增加了电导率,同时在各大气本底站也开展了此项业务。截至2023年底,全国酸雨观测站数量达到342个,业务相对成熟。

月酸雨观测资料数据文件整合了地面气象观测站一个月内的酸雨观测数据,体现了台站本月内酸雨观测的全部记录。月酸雨观测资料数据文件内容涵盖了台站基本参数、观测方式、酸雨月统计资料、酸雨日观测资料、附加参数、现用仪器情况和备注等,是气象观测站所积累的酸雨资料的原始档案。在天津市范围内,蓟州、西青和塘沽三个国家基本气象站均开展了酸雨观测业务。

目前,地面气象观测数据的质量控制方法主要包括从物理意义、气候学和气象记录角度出发的界限值检查、格式检查、指定时空的要素主要变化范围检查,以及要素间的时间一致性、内部一致性以及空间一致性检查等方法[1-4]。随着服务需求的扩大和业务科研水平的提升,对于地面气象观测数据的质量需求也在逐步提升,而酸雨观测数据的人工审核存在着工作效率差、主观不一致性等潜在风险和问题,数据审核由人工方式转变为自动方式可以有效解决上述问题。因此,本文在参考现有国家地面气象观测数据审核的技术规定基础上[5-9],结合月酸雨观测资料数据文件数据特征建立审核规则,并基于交互式数据语言(Interactive Data Language, IDL)开发设计审核软件,以规范化酸雨观测数据文件审核,提升酸雨观测数据文件审核的一致性。

1 审核规则的建立

1.1 酸雨数据来源

本文设计的审核软件仅针对天津市酸雨观测站点的月酸雨观测资料数据文件,文件名称格式为SIIiii-YYYYMM,其中YYYY和MM分别代表年份和月份。数据包括降水信息、降水样品pH酸碱度、电导率、降水采样日界内风向风速、天气现象和各要素相关统计值、现用仪器和备注信息。本文所需酸雨观测资料来自天津市气象信息中心。

1.2 建立审核规则

依据《酸雨观测规范(GB/T 19117—2017)》,结合酸雨观测数据变化特征,结合现有的气象数据质量控制方法、人工审核经验以及本地气候阈值,建立月酸雨观测资料数据文件审核规则,共计包含数据文件的格式检查(质控参数检查)、数据段检查(月统计数据段检查、日观测数据段检查)、文件尾部检查(附加参数检查、现用仪器检查、备注检查)等六项41条审核规则。

2 软件开发

依据建立的月酸雨观测资料数据文件审核规则,采用IDL语言开发审核程序。IDL内置的数学库函数语言大大减少了图像处理算法开发所需的工作量[10],是进行气象数据分析和应用开发的理想软件工具。

2.1 软件结构

软件读取月酸雨观测资料数据文件和基本参数模块,利用格式检查、界限值(阈值)检查、内部一致性(逻辑关系)检查和数据准确性检查等方法,对酸雨数据文件进行审核,最后输出审核单即审核结果。软件结构如图1所示,包括:基本参数模块、台站参数和附加参数检查模块、数据段检查模块以及现用仪器和备注检查模块等。

具体介绍如下:

1)基本参数模块。将内置的月酸雨观测资料数据文件的基本参数(台站基本信息、采样方式等)和检查参数(各台站气象要素界限值等用于审核的阈值)传递给相关变量,用于气象报表审核。

2)台站参数、附加参数检查模块。检查台站基本信息、附件参数信息。

3)数据段检查模块。检查月统计数据段、日观测数据段是否正确。

4)现用仪器、备注检查模块。检查现用仪器、备注是否正确。

5)报表审核输出、输出提示等。

2.2 模块功能

2.2.1 基本参数模块

模块功能如下:

1)模块内相关变量可以将用于审核的设定阈值和酸雨数据月报表中的台站基本信息、采样方式进行比对,用于酸雨报表审核。

2)程序根据读取的数据文件年月参数,自动计算当月应有天数,用于后续参数检查、数据审核使用。

2.2.2 台站参数与附加参数检查模块

参数检查内容如下:

1)与表头参数对比文件名中的台站基本信息,如站号、年月份等是否一致,如果不一致则输出到审核单。

2)对比程序内置参数与台站基本参数信息是否一致,如果不一致则输出到审核单。

3)对比程序内置参数与附加参数信息是否一致,如果不一致则输出到审核结果。

4)检查传输日期(报表数据报送传输时间)与台站基本信息月份的时间逻辑关系,以及传输日期是否为8个字符,如不是则输出到审核单。

2.2.3 数据段检查模块

数据段检查包括月统计数据段检查日观测数据段检查,具体如下:

1)月统计数据段检查。算法流程如图2所示。一是检查月统计数据段指示码格式,检查文本第二行月统计数据段指示码是否为M0,如不是则输出到审核结果,并结束当月统计数据检查。二是检查数据段格式,是否与规定的格式相同,如果不一致则输出到审核单。三是内部一致性检查,检查月降水日数是否等于酸雨观测日数,如不相等则输出到审核单。四是数据一致性检查,分别统计国家级地面气象观测月(报表A文件)降水大于0.1 mm、1 mm日数,检查月酸雨观测资料数据文件(S文件)大于等于0.1 mm降水日数与A文件是否一致,如果不一致则输出到审核单。检查S文件降水日数 与A文件降水日数是否一致,如果不一致则输出到审核单。五是输出提示,“人工检查A文件最后一日20时-08时是否有降水!”

2)日观测数据段检查。算法流程为:一是检查日观测数据段指示码格式,检查文本第四行指示码是否为D0或D0=,如不是则输出到审核单。二是检查日观测数据段格式,是否与规定的格式相同,如果不一致则输出到审核单;检查数据段结束符,如不为“??????”,则输出到审核单。三是数据一致性检查,提取数据段酸雨观测样品对应的降水量,如与A文件对应不一致则输出到审核单;提取数据段14时、20时、02时、08时的10分钟平均风向风速,如与A文件中对应数据不相等,则输出到审核单。四是内部一致性检查,提取数据段酸雨观测日期,检查降水开始时间、结束时间是否在规定时间范围内,如不是则输出到审核单;提取数据段初测时的降水样品3次pH值(电导率值),如不相等则输出到审核单。五是界限值检查,提取数据段初测时的降水样品温度,检查水温是否在0 ℃至30 ℃之间,如不是则输出到审核单;提取数据段初测时的降水样品pH平均值,如pH<3或pH>9,则输出到审核单;提取数据段初测时的降水样品25 ℃时的电导率平均值,如电导率大于1 000则输出到审核单。六是数据准确性检查,提取数据段降水期间的天气现象组(ww1ww2ww3ww4ww1ww2ww3ww4),检查4组天气现象是否出现60、68、70之一,如不是则输出到审核单;提取数据段酸雨观测备注(B1B2B3B4B4B1B2B3B4B4,共4组5位),检查复测指示码、K值测量是否使用温度补偿功能指示码,B3B3为因故延迟样品测量指示码,B4B4B4B4为降水样品异常状况是否符合规定要求,如不是则输出到审核单。

2.2.4 现用仪器与备注检查模块

现用仪器检查的算法流程如图3所示,具体为:

1)检查现用仪器指示码格式,是否为YQ,如不是则输出到审核单。

2)检查现用仪器pH指示码,如无则输出到审核单。

3)检查现用仪器pH格式,是否符合要求,如否则输出到审核单。电导率仪(指示码:YK)、pH(复合)电极*(指示码:YF)、电导电极*(指示码:YD)、温度测量电极(传感器)*(指示码:YT)规则同pH计,不再重复。

4)内部一致性检查,检查现用仪器pH参数信息是否和内部参数一致,否则输出到审核单。

备注检查的算法流程如下:

1)检查备注段指示码格式,起始标识符为“BZ”,结束符为“######”,如不一致则输出到审核单。

2)检查备注段格式,是否为“BB/??/*”,如不一致则输出到审核单。

3)检查是否存在固定格式的备注,如未出现则输出到审核单。

4)内部一致性检查,检索S文件、A文件降水量不足1.0 mm的天数和日期,如不一致则输出到审核单。

2.3 exe可执行程序文件

该软件是基于IDL语言编写,如需将代码封装为Windows系统下的exe可执行程序文件,可在Windows系统IDL环境(建议使用IDL 8.2版本)的“控制台”输入程序发布命令来实现。操作步骤如下(以“F:\酸雨报表审核软件”路径为例):

1)在“F:\酸雨报表审核软件”目录下新建文本文档,将代码粘贴到文档内保存,并将文件名保存为“QC_S_file.pro”。

2)用IDL打开QC_S_file.pro文件,并在控制台输入命令“help,/pro”,查看当前IDL环境下编译的程序。

3)在IDL控制台输入命令“.compile -v 'F:\酸雨报表审核软件\QC_S_file.pro'”编译QC_S_file.pro源码。

4)在IDL控制台输入命令“save,filename='F:\酸雨报表审核软件\ QC_S_file.sav',/routines”调用save命令将编译后的程序保存到sav文件中。

5)在IDL控制台输入指令“.reset_session”对IDL进行重置。

6)在IDL控制台输入命令“make_rt,'QC_S_file','F:\酸雨报表审核软件',savefile='F:\酸雨报表审核软件\QC_S_file.sav',/overwrite”实现exe程序发布。

2.4 审核信息输出

运行可执行文件(QC_S_file.exe),加载月酸雨观测资料数据文件(文件名应为“SIIiii-YYYYMM.TXT”的规定格式),自动进行数据审核并形成“酸雨疑误信息-YYYY-MM.txt”文件,打开txt文件即可查看月酸雨观测资料数据文件的审核结果,如图4所示。审核结果包含上述所有审核功能模块输出的不一致问题以及提示信息,用户根据审核结果进行修正干预即可完成数据文件的审核质控工作。

3 结 论

综上所述,得出如下结论:

1)软件经测试能够稳定运行,建立的审核规则满足业务需求,实现了月酸雨观测资料数据文件的审核功能。该软件工具能有效地提升数据审核效率、降低审核工作技术门槛,避免数据审核工作中因人工经验审核而导致的主观不一致的风险。

2)软件增加了配置文件,存储审核阈值,用户只需要更改配置文件参数,无须修改代码即可进行本地化应用。软件被封装为可执行文件,拷贝后即可运行,目前已被应用到天津、北京、新疆等相关气象业务单位。

3)该软件是基于IDL语言开发的,数据处理方式独特,交互式窗口友好,非常适合进行数据处理并成像。因此,对于气象类观测数据的可视化表现、分析及应用开发,IDL是一个理想的编程语言。

参考文献:

[1] 傅娜,陈葆德,谭燕,等.上海自动站气温资料的空间质量控制与特征分析 [J].大气科学学报,2014,37(2):199-207.

[2] 黄纯玺,郭阳,陈蓓莹,等.基于IDL的塘沽盐场地面气象观测报表审核软件开发 [J].天津科技,2023,50(8):30-35.

[3] 张雅昕,粟定华,杨丽娟.辐射月报表质量控制方法的研究与实现 [J].气象研究与应用,2012,33(3):55-57+73.

[4] 成兆金,庄立伟,吴门新,等.农业气象观测记录年报表审核系统设计与实现 [J].干旱气象,2019,37(3):490-495.

[5] 全国气候与气候变化标准化技术委员会大气成分观测预报预警服务分技术委员会.酸雨观测规范:GB/T 19117—2017 [S].北京:中国标准出版社,2017.

[6] 中国气象局.地面气象观测规范 [M].北京:气象出版社,2003.

[7] 全国气象基本信息标准化技术委员会.气象要素分类与编码:QX/T 133—2011 [S].北京:气象出版社,2011.

[8] 全国气象基本信息标准化技术委员会.气象观测资料质量控制 地面:QX/T 118—2020 [S].北京:气象出版社,2020.

[9] 中国气象局.气象数据归档格式 地面:QX/T 119—2021 [S].北京:气象出版社,2022.

[10] 侯立鹏,杨胜天,赵长森,等.基于IDL的遥感水文时空序列数据可视化分析系统开发与应用 [J].遥感技术与应用,2014,29(6):1074-1080.

作者简介:陈蓓莹(1988—),女,汉族,天津人,工程师,硕士,研究方向:地面气象观测研究;通信作者:黄纯玺(1989—),男,汉族,天津人,工程师,本科,研究方向:数据质量控制研究;郭阳(1990—),男,汉族,河北沧州人,工程师,博士,研究方向:数据质量控制研究;年飞翔(1992—),男,汉族,安徽蚌埠人,工程师,硕士,研究方向:数据质量控制研究;金津(1982—),女,达斡尔族,天津人,工程师,本科,研究方向:数据质量控制研究。

收稿日期:2024-07-18

猜你喜欢

软件开发
基于安卓平台的移动式教学模式研究
嵌入式系统软件开发技术探析
浅谈分层技术在软件开发中的应用
Java软件开发问题探究
软件开发中JAVA编程语言的应用
浅谈程序设计的方法
信息安全环境下的计算机软件开发研究
计算机软件开发中的分层技术运用
建模技术在软件开发中的应用
软件开发中数据库设计理论的实践