自然资源要素综合观测一体化平台建设探索与实践
2021-05-10赫银峰罗奇高阳刘玖芬
赫银峰, 罗奇, 高阳, 刘玖芬
(1.中国地质调查局乌鲁木齐自然资源综合调查中心,新疆 乌鲁木齐 830026; 2.中国地质调查局应用地质研究中心,四川 成都 610036; 3.中国农业大学土地科学与技术学院,北京 100193; 4.中国地质调查局自然资源综合调查指挥中心,北京 100055)
0 引言
2019年10月,关于做好自然资源要素综合观测工作的函指出,要按照自然资源生态系统的整体性把握其发展变化的内在规律,解决认识自然生态变化规律、预判发展趋势的基础数据支撑能力不足的问题[1]。目前,森林、草原、水、土等自然资源数据分散在自然资源部、国家林业和草原局、水利部、中国科学院等多个部门,由于各部门自成体系,相互间观测内容和指标、数据结构和标准均不统一,缺乏有效的共享机制,数据壁垒、信息孤岛现象较为严重,自然资源相关数据融合难、共享难的问题较为突出[2-6]。一方面,已有的数据难融合; 另一方面,拟建的自然资源要素综合观测网的观测站结构复杂,观测设备门类众多,指标体系和数据传输复杂,质量和运维管理难度大。因此,建立统一的数据管理、应用、服务一体化平台迫在眉睫。
1 自然资源一体化平台建设关键问题
目前,我国对自然资源要素长期、连续、全面、综合立体式的观测研究站网尚没有系统设计与部署,生态脆弱区和关键生态功能区的长期科学观测数据尤为缺乏,我国在认识自然生态变化规律和预判发展趋势等方面面临数据支撑不足的问题。由于我国自然资源实行分头管理,各部门间缺乏有效的融合机制,数据共享程度极低,多源异构数据融合难、共享难的问题比较突出。此外,在科研成果转化服务方法技术和路径方面,各门类模型难整合问题也较为明显。鉴于此,本文从以下3个方面讨论了自然资源一体化平台建设中存在的关键问题。
(1)数据支撑不足问题。数据集成是数据管理中心的重要基础。主要通过大数据中心对自然资源要素观测站装备终端数据进行统一接入管理、统一归集和统一标准化处理,以供模型服务及业务应用系统分析使用[7-8]。自然资源要素综合观测一体化平台大数据中心子系统的建设,会提高数据集成能力,有效解决自然资源观测数据严重不足的问题。
(2)多源异构数据融合、共享难问题。多源数据融合是异构数据整合与标准处理的有效手段[9-10]。通过建设自然资源要素综合观测一体化平台,统一整合标准,集成数据资源统计分析和知识发现的机器学习算法,对信息资源进行主题化汇聚和知识化分析,提高数据开发利用的完整性、真实性和时效性,可有力解决多源数据融合难、共享难的问题。
(3)各门类模型难整合问题。综合分析应用是智能分析决策的重要支撑[11-12]。自然资源要素综合观测一体化平台模型云中心系统通过数学模型服务化,构建了一套基于“云端”的模型服务平台,集成了土壤、水文、大气、资源承载力等模型,整合了大数据、机器学习等人工智能算法,打造了一套集各类自然资源空间结构分析、承载力适宜性评价、作用机理、耦合平衡等服务于一体的模型计算平台,可进行统一权限认证、统一管理任务、统一调配资源。
2 自然资源要素综合观测一体化平台建设
一体化平台建设在自然资源要素综合观测体系总体框架下搭建,通过集成青藏高原、黑河流域、黄河流域3个试点项目的观测数据,融合内外多源数据,开展数据汇聚、管理、分析和应用,实现对自然资源观测数据等自然要素的数字化、信息化和专业化管理,更好地为自然资源自然要素的统一监控和综合分析研究提供依据。该平台是一项涉及范围广、技术要求高、专业性强的系统工程,必须与自然资源观测要素的数据标准和质量管理等统筹考虑规划。在实施前,应首先统一规划好系统建设的主要内容、需要实现的功能以及基础平台与各子系统之间的关系,然后根据各个子系统实现的难易程度和重要程度分步实施,逐步将各中心或系统集成为统一的一体化平台。在设计时,应采用先进的物联网、大数据、GIS等技术来进行基础平台的建设,确保项目建成后成为国内领先的监测运行决策管理集成平台。在框架设计中,应充分注重功能的实用性,考虑不同层次用户的需求,操作方便,操作界面直观,最好采用图形化的方式来引导用户进行相关查询与处理。此外,应对已有的常用数据提供接口导入,实时采集的数据也能及时导入。
2.1 总体逻辑框架
在深度调研国内外数据管理规范和观测网数据结构、数据质量控制方法、数据平台功能和界面的基础上,自然资源综合调查指挥中心在承担自然资源要素综合观测数据集成与应用服务项目过程中,初步提出了自然资源要素综合观测一体化平台设计的总体框架。
2.1.1 体系建设
在标准规范体系建设方面,主要制定了自然资源要素综合观测信息资源采集与应用的标准和规范,包括自然资源要素数据标准规范和目录、交换体系数据和接口标准。运行维护体系是自然资源要素综合观测一体化平台正常运行的重要保障,建立平台运维体系,可使运维管理工作规范化、科学化,提高平台建设单位运维管理的成熟度,确保运维服务的质量,保障业务的可持续性。安全支撑体系是保证信息资源安全的重要基础,本研究从物理安全、网络安全、主机安全、应用安全和数据安全5个层面使用技术手段构建了安全支撑体系,并建立了责权分明的安全管理制度。
2.1.2 主体架构
自然资源要素综合观测一体化平台云服务主要包括基础设施云(Infrastructure-as-a-service,IaaS)、自然资源要素综合观测大数据中心(Data-as-a-service,DaaS)、应用支撑平台(Platform-as-a-service,PaaS)和应用层(Software-as-a-service,SaaS)4个层面[13](图1)。
基础设施云包括计算资源、存储资源、网络资源和针对土壤、水资源、大气等要素的监测终端。其中部分终端与专职部门、科研院所已有项目合作共建或共享,部分根据需求自主筹建。自然资源要素综合观测大数据中心包括基础支撑数据库、自然资源要素基础数据库、自然资源要素专题数据库和系统维护数据库,且数据中心的数据都是经过加工整理的,是自然资源要素数据的权威数据源。自然资源要素综合观测大数据中心采用关系型数据存储和分布式存储相结合的方式,满足自然资源要素综合观测数据的存储要求。针对大量的物联网观测数据,拟采用时序数据库提供高性能读写、低成本存储、强计算能力和多生态支持等多种能力。应用支撑平台包括二维和三维GIS引擎、模型云、物联网中心管理平台和数据中心管理平台。通过这些基础的软件,支撑上层应用系统建设。应用层构建门户展示系统和分析评价系统,可实现自然资源要素综合观测数据的展示和分析评价等功能。
图1 自然资源要素综合观测一体化平台总体框架图
2.2 主要功能模块
自然资源要素综合观测一体化平台初步实现了自然资源数据“采集—加工—储存—分析—共享”的流程化处理,自然资源观测数据在处理过程中可以通过虚拟地图辅助研究与管理,推进自然资源要素综合观测的图文一体化工作,保证客户端的实用性和高效性。一体化平台根据功能可分为三维大屏展示终端和分析与管理系统(图2)。
图2 自然资源要素综合观测一体化平台管理系统
2.2.1 三维大屏展示终端
三维大屏展示终端模块主要包括一体化平台、物联网中心、大数据中心、模型云中心、成果中心和科普园地6个模块,如图3所示。
图3 自然资源要素综合观测一体化平台三维大屏展示终端
一体化平台为大屏显示进入后的默认界面,可综合展示各类自然资源要素的专题图层、存储当量和空间分布情况,并且能够支持用户自定义框选,显示范围内各类自然资源要素随年份的变化情况。
物联网中心能实现与自然资源监测和观测相关的所有设备的联网展示,包括观测站点、实验室设备等。在物联网中心,用户能够直观看到全国各个自然资源要素观测台站的分布、实验室的分布、观测设备的运行情况以及与三级观测台站之间的关系,点击观测站(实验室)或者观测站图标,就能进入虚拟三维场景中查看各个实验室设备(或观测站)的情况。
大数据中心可显示自然资源调查监测和观测数据,包括数据总量、各类自然资源数据、自然资源使用情况、各省自然资源利用率等信息。
模型云中心主要进行全国自然资源相关模型库模拟成果的展示,每个模型按照不同区域分区进行对应展示。选择后能够针对某一区域的调查评价成果进行展示,实现某一区域模型的模拟计算成果展示。
成果中心可展示系统所有的统计信息,包括一体化中心、物联网中心、大数据中心以及模型云中心的一些数据。
科普园地主要进行自然资源相关知识的普及和展示,对社会公众进行科普,显示内容包括文字介绍、图片、视频等信息,介绍环境日、海洋日、土地日、测绘日、地球日等一些重要节日的信息。
2.2.2 分析与管理系统
自然资源要素综合观测分析与管理系统以服务数据分析、模型构建及科学研究等相关工作为主,主要包括综合展示、系统管理、数据管理、综合分析、成果展示和科普知识管理。
综合展示主要对一体化平台中心模块内容进行界面演示,综合展示各类自然资源要素的专题图层、存储当量和空间分布状况; 系统管理主要包括菜单、用户、角色和权限管理; 数据管理主要对测站基础数据和实验室分析数据进行清洗、加工、预处理; 综合分析主要通过构建不同自然资源模型,利用基础观测数据对自然资源数量、质量和耦合作用过程等内容进行综合分析和评价; 成果展示主要展示自然资源观测基础数据和专题成果图等; 科普知识管理主要包括对科普文章、视频、图片等科普资料的管理。
自然资源要素综合观测一体化平台,能够对资源要素的观测数据进行整合,具体步骤为基础观测数据经由物联网汇集到自然资源数据中心,经过数据中台的加工与规范,上传至模型云中心,最后进行计算。随着后续自然资源综合要素观测一体化平台的完善、全国资源区观测站的建立以及与同科研院所已有观测网的进一步合作,数据通道将进一步打通,目前首批试点地区观测数据已上线运行,初步实现了自然资源要素观测项目的数字化、信息化、专业化及数据共享服务,更好地为自然资源要素统一管理和综合分析提供了依据。
2.3 特点及优势
自然资源要素综合观测一体化平台采用面向服务体系的微服务架构风格,以成熟的J2EE中间件及组件库作为系统搭建的基础,将Java作为平台运行的核心语言,支持跨平台(Windows/Linux/Unix)部署。在数据存储层面,采用自主研发的数据访问中间件对主流数据库进行访问,包括但不限于 Oracle/MSSQLSERVER/Postgresql/DB2等数据库。基于平台微服务架构,具备以下特点[14-20]。
(1)方便易用。自然资源要素综合观测一体化平台系统直观简洁,帮助信息丰富,针对输入项目的特点对输入顺序进行专门定制,可保证操作人员以最快速度和最少击键次数完成工作,具有易于理解掌握、操作简便、提示清晰、逻辑性强等特点。
(2)可靠稳定。各环节具备故障分析与恢复和容错能力,并在安全体系建设、复杂环节解决方案和系统切换等各方面考虑周到、切实可行。建成的系统安全可靠,稳定性强,能把各种可能的风险降至最低,从而保障一体化平台系统7×24 h不间断的稳定运行。
(3)灵活、可扩展。采用开放式的系统软件平台和模块化的应用软件结构,提供配置模块和客户化工具,确保系统可灵活地扩充其他业务功能,并可与其他业务系统进行无缝互连。
(4)技术先进成熟。采用先进、成熟的软件开发技术和系统架构,如面向对象的设计方法、可视化的面向对象的开发工具、基于层次分解的业务逻辑设计、面向服务的软件体系架构、基于HTML5的富客户端技术以及基于浏览器架构的纯WEB的解决方案等。
(5)整体化和完整性。数据由采集、存储、整理、分析到提取、应用的整体化,实现数据录入存储的事务化和完整性,同时各模块之间能实现数据共享,互联互通,清晰体现内在逻辑联系,且数据之间相互关联,相互制约。
(6)安全保密。一体化平台系统设计把安全性放在首位,在各个层次对访问都进行了控制,设置了严格的操作权限。同时,选用可靠的产品与技术,在系统出现异常时,具有应变能力和容错能力,确保系统安全可靠。此外,对某些信息资源的使用要进行一定的权限划分,并对信息系统的运行情况进行实时监控。
(7)信息共享。对信息资源考虑有条件、分层次的共享,使信息既得到充分、有效的利用,又符合内部信息的保密要求,前提是所有相关信息能导入现有通用软件。
3 自然资源要素综合观测一体化平台建设实践
一体化平台建设实践中,以自然资源要素综合观测数据集成与应用服务项目为依托,通过集成青藏高原自然资源要素综合观测、黑河流域自然资源要素综合观测和黄河流域自然资源要素综合观测3个试点项目的数据,初步实现了多源数据的融合及综合分析应用。
3.1 数据集成
目前,自然资源要素综合观测一体化平台已接入野外观测站点20余个,集成了青藏高原、黑河流域、黄河流域3个试点项目观测数据,以及全国大部分地区月平均降水、月平均温度、风速、土地覆盖等自然资源相关数据2.7 TB,实现了首批数据上线服务和应用共享。其中,广东省林业科学研究院对“全国自然资源要素综合观测一体化平台”进行研讨试用后,便邀请自然资源要素综合观测团队加入广东林业生态监测科技创新联盟建设; 山东黄河三角洲国家自然保护区管理委员会证实“土壤温湿盐自动观测数据”为保护区内土壤和植被综合治理与规划提供了很好支撑; 祁连山国家公园青海省管理局评价《黑河流域自然资源要素综合观测试点项目数据成果》为区域自然资源综合科学管理、规划、生态保护等提供了有力支撑。
3.2 多源数据融合
按照“团结协同自然资源系统内外各单位观测和研究力量,共同做好自然资源要素综合观测工作”的要求,通过调研农田、森林、草原、沙地、海洋等多种资源生态系统观测站,全面认识了全国野外观测站建设现状,编制了《自然资源要素综合观测数据标准(初稿)》和《自然资源要素综合观测数据采集指南(初稿)》,统一了多源数据整合标准,集成了数据资源统计分析和知识发现的机器学习算法,对信息资源进行了标准化采集、主题化汇聚和知识化分析,提高了数据开发利用的完整性、真实性和时效性。
3.3 模型加载应用
在一体化平台系统中,通过集成西藏自治区雅鲁藏布江、拉萨河、年楚河等流域水文、气象、水资源等观测数据,初步构建了雅江流域自然资源要素综合模型,研究探索了水、土壤、气象、植被等自然资源多要素相互耦合的作用关系,为西藏自治区自然资源科学管理与调配提供了支撑。此外,通过收集2018年年度草地资源分布、年度平均温度、地表水分指数、光合有效辐射等数据,搭载全国草地载畜量模型,计算获得了2018年全国草地资源载畜量,为科学确定放牧强度、避免超载放牧及草地资源精准管理提供了支撑。
4 结语与展望
自然资源要素综合观测一体化平台与国内不同行业、部门观测站(网)进行了深入对接,探索了自然资源观测数据融合机制和模式,统一了数据标准,实现了多源异构数据有效衔接,有效弥合了资源管理工作中的“短板”。
进一步建立科学的数据质控体系,研究开发数据质量控制自动化技术,保证观测数据采集、传输、共享全生命周期的质量标准,仍然是解决质量监控难题的重要方向。此外,仍需深入研究自然资源要素的时空演变禀赋,分析不同资源要素之间的相互影响关系,自然资源要素观测数据综合应用平台还应加强GIS空间分析技术应用,构建针对不同资源要素和属性的专业辅助分析决策模型。