有害藻华数据分析与可视化平台的设计*

李笑语 于仁成 牟乃夏 耿慧霞 王治鹏 史金浩 薛润生

有害藻华数据分析与可视化平台的设计*

李笑语1,6于仁成1,2,3,4①牟乃夏5耿慧霞1王治鹏5史金浩5薛润生5

(1. 中国科学院海洋研究所 中国科学院海洋生态与环境科学重点实验室 山东青岛 266071; 2. 青岛海洋科学与技术试点国家实验室 海洋生态与环境科学功能实验室 山东青岛 266237; 3. 中国科学院大学 北京 100049; 4. 中国科学院海洋大科学研究中心 山东青岛 266071; 5. 山东科技大学测绘与空间信息学院 山东青岛 266590; 6. 国家海洋局北海环境监测中心 山东青岛 266033)

有害藻华是海洋中最为常见的一类生态灾害问题, 对养殖业、旅游业和公众健康等造成了严重威胁, 也给海洋管理带来了巨大的挑战。近年来, 与有害藻华相关的生物、化学、水文、气象等观测数据以及有害藻华发生记录等统计数据不断积累, 统计学方法、地理信息系统(Geographic Information System, GIS)等数据分析方法也在快速发展, 为深入挖掘有害藻华时空演变特征、提高有害藻华监测预警水平奠定了重要基础。该研究综合应用数据库、地理信息系统及可视化技术, 设计了一套集有害藻华多源异构数据管理、分析与可视化为一体的综合平台, 能够实现对有害藻华相关数据的存储和动态关联, 并集成了空间分析方法, 实现了数据和分析产品的可视化。该研究以渤海有害藻华长期时空演变特征探究为案例, 展示了该平台在有害藻华数据分析与可视化方面应用效果。该平台可望为公众科普、科学分析和政府决策等提供支撑。

有害藻华; 软件系统; 数据库; 地理信息系统; 可视化

有害藻华(harmful algal blooms, HABs)是由于水体中部分藻类的快速增殖或聚集导致的生态灾害问题, 广泛分布于全球近岸海域, 对养殖业、旅游业和公众健康具有严重危害(Anderson, 2008, 2015; Kirkpatrick, 2008; Lewitus, 2012; Townhill, 2019)。近几十年来, 受富营养化、全球变暖、海上交通运输和海水养殖业发展影响, 全球范围内有害藻华的暴发频次、持续时间、影响范围、原因种数量以及危害效应等表现出不断增加的趋势(Anderson, 2012; Davidson, 2014; Berdalet, 2016)。有害藻华是我国近海常见的生态灾害问题(周名江等, 2001; 洛昊等, 2013; 于仁成等, 2016, 2020), 对海水养殖业造成了巨大破坏, 甚至威胁到人类健康和生命安全(中国环境科学学会, 2005; Ding, 2017)。受地理环境、水文条件、社会经济状况等因素影响, 不同海域有害藻华的发生状况存在明显差异, 给海洋管理也带来了巨大的挑战。

近年来, 随着有害藻华观测数据和统计数据的不断积累, 以及统计学、地理信息系统(Geographic Information System, GIS)技术、数值模拟方法等的快速发展, 针对有害藻华的数据分析和可视化能力得到了快速发展, 构建了系列针对有害藻华的数据分析与可视化平台。美国阿拉斯加有害藻华网络(Alaska Harmful Algal Bloom Network, AHAB), 通过浮游植物数据、藻毒素数据以及相关环境因子数据的有效管理、分析及可视化, 为贝类食品安全管理者提供了决策信息, 降低了有害藻华对人类健康的危害风险。在美国西海岸的加州中北部海洋观测系统(Central & North California Ocean Observing System, CeNCOOS)和南加州近岸海洋观测系统(Southern California Coastal Ocean Observing System, SCCOOS), 通过获取有害藻华现场观测数据和遥感影像, 耦合ROMS (Regional Ocean Model System)水动力学模型, 评估加州有害藻华的风险(California Harmful Algae Risk Mapping, C-HARM), 实现了对有毒拟菱形藻(spp.)藻华及其产生的软骨藻酸(domoic acid)的预警预测并对结果进行可视化展示, 支撑政府决策。海洋生物多样性信息系统(Ocean Biodiversity Information System, OBIS)是全球海洋生物多样性和生物地理数据信息的门户, 通过共享全球数据, 实现了对全球有害藻华藻华原因种分布状况的可视化展示。有害藻类事件数据库(Harmful Algae Event Database, HAEDAT)则提供了有害藻华信息, 可对不同类型的有害藻华进行检索查询和展示。在国内, 也构建了多个基于遥感或观测数据的有害藻华监测预警平台, 为业务化工作提供支撑。近岸海域海洋生态环境综合分析与决策支持服务原型系统基于深度学习预测模型对赤潮情况进行了预警(曹敏杰, 2015)。赤潮灾害应急决策支持系统实现了赤潮灾害评估、预测预报、应急处置、损失评估等功能, 支持渤海北戴河邻近海域的赤潮灾害应急决策(李炳南, 2014)。福建省赤潮预警系统能够实现快速制作、发布赤潮预警, 为赤潮防灾减灾辅助决策支持等方面提供了支撑平台(李雪丁等, 2014)。赤潮卫星遥感监测系统(杨建洪等, 2008; 朱乾坤等, 2016; 朱杭杰等, 2020)通过构建卫星数据的自动化处理分析流程, 识别赤潮区域和分布, 并向相关部门发布赤潮通报。

综上可见, 目前国内外已经构建了系列有害藻华数据管理与可视化平台, 为有害藻华研究和管理提供了重要支撑。然而, 针对中国海域的有害藻华服务平台主要为灾害监测预警等业务化工作提供支撑, 对有害藻华特征研究等方面关注较少, 有待进一步提升对多源有害藻华数据的管理和分析能力。以我国近海的有害藻华为例, 在富营养化、气候变化和养殖业发展的影响下, 我国近海的有害藻华呈现出多样化、有害化和小型化的演变趋势(于仁成等, 2016)。在有害藻华研究中, 应用的研究手段和获取的数据类型也越来越多, 涉及生物、化学、水文、气象、遥感、统计资料等诸多方面(表1), 构成了复杂的多源异构数据。因此, 通过搭建有害藻华数据管理和分析平台, 探索对有害藻华多源异构数据的高效管理和分析, 是亟待开展的一项工作。

本研究的目的包括: (1) 搭建多源异构有害藻华数据的管理平台, 建立各类数据库的动态关联, 支持数据拓展, 实现有害藻华数据的高效组织管理; (2)集成数据分析和挖掘方法, 为有害藻华研究提供重要工具; (3) 实现数据和产品的可视化, 支撑有害藻华管理决策和科普教育。

表1 有害藻华相关数据集

1 总体设计

从平台功能设置和应用群体考虑, 以客户端(Client/Server, C/S)和网页端(Browser/Server, B/S)相结合的方式, 构建数据管理平台、GIS平台和可视化平台一体的综合平台。针对有害藻华数据多源异构的特点及各类数据间动态关联的需求设计数据管理平台; 聚焦有害藻华时空特征挖掘需求设计GIS平台; 围绕数据及产品的可视化需求设计可视化平台。整个平台以有害藻华相关数据为核心, 采用面向服务的五层体系架构(图1), 自下而上分别为基础资源层、数据服务层、分析服务层、应用层和用户层。

1.1 基础资源层

基础资源层为平台提供软硬件资源保障, 包括服务器、网络设备和支撑软件等。

1.2 数据服务层

有害藻华数据涵盖数值、文本、矢量、栅格等多种格式的结构化和半结构化数据, 其数据主要来自航次调查、统计资料和文献、遥感影像等, 涉及各类型有害藻华及其危害产物, 也包括了影响其生消过程的各类相关因子。各类数据在架构时采用动态关联模式以支持数据挖掘。同时, 数据层具有可拓展性, 可为其他类型数据导入提供接口。

1.3 分析服务层

分析服务层连接数据服务层和应用层, 是整个平台的关键部分, 抽取封装数据库、GIS系统和可视化软件的功能, 实现对数据的管理和分析。数据管理平台的分析服务主要包括数据访问、数据管理、数据关联及查询、数据标准模板制定、用户权限管理等。GIS平台的分析服务包括数据访问、科学计算、渲染与展示、数据查询与选择、时空分析、用户权限等, 其核心为时空分析, 实现对有害藻华的时空特征挖掘。可视化平台服务包括信息可视化、数据分析、交互功能等, 核心是以可视化的形式进行成果展示。

1.4 应用层

应用层为分析服务层的服务功能提供对外接口, 主要以有害藻华数据管理子系统、有害藻华数据分析子系统、有害藻华数据可视化子系统三个子模块与用户进行交互。其中, 有害藻华数据管理子系统和有害藻华数据分析子系统基于C/S端, 有害藻华数据可视化子系统基于B/S端。

1.5 用户层

本服务平台面向公众用户、科研机构和政府部门,根据不同受众群体的需求特点, 开放相应的服务。

2 功能设计

有害藻华数据分析与可视化平台包括数据管理平台、GIS平台、可视化平台三部分, 如图2所示。

图1 有害藻华数据分析与可视化平台的总体设计框架

2.1 数据管理平台

有害藻华数据管理平台主要包括9项功能, 如数据导入导出、数据浏览功能、数据统计功能如条形图、柱形图、折线图等。为保证数据安全, 可以对用户进行权限设置, 由管理员对用户进行统一管理, 同时对数据进行自动备份及恢复功能。通过平台切换功能可在数据库平台内直接切换至GIS平台。

数据关联是数据挖掘的基础, 数据查询功能充分考虑了数据的关联需求。例如, 对有害藻华发生情况的统计数据可以实现与有害藻种信息的动态关联; 航次观测数据可以通过时间、经度、纬度、水深等作为匹配条件, 实现各类观测数据的动态关联。同时, 数据库在设计时充分考虑了数据的可拓展性, 将数值、文本、栅格、矢量等数据格式纳入本平台, 可根据新数据的格式特点, 创建新模板, 实现数据导入。

2.2 GIS平台

GIS平台包括了13项主要功能: 图层管理、数据加载、数据存储、查询功能、坐标选取、地图浏览、测量工具、书签工具、专题渲染、访问限制、分析功能、专题图绘制和平台切换。

GIS分析功能涵盖了有害藻华时空分析的主要方法, 包括基础统计分析、核密度分析、插值分析、方向分布工具、莫兰指数、热点分析、最近邻分析等, 从而实现对有害藻华暴发热点区域、有害藻华空间分布、趋势变化等问题的科学分析。

2.3 可视化平台

可视化平台主要用于数据和产品的可视化渲染, 包括7项主要功能。系统可提供多种底图方案, 可视化渲染将数据以点位分布、热力图等形式进行展示, 并可在各位置点选进行信息查询。此外, 可视化平台还引入了ECharts中柱形图、折线图等多种可视化形式对数据进行基础统计分析。ECharts作为一个使用JavaScript实现的开源可视化库, 可提供直观、交互丰富、可高度个性化定制的数据可视化图表。ECharts的浏览器平台兼容性良好, 性能出众, 可以进行大数据量的渲染展示。因此, 本平台引入ECharts, 用于数据的分析和可视化展示。

3 平台运行环境

3.1 硬件环境

平台硬件配置包括: 处理器: 2个Intel Xeon Gold 5120, 28核心, 56线程, 2.2GHZ; 英特尔® C621芯片组; 内存: 12根16GB DDR4-2666 ECC内存; 存储容量: 1块2TB企业级机械硬盘, 1块512GB企业级固态硬盘; GPU: 2片NVIDIA TitanV公版显卡。

3.2 软件环境

数据管理平台和GIS平台使用Visual Studio 2019作为开发工具, C#为开发语言进行开发, 界面部分基于WinForm窗体和DevExpress控件库开发。数据库由属性数据和空间数据两部分组成, 属性数据库是本平台存储、查询、分析、统计功能实现的基础, 平台通过ADO．Net和PostgreSQL数据库进行数据交流, 交流后的结果再传递至平台, 供平台使用; 空间数据库利用PostGIS空间数据引擎将空间数据统一存储至关系数据库PostgreSQL中。GIS平台基于ArcGIS Engine平台, 利用结构化程序设计方法, 根据系统设计阶段划分的各个模块, 使用ArcGIS Engine的TOCControl、PageLayoutControl、ToolbarControl以及MapControl等控件实现特定功能。可视化平台是基于Vue和Spring Boot框架, 使用前后端分离架构进行设计实现的, 开发平台选用Visual Studio Code和IDEA, 使用B/S架构进行开发。其中, 前端部分使用Vue框架, 结合开源的Leaflet进行构建, 并使用Axios访问后端接口。后端使用目前主流的基于Java开发语言的Spring Boot框架, 针对前端请求, 编写相应业务逻辑代码。具体平台开发软件环境见表2。

4 平台应用

本研究以渤海有害藻华发生情况数据(1952～2017年)为例, 介绍平台在数据管理、分析和可视化方面的功能。

4.1 数据管理平台

平台构建了多种类型的数据库以实现对多源异构数据的存储和管理。根据有害藻华发生情况的数据特点, 设计了标准模板, 包括有害藻华暴发时间(年、起始月、起始日、结束月、结束日、季节)、地点(位置信息、经纬度)、原因种(中文种名、拉丁文种名)、规模、经济损失及来源等字段, 每个字段规范了列名、字段类型、字段长度、位数等信息(图3)。数据管理平台通过关联有害藻华发生情况数据库和藻种信息数据库, 查询了2006～2007年渤海有害藻华事件及藻种详细信息, 如图4所示。

图2 有害藻华数据分析与可视化平台的功能框架

表2 有害藻华数据分析与可视化平台开发软件环境

图3 有害藻华发生情况数据标准模板

图4 有害藻华发生情况数据库和藻种信息数据库关联查询结果展示

4.2 GIS平台

基于1952～2017年渤海有害藻华发生情况记录,应用GIS平台对渤海夜光藻()赤潮位置进行查询并标注(图5)。根据制图模板生成了渤海有害藻华发生情况的专题图(图6)。基于核密度分析揭示了渤海湾近岸海域和秦皇岛近岸海域是有害藻华热点区域(图7)。基于方向分布工具发现渤海有害藻华空间分布态势在2000年前主要沿东北-西南方向分布, 2000～2009年短轴呈现收缩趋势, 2009年后主要分布方向转向偏西北-东南方向(图8), 指示了渤海有害藻华分布态势随时间的变化趋势。

4.3 可视化平台

基于渤海有害藻华发生情况数据, 利用可视化平台实现了有害藻华事件随时间轴在地图上的时空动态展示(图9), 统计分析结果可随时间轴动态变化, 点击每个有害藻华发生点可获取有害藻华原因种的介绍。

5 结论与展望

本平台基于多源异构有害藻华数据, 构建了数据管理平台、GIS平台和可视化平台, 基本实现了对有害藻华数据的组织管理和动态关联, 可以支持对有害藻华时空特征的探究, 在展示效果上初步实现了有害藻华数据和产品的可视化渲染, 可望为教学科研、管理决策和科普教育提供支撑。

基于搭建的有害藻华数据分析与可视化平台, 未来将逐步实现对外开放共享, 通过集成更多类型的有害藻华观测数据, 尝试内嵌统计学、地统计学、机器学习、数值模拟等数据分析方法和手段, 更好地实现有害藻华成因探究和预测预警, 为管理部门决策提供支撑服务。

图5 渤海夜光藻赤潮空间分布和属性查询结果展示

图6 渤海有害藻华发生情况专题图示意图

图7 基于核密度分析的渤海有害藻华热点区域分布示意图

图8 渤海有害藻华空间趋势变化示意图

图9 渤海有害藻华发生情况空间分布可视化展示

于仁成, 吕颂辉, 齐雨藻, 等, 2020. 中国近海有害藻华研究现状与展望[J]. 海洋与湖沼, 51(4): 768-788.

于仁成, 刘东艳, 2016. 我国近海藻华灾害现状、演变趋势与应对策略[J]. 中国科学院院刊, 31(10): 1167-1174.

中国环境科学学会, 2005. 渤海海区赤潮发生特点的研究. 中国环境保护优秀论文集(2005)(上册)[M]. 北京: 中国环境科学出版社: 1118-1122.

朱杭杰, 雷惠, 潘玉良, 等, 2020. 基于Java EE与SuperMap的浙江近海赤潮遥感监测系统开发与应用[J]. 科技通报, 36(3): 25-33.

朱乾坤, 陶邦一, 雷惠, 等, 2016. 东海赤潮遥感自动监测系统开发与应用[J]. 海洋学研究, 34(2): 18-24.

李炳南, 2014. 基于GIS的赤潮灾害应急决策支持系统研究与应用[D]. 上海: 华东师范大学: 51-63.

李雪丁, 曾银东, 任在常, 等, 2014. 福建省赤潮预警系统研究与应用[J]. 海洋预报, 31(4): 77-84.

杨建洪, 陈艳拢, 赵冬至, 等, 2008. 赤潮卫星遥感监测系统软件构建[J]. 海洋环境科学, 27(S2): 78-81.

周名江, 朱明远, 张经, 2001. 中国赤潮的发生趋势和研究进展[J]. 生命科学, 13(2): 54-59, 53.

洛昊, 马明辉, 梁斌, 等, 2013. 中国近海赤潮基本特征与减灾对策[J]. 海洋通报, 32(5): 595-600.

曹敏杰, 2015. 浙江近岸海域海洋生态环境时空分析及预测关键技术研究[D]. 杭州: 浙江大学: 99-111.

ANDERSON D M, BURKHOLDER J M, COCHLAN W P,, 2008. Harmful algal blooms and eutrophication: examining linkages from selected coastal regions of the United States [J]. Harmful Algae, 8(1): 39-53.

ANDERSON D M, CEMBELLA A D, HALLEGRAEFF G M, 2012. Progress in understanding harmful algal blooms: paradigm shifts and new technologies for research, monitoring, and management [J]. Annual Review of Marine Science, 4: 143-176.

ANDERSON C R, MOORE S K, TOMLINSON M C,, 2015. Living with harmful algal blooms in a changing world: strategies for modeling and mitigating their effects in coastal marine ecosystems [M] // SHRODER J F, ELLIS J T, SHERMAN D J. Coastal and Marine Hazards, Risks, and Disasters. Amsterdam: Elsevier: 495-561.

BERDALET E, FLEMING L E, GOWEN R,, 2016. Marine harmful algal blooms, human health and wellbeing: challenges and opportunities in the 21st century [J]. Journal of the Marine Biological Association of the United Kingdom, 96(1): 61-91.

DAVIDSON K, GOWEN R J, HARRISON P J,, 2014. Anthropogenic nutrients and harmful algae in coastal waters [J]. Journal of Environmental Management, 146: 206-216.

DING L, QIU J B, LI A F, 2017. Proposed biotransformation pathways for new metabolites of paralytic shellfish toxins based on field and experimental mussel samples [J]. Journal of Agricultural and Food Chemistry, 65(27): 5494-5502.

KIRKPATRICK B, CURRIER R, NIERENBERG K,, 2008. Florida red tide and human health: a pilot beach conditions reporting system to minimize human exposure [J]. Science of the Total Environment, 402(1): 1-8.

LEWITUS A J, HORNER R A, CARON D A,, 2012. Harmful algal blooms along the North American west coast region: history, trends, causes, and impacts [J]. Harmful Algae, 19: 133-159.

TOWNHILL B L, TINKER J, JONES M,, 2019. Harmful algal blooms and climate change: exploring future distribution changes [J]. ICES Journal of Marine Science, 76(1): 353.

DESIGN OF INTEGRATED PLATFORM FOR ANALYSIS AND VISUALIZATION OF HARMFUL ALGAL BLOOMS

LI Xiao-Yu1, 6, YU Ren-Cheng1, 2, 3, 4, MOU Nai-Xia5, GENG Hui-Xia1, WANG Zhi-Peng5, SHI Jin-Hao5, XUE Run-Sheng5

(1. CAS Key Laboratory of Marine Ecology and Environmental Sciences, Institute of Oceanology, Chinese Academy of Sciences, Qingdao 266071, China; 2. Laboratory for Marine Ecology and Environmental Science, Pilot National Laboratory for Marine Science and Technology (Qingdao), Qingdao 266237, China; 3. University of Chinese Academy of Sciences, Beijing 100049, China; 4. Center for Ocean Mega-Science, Chinese Academy of Sciences, Qingdao 266071, China; 5. College of Geodesy and Geomatics, Shandong University of Science and Technology, Qingdao266590, China; 6. North China Sea Environmental Monitoring Center, State Oceanic Administration, Qingdao 266033, China)

As one of the marine ecological disasters, harmful algal blooms (HABs) may have severe impacts on mariculture, tourism, and public health, which has brought a big challenge to marine management. At present, a huge amount of HABs data generated in a long time have been accumulated in the fields of biology, chemistry, hydrology, meteorology, statistics, and methodology. Especially, statistical methods, geographic information system (GIS) tools etc. have been rapidly advanced in recent years, which has laid an important foundation for further exploring the space-time evolution characteristics of HABs and improving the monitoring and early warning level of harmful algal blooms. In this study, a database integrating GIS tools and visualization technology was designed as a comprehensive platform for better data management and application. The platform realizes the dynamic join and storage scalability of multi-sourced HAB data and integrates various methods for spatial analysis and visualization of data and products. A case study was conducted using this platform on the long-term temporal and spatial evolution of HABs in the Bohai Sea. The platform provided an efficient support for popularization of science, scientific research, and governmental decision-making.

harmful algal bloom; software system; database; geographic information system (GIS); visualization

X55; P208

10.11693/hyhz20220500137

*中国科学院战略性先导科技专项A类, XDA19060203号。李笑语, 博士研究生, E-mail: lxy123coco@163.com

于仁成, 博士生导师, 研究员, E-mail: rcyu@qdio.ac.cn

2022-05-24,

2022-07-04