渔业科学观测数据的开放共享与应用研究

薛沐涵 刘慧媛* 鲁 峰，2 蒋庆朝

（1.中国水产科学研究院渔业工程研究所，北京 100141；2.青岛海洋科学与技术试点国家实验室，青岛 266237）

1 引言

渔业科学观测数据是渔业科学观测实验站在日常监测和实验过程中积累的原始数据，作为渔业科学数据的重要组成部分，渔业科学观测数据反映了渔业生物资源、生态环境和生产要素的发展规律。开展渔业科学观测数据的开放共享与应用研究，对优化渔业科学观测数据管理工作，精准化渔业领域应用服务研究具有良好的现实意义[1-2]。随着地理信息系统、大数据、人工智能等现代互联网信息技术在渔业领域的不断应用，渔业科学观测工作获取的资源调查、环境修复、遗传育种、种质、养殖、生产管理等方面的数据资源日益丰富[3-5]。联合国粮食及农业组织（Food and Agriculture Organization of the United Nations,FAO）建立了渔业资源、生态环境、生产养殖、捕捞加工、经济贸易等与渔业和水产养殖相关的特色数据库，是目前渔业领域最权威的综合数据中心[6-8]。美国国家海洋和大气管理局（National Oceanic and At‐mospheric Administration，NOAA）设有针对渔业资源收集、分析与评估的区域性渔业科学与统计管理组织，分别负责所辖海域的海洋物种、渔业生产、生物保护、海洋与生态环境、栖息地保护、气候水文、渔业经济与政策法规等相关科学数据的采集分析工作[9-11]。欧洲国家也在多个层面推进渔业科学数据的管理工作，英国环境、渔业和水产养殖科学中心（Centre for Environment，Fisheries and Aquaculture Science，CE‐FAS）建立了渔业资源、生态系统、加工生产、养殖技术、统计分析等各类型特色数据库，形成了强大的数据服务能力[12]。2010年和2011年农业农村部分两批组织开展了部重点实验室体系的布局和遴选工作，确定了由综合性重点实验室、专业性(区域性)重点实验室和农业科学观测实验站组成的"学科群"的组成框架[13]。2018 年起，国家渔业科学数据中心在我国重点海域和流域设置国家渔业资源与环境科学观测实验站，积累了丰富的渔业生物学和资源动态方面的渔业科学观测数据[14]。

然而，我国在渔业科学观测数据方面的研究起步较晚，研究进展和成果与发达国家相比还有一定的差距，存在数据资源利用率低、数据共享标准缺乏顶层指导依据、数据应用服务能力薄弱等问题，导致渔业科学观测数据各自孤立，信息无法共享，大大降低了数据的内在挖掘价值。为此，本文围绕渔业科学数据开放共享与应用分析的背景及需求，分析了国内外渔业科学观测数据的研究现状和存在的问题。结合互联网和信息技术，从数据的结构梳理、共享机制、服务模式和应用分析等方面展开讨论，研究渔业科学观测数据的标准化处理方法、数据共享服务体系以及平台的建设思路，保证数据的科学管理和集成共享，提高数据的可用性、有效性和潜在应用价值。

2 渔业科学观测数据共享体系建设

建设数据共享体系是渔业科学观测数据共享的前提，通过共享体系可以确定数据的使用权限和规范数据交换行为。国家渔业科学数据中心是国家科学观测工作在渔业领域的重要一环，是渔业科学观测数据管理、分析和共享工作的基础支撑保障。围绕国家渔业科学数据中心建立渔业科学观测数据的共享体系，通过梳理渔业科学观测数据资源结构，确立数据分级分类目录，搭建渔业科学观测数据共享标准规范体系框架及共享服务平台，为提供数据共享提供标准化运行环境，完善数据共享服务网络与布局。渔业科学观测数据共享体系总体架构如图1所示。

2.1 渔业科学观测数据资源结构

渔业科学观测数据围绕海洋及内陆水域的观测需求，通过设置一系列长期、稳定的监测站点，对水生生物及栖息生境进行观察、监测和记录，从而掌握渔业资源与环境的相互作用及演变规律[15]。渔业科学观测数据采样具有周期性，且不同监测站点的地理环境差异较大，因此存在数据记录分散、量纲不一致、数据格式及精度迥异等问题。为统一各监测站点的数据标准，需要通过对数据分级分类目录进行梳理，描述数据集的内容及相关属性，并对每项数据集的指标类型和数据类型进行定义。渔业科学观测数据资源结构具体如表1 所示。将渔业科学观测数据的指标类型分为常规指标和选择指标，常规指标是指所有监测站点必须监测的指标，选择指标是特定监测站点根据监测条件和实际情况可选择监测的指标。

2.2 渔业科学观测数据共享标准规范体系

根据渔业科学数据共享体系的建设和发展需求，在国家渔业科学数据中心章程的指导下，构建了渔业科学观测数据共享标准规范体系框架，如图2 所示。该体系所包含的标准规范涉及机制条例、数据管理、平台开发和用户服务四大类。以机制条例类的标准规范为核心，规定了渔业科学观测数据汇聚与共享体系的总体环境，促进数据要素的流动、增值和应用；数据管理类的标准规范主要包括数据汇交标准规范和元数据标准，数据汇交标准规范定义数据类型、长度、单位、编码规则、校验规则、填报方式等，元数据标准为渔业科学观测数据共享中的元数据提供了统一、规范的描述方法，便于数据汇聚、集成和共享；平台开发类的标准规范以相关技术方案为核心，指导平台软件的开发，是软件开发界面方案的主要依据，包括：软件编码规范、平台技术规范和接口规范等，其中，技术规范对标准化的数据对象提出技术要求，接口规范定义接口协议类型、交互认证机制、错误代码、信息目录、编码方式、消息体格式等，渔业科学观测数据共享标准规范体系软件平台的技术规范和接口规范正处于在建阶段；用户服务类的标准规范以国家渔业科学数据中心丰富的数据资源为依托，为用户提供了便捷的专项服务，主要包括：数据支撑服务、数据查询服务、数据库技术支持服务、数据库系统建设服务、网站构建服务、网站维护服务等，渔业科学观测数据的共享服务规范处于在建阶段。

渔业科学观测数据的数据汇交流程如图3 所示，数据首先由各监测站点填报，并由监测站点的负责人进行审核，通过后提交至对应的观测实验站，由实验站进行二次审核。审核无误后最终提交至国家渔业科学数据中心，并由数据中心人员进行最终审核，并由数据传输接口将汇交后的渔业科学观测数据传递至农业总中心。针对渔业科学观测数据质量管理问题，需指定数据质量评估模型。首先定义数据质量评估指标，包括数据的唯一性、一致性、准确性、关联性、完整性和及时性等，然后制定评估对象、评估指标、权重、期望值等数据质量评估规则，通过数据识别、度量、监控、预警等一系列质量控制措施，改善和提高数据质量水平。

2.3 渔业科学观测数据共享服务平台总体技术架构

结合渔业科学观测数据的特点与分类，面向完善数据共享与应用服务能力的需求，构建渔业科学观测数据共享与服务平台[16]。该平台从总体技术架构上分为六个层次，即基础设施层、基础数据层、数据服务层、应用支撑层、数据应用层和平台门户层。平台通过数据查看、数据发布、数据获取和数据分析等功能的开发，在元数据的统一调度下，完成渔业科学观测数据的浏览、查询、汇聚、交换、下载和分析等数据共享服务，并在此基础上，逐步开展渔业科学观测数据资源建设与精准化应用服务研究。

（1）基础设施层：提供物理资源池和虚拟化管理等基础设施资源，以租赁或集成的模式提供计算、存储、网络、安全等设备资源，并采用虚拟化管理的方式完成虚拟化资源分配，提高系统的资源利用率，支撑和保证数据共享及应用服务模型的综合管理与统一调度；

（2）基础数据层：对渔业科学观测相关的空间数据和属性数据提供存储和管理，包括：基础地理信息数据、调查监测数据、多媒体数据和系统元数据等，并通过数据集成和提供数据访问接口的方式，为数据服务层提供高质量的数据资源；

（3）数据服务层：围绕各类型的渔业科学观测数据，开展大数据环境下渔业科学观测数据分析处理与服务能力建设，主要包括：数据审核、目录查询、数据更新、数据浏览、数据融合治理、数据开放共享、科学论坛、统计分析和专题计算等；

（4）应用支撑层：面向服务软件开发人员，提供技术与服务的集成环境，将分散、异构的数据服务资源进行聚合，形成一个支持信息访问、传递和协作的开放式数据资源环境，实现个性化应用的高效开发、部署与管理；

（5）数据应用层：从渔业资源、生态环境、种质资源和生产养殖等多角度对渔业科学观测数据进行描述，将应用分析指标与数据建模、遥感影像、地图服务、数据可视化等技术结合[17]，构建智能应用与服务模型，生动直观地表达渔业科学观测相关研究成果的变动规律；

（6）平台门户层：是渔业科学观测数据共享与服务平台的门户和功能入口，该平台主要面向各级海洋与渔业管理部门、研究机构、高等院校、协会组织和科技人才等。用户通过门户网站注册和登录后，享有与渔业科学观测数据相关的各类业务应用、统计分析和智能决策服务。渔业科学观测数据共享与服务平台总体技术架构如图4所示。

3 渔业科学观测数据共享服务机制

3.1 渔业科学观测数据共享服务模式与内容

为有效利用渔业科学观测数据资源，需建立科学、协调、绿色、可持续的数据共享服务模式，实现数据的统一管理、深度加工、挖掘分析和共享开放[18-19]。如图5 所示，渔业科学观测数据的共享服务模式分类如下。

（1）数据层面的数据共享：包括基于数据接口的数据共享、基于数据交换代理的数据共享和基于架构接口服务的数据共享等；

（2）组织层面的数据共享：包括渔业科学观测数据的集成、存储与服务、渔业科学观测数据语义化组织与再利用等；

（3）应用层面的数据共享：包括渔业科学观测数据处理流程构建、基于渔业科学观测数据挖掘新知识、渔业科学观测数据专题应用等。

渔业科学观测数据共享服务包括基础服务、管理服务、数据服务、专题服务和功能服务，服务对象包括数据管理者、数据拥有者和数据用户。面向数据管理者，通过数据管理服务梳理数据结构，控制集成数据资源质量，实现数据共享体系的统一部署；面向数据拥有者，为其提供方便快捷的数据处理环境和数据信息安全保障，同时加强数据的定位和重用；面向数据用户，明确其数据应用需求，打造多样化的渔业科学观测数据专题服务和功能服务，并根据用户反馈优化和完善服务内容[20]。

3.2 渔业科学观测数据共享服务安全保障措施

渔业科学观测数据共享服务涉及的数据量较大，且通过平台操作数据大量集中，面临外部攻击导致数据泄露、用户和工作人员的过量下载、违规使用等安全威胁。本文从数据分级分类、提供注册制度、数据使用授权、安全保密管理等维度，建立完善的渔业科学观测数据共享服务安全保障措施。

（1）数据分级分类：根据数据属性进行分类，采用数据标签方式进行标记，并且根据数据的重要程度分级管理，对不同级别的数据采取不同的安全保密措施，基于数据分类、分级的成果，得到权限管理输出，作为访问控制权限的分配标准，确定数据共享服务的范围、权限和方式。

（2）安全注册制度：数据拥有者按照规定在数据共享服务平台注册并审核通过所提供的数据后，发布数据。提交数据应明确数据使用范围、条件要求、更新周期等信息，确保数据真实有效，来源明确。

（3）数据使用授权：根据数据内容的重要性不同对访问者授予合适的权限。数据管理者在获得数据拥有者的许可下，可通过规定方式将数据级授权给予数据用户。对于重要数据，需要第三方评估数据用户的安全保密能力，达标后才能授权。

（4）安全保密管理：参与数据共享服务的相关方需明确数据安全保密协议，遵循个人信息保护原则、不同等级的数据安全保护能力原则等，需建立数据安全应急处置预案，确保渔业科学观测数据的安全使用。

4 渔业科学观测数据共享服务平台的实现与应用

渔业科学观测数据共享服务平台在Java EE 5 规范下，使用IntelliJ IDEA IDE 开发，基于目前主流的Spring Boot框架，采用Mybatis作为持久层框架，数据存储采用SQL Server，同时采用Log2j 和ELK 作为日志输出和收集工具，完成系统的应用开发及扩展。平台运行的典型界面如图6 所示。平台通过数据上报、抽样、共享、聚合数据接口调用、服务解析、数据可视化展示[21-22]等功能，实现渔业科学观测数据的统计、查询和分析[23]。

基于渔业科学监测站点采集的各类观测数据，按照数据内容、监测范围及数据格式进行分类和预处理，同时抽取专题数据进行交互式数据分析，实现关键流域渔业资源调查评估监测、渔业水域环境污染与生态效应监测等不同主题的典型应用。目前，渔业科学观测数据共享服务平台已对国家农业基础性长期性工作约150 个渔业科学观测站开放，平台制定的不同主题表单涉及观测指标300 余项，累计上传数据超过25GB，为渔业科学观测领域的数据资源建设与管理决策分析提供数据支撑和服务。

5 结论

渔业科学观测数据是渔业信息化时代的基础性科技资源，其科学价值和使用价值对渔业大数据的发展及渔业科技水平的提升具有重要意义，渔业科学观测工作中的数据资源建设与应用服务探索成为渔业科技工作的重点，要实现渔业科学观测数据价值的最大化，需要对数据进行充分地共享与应用研究。本文围绕渔业科学观测数据的数据资源、开放共享与分析应用需求，梳理了渔业科学观测数据资源结构、数据共享标准规范体系、数据共享服务模式和数据安全保障措施，设计并实现了渔业科学观测数据共享与服务平台。研究表明，渔业科学观测数据的开放共享与应用研究，可以促进渔业科学观测数据共享工程建设，数据资源结构、共享标准规范体系、数据共享服务机制等因素是支撑渔业科学观测数据的开放共享的重要基础，为渔业科学观测数据的可持续性科学研究提供思路。