全球海洋数据获取系统元数据(JCOMM/ODAS)服务计划*
2014-04-18杨锦坤祁冬梅陈继香
于 婷,杨锦坤,祁冬梅,陈继香
(1.国家海洋信息中心 天津 300171;2.中国海洋大学海洋环境学院 青岛 266100)
全球海洋数据获取系统元数据(JCOMM/ODAS)服务计划*
于 婷1,2,杨锦坤1,祁冬梅1,陈继香1
(1.国家海洋信息中心 天津 300171;2.中国海洋大学海洋环境学院 青岛 266100)
海洋元数据的重要性越来越受到全球海洋界的认可。文章介绍了由世界气象组织 (WMO)和联合国教科文组织政府间海洋学委员会 (IOC)海洋和海洋气象联合技术委员会 (JCOMM)发起的海洋数据获取系统 (ODAS)元数据服务计划发展始末,及其在新的海洋气候数据系统 (MCDS)框架下的未来展望,详细给出了ODAS元数据的标准格式以及国家海洋信息中心作为ODAS元数据管理中心所制作的产品和提供的服务。
海洋观测;元数据;数据管理
1 引言
元数据(metadata)是用户访问和使用数据的依据,元数据管理是数据管理和服务过程中的重要组成部分。海洋领域的观测数据多依赖不同的观测仪器和平台,往往空间分布零散、时间不连续,对海洋观测数据的管理更是离不开与之对应的元数据。简而言之,元数据是 “描述数据的数据”,它给出了数据的内容、质量、状况及其他特性的信息。海洋观测元数据与数据本身具有同等重要的意义,清晰完整的元数据可以准确地描述数据的获取信息,有力的保证数据的可追溯性,对于海洋和大气领域的数据交换和科学研究具有极为重要的价值。
海洋学和海洋气象学联合技术委员会(JCOMM)的数据管理协调组(DMCG)非常重视海洋学和海洋气象学资料元数据信息的管理。在海洋气候学数据管理方面,数据管理协调组曾明确要求海洋气候学专家组 (ETMC)考虑数据获取系统 (包括系泊浮标、漂流浮标、海上平台等)的综合元数据库的开发,该元数据库要用于气候档案库已有的海洋数据获取系统观测数据的充分而准确的解读,以支持全球气候研究以及广泛的海洋气候应用[1]。
2 ODAS元数据管理中心(ODASMS)
2.1 建立背景
在2001年6月召开的JCOMM-I第一次会议上,在对JCOMM职权范围的志愿观测船(VOS)、全球温盐剖面计划(GTSPP),以及各类浮标数据的管理活动进行审查之后,委员会决定海洋气候观测的海洋数据获取系统采用由联合国以前的海洋气象委员会 (CMM)起草的元数据格式。海洋数据获取系统 (ODAS)元数据主要是针对海洋资料获取系统,如系泊浮标、漂流浮标、海上平台等获取资料的元数据描述,侧重于描述观测资料的原始特性,尤其是数据本身在采集时的环境特征,如采用的观测平台特征、仪器特征 (精度、技术指标、环境和状态等)、数据传输特征、传感器运行环境和参数等。该格式已由数据浮标协调组 (DBCP)进行了广泛的审查,并在该小组第八次会议上最终通过。大会请求JCOMM资料管理协调组(DMCG)负责这项任务的实施。
在2002年3月召开的JCOMM资料管理协调组第一次会议上,小组考虑ODAS的综合元数据库的开发,该元数据库要用于气候档案库已有的ODAS观测数据的充分而准确的解读,以支持全球气候研究以及广泛的海洋气候应用。会议指出,为了有效地管理ODAS元数据,充分发挥元数据的作用,并保持元数据格式随观测发展而及时更新,实现使JCOMM元数据的业务化管理和服务,需要尽快成立ODAS元数据管理中心(ODAS Metadata Service)。在这次会议上,国家海洋信息中心代表中国主动承担了ODAS元数据管理中心建设任务。小组要求ODAS元数据管理中心与国际海洋数据交换委员会(IODE)数据交换技术专家组(GETADE)密切协作开展ODAS元数据格式和现有的IODE海洋环境数据目录(MEDI)元数据以及其他几种元数据格式比较研究,并在JCOMM资料工作组的协调下,建立ODAS元数据的管理机制,开展元数据的收集、处理、管理和服务,制订相关标准和代码,为JCOMM数据管理和应用提供元数据信息和相关技术的支持。
多年来,国家海洋信息中心承办的JCOMM元数据管理中心在JCOMM资料工作组的协调下,建立了ODAS元数据的管理机制,制订了相关标准和代码,开展了多种元数据的收集、处理、管理和服务工作,为JCOMM数据管理和应用提供元数据信息和相关技术的支持。
2.2 ODAS元数据管理
ODAS元数据管理的目标是实现ODAS数据元数据信息的统一管理,保证ODAS元数据的规范性、完整性、有效性和实时性,为资料用户提供统一的访问平台获取资料元数据信息,并为访问资料本身提供相关导航服务,提高资料的访问效率、使用效率和准确度。
ODAS元数据管理的主要任务是收集全球范围内的各国资料管理机构、国际组织和国际合作项目获取的海洋资料元数据信息,以ODAS元数据标准为基础进行海洋资料获取系统元数据的处理和管理,建立元数据库,开发元数据处理、管理和服务相关工具,开展长期的维护和更新;建立和维护ODAS元数据管理服务网站,开展元数据发布服务和导航服务。
ODAS元数据管理工作在JCOMM资料管理组协调下进行,由指定的国家级资料中心(国家海洋信息中心)建立ODAS元数据管理中心,实施ODAS元数据的统一管理和服务。各部分之间的关系见图1。
图1 ODAS元数据管理模式
JCOMM成员和成员国以及国际组织、国际合作项目应按ODAS标准和ODAS元数据管理中心提供的格式进行海洋资料获取系统的元数据收集和整理,并向ODAS元数据管理中心提供。元数据提供方式有两种:一是形成元数据集(多条元数据形成的文件)通过发送EMAIL、FTP上传和光盘邮寄等方式到ODAS元数据管理中心;二是通过ODAS元数据服务网站提供的操作工具,直接输入元数据信息,传输到ODAS元数据管理中心。
在海洋可扩展标记语言 (XML)技术还没有统一标准之前,元数据提供者可以根据自己的具体情况确定统一的格式,如文本文件(txt)、xls电子表格、word表格或DBF等,但要求格式统一。在解决XML标准之后,将实现XML的统一标准和统一格式。
元数据的提供者也是元数据管理中心的主要用户,可以通过服务网站实时获取所有的ODAS元数据信息,并实现ODAS资料的导航访问,ODAS管理中心将定期向元数据提供者分发元数据目录(FTP、EMAIL或光盘分发),一般用户则通过网站享用ODAS的元数据信息,但在数据导航服务过程中会受到权限的控制。
3 ODAS参考数据格式
ODAS元数据标准是由海洋气候学专家组研究开发,主要是针对海洋资料获取系统,如系泊浮标、漂流浮标、海上平台等获取资料的元数据描述,侧重于描述观测资料的原始特性,尤其是数据本身在采集时的环境特征,如采用的观测平台特征、仪器特征 (精度、技术指标、环境和状态等)、数据传输特征、传感器运行环境和参数等,所以ODAS元数据适用于实时观测数据的信息描述。
ODAS元数据格式采用两层结构的描述方式 (图2)。第一层是标题记录,主要是描述数据集源的总体特征和获取环境;第二层是对各类传感器工作环境的详细描述,不同的传感器有不同的描述方式,而且可以根据观测平台的传感器情况,扩展第二层的记录类型。ODAS元数据格式对各种名称都采用代码方式,需要时可以进行代码的扩充和修改。
图2 ODAS元数据格式示意图
根据ODAS元数据格式,ODAS元数据库由12个基表构成,其中一个为标题信息基表,其余的均为数据信息基表。各基表中的数据项名称和含义与原格式中的完全一致。在各基表中仅增加一项唯一标志。本研究中仅给出标题信息表的具体格式 (表1),各数据信息表以其数据要素类型而各不相同,在此不一一累述。
表1 标题信息(HR)
续表
4 ODAS元数据产品的研制和发布
自2003年至今,国家海洋信息中心一直承担着JCOMM/ODAS元数据管理中心的建设和业务化运行服务的任务。为实现ODAS元数据的有效管理和服务,并保持其连续性,国家海洋信息中心建立了ODAS元数据收集、处理、管理和服务的业务化运行机制,成立业务化系统建设和运行小组,采用SQL/SERVER关系型数据库管理系统,按照ODAS元数据格式,设计和建立ODAS元数据库结构,并利用SQL/SERVER操作工具建立了ODAS元数据库和业务化运行系统。
在ODAS元数据管理方案基础上完成了JCOMM/ODAS元数据管理中心运行方案设计,ODAS元数据信息管理数据库和元数据管理中心网站的设计开发。2004年JCOMM/ODAS元数据管理中心网站正式开通并提供元数据发布和导航服务(www.odas.org)。网站发布内容主要包括:ODAS元数据管理中心介绍;元数据相关标准和格式;元数据库在线查询、检索和浏览,数据导航服务;JCOMM元数据信息管理和服务工作动态;JCOMM成员国相关海洋、气象网站的友情链接等。
在JCOMM管理委员会的协调和资料管理协调组的支持下,首先将数据浮标协调组 (DBCP)全球漂流浮标计划的元数据信息由JCOMM海上观测平台支持中心JCOMMOPS通过FTP方式在JCOMM网站发布,每月更新一次。JCOMM/ODAS元数据管理中心在深入研究DBCP元数据和ODAS元数据标准的基础上,2005年9月,完成DBCP元数据信息提取的详细工作流程设计,同时完成了DBCP元数据信息的下载、质量控制、信息提取和分析软件系统开发,并投入业务化运行,实现了DBCP元数据信息的业务化提取和发布服务。与此同时,利用中国Argo资料中心的有利条件,进行深入研究之后又成功将Argo浮标观测平台的有关元数据信息进行提取,并针对较为复杂的处理过程程序设计,实现了从Argo浮标观测元数据到ODAS元数据转换的业务化运行,网上发布服务。JCOMM/ODAS元数据管理中心积极扩展元数据信息源,利用全球海平面观测计划(GLOSS)成员国的有利条件,2007年又完成了从GLOSS资料提取ODAS元数据信息并通过该中心网站发布服务的工作。
目前JCOMM/ODAS元数据管理中心共提取和发布的元数据量已超过1.2万个平台的元数据记录,包括剖面浮标、漂流浮标、锚系浮标和海上平台等。在此基础上,业务化制作和网站动态发布ODAS元数据可视化产品,包括ODAS最新状态图,ODAS分布图(按国家或观测平台类型分类)等。
5 JCOMM/ODAS元数据管理面临的挑战和机遇
JCOMM/ODAS元数据管理中心旨在收集JCOMM各成员国、国际组织和国际合作计划/项目的ODAS元数据,但在运行的多年间一直面临ODAS元数据信息源收集渠道不通畅,元数据信息量不足的问题。至今仅实现了Argo计划的元数据业务化运行;JCOMM DBCP元数据信息业务化运行服务截至2006年2月,此后DBCP元数据信息源不再更新;GLOSS元数据信息源提取了包括观测平台和仪器特征等信息,但还没有包括GLOSS计划的较完整系统的元数据信息,收集不够完整,使用价值低。加拿大海洋环境数据中心非漂流ODAS元数据也只有2003年以前的元数据信息。JCOMM-III大会虽然要求成员国提供ODAS元数据,并明确JCOMM/ODAS元数据管理中心应加大收集相关国际合作项目的元数据信息[2],但到目前为止尚未获取到机会船 (SOOP)、志愿观测船(VOS)、国际综合海洋大气数据集(ICOADS)、OceanSITES等JCOMM重要国际合作项目元数据。至今没有JCOMM 成员及成员国向JCOMM/ODAS元数据管理中心提供水温仪器元数据,也没有收集到水温以外的其他要素的元数据信息。JCOMM第三次大会形成了有利于ODAS元数据发展的建议,但实施起来仍然有一定的难度,因此,上述存在的问题仍未得到有效解决。
2011年,JCOMM提出了一个新的设想,即发展一个全球范围的海洋气候数据系统(MCDS)[3],将全球的海洋气象和海洋气候数据有效整合起来,并通过建立10个左右的全球海洋和海洋气象资料中心 (CMOC)来实现数据和数据产品的业务化处理和发布服务。根据JCOMM新提出的海洋气候数据系统10年规划,JCOMM/ODAS元数据服务系统(ODASMS)已经成为MCDS的重要组成部分,并已提出有意将ODAS元数据管理中心与MCDS的一个全球海洋和海洋气象资料中心合并运行的设想。2012年2月,国家海洋信息中心正式向联合国教科文组织政府间海洋学委员会提交了志愿承担全球海洋和海洋气象资料中心的承诺声明[4]。在2012年5月的JCOMM第四次大会上,委员会宣布ODASMS计划停止,并同意国家海洋信息中心作为CMOC中心试运行,将原ODAS元数据工作并入CMOC中心一并运行[5]。这一举措,将实现数据和元数据的同时处理和管理,可以从根本上解决多年来ODASMS的元数据信息源收集、管理和服务的问题。
我们有理由相信,在全球海洋气候数据系统的框架下,ODAS元数据服务将迎来新的春天。元数据管理将得到巩固和流线化发展,其业务服务将通过CMOC网络实现与全球海洋气象和海洋气候数据、元数据、相关产品的直接连接,真正意义上实现数据与元数据的统一管理。
[1]JCOMM.Expert Team on Marine Climatology,Third Session,Melbourne,Australia,8-12 February,2010,Final Report[R].2010.
[2] WMO.WMO/IOC海洋和海洋气象学联合技术委员会第三次届会(含决议和建议案的最终节略报告)[R].2009.
[3] JCOMM.Workshop for a new Marine Climate Data System,Hamburg,Germany,28 November-2 December,2011,Final Report[R].2011.
[4] NMDIS,Statement of the compliance and commitment to voluntarily host a center for Marine-meteorological and Oceanographic Climate Data(CMOC)[Z].2012.
[5] JCOMM.JCOMM Data Management Programme Area:Marine Climatology[R].2012.
国家海洋局青年基金(2012413、2013203).