海洋大数据平台建设及应用

●　文| 清华大学水利水电工程系　　洪阳　侯雪燕

海洋大数据平台建设及应用

●文| 清华大学水利水电工程系洪阳侯雪燕

一、对海洋大数据的思考

随着计算机、互联网等信息技术的快速发展，世界已进入大数据时代。对于何为大数据，目前尚未有一个统一的定义。国际数据中心（IDC）对大数据的定义较为经典，主要归纳为4个V：即海量的数据规模（Volume）、快速的数据流转和动态的数据体系（Velocity）、多样的数据类型（Variety）和巨大的数据价值（Value）。此外，数据真实性（Veracity）作为大数据的重要特征，也被IBM纳入大数据的定义中。

海洋约占地表总面积的71%，人类为了解、认识和利用海洋，通过卫星遥感、航空、气象气球、台站、浮标、船舶、水下探测等多种手段对海洋进行观测和调查，形成了非常庞大的海洋观测体系，积累了海量的海洋科学数据，包括现场观测资料、海洋遥感数据、数值模式预报结果及产品等数据，这些海洋数据具有海量、多源、多态、异构等特点。随着科学技术的发展和进步，人们已经认识到海洋对于气候预测十分关键，是了解全球变化的重点区域。随着对海洋观测精度的不断提高、时间间隔的迅速缩短、以及海洋观测网络节点的迅速增长，海洋数据量增长速度快于其他行业大数据的增长（黄冬梅等，2016）。海洋数据具备大数据的“5V”特征，海洋大数据即是在大数据的理论指导及技术支撑下，大数据在海洋领域的实践和价值实现。

在海洋大数据的“5V”特征中，数据多元化（Variety）和高价值（Value）是最受关注的两个特征。“数据多元化”使得数据存储、处理等环节成为海洋大数据应用的重点攻关方向；而“高价值”是海洋大数据的核心，包括数据本身的价值及蕴含其中的价值，是世界各国科研领域、企业及政府部门所珍视的“金矿”（解鹏飞等，2015）。作为一种有价值的资源，海洋大数据已成为实现海洋强国战略的重要基础，被诸多国家纳入国家整体发展战略之中。

随着信息技术的发展，各国竞相发射海洋卫星以及兼有海洋观测功能的多种资源和气象卫星，通过所搭载的传感器对海面进行立体探测，提取海洋水色、海洋动力等环境信息，获取海洋时空数据。卫星遥感具有其他传统海洋实测调查等手段无法比拟的优势，能够对全球海洋进行大范围、长时间的观测，为人类深入认识和了解海洋提供了无法替代的数据源。近年来，卫星遥感技术发展迅速，随之而来的海洋数据规模呈爆炸式增长，在海洋环境预报、海洋作业生产、海洋防灾减灾等领域的应用价值也日益彰显和突出。海洋遥感是当前海洋大数据最重要的数据源之一，也是实现数字海洋建设、海洋信息化的重要途径。

二、海洋遥感大数据

民用海洋卫星从功能上一般可以分为两类：海洋水色卫星和海洋动力环境卫星。也有一些卫星属于综合观测型海洋卫星，即可以同时具备海洋水色和动力环境监测功能。军用海洋卫星主要分为电子型海洋监视和雷达型海洋监视卫星。海洋卫星的主要传感器包括水色成像仪、微波辐射计、微波散射计、雷达高度计、合成孔径雷达等。

海洋水色卫星主要用于探测海洋水色要素，如叶绿素浓度、悬浮泥沙含量、有色可溶有机物等，此外也可获得浅海水下地形、海冰、海水污染以及海流等有价值的信息。海洋水色卫星的有效载荷通常是多光谱扫描仪或成像仪。

海洋动力环境卫星主要用于获得海面风场、海面高度场、浪场、海洋重力场、大洋环流和海表温度场等海洋动力环境参数。海洋动力环境卫星的有效载荷通常是微波辐射计、微波散射计、雷达高度计和合成孔径雷达。其中，以雷达高度计为主要载荷的海洋动力环境卫星也称为海洋地形卫星。

卫星遥感可以监测诸多海洋环境要素，包括海表温度、海洋水色、海面风场、海表盐度、海面高度以及海冰等，并在诸多海洋领域发挥着重要作用（见图1）。例如，卫星监测到的海表温度可以应用于台风预报、气候变化预测、海洋渔业生产等领域。

图1部分海洋遥感监测要素及应用领域

三、海洋大数据平台建设

在大数据时代的背景下，建设海洋大数据平台是未来实现海洋信息化的必经之路。海洋预报中的数据同化、模式数据和产品分发体现了对海洋大数据处理和分析平台建设的需求（王辉等，2015），海洋大数据的快速展示成为海洋信息化过程的重要环节（黄冬梅等，2015）。随着“数字地球”应运而生的“数字海洋”建设，也已步入大数据时代，在海洋信息获取、海量信息分析处理、规模化服务应用等方面越来越依赖于大数据平台（董贵山等，2015）。

如何利用大数据相关技术，结合海洋应用特点，对海量、多源、异构的海洋观测和模拟数据进行快速、及时地分析和处理，实现开发和利用海洋大数据，提升海洋预报及应用的时效性和准确性，是海洋大数据平台建设的关键问题。基于大数据的理念，首先需要对海量、复杂的多源异构的海洋大数据进行整合，采用大数据的分布式存储+云计算平台的模式，建立海洋大数据共享机制框架；在数据共享的基础上，实现多类海洋信息的综合查询、分析，挖掘海洋大数据的潜在价值，为海洋领域相关单位、团体、个人提供应用服务，包括海洋信息咨询、海洋资源开发、海洋监测预警、海洋维权指挥、海洋防灾减灾等。

1.海洋大数据的管理

目前，我国海洋观测平台的条块管理模式使得资料共享成为近海研究的大障碍，严重影响了对数据价值的挖掘（宋坤，2015），基于大数据理念的海洋数据共享平台成为海洋大数据平台建设的一个重要方面。此外，海洋大数据的科学管理对系统架构（包括存储、传输、计算、分析、可视化等系统）提出了更高的要求。现有的海洋数据系统平台已经难以满足海洋大数据的应用需求。未来海洋大数据平台的建设，需要运用新一代互联网技术和云计算开发，构建云环境下的海洋数据库网络和海洋大数据平台，通过海洋大数据的采集、收集、存储、管理、处理和分析，推动海洋数据共建共享，带动海洋相关领域产业的建设和发展。

2.海洋大数据平台架构

总体来说，海洋大数据的硬软件平台架构可分为三个层面：数据层、技术层和应用层（见图2）。数据层是海洋大数据平台的基础，包括各类海洋数据采集平台的数据，如地、天、空、海岸、船、油气平台、水下移动等观测到的海洋遥感数据、物理数据、生物数据、化学数据等；经过数据预处理技术，将多源异构的海洋大数据进行统一模式的组织和管理。技术层包括多源异构海洋大数据的融合、分析、挖掘、预报、可视化等技术，并对相关技术进行集成和云平台开发，实现海洋数据的个性化检索，并对海洋要素进行精准预报。应用层是在数据检索和技术集成的基础上，对海洋应用模块集中整合，建设综合、开放的海洋应用服务管理系统（见图3），为科学研究和行业应用提供数据共享、信息处理、决策支持、业务化运行等服务。

图2　海洋大数据平台总体架构

图3　海洋大数据平台应用层

3.海洋大数据平台组成

大数据的整个链条可分为：数据采集、数据传输、数据存储、数据分析、数据可视化和数据运行决策六大模块，对于海洋大数据共享与综合应用服务平台，主要包括以下五大平台：数据获取平台、存储与计算平台、分析与应用平台、信息可视化平台和决策与发布平台（见图4）。

图4　海洋大数据平台组成部分

数据获取平台：数据采集是整个海洋大数据平台建设的起始端。利用海洋通信技术和互联网技术，开展包括天基（卫星、航空飞机、无人机等）遥感、近海测绘、海洋浮标、海洋科考、水下探测等在内的数据采集。由于海洋大数据具有多源异构的特点，因此需要对数据进行预处理，如数据“清洗”，为后续流程提供统一高质量的数据集。

存储与计算平台：获取的数据通过无线或有限网络传输至基于云计算的基础平台，采用云存储、虚拟化网络、虚拟主机服务以及云平台对海洋大数据进行存储和管理。其核心技术包括分布式文件存储以及分布式计算。例如，由Apache基金会所开发的分布式系统基础架构Hadoop，其最核心的设计是分布式文件系统（Hadoop Distributed File System，HDFS） 和 MapReduce；HDFS为海量数据提供存储，MapReduce则为海量数据提供计算。分布式文件存储典型代表有Hadoop的HDFS+HBase文件存储方案、谷歌的GFS+BigTable文件存储方案等。

分析与应用平台：数据分析是海洋大数据处理的核心流程，利用分析方法或工具对数据进行检查、变换和建模，从中提取数据潜在价值。数据分析技术包括分类、聚类、关联规则、遗传算法、神经网络、预测模型、模式识别、时间序列分析、回归分析、系统仿真、机器学习、优化、空间分析、社会网络分析等。通过对数据的实时分析和处理，应用于海洋防灾减灾、海洋环境监测、海洋渔情预报等领域。

信息可视化平台：通过建立海洋数据的分析和应用模型，实现海洋要素、海洋过程、海洋预报的多维、动态、可视化表达，为海洋科学研究和行业内应用提供信息可视化服务。

决策与发布平台：基于以上平台系统，通过网络计算机、智能手机APP等灵活、机动的客户端方式，为海洋领域相关单位和个人提供快速实时的决策支持服务，包括海洋信息咨询、海洋污染监测预警、海洋渔场监测、海洋维权指挥等。

此外，目前也亟需开发“海洋+”的海洋大数据行业应用，通过建立技术转移平台和产业孵化平台，在海洋技术、海洋预报、海洋经济等相关领域提供海洋大数据信息服务和决策支持服务。

四、清华大学遥感大数据研究中心及海洋大数据平台

在地球遥感观测领域，人类对地球和人居环境的综合观测能力达到空前水平，遥感数据呈现出明显的大数据特征。国际上针对遥感大数据的科学研究仍处于起步阶段，缺乏针对遥感大数据的创新研究。在清华大学土木水利学院“千人计划”洪阳教授的推动下，由清华大学数据科学研究院、土木水利学院、水沙科学与水利水电工程国家重点实验室、建筑学院、环境学院、地学中心、3S中心、电子系、计算机系联合发起，于2015 年10月23日成立了清华大学遥感大数据研究中心。该中心围绕数据科学（Data Science），与土木水利、城市建筑、地学环境、计算机等组建学科群，瞄准国内外重大对地观测计划，发展以数据链和物联网为基础的产学研用，服务现代水文水利、海洋、国土、农业、气象、城市、环境、交通、防灾减灾、规划等，从科学研究、学科建设、人才培养、产学研协同创新等方面，全方面引领学科发展，提升国内国际影响力。该研究中心建设项目如表1所示，其中，海洋大数据是该中心的重点建设项目之一。

清华大学海洋大数据平台（筹）依托清华遥感大数据中心、清华大学海洋技术中心、以及清华海峡研究院，与国内外相关单位在技术研发、设备和人才等方面进行合作，运用新一代互联网和云计算开发技术，构建海洋数据库网络，规划建设海洋大数据共享平台，打造国际化的海洋大数据中心。其功能定位为：产学研协同创新，海洋信息共享服务。

表1　清华大学遥感大数据研究中心建设项目

五、结语

党的十八大正式提出“建设海洋强国”战略目标以来，我国在海洋信息化、海洋大数据平台建设等方面取得了长足发展，但与发达国家相比仍存在较大差距，如数据获取能力不足、海洋资料共享体系尚不完善、数据挖掘应用能力相对薄弱等。针对未来大数据采集工作，需要引进吸收国际先进技术，提升自主创新能力。一方面，利用现有卫星遥感技术和无人机等近地遥感技术，全面提升海洋数据采集效率和完整性；另一方面，加强新型海洋卫星载荷研制，丰富国家海洋卫星及载荷的类型和数量，鼓励科研单位发射自主海洋小卫星，开展以应用为导向的创新研究。随着海洋观测系统在时空分辨率、观测范围、观测要素类型等方面的快速发展，海洋大数据在数据存储、数据处理、信息表达等方面迎来巨大的挑战，对系统架构也提出了更高的要求。此外，海洋大数据的安全管理也是海洋大数据平台建设需要重点考虑的问题。当前我们需要明确未来海洋信息化的发展需求，突破海洋大数据关键技术，建设国际化海洋大数据平台，促进海洋大数据共享及产学研协同发展，为国家海洋战略和海洋产业发展提供更加高效和优质的服务。

［1］lshii M， Kimoto M， Sakamoto K， et al. 2006. Steric sea level changes estimated from historical ocean subsurface temperature and salinity analyses［J］. J. Oceanogr.， 62（2）： 155-170.

［2］Lombard A， Garcia D， Ramillien G， et al. 2007. Estimation of Steric Sea Level Variations From Combined Grace and Jason-1 Data［J］. Earth Planet Sc Lett， 254： 194-202.

［3］董贵山， 王正， 刘振钧.基于大数据的数字海洋系统及安全需求分析［J］. 通信技术. 2015（5）.

［4］冯伟， 钟敏， 许厚泽.2014. 联合卫星测高、卫星重力和海洋浮标资料研究2005-2013年的全球海平面变化［J］. 地球物理学进展， 29（2）： 471-477.

［5］黄冬梅， 邹国良， 等.海洋大数据［M］. 上海科学技术出版社. 2016.

［6］王辉， 刘娜， 逄仁波， 等. 全球海洋预报与科学大数据［J］. 科学通报， 2015， 60：479-484.

［7］黄冬梅， 季丽伟， 袁小华， 等. 基于时空一体化的海洋大数据快速展示平台［J］. 海洋环境科学， 2015，34（5）： 743-748

［8］解鹏飞， 隋伟娜， 朱容娟， 等.云环境下海洋环境监测大数据处理平台的研究［J］. 海洋信息： 2015（1）.

［9］宋坤.大数据理念在海洋环境观测数据共享中的应用研究［J］. 海洋开发与管理. 2015（6）.