基于大数据的海洋测绘数据分析研究

周彬翀 罗剑 陈增琦 王正猛 郭松杰

摘要：近几年的海洋测绘数据日益增多，其多样性、异质性、复杂性等特性决定了传统的数据收集、存储和处理技术已经跟不上日益增长的需求;通过大数据框架处理技术（Hadoop），可以成功解决这些海量海洋测绘数据问题，这项技术使我们能够收集海洋测绘数据，获取必要的有用信息。

关键词：海洋测绘;Hadoop;数据分析;存储

1大数据技术

在高性能计算机和互联网资源技术飞速发展的大环境背景下，大规模信息技术被广泛应用于社会的各个领域。在当前条件下，这种大规模信息技术得到了广泛的应用，如Hadoop和Hbase，Hive等技术。其中，Hadoop是一个分布式计算平台，包括HDFS文件系统和MapReduce计算系统，运用最为广泛。作为一种分布式的文件管理与储存系统，HDFS（hadop文档系统）非常易于扩展。它也可以存储在不同节点上。HDFS的目的是存储海量数据，从而更好地处理万亿字节甚至更高级别的数据。MapReduce也是Hadoop的主要部分，它是一种并行计算模型，可以使用大量的计算能力来解决复杂的技术问题。

2海洋测绘和特点与分析

2.1海洋测绘的基本特征

在土地测绘过程中，测点的三维坐标需要不同的手段和方法。换言之，在海图绘制中建立相应的控制点通常并不容易。在这一阶段，应尽可能选择适当的岛屿作为控制点，或在海床和洋底上大间隔设置相应的控制点，海洋测量比地面测量有更多的大地测量距离。常规地面测量之间的距离不超过5公里，普通海洋之间的距离通常为50公里～500公里，有的甚至超过100公里。

与陆地测绘相比，海洋测绘的环境处于动态变化过程中，这就需要相关测量人员在观测进行连续测绘，与陆地观测相比，海图精度较低。海洋测绘图具有观测点距离较远的特点，在测量过程中选择的传播信号可能会有一些差异，与陆地相比，海上测量通常使用低频电磁波，但其传播不能简单均匀，因此，信号源只能选择海水中的声波。

2.2海洋测绘数据的特点分析

通过对大量海洋测绘数据的整理和分析，可以发现海洋测绘数据具有以下几个特点：

（1）数据量大。收集的海洋调查数据包括工作人员在海洋和地址等各个方面的辛勤工作，在绘制海洋图的过程中，需要有广泛的监测区域和复杂的海洋数据结构，这些数据收集在处于不同的监测点，存在于各种动态过程中，这增加了绘图过程中的数据量，如果仅使用计算机主板的存储方式就无法满足大量数据在存储方面的要求。

（2）海洋测绘数据的结构和格式存在一定的差异。海图数据存在多样性，如海底地形数据和沿海地区的遥感数据、海岸线测量数据等，海图绘制时需要使用大量的监测点、不同的记录格式以及相应的数据存储结构变化，这导致大量海图数据未按照约定的数据结构标准进行保存。

在收集的大量图表数据中通常包含地址信息，因此，必须特别注意数据的收集和存储。利用相关技术提高数据存储和处理效率，不同于以往的统一海图，目前，海上测量、海岸线遥感数据和海岸线测量数据将采集包括海底地形数据在内的各种制图数据。不同类型的数据通常具有不同的数据特征。在处理这些数据时，我们必须充分考虑数据之间的差异。

3海洋测绘数据的存储与分析

3.1海洋测绘数据分析

中国拥有广阔的海洋空间和多样的海洋生产资料和生活资料，在绘制海洋资源图时，我们可以得到温度、盐度和海水深度的多种繁杂的信息，不同的数据类型具有不同的特征。在存储和处理绘制数据时，必须充分考虑不同数据类型的处置要求和信息的存储方式，不仅包括温度、盐度和深度的水文信息，还包括地址信息、生物和航空遥感数据。这些不同类型的数据具有不同的特性，因此在整理归类及保存它们时，必须考虑这些数据的处理要求和存储格式。

对海洋调查数据的分析表明，海洋调查数据具有以下特点：（1）数据量大;海洋测绘中观测点多，数据结构复杂，动态性强，决定了这将产生大量的地图数据。仅使用本地存储库很难满足存储大量数据的需要（2）数据格式和结构存在差异。不同地形数据记录格式和存储结构的差异导致缺乏统一标准的数据存储结构。已经收集到的海量海洋测绘数据包含了海洋、地址、水文等多方面工作人员的辛劳汗水，所以在收集到的数据的积累、存储等方面需要慎重考虑，需要结合海洋测绘数据的特点提高存储和处理的高效性和安全性。

3.2测绘数据的保存

收集的海洋测绘数据将持续传输到相应的本地存储位置，并以固定的时间间隔传输到HDFS文件系统。所有测绘地形点都会以client的形式将地图数據下载到HDFS。成功下载数据的组织结构是透明的，即HDFS分布式文件系统对应于本地存储，映射数据将在本地存储，然后以固定的时间间隔加载到HDFS中。对于绘图过程中设置的不同绘图点，采集的图表数据可以以统一格式传输到HDFS文件系统，并成功加载到HDFS文件系统。它一般以HDFS文件系统为基础，并在其上与本地存储系统相匹配，收集的图表数据将永久、定期地传输到系统的HDFS文件系统。对于绘图过程中设置的不同绘图点，采集的海图数据可以统一格式传输到HDFS文件系统，并可以成功加载到HDFS文件系统中，此过程通常是在透明组织的基础上运行，即HDFS文件系统将匹配本地存储系统，用户不会知道具体的存储位置，即数据是本地存储还是显示在HDFS文件系统中。

总结

由于我国海洋面积巨大，海洋测绘过程中存在着各种复杂的数据，随着计算机信息技术和网络技术的飞速发展，海洋数据的存储也备受关注，大规模信息技术广泛应用于社会各个领域，显示出强大的数据处理能力。本文介绍了大数据处理技术在海洋测绘中的应用，分析了常规数据的收集和处理方法。其中Hadop技术应用最为广泛。用户可以对采集到的海图数据进行存储和处理，显示了海洋测绘数据处理的显著优势。考虑到海洋测绘数据的复杂性和异质性，本研究采用了广泛的数据处理方法，其特点是数字数据的并行存储和分发，它可以帮助用户在解决海洋调查数据的问题中达到预期目的，为海洋资源的开发提供有限的支撑与支持。

参考文献

[1]袁延艺，金际航，李海滨."基于Hadoop的海洋环境信息分布式架构设计."海洋测绘v.39;No.191.06（2019）：82-85.