业务化海洋观测数据传输网络的设计与实现

卢博，曹丛华，郭敬天，王致中，管新诗，陶金波，王恒林，李龙，王硕

（山东省海洋生态环境与防灾减灾重点实验室，山东青岛266033）

业务化海洋观测数据传输网络的设计与实现

卢博，曹丛华，郭敬天，王致中，管新诗，陶金波，王恒林，李龙，王硕

（山东省海洋生态环境与防灾减灾重点实验室，山东青岛266033）

从建设目标、系统结构、系统功能和关键技术等方面讨论了海洋观测数据传输网络的建设，重点设计了系统结构中网络层有线和无线专网的建设以及系统功能所必需的数据传输模块、线路线控模块、数据监控模块、数据存储模块，旨在促进业务化海洋观测数据传输网络在我国各个海区的规范化建设，提高我国海洋观测预报和海洋灾害预警的能力。

海洋观测；数据传输；网络建设；业务化

1 前言

目前，世界海洋强国均在积极的发展现代海洋监测技术，以美国国家海洋大气局（National Oceanic and Atmospheric Administration，NOAA）国家浮标资料中心（National Data Buoy Center，NDBC）管理的海洋观测网最具代表性。该网由90个浮标和60个自动观测站组成，其中海上观测平台主要采用Argos卫星通信方式进行观测数据传输；岸站自动观测系统使用的是NOAA的地球同步环境卫星（Global Omnibus Environmental Survey，GOES），一些GOES不能覆盖的地区的观测站，使用的是NOAA的极轨环境卫星（Polar Orbiting Environmental Satellite，POES）或日本的地球同步卫星（Geostationary Meteorological Satellite，GMS）传输观测数据[1]。与这些发达国家相比，我国的海洋监测系统在技术、设备和信息服务方面要相对落后10-15 a[2]。

近些年来我国随着对海洋探索和开发的重视，逐步开展了多方面的海洋能力建设，通过国家有关专项建设任务的实施，全面提升了我国的海洋环境观测能力[3]。目前，我国的海洋观测网络主要由国家海洋局负责，并下设北海、东海、南海3个分局。各海区分局下设有若干中心站，并包含若干海洋站，每个海洋站点由一个或多个测点组成，每个测点又包括一个或多个传感器[4]，再加上浮标、志愿船、监测车等多种观测手段的加入，使得海洋观测网络日渐成熟化。

在海洋观测网络不断扩大和发展的同时，海洋观测设备的种类和数量在不断增加，数据传输量和传输频率也在不断提高，这对数据传输网络的稳定性、实时性提出了更高的要求。在保证观测数据完整采集的情况下，建立一套完整的海洋观测数据传输系统，对大范围内的海域进行状态监控，并利用终端服务器对监测数据进行积累、分析和存储[5-6]，规范传输网络建设，已成为业务化海洋环境观测的关键问题之一。

2 传输网设计目标

利用现代先进通信技术和网络技术，采取有线与无线相结合，专线通信与移动通信、卫星通信相结合的方式，建立海洋观测数据传输网主干网络和一个企业级数据传输网管理系统，实现对数据的分布式处理和存储，并对各个站点和部门的数据和服务进行集中管理，确保海洋观测数据和预警报产品等信息能够稳定、科学、安全、有效地传输到各级海洋观测预报机构。

3 传输网系统结构

数据传输网的系统架构按功能划分为感知层、网络层和应用层，如下图所示：

图1 传输网系统架构

3.1 感知层

数据传输网感知层由各海洋站、浮标、志愿船等站点上的各种传感器、定位系统、雷达等数据采集设备组成，由数据采集设备进行数据采集，从而获得大量水文、气象、位置等数据。

3.2 网络层

网络层采用有线MSTP/SDH专网和3G/CDMA无线网络传输模式相结合的方式，结合有线专网和无线传输网络的优点，避免数据因为网络问题而造成的数据传输中断。通过双路传输来实现和互联网的连接，完成大量数据传输，实现远距离通讯和远程监控的目的。

3.2.1 有线网络建设

在岸上铺设有专线的海洋站点可采用有线传输网MSTP/SDH线路组网，将观测数据接入到国家数据传输网。各中心站的岸基测点，采用租用MSTP/SDH专线的方式建设有线专网系统的地面专线，而海区中心主要负责建设其与各中心站之间地面专线的建设：

图2 有线专网网络结构图

3.2.2 无线网络建设

对有线专网达不到的岸基测点和部分近海浮标、志愿船，采取以下管理方式，通过CDMA/3G无线通信组网，再依托有线专网系统，接入到国家数据传输网。

数据直接传输到各中心站，再依托有线专网系统上传给海区中心。各中心站对自己直接管理的岸基测点、浮标和志愿船，采用以下CDMA/3G无线通信链路，并向当地通信运营商联系申请1个专有管理域和VPDN专线：

图3 无线专网网络结构图

3.3 应用层

服务器将接收到的数据进行统计、分析、管理和存储，然后通过数据传输系统、线路监控系统、数据监控系统和数据存储系统等软件来处理和显示。

4 传输网系统功能与关键技术

4.1 数据传输模块

数据传输采用FTP协议，用以实现海洋观测数据和预报信息产品的实时收集、存储、传输、管理等功能。由于数据传输量巨大，数据传输部分利用FTP多线程数据传输技术、断点续传技术、自适应文件分割保存算法、多线程调度算法等，从而提高大文件数据传输的效率。系统总体功能设计如下：

图4 数据传输模块总体功能设计图

4.1.1 具体功能

（1）实时收集功能：实时收集监测点包括海洋站、志愿船、浮标、应急车、雷达、GPS等所监测的各类数据；

（2）存储功能：将实时收集的各类监测站点数据自动存储至服务器，数据文件按照特定的规范与标准进行存储；

（3）传输功能：根据用户设置，通过FTP协议实现数据的上传与下载，实现海区中心与中心站，中心站与监测点之间的数据传输。数据传输功能支持断点续传、多线程下载、下载管理等功能，可节约用户下载的时间，以及减轻服务器压力；

（4）管理功能：实现对数据传输功能进行管理，可对网络优先级、数据目录、FTP上传、FTP下载等进行设置，并可对数据上传、下载进行控制管理。

4.1.2 关键技术

（1）多线程传输技术：数据传输系统在数据传输上采用多线程传输技术来实现多个任务同时处理的功能，充分利用系统的资源，提高数据传输的效率；

（2）断点续传技术：在用户从数据传输系统客户端向服务器传输数据文件时，当遇上外界故障导致网络不通、传输中断的情况，系统会自动记录下文件已经传输完毕时的位置，在然后在再次连接后会从记录的传输中止位置继续上传文件；

（3）自适应的文件分割保存算法：文件在传输前会被分割成固定大小的数据块，然后文件发送线程会将这些数据块发送到消息队列中等待多线程的传输，该算法能够快速高效的完成大体积文件传输前的准备工作，为充分利用多线程技术高效率地传输文件做好基础；

（4）多线程调度算法：在系统执行任务时，并非开启的线程越多执行的效率越高，使用过多的线程也可能会导致控制过于复杂甚至造成很多的错误（bug）。在数据传输系统中提出了一种基于网络状况的多线程调度算法用来调节线程的开启和关闭等相关操作，实现对线程池中多线程的管理和优化。

4.2 线路监控模块

线路监控模块用于监控传输网各网络节点之间的网络状态。主要是监测点至中心站，中心站至海区中心，海区中心至国家中心之间的数据传输网的线路监控。线路监控系统可实时显示网点之间数据传输的传输速率、传输通畅程度，可手动添加中心站及监测站点，以及可配置站点IP地址。

4.3 数据监控模块

数据监控模块构建了基于网络平台的海洋数据观测资料动态监控指挥系统，搭建了一个可扩展的综合信息化动态监控平台，为大气及海洋行业信息化提供了整体、全面的信息化解决方案。该平台不仅满足网络化发展的需要，而且能适应不同客户群体对大气及海洋信息查询与监控方面的需要。

系统可直观的显示出每个监测点的位置和状态以及浮标、船舶、监测车的运动轨迹，通过各种自制的图形可显示出当前站点所观测的实时数据及历史数据。系统留有多种数据接口，并能在GIS地图上直观的显示出当前台风的位置以及预报信息。

4.3.1 系统的具体功能

（1）实时数据显示功能：可实时显示各监测点实时数据，包括志愿船、浮标、海洋站、监测车、雷达等监测站点所测的实时数据以及实时曲线显示；

（2）历史数据查询功能：可实时查询志愿船、海洋站、浮标等监测点监测的历史数据。自主选择查询时间段，查询的数据类型有：电压、瞬时风速、瞬时风向、风速、风向、气压、气温、湿度、水温、盐度、波高、波向、波周期、雨量、潮位等。可将该查询的历史数据保存至本地；

（3）数据对比功能：实现对各监测点间监测的数据进行对比，直观的反应各站点间的水文气象情况。包括海洋站站间、志愿船间、浮标间、雷达间、应急车之间的风速、水温、湿度、气压、潮位等数据的历史数据对比，可自主选择时间段；

（4）传输率统计功能：对各监测站点到中心站，以及各中心站到海区中心的数据传输率进行统计；

（5）传输系统状态监控功能：可对传输系统状态进行监控，可实时显示各网点间的数据传输状态以及本站点数据接收与数据上传状态；

（6）异常报警功能：当数据超过系统设置的时间未传输时，系统通过特定方式提示用户数据传输异常。

4.3.2 地理信息管理和处理技术

（1）空间数据处理：将电子海图存入空间数据库中，满足系统地图数据的应用。空间数据是通过集中部署的方式来实现集中访问和管理，同时海图数据是相对静态的地图数据，很少发生变化和更改，通过对空间数据的集中管理和更新维护，而无需考虑空间数据发生变化后造成的数据版本问题。属性数据分布式存储在各中心站的数据中心，属性数据同时也是各个中心站系统的业务数据，存储在不同类型的关系数据库中，由各个中心站数据中心负责管理、更新和维护。系统通过网络实现对分布式异构属性数据的访问。

（2）属性数据分布式调用：属性数据包括所有与海洋观测相关的船舶、浮标、海洋站等的基本信息和动态信息、通信设备信息、水文气象信息等。由于数据量巨大，采用直接访问属性数据库的方式共享属性数据，各中心站数据的应用采用基于元数据的分布式管理模型，实现对分布式环境中属性数据的动态访问。当系统读取属性数据时，首先访问属性元数据库，查找该信息的元信息，然后获得用户需要的分布在各个中心站中的属性数据。它使得物理上分离的异构数据通过元数据的描述和定位信息在数据中心集中访问和管理，提供统一的数据共享机制，并且可以不改变原有的业务操作流程和己有应用系统的数据访问接口以及数据的组织和存储方式，最终形成跨部门数据的无缝共享机制，通过分布式信息共享平台共同分担了数据层对数据读取和访问时对服务器的压力，充分利用了各站点现有资源提高了经济效益。业务属性数据表会不断发生变化，在这种情况下，通过对元数据表进行相应的调整，如将新增加的表的信息加入到元数据表中，即可将该表纳入到系统中，提高了系统数据管理的灵活性。

（3）空间数据和属性数据动态挂接：在系统功能调用中，空间数据和属性数据是紧密关联的，既要实现图到表的查询，又要实现表到图的查询，这就需要空间图形和表数据之间建立一种对应图层数据表关系。在系统中调用的图层有海图、站点信息、机构信息等主要图层，分别通过各自的关键字与属性数据表关联，实现空间数据和属性数据的动态挂接。

4.4 数据存储模块

数据存储模块安装部署在海区中心的数据库服务器以及各中心站的数据存储服务器，主要负责将接收到的观测资料入库存储。使用数据库软件提升数据的处理能力，解决数据积压造成的传输中断问题。

5 小结

海洋观测数据传输网是当代海洋观测体系中的重要组成部分，建设海洋观测数据传输网是探索和开发海洋、海洋防灾减灾和提升海洋观测能力的要求。本文设计的主要内容是利用现代先进通信技术和网络技术，采取有线与无线相结合，专线通信与移动通信、卫星通信相结合的方式，建立海洋观测数据传输网主干网络和一个各级单位都能访问的企业级数据传输网管理系统，以满足各类海洋观测站、浮标和志愿船的数据传输和数据监控需求，实现对数据的分布式处理和存储，确保海洋观测数据和预警报产品等信息能够稳定、科学、安全、有效地传输到各级海洋观测预报机构。相对于之前的传输网设计，本文的创新之处不仅是在技术层面针对性的丰富了FTP传输相关技术，新增了线路监控模块，强化了地理信息管理和处理技术，改进了数据存储模块，更重要的是根据目前我国的海洋观测现状和需求，从数据生成至数据存储各个方面、各个环节提供了一整套的优化建设方案，以便于海洋观测数据传输网的建设。

建设海洋观测数据传输网不是一朝一夕就能完成的[7]，需要逐步的、分阶段的开展：建设地面专线可极大的提升传输速度，增强观测数据的时效性；数据传输模块可确保数据传输的连续性，增加运行稳定性，稳定提高传输率；线路监控模块直观显示了各种通信方式的网络连通状态，可实现各级观测监控值班功能，优化管理模式；数据监控模块加强了传输监控，可缩短各种观测资料数据中断的反应时间，增强了紧急事件的应急能力；数据存储模块可提升数据的处理能力，避免数据积压造成传输中断的现象。

不同海区、中心站、海洋站各自拥有其独特的地理区位、地貌地势、设备构成等等，目前此设计已在北海区进入业务化运行阶段，先前的数据传输不连续、数据监控不及时、数据存储入库积压问题已得到明显改善，数据到报率稳步提升，业务化运行良好。进一步的根据实际情况建设海洋观测数据传输网，使得海洋观测数据传输网稳定可靠的业务化运行，对于提高海洋观测预报和海洋灾害预警能力具有十分重要的意义。

[1]张建涛.海洋环境观测数据传输业务化运行关键技术研究[D].北京:国家海洋技术中心,2011.

[2]Fu T,Doonan D,Utley C,et al.Design and Development of a Software-DefinedUnderwaterAcousticModemforSensor NetworksforEnvironmentalandEcologicalResearch[C]// Proceedings of OCEANS 2006.Boston,MA:IEEE,2006:1-6.

[3]蔡树群,张文静,王盛安.海洋环境观测技术研究进展[J].热带海洋学报,2007,26(3):76-81.

[4]邵芃程.海洋观测资料数据传输系统[D].济南:山东大学,2013.

[5]吕宁.全力打造海洋灾害监测技术应用科技支撑平台[N].中国海洋报,2012-05-18.

[6]李爱平,吕宁,徐初楚.构建海洋灾害监测技术应用科技支撑平台[N].中国海洋报,2009-04-21.

[7]熊翱,邓广莉,李斌.传输网综合网管建设的探讨[J].电信技术, 2004,(1):45-48.

Design and implementation of operational ocean observing data transmission network

LU Bo,CAO Cong-hua,GUO Jing-tian,WANG Zhi-zhong,GUAN Xin-shi,TAO Jin-bo,WANG Heng-lin, LI Long,WANG Shuo
（Shandong Provincial Key Laboratory of Marine Ecological Environment and Disaster Prevention and Mitigation,Qingdao 266033 China）

In terms of the goal of building the system architecture focusing on the design of wired and wireless private networks in the network layer and the basic principles and key technologies of necessary data transmission module,line monitoring module,data monitoring module,data storage module,the construction of ocean observing data transmission network are discussed.This article is designed to develop the operational ocean observing data transmission network standardization construction in all our waters and improve our ocean observing and forecasting marine disaster early warning capability.In terms of the goal of building the system architecture focusing on the design of wired and wireless private networks in the network layer and the basic principles and key technologies of necessary data transmission module,line monitoring module,data monitoring module,data storage module,the construction of ocean observing data transmission network are discussed.This article is designed to develop the operational ocean observing data transmission network standardization construction in all our waters and improve our ocean observing and forecasting marine disaster early warning capability.

data transmission;network construction;operation

P717；TP311.521

A

1003-0239（2017）01-0072-05

10.11737/j.issn.1003-0239.2017.01.009

2016-03-10；

2016-03-28。

国家海洋局海洋公益性行业科研专项（201505007）。

卢博(1989-)，男，助理工程师，硕士，主要从事海洋环境监测信息系统研究。E-mail:lubo89@126.com

曹丛华（1960-），女，工程技术带头人，本科，主要从事海洋环境预报及海洋环境数值模拟。E-mail:caoconghua@bhfj.gov.cn