莱州湾海底有缆观测网自适应监控系统开发

陈 杰，吕 斌，刘 超，刘海林

(齐鲁工业大学(山东省科学院)，山东省科学院海洋仪器仪表研究所，山东 青岛 266001)

0 引 言

随着国家海洋牧场研究与建设逐渐步入正轨，海底有缆在线观测成为实现海洋牧场可测、可控和可视的重要手段[1-2]。在“十三五”期间，依托国家发改委“智慧海洋”课题，在黄渤海重点区域构建了“空、天、地、海”一体化的海洋立体感知网。本文就是在该课题背景下，为“智慧海洋”工程子任务-莱州湾立体感知网建设海底观测网络设计远程监控系统。

海底观测网络主要由接驳盒、数据采集器以及数据采集器上的传感器构成，从海底到海面主要通过铠装的光电复合缆进行连接[3-4]。海底观测网络的监控系统(Monitoring System for Seafloor Observatory Network， SON-MS)是整个系统的数据核心和控制核心[5]。目前公开的比较成熟的监控系统主要是加拿大的维多利亚海底实验网(Victoria Experimental Network Under the Sea，VENUS)和美国提出的“海王星”海洋观测网络计划(the North East Pacific Time-Integrated Undersea Networked Experiment，NEPTUNE)的远程监控系统[6-7]。用户可以通过VENUS和NEPTUNE监控系统对设备进行在线管理，也可以查看在线视频以及传感器等数据，但是该监控系统使用文件的形式对数据进行保存，没有太多涉及设备动态管理以及数据产品制作方面的考虑。国内相关研究单位也开发了一些海底观测网的远程监控系统。但大多数监控系统都没有考虑设备即插即用动态管理的需求[8]。海底观测网络长期放置水下，在网络运行过程中，SON-MS需要接收不同设备的数据格式各异的海量数据，同时也需要将指令通过光电复合缆准确下发至水下设备，不同设备的数据格式不同，水下的环境也很复杂，设计标准化的通信协议并实现海量数据的同步解析以及指令准确下发等通信问题是监控系统最基本的功能需求。同时海底网络涉及的仪器设备成百上千，这些设备的接口和数据格式等形式各异，如何采用可扩展的模式，在软件上做到即插即用，是SON-MS的另一个功能需求。最后，SON-MS还需要对数据剔除异常值，进行数据质量控制和数据产品制作等，为用户提供数据服务，良好的数据可视化交互是SON-MS的另一技术难点。本文重点剖析上述关键技术及难点问题，设计开发了自适应可扩展开放式的SON-MS。

1 系统分析

本文提出了一种SON-MS控制模型。整个模型分为4个层：传感层感知动态海洋环境信息，形成控制模型的信息基础；采集层采集现场实时的海洋观测数据，并在服务层以及传感层之间转发信息；服务层管理各种类型的信息，并提供一组与远程控制相关的操作；应用层是一个面向工程的层，其使用各种信息来满足项目需求。层与层之间的功能是相对独立的，且其间的接口均为标准接口。每个层使用相邻底层的服务，并向其相邻上层提供服务。

图1所示为由控制模型衍变而来的SON-MS的体系结构，该体系结构包含观测节点、海上平台和SON-MS 3部分以及观测数据流和指令流两种类型的信息流。绿色为数据流，主要包括观测节点处传感器获取的数据需要按照图中标记的方向层层上传至SON-MS。红色为指令流，SON-MS依据远程监控的需求，将指令层层下发至海底的传感器。对照控制模型以及SON-MS的体系结构，应用层和服务层是部署在SON-MS中，而采集层和传感层是分布在观测节点中。由该体系结构可知，SON-MS需要与海底的仪器建立通信连接，采集水下设备的科学数据，并同时将相应指令下发至海底设备；SON-MS还需要管理海底成百上千种的传感器设备并对设备运行状态以及科学数据进行实时监测；同时SON-MS需要将源数据解析成用户可理解的数据、存储数据库以及可视化管理显示等。由图1可知，红色绿色所示的双向信息流涉及的数据通信是SON-MS正常运行的前提，观测节点处涉及的设备动态管理是海底观测网络动态可扩展的重要功能需求，数据解析处理和质量控制并制作成数据产品又是SON-MS系统设计的核心需求。

图1 SON-MS面向信息的体系结构Figure 1 Information-oriented architecture diagram of SON-MS

2 关键技术及实现

2.1 数据通信

2.1.1 C/S架构及远程通信模式

本文为莱州湾海底观测网络设计的远程控制系统采用C/S架构。就C/S架构而言，对于数据流的传递，服务器是监控中心运行SON-MS的监控电脑，客户端是现场的科学节点，包含接驳盒、数据采集器以及传感器。C/S架构的通信形式是SON-MS与接驳盒以及数据采集器之间是传输控制协议/网际协议(Transmission Control Protocol/Internet Protocol，TCP/IP)网络通信，而数据采集器与传感器之间是RS232/485/422等串口通信，接驳盒与数据采集器仅有电气连接，并无数据交互。SON-MS获取传感器的数据主要是借助数据采集器，数据采集器将通过串口获取的数据打包，通过TCP/IP通信发送至SON-MS。整个系统的C/S架构以及远程通信形式如图2所示。

图2 SON-MS的C/S架构以及远程通信Figure 2 The C/S architecture of SON-MS and remote communication

2.1.2 双向Socket网络通信

为保证接收数据流以及发送指令流互不干扰，本文采用双向Socket网络通信、长连接与短连接交替使用的通信方式。接收水下设备数据的过程中，SON-MS作为监听Socket服务器，使用Socket长连接通信技术，启用不同的端口监听来自接驳盒以及数据采集器的连接，并采用多线程技术，为每个水下设备建立长连接，抛出数据处理线程，实现数据的高效实时并发处理。指令下发的流程为：SON-MS是Socket客户端，水下设备是Socket服务器，SON-MS需要发送指令时，主动连接水下服务器设备，建立当前的Socket短连接，指令发送完成并在规定的时间间隔内收到水下服务器反馈后，断开该Socket短连接。整个Socket网络通信流程图如图3所示。图中，N为指令发送的上限次数，n为发送指令的计数，n≤N，T为单次指令下发等待反馈时间，N和T两个参数可以依据网络负载情况自定义，nT为指令下发完之后等待指令反馈成功的时间间隔。

图3 双向Socket网络通信流程图Figure 3 Flow chart of bi-directional Socket network communication

2.1.3 数据流通信协议

海底观测网络长期在海底工作，源源不断地产生海量数据，数据流无时无刻不在运行之中。海底不同传感器采集的数据在协议格式和采集时间间隔等方面存在较大差异，大大增加了后续数据传输和处理的难度。因此，本文设计了一种传输主干网应用层自定义通信协议，将数据采集器采集的无规律、协议形式各异的传感器数据进行有序封装，封装完成后的数据包将是格式统一的协议帧。该协议同时是后期设备实现动态管理的基础。

该自定义协议主要由包头、包体、校验位以及固定结束符组成。其中包头的长度是固定的；不同传感器发送的原始数据包长度是不定的，数据包体的长度是不固定的；校验位放在包体后面，采用循环冗余校验(Cyclic Redundancy Check，CRC)，长度固定为4个字节；最后为了便于整个协议的程序解析处理粘包等特殊问题，协议最后加上固定一个字节长度的结束符。固定长度的包头主要由同步头、数据采集器编号、协议类型、时间信息和包编号等信息组成。包体主要是传感器等设备通过串口发送给数据采集器的原始数据包，每个传感器所发送的数据包不同，根据每个传感器具体的协议来进行。校验位为包头部分、包体部分以及结束符的CRC32校验。固定结束符一般采用固定“#”作为协议的结束标志。

2.2 设备动态管理

海底观测网络长期运行过程中，不可避免会遇到传感器设备的增删改等问题，具体来说就是新增某类传感器、删除传感器或者传感器变更接口等需求。当遇到此类需求时，可采用重写SON-MS代码的方式来进行设备变更与数据解析显示的一致性，但是这种方式显然费时费力且不利于动态扩展，因此，基于前面的数据流通信协议，本文设计了一种全新的设备动态管理算法，使SON-MS能快速适应传感器变更接口或者增删改传感器的变化。

SON-MS首先建立水下传感器设备的元数据表格以及体现水下传感器与其他节点映射关系的动态配置表格。水下设备元数据表格的属性主要包括对传感器设备的设备名称、设备编码、电气参数、接口形式和协议包的正则表达式等传感器基本信息。对于传感器某一基本信息的维护主要通过元数据表格的维护来完成。动态配置表格存储体现的是海底观测网络拓扑结构关系的信息，通过动态配置表格能清晰获取设备所属的数据采集器，采集器所属的接驳盒等信息，动态配置表格维护的是海底网络拓扑映射关系。图4所示为设备动态管理的映射关系图，由图可知，在动态配置表格中可以找出存在唯一映射关系数据采集器的实际物理接口，由前述数据流通信协议可知，协议中的采集器编号与端口编号可以唯一地确定出实际的物理接口，而实际物理接口在满足电气参数以及接口形式条件时，可以接设备列表中的任意一个设备，即物理com接口与所接设备不存在唯一确定的映射关系。当图4中多对多的映射关系改变时，动态配置表格也会随之改变，由此可以确定出com接口与所接传感器设备的确定映射关系。程序按照图5所示的算法流程就能在水下设备元数据表格中唯一确定出所接的水下设备的编号，然后依据该水下设备编号在元数据表格中就能找出协议包的正则表达式，利用正则表达式便能解析出数据。如果需要新增某类传感器，直接在水下设备元数据表格中进行相应属性的维护，同样新增传感器所接的com接口则体现在动态配置表格中。

图4 设备动态管理图Figure 4 Diagram of equipment dynamic management

图5 设备动态管理算法流程图Figure 5 Flow chart of equipment dynamic management algorithm

2.3 数据质量控制

海底观测网络能为用户提供长时间和大范围的数据服务。科学数据的获取主要是通过海底连接的传感器获得的，传感器在长时间获取数据时，可能会出现由于干扰带来的异常数值。因此，数据质量控制主要研究如何在保留数据有效性的同时剔除掉异常数据。

本文采用一种改进的53H算法。其步骤如下：

(1) 设x(i)为获得的传感器数据序列，该序列共有m个数值。为从x(i)构造一个新序列x1(i)，方法是取x(1)，x(2),…，x(5)的中间值作为x1(3)，然后舍去x(1)，加入x(6)，取中间值得到x1(4)；以此类推，直到加入最后一个数据。显然，x1(i)的项数比x(i)少4项。

(2) 用类似的方法在x1(i)的相邻3个数中选取中间值而构成序列x2(i)。

(3) 最后由序列x2(i)按如下方式构成x3(i)

(4)如果有下式成立，则用x3(i)代替x(i)，

式中，k为一预定值。

由运算步骤可知，序列x(i)的开始4个点和末尾4个点没有得到有效平滑，因此本文将此算法作如下改进。

(5)将x(i)序列开始的8个点和末尾8个点反序排列生成序列x′(i)，即为x(8),x(7),x(6),x(5),x(4),x(3),x(2),x(1),x(9),…，x(m-8),x(m),x(m-1),x(m-2),x(m-3),x(m-4),x(m-5),x(m-6),x(m-7)。

(6)对x′(i)序列重复前4步，形成新的x3′(i)序列，用新序列中的x3′(5)，x3′(6)，x3′(7)，x3′(8)，x3′(m-7)，x3′(m-6)，x3′(m-5)和x3′(m-4)分别替代x(4)，x(3)，x(2)，x(1)，x(m)，x(m-1)，x(m-2)和x(m-3)。

3 系统试验

3.1 试验场景

本项目围绕国家“智慧海洋”工程建设的总体要求以及山东省的具体需求，在山东黄渤海重点区域进行海洋立体感知网工程建设，海底观测网作为立体感知网的重要组成部分，布放选取在莱州湾蓝色海洋牧场，为牧场保驾护航，形成智慧海洋示范。该观测网络于2021年8月成功布放，现已成功运行近3个多月，布放海试图如图6所示，莱州湾海洋牧场海底观测网络构成图如图7所示。

图6 莱州湾海洋牧场海试Figure 6 Marine test of marine pasture in Laizhou Bay

图7 莱州湾海洋牧场海底观测网络Figure 7 Submarine observation network of marine pastures in Laizhou Bay

3.2 试验结果及分析

莱州湾海洋牧场海底观测网络自2021年8月布放以来，现已成功运行近3个月。SON-MS作为整个观测网络的重要组成部分，在实时观测传感器控制和数据采集方面发挥了重要作用。SON-MS在观测网络连续3个多月的运行期间获得了大量的溶解氧、CTD、叶绿素和浊度等海洋科学数据。SON-MS状态信息显示主界面如图8所示。SON-MS解决了本文设计的关键技术，具体如下：

图8 SON-MS状态信息显示主界面Figure 8 The main interface for displaying SON-MS status information

(1) SON-MS具有强大的数据通信能力

莱州湾海洋牧场海底观测网络中的接驳盒、数据采集器、传感器以及水下视频已稳定运行近3个月，接驳盒、数据采集器以及传感器获得有效数据674 966条，数据接收成功率高达99%以上；下发指令110条，成功次数108次，指令成功率达98.2%。获取的典型传感器CTD曲线如图9～10所示。CTD传感器盐度数值在海洋环境稳定情况下，测量值基本趋于稳定；海洋环境变化，比如涨潮落潮时，测量的深度值能够灵活有效反应不同海洋环境变换。数据丢包率和指令执行成功率等性能指标说明SON-MS符合工作稳定性以及适应性的要求，采用的自定义数据流通信协议、双向Socket网络通信以及长短连接结合的通信机制能够保证数据通信的可靠性和稳定性。

图9 CTD传感器深度曲线Figure 9 Depth curve of CTD sensor

图10 CTD传感器盐度曲线Figure 10 Salinity curve of CTD sensor

(2) SON-MS具有灵活的设备动态管理能力

SON-MS设备动态管理的主界面如图11所示，最左侧显示的是海底网络的树形拓扑关系，如果需要在拓扑关系中对设备进行增删改等动态管理，只需要鼠标右键列出相应的菜单选项，这样设备的动态管理只需要在软件界面进行维护，而无需后台更改代码，形式灵活，常规的配置可以在2 min内完成，配置完成之后，SON-MS程序后台便能按照动态管理算法解析出数据。

图11 设备动态管理主界面Figure 11 Interface of equipment dynamic management

(3) SON-MS具有较高的数据质量

以海洋牧场中较为关心的溶解氧采集到的频率为例，如表1所示，未进行数据质量控制时异常记录有42个，进行质量控制之后异常数据降低为3个，异常值的剔除率达到93%。图12所示为溶解氧频率数据曲线对比图。由图可知，数据质量控制算法在保留原始数据曲线特性的基础上，对原始频率曲线进行了有效平滑，而且剔除了具有明显错误的异常值。

表1 莱州湾远程监控系统传感器数据错误率分析

图12 溶解氧频率数据曲线对比图Figure 12 Comparison of dissolved oxygen frequency data curves

4 结束语

本文介绍了SON-MS的系统设计以及开发进展，并介绍了SON-MS在莱州湾海洋牧场观测系统的实际应用。本文分析了SON-MS需求，建立海底观测网络的控制体系结构，通过体系结构梳理出整个网络中的数据通信、设备管理以及数据质量控制3个关键技术，并给出了具体的实现算法。虽然本文描述的技术各个部分并不一定是新的，但整个系统是架构、远程通信、接驳盒、数据采集器、传感器设备接口、网络配置、控制和面向对象编程的综合体，SON-MS是连接用户与海底设备的纽带，也是观测能够顺利进行的保障。

此外，本文提出的方法可以为海底观测网络提供有益参考，像海底观测网络设备动态管理方法也可以扩展到其他原位海洋观测传感器系统中。在未来的一些升级中，本文的设备动态管理方法在满足传感器电气接口等物理要求下，软件上可以做到即插即用。