基于SAS-DBEN的海洋环境多因素预测方法

王嘉琳 金宇悦 李志刚

摘要：激勵函数对深度神经网络的非线性逼近性能具有重要影响，其选择与任务相关。针对这一问题，提出基于自适应选择算法的深度置信回声状态网络模型，并应用于海洋环境多因素时间序列预测。该模型集成了14种激励函数，通过预测性能比较实现自适应选择功能。仿真结果表明，该模型能够正确选择出最优激励函数，具有良好的海洋数据多因素预测能力。

关键词：海洋环境数据;时间序列预测;深度置信回声状态网络;自适应选择算法;激励函数

Abstract： Activation function （AF） has an important effect on the nonlinear approximation performance of deep neural networks. The choice of AFs is task-related. For this problem， a deep belief echo-state network based on self-adaptive selection （SAS-DBEN） is proposed for ocean-related multi-factor time series prediction. In this model， 14 activation functions are integrated， and the self-adaptive selection is implemented by comparing the prediction performance. Experimental results show that SAS-DBEN can select the optimal AF correctly and has a good multi-factor prediction ability of ocean data.

Key words： ocean environment data; time series prediction; deep belief echo-state network; self-adaptive selection algorithm; activation function

1 引言

近年来，我国多个近岸海域污染严重。如何加强对海洋污染的应对，维护海洋环境长久稳定，是当前急需解决的问题。叶绿素是影响海洋环境污染的主要因素。藻类植物作为叶绿素的主要提供者，其增殖过程受多种海洋环境因素共同影响，是一种极其复杂的非线性过程[1]。鉴于此，本文研究多因素预测叶绿素和蓝绿藻的方法。

目前，深度学习已成为数据预测领域的主流方法。深度置信回声状态网络（Deep Belief Echo-state Network， DBEN）由于其强大的特征提取功能和非线性回归能力，已成功应用于海洋领域[2]。实际上，激励函数在深度神经网络中具有关键作用。通过激励函数，网络可以在任何给定的深度学习架构中，实现层结构之间的复杂函数计算和非线性映射[3]。

鉴于DBEN良好的预测能力以及激励函数在DNN中的重要作用，提出了一种结合自适应选择算法（Self-adaptive Selection， SAS）和DBEN的新型海洋环境多因素预测模型SAS-DBEN。该模型提供了一种自适应的通用功能，使模型具有灵活性，有利于提高海洋环境多因素预测精度。

2 海洋环境多因素预测模型

2.1 建立激励函数池

SAS-DBEN通过比较不同激励函数下的预测性能来确定最优激励函数。首先，建立激励函数池F={f1， f2， …， fM}（m=1，2， …， M），对所考虑的函数进行封装和标记，为后续自适应激励机制和函数调用做准备。这里，我们考虑了14种激励函数集成到SAS-DBEN框架下的激励函数池中，具体激励函数如表1所示。

2.2 海洋环境特征提取

建立激励函数池后，我们将经过数据预处理后的数据集注入SAS-DBEN模型中。该模型以DBN作为特征提取器，与可见层v和隐藏层h相关的能量函数表达如下：

2.3 非线性逼近

准确的海洋环境数据预测取决于深度神经网络中的非线性回归机制。SAS-DBEN采用了基于储备池计算理论的非线性逼近方法，储备池状态更新和网络输出表示为：

其中，W表示内部权重矩阵，I表示输入权重矩阵，Wback表示反馈权重矩阵，O表示输出权重矩阵，m（t）表示时间步长为t时刻的储备池输入信号，x（t）和y（t）分别表示储备池的状态和输出，σ（?）表示储备池内部的激活函数，本章采用Tanh函数作为回归阶段神经元中的激活函数。

2.4 自适应激励机制

在训练过程中，通过自适应激励机制，模型可以根据输入数据的特征选择适用于该数据的激励函数。本文以归一化均方根误差（Normalized Root Mean Squared Error， NRMSE）作为最优激励函数的度量标准。按照激励函数池中的标记顺序，分别对m个误差数值进行比较，置换出较小误差值继续比较，得出最优激励函数，完成自适应激励函数选择，这也意味着SAS-DBEN模型训练结束。

3 实验

3.1 实验数据

本实验采用海、陆、空、天四维立体化海洋监测网获取的海洋数据，考虑了10种与海洋环境高度相关的因素作为模型的输入，即1/10波浪周期、平均波浪周期、气温、相对湿度、磷酸盐、氨氮、水温、pH值、叶绿素和蓝绿藻。采用上述因素进行2组仿真实验，预测叶绿素和蓝绿藻的动态变化趋势，实现多输入单输出预测。将数据的70%用于模型训练，30%用于模型测试。为缓解网络初始化对储备池状态造成的影响，舍弃了训练和测试时间序列中的前100个数据。