加权随机汇池网络中递归最小二乘算法研究

韩 博，刘 佳，耿金花，段法兵

(青岛大学复杂性科学研究所，山东 青岛 266071)

0 引言

生物信息处理和多传感器信息融合是目前信息处理技术研究的热点问题，这些自然或人工系统中汇池函数的功能是对多源信息进行归纳推理。2007年Zozor等[1]将超阈值随机共振模型[2-3]扩展到耳蜗神经网络、分布式传感网络等汇池网络中，提出了随机汇池网络模型，网络节点不再局限于简单的量化器，将随机扰动加入到汇池网络各个节点，利用随机噪声增强和优化网络响应性能，即随机共振现象[4-5]，随机汇池网络扩大了经典的随机共振机制应用范围，在人工传感器、通信网络、生物神经网络、模数转换器电路和数字化波束形成等[1,6]领域取得重要进展。2015年许丽艳等[7-9]提出了一种基于随机汇池网络的最优加权译码方案，与非加权方案相比，此方案可以得到更小的均方误差性能，在非稳态输入情况下，结合卡尔曼滤波和最小均方算法，许丽艳等[7-9]推导了自适应权值递推算法[9]。文献[10-11]中给出了最优加权随机汇池网络下的随机参数估计理论分析和自适应加权随机汇池网络模型下的最小均方算法，揭示了自适应加权随机汇池网络在信号参数估计领域具有很好的应用前景。但是文献[10-11]中的自适应算法还需要知道信号的统计知识，在实际应用中还存在着很大缺陷，本文在文献[10-11]的基础上对最优加权随机汇池网络下的自适应递归最小二乘算法进行了深入的探究，进一步丰富了该网络下自适应算法基础。

实际应用中，我们往往知道信号模型但是缺乏信号和背景噪声的先验统计知识，系统性能指标无法求取集平均意义下的理论均值，最小二乘估计方法通过使给定的数据和假定的期望信号之差的平方和最小化来对信号参数进行估计，其中数据是由含有未知参数的模型产生的，这种方法不需要预先知道输入信号和期望信号的统计信息，而是通过输入信号和期望信号的测量值去逼近实际参数的一种估计方法[12]。由于最小二乘法没有对观测数据做任何假设，因此在系统辨识、信号处理、人工智能等大量社会和工程领域[13-15]中应用范围十分广泛。递归最小二乘是最小二乘方法的一种自然推广，它随着接收到的数据增多，按照数据顺序进行处理而实时得到参数的估计，并且大量减少了计算的复杂度。在自适应加权随机汇池网络中，由于输入信号在同一时刻由多条支路噪声进行了扰动并经过了非线性变换，关于递归最小二乘算法的有效性和性能研究还未见报道。本文推导了自适应加权随机汇池网络下的递归最小二乘算法，对其收敛性和性能进行了理论分析，并与文献[11]的最小均方(LMS)算法在仿真中做了对比。理论和实验表明，在稳态和非稳态输入环境下，该算法都能够快速收敛，学习曲线与理论分析较为符合，同时随着噪声强度的改变，还观测到超阈值随机共振现象，本文提出的递归最小二乘算法对于随机汇池网络的实际应用和所涌现的复杂特征具有重要的理论意义。

图1 自适应加权随机汇池网络模型Fig.1 Adaptive weighted stochastic pooling networks model

1 模型与算法

1.1 加权随机汇池网络模型

1.2 递归最小二乘法算法

最小二乘法算法的代价函数采用累积误差平方和

(1)

(2)

(3)

引入指数加权因子的累积误差平方和[16]

(4)

(5)

代入式(3)可以得到权向量递推公式为

wk=wk-1+gkεk

(6)

(7)

由以上分析，基于先验误差的递归最小二乘算法步骤为

4)权系数更新：wk=wk-1+gkεk。

1.3 递归最小二乘法收敛性和性能分析

(8)

(9)

(10)

用递归的方法可以得到上式的解为[16]：

(11)

(12)

考虑数据时刻k→，由于依赖于过去所有的输入信号分量，当迭代次数增加时，对任何单个的贡献可以忽略，另外由于正交原理，ei可以认为与所有元素不相关。这意味着式(12)右面最后一项会很小可以近似为零。当λ=1时，相关矩阵服从复数Wishatr分布[17]，则其中C为节点输出信号集平均自相关矩阵，在k→时上式为0，式(12)右边第一项趋于0，而在0<λ<1时，式(12)右边第一项也是趋于0。我们还可以看出权值w-1和时间自相关矩阵的初始化对权误差均值的影响随着k的增大而减小，在k→时式(12)趋于0。因此递归最小二乘法在统计平均意义上收敛。

虽然权系数wk的估计随着数据增加渐近收敛到wo，我们需要将所有权的误差作为一个整体进行分析，这里定义权向量协方差矩阵

(13)

下面对于λ=1和0<λ<1两种情况分别进行讨论。利用式(7)，可得[18]：

(14)

把式(14)代入式(13)可以得到

(15)

(16)

其中，σi是C-1的特征值。由式(16)可知，k→时随着时间的增长逐渐减小，Dk趋向于0。当0<λ<1时，由式(11)可得[18]

(17)

(18)

(19)

(20)

瞬时超量均方误差为

(21)

2 实验结果

图2 遗忘因子λ取值对MSE学习曲线的影响Fig.2 Learning curve of MSE versus the factor λ

图3 噪声强度对MSE学习曲线的影响Fig.3 Effect of noise levels on the learning curve

图4 噪声强度对MSE的影响Fig.4 Effects of noise levels on Mean Square Error

图5 非稳态输入信号下权值w收敛过程Fig.5 Convergence process of weightsfor nonstationary signals

在图5中对比了递归最小二乘算法和LMS算法在非稳态随机过程中权值收敛表现，设输入随机信号xk的标准差σx在n/2时刻由0.2突变为0.5，噪声强度ση=0.2，选取递归最小二乘算法的遗忘因子λ=0.999，LMS算法的步长μ=0.001。由于相同节点函数下各节点权值wi,k相同[10]，我们只给出了其中任一个节点权值随着数据量的变化。如图5所示，可以看出在两种节点函数下(上面为双曲正切函数，下面为阈值函数)，递归最小二乘算法都能够使得权系数很快收敛到稳态最优值，即使输入信号统计性质发生改变，也能够有效的跟踪信号的变化。LMS算法在开始的稳态条件下收敛速度明显慢于递归最小二乘法，尤其是在节点函数为双曲正切函数的情况下需要迭代步数很大才能达到收敛状态，虽然输入信号xk发生突变后能更快跟踪信号的变化，但权值波动较大，不如递归最小二乘法稳定。

3 结论

本文研究了加权随机汇池网络中随机参数估计的递归最小二乘算法，理论证明了算法的收敛性，即权系数平均意义上收敛到最优权值，并对算法性能表现进行了详细分析：在平稳的输入信号下，均方偏差和超量均方误差随着数据的增加而逐渐减小，最终趋向于零，而在非平稳的输入信号下，引入遗忘因子后，均方偏差和超量均方误差常常不收敛到零，对比来说，在统计意义上后者权系数不如前者精确。通过实验分析得出，在平稳和非稳态输出信号下，递归最小二乘算法都能够快速达到收敛状态并且有效跟踪信号的变化，同时随着噪声强度的变化，实验证实了此模型下的噪声有益性，并观测到了超阈值随机共振现象。以上研究为加权随机汇池网络在实际中的应用奠定了理论基础，对该网络下非平稳信号的估计性能的研究具有实际意义。但是，递归最小二乘算法中的噪声有益性研究还有一些待解决问题，比如如何获得网络估计性能最佳的时噪声强度或分布，以及如何进一步理论分析非稳态信号下的递归最小二乘算法跟踪性能等问题，这些都值得我们以后继续深入研究。