外界激发型学习神经元的动力学研究与电路设计实现

陈 军

(甘肃中医药大学 定西校区， 甘肃 定西 743000)

神经元能够形成一个复杂动力学行为，产生高度非线性动力学系统[1-3 ]。它可为探索人类思维活动以及智能机理、潜在功能等提供神经网络模型和网络算法理论依据。神经网络中的非线性动力学问题涉及到诸如医学、生物系统、专家系统、优化策略、模式辩识等许多领域。随着现代生物技术突飞猛进地发展及探究人脑或心智工作机制的认知科学的快速兴起，促进神经网络在工程技术中的深入应用，如在医学图像处理、医学信号传输、故障诊断等诸多领域[4-7]。

各种神经网络中对初值敏感而表现出的不可预测的、类似随机性运动的分岔、混沌等非线性动力学特征得以广泛关注[8-10]。同时，基于神经元网络的学习算法的动力学行为也得到研究[11]。近年来，学者们利用电子电路来实现神经元及神经网络的非线性混沌电路的研究也有较多报道[12-16]。文献[17，18]研究了ω分别为2π,6π,1.26×103,2.56×103，3.14×103rad/s时非线性电路中的混沌动力学现象。本文在神经网络的非线性混沌电路实现研究中，详细地讨论了具有外部余弦激励的活泼性禁忌学习神经元的模型的Hopf分岔、计算了Lyapunov 指数谱及维数，运用劳斯-霍尔维茨判据对系统的平衡点进行了讨论，并详实地探讨了它的非线性动力学特性和设计实现了该混沌系统的电路，最后采用电子工作台[19]将设计实现的非线性动力学行为的电路进行了实验仿真，对电路的分岔、混沌等非线性动力学行为进行了探讨研究。

1 具有外界余弦激发的禁忌学习神经元模型

神经元的动力学模型描述如下[11-12]。一个神经元i被认为是输入/输出对象，输出Vi作为输入ui的函数即Vi=f(ui),f(·)是激活函数，则动力学方程如下：

(1)

通过求能量函数得到所求问题的解：

(2)

式中，ui是第i个神经元的状态，Ci和Ri是正常数，Tij是从第j个神经元到第i个神经元的连接权值，Ii表示外部对第i个神经元输入的激发信号。

在禁忌学习状态中，能量E0在其当前状态的邻域之内不断变大。在t时刻，能量函数为

Et=E0+Ft(V)。

(3)

其中，惩罚项Ft(V)为

式中，α、β为正的常数，P(V,W)是向量V和向量W相似度函数。

在搜索的过程中，若其结果接近那些已访问过的状态，就会使惩罚项的值变大，促使搜索向着未被访问过的状态前进。惩罚项中的指数项用来阻止积分向无穷大增加，且加速已被访问过的状态进程，缩短重复搜索的时间，促使网络能迅速地摆脱开局部的极小点。

在优化问题的求解中,记忆力衰退率α要选择适当。若α取值太大，则有可能会导致重新访问已访问过的状态；但若取值太小，则可能需要较长的时间段迈过网络的局部最小值区域。另外,学习速率β也要取值合理，β选择遵循以获得寻找最低E0和最小的Ft(V)之间的平衡协调状态为原则。线性相似函数P(V,W)定义如下：

(4)

式(4)中，Vi和Wi分别为向量V和向量W的分量，是关于V的线性式。因为P1(V,W)将不靠近向量W的项惩罚很大，会产生不合理，因而定义二次相似函数为：

(5)

式(5)中，对V来说是一个二次函数。

在线性相似函数条件下的动力学系统(1)的状态方程为：

(6)

Ji的学习规律为(7)式的关系

(7)

在对单神经元的禁忌学习神经网络环境情况，则(6)、(7)式可表示为：

(8)

其中，a、α和β都为正常数，(6)、(7)式中C和R取值均为1、外界输入电流量I为I=εcos(ωt+φ)，式中ε、ω、φ为实数，选取的非线性激活函数为

(9)

2 Hopf分岔性质讨论

2.1 Hopf分岔的存在性

下面推导单神经元禁忌学习模型的Hopf分岔存在的条件。在系统(8)中，令参数I= 0，则得该模型的状态方程：

(10)

(11)

线性系统的联合特征方程为

λ2+(1-af′(0))λ+(1-af′(0))α+βf′(0)=0。

为了讨论方便，重写上式

λ2+b1(α)λ+b2(α)=0。

其中，b1(α)=(1-af′(0)+α)，

b2(α)=(1-af′(0))α+βf′(0)。

2.2 Hopf分岔周期解的稳定性

为了便于讨论，令α=α0+γ，依据标准化理论，则系统(10)的Hopf分岔值为γ=0与λ1=μ+iω相对应的特征向量[14-15]

规定

则由(11)式得：

又，μ2、τ2和β2的值从C1(0)得到。

令α=α0=af′(0)-1，则

这样，上式简化为：

其中

下面，对γ=0和(y1,y2)=(0，0)点进行定量讨论：

(12)

通过以上的分析，可以得出(12)式中的每个gij值由(11)式的参数决定，则可得C1(0)、μ2、τ2和β2的值如下：

(13)

β2=2ReC1(0)。

从公式(13)可知：

μ2决定Hopf分岔的方向：当μ2>0，Hopf分岔是超临界的，并且其周期解为α>α0；当μ2<0时，Hopf分岔是亚临界的，并且其周期解为α<α0；β2决定Hopf分岔周期解的稳定性：当β2<0时，轨道是稳定的；而当β2>0时，轨道是不稳定的；τ2决定了分岔周期的周期解：若τ2>0，则周期增加；反之，周期减小。

对轨道附近的长期演化进行观察，计算李雅普诺夫指数为

其中，m为替代总次数，L(tk-1)是在tk-1瞬时两初始点之间的距离。经过时间段δ=tk-tk-1，最初的长度将变化为长度L′(tk)。在该模型中，最大的李雅普诺夫指数λ从N= 10万个点的时间序列中计算出，得到最大的李雅普诺夫指数λ= 0.7030。

3 外界余弦激发禁忌学习神经元的混沌动力学电路设计与实验仿真

下面分别设计实现了激活函数的模块电路、外界输入余弦激发的神经元电路，进一步采用电子工作台将设计的混沌动力学电子电路进行实验仿真研究，其实验研究过程如下所述。

3.1 tanh(·)模块电路设计与实验仿真

将激活函数式(9)由三个双曲正切函数进行线性组合而形成，对于双曲正切函数利用双极性晶体管来实现。一个实用的双曲正切函数功能的单端输入、双端输出电子电路,如图1所示，称其为tanh(·)模块电路[16-18,20-28]。它实用又便于实现。

tanh(·)模块电子电路对应的方程如下：

Vout=tanh(Vin-20.23Vr)。

(14)

图1 tanh(·) 模块电路图Fig.1 Circuits diagram of tanh(·) module

3.2 激活函数模块电路的设计实现

依据3.1部分的内容知识，能得出激活函数式(9)的功能可由三个tanh(·)模块电子电路的线性化结合完成，激活函数式(9)的电子电路如图2所示，称其为f(·)模块电路[29-38]。

图2 f(·)模块电路图Fig.2 Circuit diagram of f(·) module

根据电子电路规律，与f(·)模块电路图2相对应的状态方程为：

(15)

(16)

Vfout=2Vout1-Vout2-Vout3

(17)

将激活函数(9)与系统(17)进行比较，表明研究者所设计的f(·)模块电子电路能够实现本文所选取的激活函数f(x)对应的功能。利用电子工作台软件对f(·)模块电子电路进行仿真实验，如图3所示为其传输特性图形。

图3 f(·)模块电路仿真图形Fig.3 Circuit simulation graphics of f(·) module

3.3 系统的电路设计仿真实现

对系统(8)，令I为I(t)=εcos(ωt+φ)，则系统(8)可简化为：

(18)

其中，ε、ω是正常数，系统(18)的参数取值分别为a=0.2，ε=0.18，α=0.7，φ=0，β=0.9,故系统(18)的函数式可表达为：

(19)

借助于电子工作台软件，运用线性电容、线性电阻、电子集成运算放大器LF356和f(·)模块等电子器件进行构建电子电路，依据系统(18)、各个不同类别电子元器件的特性和电子电路规律，如图4所示，可得到实现系统(19)的电子器件电路原理图。电路中的元件全为电子工作台软件中的理想虚拟电子元器件材料。

图4 实现系统(19)的电子电路原理图Fig.4 Diagram of electric circuit principle of implementation system (19)

图4的电路中，f(·)模块电路完成并实现激活函数(9)的作用，LF356电子集成运算放大器与线性电容、电阻结合连接实现放大、缩小、加、减、微分、反相等运算功能，Vs为外界输入的余弦信号，它的函数式是Vs=-0.18cos(ωt+φ)。依据理想运算放大器的运算功能，从图4推算出 系统(19)的电子电路数学式为：

(20)

令u1=x，u2=y则系统(19)和(20)是等价的。

运用电子工作台软件，将设计的如图4所示电子电路进行电路实验研究。其它条件保持不变，仅当外界输入的余弦信号Vs的角频率ω值变化，则该非线性动力学系统模型的电路中相应表现出由稳定状态向混沌状态演变的现象过程，呈现出丰富的混沌现象。其具体变化过程状况如下：

图时u1(t)-u2(t)相位图Fig.5 u1(t)-u2(t) phase diagram at rad/s

若继续改系统(19)相对应的电子电路外界输入端的余弦信号Vs的角频率ω数值为ω=1.07×103rad/s，此时系统模型(19)的电子电路中出现如图8(a)、(b)所示的不可预测的、类似随机性运动的混沌状态，可以观察到吸引子的存在，并有稳定的周期轨道。

图6 ω=5π rad/s时u1(t)-u2(t)相位图Fig.6 u1(t)-u2(t) phase diagram at ω=5π rad/s

(a)t-u1(t)波形 (b)t-u2(t)波形图7 ω=5π rad/s时的t-u波形图Fig.7 t-u waveform diagram of the at ω=5π rad/s

(a)u1(t)-u2(t)相位 (b)t-u2(t)波形图8 ω=1.07×103rad/s的仿真图Fig.8 Graphics of simulation of ω=1.07×103rad/s

4 结论

本文通过理论分析、计算了系统的Hopf分岔、Lyapunov 指数谱及维数，运用劳斯-霍尔维茨判据对系统的平衡点进行了讨论，并详细地设计实现了具有外界余弦输入的激发式禁忌学习混沌神经元模型的非线性系统动力学行为物性的电路，利用电子工作平台将设计实现非线性动力学行为的电路进行了仿真实验。结果说明电子工作平台实验与理论分析的一致性，验证了所设计电路的合理性。该文研究的非线性动力学特性的电路在优化策略、安全通信、模式辩识、医学图像处理等领域有重要的现实意义。