神经元和神经网络模型混沌动力学的研究现状

付燕 万亮 钟海萍 饶冬飞

摘 要：人工神经元和神经元网络的动力学研究，对于发展大脑功能神经形态系统具有重要意义。近年来，记忆神经元和神经网络模型在神经动力学的研究中提供了很多理论帮助。后有学者在记忆神经元和神经网络的基础上，研究混沌动力学，即包括混沌、瞬态混沌、超混沌、共存吸引子、多稳定性和极端多稳定性。本文首先介绍了混沌动力学的基本定义，并且对几种传统的人工神经元和神经网络模型进行了阐述，同时又详细地描述各类型的建模机制以及与之相关的重要工作。

关键词：忆阻器;神经元模型;神经网络;混沌动力学;电磁辐射

一、引言

生物神经元和神经系统中的电活动与大脑的独特能力密切相关，包括记忆、思维和学习[1-2]。由此，大脑的奥秘激发许多研究人员来研究神经电活动的工作机制。20世纪80年代左右，人们开发各种人工神经元和神经网络模型，以模拟生物神经元和神经系统的不同电活动，如Hodgkin-Huxley（HH） [3]神经元模型、菲茨休-Nagumo（FHN） [4， 5]神经元模型、莫里斯-Lacar（ML） [6]神经元模型、欣德马斯-罗斯（HR） [7]神经元模型、Chay [8]神经元模型、霍普菲尔德神经网络（HNN） [9]、细胞神经网络（CNN） [10]等等。之后，这些原始神经元和神经网络模型以及延迟时间模型被进行拓展研究，如延迟时间模型、噪声模型和电刺激模型，还有学者对周期峰值、周期爆发和模式转换进行研究。虽然简单的电激活是来源于这些传统神经元模型，但更复杂的混沌行为并没有被发现。

2008年斯特鲁科夫 [11]等人发现一种物理忆阻器，使得人们对神经动力学重新产生兴趣。在过去的10年里，具有仿生特性的忆阻器取得非凡的发展，对人工神经元和神经网络模型有很大的影响。由于其可编程性、非挥发性、纳米性、纳米级和低功耗等内在特性，忆阻器为我们模仿生物功能提供前所未有的可能性。例如，Jo [12]等人提出第一个表现出峰值时间依赖性可塑性的纳米级记忆突觸，Lv [13]等人首先使用电压控制的忆阻器描述神经元的磁流效应。忆阻器加入到传统的神经元和神经网络模型，提出一个被称为记忆神经元和神经网络模型的新概念。忆阻器在传统的神经元和神经网络模型中的参与可以触发复杂的混沌动力学，它吸引来自世界各地的不同研究人员。基于不同的建模机制，学者们开发各种记忆神经元和神经网络模型。研究表明，记忆神经元和神经网络模型可以产生复杂的混沌行为。例如，首次在记忆性HR神经元中观察到混沌的峰值和爆发性放电，同时在记忆双神经元网络中得到了混沌和同步的现象。还有在各种记忆神经元和神经网络中发现各种复杂的混沌现象，包括超混沌、隐藏吸引子、共存吸引子和多滚动吸引子。此外，更有学者还报道复杂的多稳定性动力学和极端多稳定性。毫无疑问，实现这些复杂的神经动力学将有助于解决临床方面的问题。当然，具有复杂动力学的记忆神经元和神经网络模型也可以更好地应用于人工智能领域，特别是安全通信。例如，Wang [14]等人提出一种基于具有混沌行为的记忆霍普菲尔德神经网络的图像加密和解密方案。郭等人解决多层记忆递归神经网络中的静态和动态图像关联记忆。简而言之，记忆神经元和神经网络由于丰富的动力学和广泛的应用而备受关注。

本文从混沌动力学的角度回顾神经元和神经网络模型。在第2部分，我们给出混沌动力学的基本概念，并对一些传统的人工神经元和神经网络模型进行总结。在第3部分，我们对不同的记忆神经元和神经网络进行详细的解释和讨论。最后，得出了一些总结。

二、混沌动力学的基本概念

神经动力学是神经科学和动力系统理论的一个跨学科学科。其目的是通过应用动力学系统理论，特别是非线性动力学的思想和方法，研究生物神经系统的动力学特征及其随时间的演化，特别是放电行为、混沌特性、同步和分岔现象。从混沌动力学的角度来看，其动力学特征包括混沌、瞬态混沌和超混沌。混沌是一种特殊的动力学行为，它广泛存在于各种自然非线性系统中，特别是生物神经系统。根据李亚普诺夫理论，混沌至少有一个正的李亚普诺夫指数。瞬态混沌是混沌存在在有限时间上的一种动力学行为。此外，超混沌被定义为具有两个或两个以上的正李雅普诺夫指数的混沌，它比混沌要复杂得多。一般来说，混沌的动态轨迹被称为吸引子。如果一个吸引子的吸引盆地不与系统平衡的任何开放邻域相交，则它被称为隐藏吸引子，否则，它被称为自激发吸引子。一般来说，多卷翼吸引子比单卷翼吸引子更复杂。从稳定性的角度来看，混沌动力学包含共存的吸引子、多稳定性和极端的多稳定性。吸引子共存现象是一种复杂的动力学现象，在两种不同的初始状态下包含两种不同的混沌行为。在不同初始状态下三种或更多的动力状态共存。

三、传统的神经元和神经网络模型

人工神经元和神经网络模型对神经动力学的发展做出重大贡献，本节总结各种经典的人工神经元模型和神经网络模型。

（一）Hodgkin-Huxley神经元模型

1952年，霍奇金和赫胥黎（Hodgkin-Huxley，HH）[3]首次基于他们对鱿鱼巨轴突的电生理实验，构建一个非线性动力学系统作为单神经元的数学模型。HH神经元模型描述真实神经元的峰值行为和难治性特性，并作为基于离子通道非线性电导的峰值神经元的范例。

（二）FitzHugh-Nagumo神经元模型

1962年，Nagumo 等人[4， 5]引入由四维HH模型简化的二维FitzHugh-Nagumo（FHN）模型，以描述神经元的兴奋性和峰值放电。

（三）Morris-Lecar神经元模型

1981年，Morris和Lecar（ML） [6]提出一个简化的HH神经元模型，称为ML模型。ML神经元模型是一种生物神经元模型，用于再现巨大藤壶纤维中与钙离子（Ca2+）和钾离子（K+）电导相关的各种振荡行为。该模型是一个二维的非线性微分方程组。

（四）Hindmarsh-Rose神經元模型

1984年，Hindmarsh和Rose（HR） [7]开发一个强大的HR模型，它不仅可以促进计算，而且可以产生真实生物神经元表现出的大部分放电行为，如静止、峰值放电和爆发放电。HR模型包括一个二维模型和一个三维模型。许多学者认为二维HR神经元模型是实际神经元放电研究中的理想主义模型。

（五）Chay神经元模型

1985年，为了重现β-cell的放电行为，Chay [8]开发一个三维神经元模型，可以模拟爆炸和混沌放电。

（六）Hopfield神经网络

1984年，Hopfield [9]提出一个理想的神经网络，即Hopfield神经网络（HNN）。由于其具有较强的非线性和灵活的代数表达式，HNN特别适合于模拟大脑中各种复杂的动力学行为，特别是混沌行为。HNN可以用一组对应于N个神经元的非线性常微分方程来描述。

（七）细胞神经网络

1988年，Chua和Yang [10]提出一个基于蜂胞自动机和Hopfield神经网络的蜂窝神经网络（CNN），CNN的基本单元电路被称为电池。

四、结论

本文详细讨论各种记忆神经元和神经网络模型在神经动力学方面的最新进展，这无疑将有助于研究人员研究这一新前景。从混沌动力学的基本定义开始，慢慢地介绍传统的人工神经元和神经网络模型的基础定义。值得注意的是，记忆电阻器在记忆神经元和神经网络模型中起着重要而重要的作用。根据以往学者的研究结果表明，记忆神经模型具有复杂的混沌动力学。虽然已经对一些记忆神经元和神经网络模型及其混沌动力学进行研究，但仍处于婴儿阶段，需要进一步探索。我们认为，研究记忆神经元和神经网络模型的混沌动力学将有助于阐明大脑更详细的功能以及工程应用。

参考文献：

1.Fell， J.， Axmacher， N.： The role of phase synchronization in memory processes. Nat. Rev. Neurosci. 12（2）， 105–118 （2011）

2.Ma， J.， Tang， J.： A review for dynamics in neuron and neuronal network. Nonlinear Dyn. 89（3）， 1569–1578 （2017）

3.Hodgkin， A.L.， Huxley， A.F.： A quantitative description of membrane current and its application to conduction and excitation in nerve. J. Physiol. 117（4）， 500–544 （1952）

4. Fitzhugh， R.： Impulses and physiological states in theoretical models of nerve membrane. Biophys. J. 1（6）， 445–466 （1961）

5. Nagumo， J.， Arimoto， S.， Yoshizawa， S.： An active pulse transmission line simulating nerve axon. Proc. IRE 50（10）， 2061–2070 （1962）

6. Morris， C.， Lecar， H.： Voltage oscillations in the barnacle giant muscle fifiber. Biophys. J. 35（1）， 193–213 （1981）

7. Hindmarsh， J.L.， Rose， R.M.： A model of the nerve impulse using two fifirst-order differential equations. Nature 296（5853）， 162–164 （1982）

8.Chay， T.R.： Chaos in a three-variable model of an excitable cell. Physica D 16（2）， 233–242 （1985）

9. Hopfifield， J.J.： Neurons with graded response have collective computational properties like those of 2-state neurons. Proc. Natl. Acad. Sci. USA 81（10）， 3088–3092 （1984）

10. Chua， L.O.， Yang， L.： Cellular neural networks： theory. IEEE Trans. Circuits Syst. 35（10）， 1257–1272 （1988）

11. Strukov， D.B.， Snider， G.S.， Stewart， D.R.， et al.： The missing memristor found. Nature 453（7191）， 80–83 （2008）

12. Jo， S.H.， Chang， T.， Ebong， I.， et al.： Nanoscale memristor device as synapse in neuromorphic systems. Nano Lett. 10（4）， 1297–1301 （2010）

13. Lv，M.，Wang， C.， Ren， G.， et al.：Model of electrical activity in a neuron under magnetic flflow effect. Nonlinear Dyn. 85（3）， 1479–1490 （2016）

14. Wang， W.， Yu， X.， Luo， X.， et al.： Finite-time synchronization of chaotic memristive multidirectional associative memory neural networks and applications in image encryption. IEEE Access 6， 35764–35779 （2018）