神经网络介绍及其应用

张晓艳 陈晓丰 游星星 曾星昀 刘书近 刘小军/重庆交通大学

神经网络介绍及其应用

张晓艳 陈晓丰 游星星 曾星昀 刘书近 刘小军/重庆交通大学

本文介绍了神经网络发展历史、结构、特点、以及应用范围，对神经网络的发展前景进行了展望，最后简述脉冲控制与脉冲复变神经网络。

神经元；神经网络；应用与研究前沿；脉冲控制；脉冲复变神经网络

1.引言

人工神经网络是近几年发展起来的交叉学科，它是用物理或数学方法实现的系统来模拟人脑神经细胞的功能，其涉及生物、电子、计算机、数学和物理等学科，有着非常广泛的应用前景。人工神经网络不仅仅是一种算法，而且也可由电子器件组为硬件实现其功能，即它可用软件或软件均可实现，它可解决大量复杂的或至今人类无法找出的及未知的函数关系的拟合，可作类似人类的模式识别能力，是由于在构造它的时候，对其进行了大量的训练，使它积累了有关知识，学会了这种判别能力。

2.神经网络

2.1神经网络简介[1]：

神经网络，即是以人脑的生理研究成果为基础的，也是生物神经网络系统高度简化后的一种近似，它可以在不同程度、不同层次上模拟人脑神经系统的结构及其信息处理、存储和检索等功能。在过去三十年中发展活跃，由于它拥有良好的非线性映射能力、自学习适应能力和并行信息处理能力，可以处理不确定非线性系统问题，因此具有较高的智能水平和实用价值，在众多领域内得到了广泛的应用。

2.2神经网络的更迭：

神经网络自诞生以来，历时半个世纪，经历了5个阶段：

奠基阶段，上世纪40年代，1943年，美国神经生物学家Mcculloch和数理逻辑学家Pitts从人脑信息处理的立场上出发，运用数理模型研究了脑细胞的动作和结构及生物元的一些基本生理特性，提出了第一个神经计算模型，即神经元的阈值元件模型(M-P型)，他们从原理上证明了人工神经网络可以计算任何算数和逻辑函数，迈出了人工神经网络研究的第一步，该模型有兴奋和抑制两种状态，可以完成有限的逻辑运算，虽然简单却沿用至今，并直接影响这一领域研究的进展，成为人工神经网络研究的先驱。

第一次高潮阶段，50年代后期，计算机科学家F·Rosenblatt设计制作了“感知机”--一种多层的神经网络模型，它由阈值型神经元组成，用以模拟动物和人脑的感知和学习能力，适用于模式识别、联想记忆等人们感兴趣的实用技术，包含了现代神经计算机的基本原理。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践，掀起了人工神经网络的第一次研究热潮。

坚持阶段，1960年Bernard Widrow和Ted Hoff提出自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络，在后来的误差反向传播和自适应信号处理系统中得到了广泛应用。在1969年，Marvin Minsky和Seymour Papert论证了简单的线性感知器功能是有限的，并断言这种感知器无科学价值可言。经管如此，仍有不少学者在极端艰难的条件下致力于神经网络的研究，如美国学者Stephen Grossberg等提出了自适应共振理论（ART模型），并在之后的若干年发展了ART1、ART2和ART3三种神经网络模型；芬兰学者Kohonen提出了自适应映射理论模型，这些工作为以后的神经网络的研究和发展奠定了理论基础。

第二次高潮阶段，Kohonen提出了自组织映射网络模型，并在计算机上进行了模拟。80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响，人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着 Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮[2]。

新发展阶段，90年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者 Edelman提出了Darwinism模型，建立了一种神经网络系统理论。1994年廖晓昕对细胞神经网络建立了新的数学理论与基础，得出了一系列结果，如耗散性、平衡位置的数目及表示，平衡态的全局稳定性、区域稳定性、周期解的存在性和吸引性等，使这个领域取得了新的进展。

2.3神经网络的结构与特点：

神经网络是一个复杂的互联系统，单元之间的互联模式将对网络的性能与功能产生影响，其由许多相互连接的神经元（也称为单元或节点）以及外部环境输入组成，每一个神经元都执行两个功能：把来自其他神经元的输入施以不同的连接权并对外部输入进行叠加，同时对这个叠加的输入进行非线性变换产生一个输出，该输出又通过连接权刺激其他神经元相连。要设计一个神经网络，必须包含神经元间的连接模式、激励函数、连接权值和神经元个数这四个方面。

按照其连接方式的不同的特点，神经网络可以分为两种，即前馈神经网络和反馈（递归）神经网络，前馈神经网络主要是函数映射，其各神经元接收前一层的输入，并输出到下一层，没有反馈。在没有反馈的神经网络中，信号一旦通过某个神经元，过程就结束了，而在递归神经网络中，信号要在神经元之间反复往返传递，神经网络处在一种不断改变状态的动态过程中。因为有反馈的存在，所以递归神经网络是一个非线性动力系统，可用来实现联想记忆和求解优化等问题[3]。

利用激励函数的形式多样化的特点，并根据其不同特性可以构造功能各异的神经网络，典型的激励函数包括阶梯函数、线性作用函数和Sigmoid函数等。研究表明，选择适当的激励函数可以大大改善神经网络的性能，因此推广可使用的激励函数范围，在更加广泛的意义下研究神经网络的稳定性与混沌同步不仅可以推动神经网络的完善与发展，而且能为神经网络的实际应用奠定坚实的基础。

2.4神经网络的应用与研究前沿

神经网络系统是一个高度非线性的超大规模连续时间动力学系统，具备大规模的并行处理和分布式的信息存储能力，拥有良好的自适应、自组织性以及很强的学习功能、联想功能和容错功能，其突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人类智能信息处理能力和模拟人脑智能行为能力的一大飞跃。

目前大批学者围绕神经网络展开了进一步的研究工作，大量的神经网络模型相继被提出，如竞争神经网络模型、忆阻器神经网络模型、分数阶神经网络模型等。由于神经网络独特的结构和处理信息的方法，使其在最优化计算、自动控制、信号处理、模式识别、故障诊断、海洋遥控、时间序列分析、机器人运动学等许多实际领域表现出良好的智能特性和潜在的应用前景。神经网络的研究前沿领域还包括以下几个方面：智能和机器（机器智能化）、神经计算和进化计算（相互促进）、神经网络结构和神经元芯片（高科技领域中的神经计算机与神经元芯片）等[3]。

神经网络成功应用的前提是动力学行为，由于其非线性的特征，神经网络往往具有非常复杂的动力学性态，如平衡点、周期解、分支、行波解和混沌等，在时滞神经网络（一种复杂的动态系统）中适当的选择系统的参数和时滞可使其表现出复杂的动态行为，甚至混沌特征。目前，时滞神经网络的混沌同步在保密通信、图像处理等应用方面取得了可喜的进展，并通过对耦合混沌神经网络系统的大量理论研究、数值模拟和电路实验，提出了许多同步控制方案，如自适应控制、脉冲控制等。

3.脉冲复变神经网络

3.1脉冲控制

通过对耦合混沌神经网络系统的研究，提出了许多同步控制方案，包括线性状态误差反馈控制、样本点控制、脉冲控制、间歇控制等，而在实际的应用中，使用连续控制消耗巨大，实用性不强，脉冲控制恰好用来降低成本并减少消耗。

脉冲控制是基于脉冲微分方程的控制方法，其仅仅在某些时点上施加控制，具有控制器结构简单、易于实现，控制系统的鲁棒性比较强（适于解决强非线性、实变、复变等问题）等优点，并在混沌控制、混沌同步、复杂网络同步等领域得到了越来越广泛的应用。

3.2脉冲复变神经网络

神经网络类型的划分有多种方法，根据其处理数据的类型，神经网络可分为两类：实值神经网络和复值神经网络。复值神经网络神经元的状态、输出以及网络的权值都是复值，它能直接处理复值数据，既自然又方便，另外，由于复值信号能够携带振幅和相位信息，因此能够直接处理复值数据的复值神经网络，具有独特的优势[4]。结合脉冲既能使稳定的神经网络不稳定，也能让不稳定的神经网络稳定的特点，将脉冲控制引入到复值神经网络中，建立脉冲复值神经网络并研究其稳定性具有重要的理论和使用价值。

[1]钟守铭，刘碧森.神经网络稳定性理论[M].科学出版社，2008.

[2]刘永红，http://www.cppblog.com/guijie/archive/2015/02/20/4882.html，2016.4.

[3]甘勤涛，徐瑞.时滞神经网络的稳定性与同步控制[M].科学出版社，2016.2.

[4]闫欢，宋乾坤，赵振江.时间标度上时滞脉冲复值神经网络的全局稳定性[D].应用数学和力学，2015.11，36(11):1000-0887.