人工神经网络在计算机中的应用前景分析

曲 川

摘要:神经网络是人们在模仿人脑处理问题的过程中发展起来的一种新型智能信息处理理论,它通过大量的称为神经元的简单处理单元构成非线性动力学系统,对人脑的形象思维、联想记忆等进行模拟和抽象,实现与人脑相似的学习、识别、记忆等信息处理能力。神经网络在经历了40多年的曲折发展之后,在信息科学领域等许多应用方面己显示出巨大潜力和广阔的应用前景。

关键词:神经网络;计算机;智能信息;应用

中图分类号:TP183

文献标识码:A

文章编号:16723198(2009)20028602お

1神经网络的定义

一般情况下,人工神经元网络是作为信息处理单元来模仿大脑,执行特定的任务或完成感兴趣的功能。关于它的定义有很多种,而下面的Hecht睳ielsen给出的神经网络定义最具有代表意义: 神经网络是一种并行的分布式信息处理结构,它通过称为连接的单向信号通路将一些处理单元互连而成。每一个处理单元都有一个单输出到所期望的连接。每一个处理单元传送相同的信号——处理单元输出信号。处理单元的输出信号可以是任一种所要求的数学类型。在每一个处理单元中执行的信息处理在它必须完全是局部的限制下可以被任意定义,即它必须只依赖于处理单元所接受的输入激励信号的当前值和处理单元本身所存储记忆的值。

2神经网络的基本属性

(1)非线性: 人脑的思维是非线性的,故人工神经网络模拟人的思维也应是非线性的。

(2)非局域性: 非局域性是人的神经系统的一个特性,人的整体行为是非局域性的最明显体现。神经网络以大量的神经元连接模拟人脑的非局域性,它的分布存储是非局域性的一种表现。

(3)非定常性: 神经网络是模拟人脑思维运动的动力学系统,它应按不同时刻的外界刺激对自己的功能进行修改,故而它是一个时变的系统。

(4)非凸性:神经网络的非凸性即是指它有多个极值,也即系统具有不只一个的较稳定的平衡状态。这种属性会使系统的演化多样化。

3神经网络模型的分类

(1)按照网络的结构区分,则有前向网络和反馈网络。

(2)按照学习方式区分,则有教师学习和无教师学习网络。

(3)按照网络性能区分,则有连续型和离散性网络,随机型和确定型网络。

(4)按照突触性质区分,则有一阶线性关联网络和高阶非线性关联网络。

(5)按对生物神经系统的层次模拟区分,则有神经元层次模型,组合式模型,网络层次模型,神经系统层次模型和智能型模型。

通常人们较多地考虑神经网络的互连结构。一段而言,神经网络有分层网络、层内连接的分层网络、反馈连接的分层网络、互连网络等4种互连结构。在人们提出的几十种神经网络模型中,人们较多用的是Hopfield网络、BP网络、Kohonen网络和AR双自适应共振理论网络。

Hopfield网络是最典型的反馈网络模型,它是目前人们研究得最多的模型之一。Hopfield网络是由相同的神经元构成的单层,并且不具学习功能的自联想网络。它需要对称连接。这个网络习以完成制约优化和联想记忆等功能。

BP网络是误差反向传播(Back Propagation)网络。它是一种多层前向网络,采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合,识别和自适应控制等用途。BP网络需有教师训练。

Kohonen网络是典型的自组织神经网络,这种网络也称为自组织特征映射网络SOM。它的输入层是单层单维神经元;而输出层是二维的神经元,神经元之间存在以“墨西哥帽”形式进行侧向交互的作用。因而,在输出层中,神经元之间有近扬远抑的反馈特性,从而使Kohonen网络可以作为模式特征的检测器。

ART网络也是一种自组织网络模型。这是一种无教师学习网络。它能够较好地协调适应性,稳定性和复杂性的要求。在ART网络中,通常需要两个功能互补的子系统相互作用.这两个子系统称注意子系统和取向子系统。ART网络主要用于模式识别,它不足之处是在于对转换、失真和规模变化较敏感。

4误差反向传播的前馈网络(BP网络)

学习是神经网络一种最重要也最令人注目的特点。自从40年代Hebb提出的学习规则以来,人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法,即BP(error BackPropagation)法影响最为广泛。直到今天,BP算法仍然是最重要、应用最多的有效算法。

(1)神经网络的学习机理和机构:在神经网络中,对外部环境提供的模式样本进行学习训练,并能存储这种模式,则称为感知器,感知器采用有教师信号进行学习。感知器的学习是神经网络最典型的学习。这种学习系统分成三个部分:输入部,训练部和输出部。

输入部接收外来的输入样本X,由训练部进行网络的权值W调整,然后由输出部输出结果。在这个过程中,期望的输出信号可以作为教师信号输入,由该教师信号与实际输出进行比较,产生的误差去控制修改权值W。

(2)神经网络学习的梯度算法:从感知器的学习算法可知,学习的目的是在于修改网络中的权值,使到网络对于所输入的模式样本能正确分类。当学习结束时,也即神经网络能正确分类时,显然权值就反映了同类输人模式样本的共同特征。换句话讲,权值就是存储了的输人模式。由于权值是分散存在的,故神经网络自然而然就有分布存储的特点。

感知器学习算法相当简单,当函数不是线性可分时求不出结果,而且不能推广到一般前馈网络中,为此出现了另一种算法-梯度算法((LMS)。梯度算法把神经元的激发函数改为可微分函数,例如非对称Sigmoid函数为f (x) = l/(1 + e-x ),或对称Sigmoid函数f (x) = (1 - e-x )/ (1 + e-x ) 梯度法比原来感知器的学习算法进了一大步。

(3)反向传播学习的BP算法:感知机学习算法是一种单层网络的学习算法。在多层网络中,它只能改变最后权值。因此,感知机学习算法不能用于多层神经网络的学习。1986年,Rumelhart提出了反向传播学习算法,即BP算法。这种算法可以对网络中各层的权值进行修正,故适用于多层网络的学习。

它含有输人层、输出层以及处于输入输出层之间单层或多层的中间层,即隐含层。隐含层虽然和外界不连接,但是,它们的状态则影响输入输出之间的关系。这也是说,改变隐含层的权值,可以改变整个多层神经网络的性能。

5结语

神经网络模式识别方法是近几年兴起的模式识别领域的一个新的研究方向。由于神经网络的高速并行处理、分布存贮信息等特性符合人类视觉系统的基本工作原则,具有很强的自学习性、自组织性、容错性、高度非线性、高鲁棒性、联想记忆功能和推理意识功能等,能够实现目前基于计算理论层次上的模式识别理论所无法完成的模式信息处理工作,所以,采用神经网络进行模式识别,突破了传统模式识别技术的束缚,开辟了模式识别发展的新途径。同时,神经网络模式识别也成为神经网络最成功和最有前途的应用领域之一。