人工神经网络的发展及应用

毛健，赵红东，姚婧婧

（河北工学大学 信息工程学院，天津 300401）

人工神经网络（Artificial Neural Network，即ANN），是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络[1]。最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。

1 人工神经网络的概念

现在关于人工神经网络的定义还不统一，按国际著名神经网络研究专家Hecht Nielsen的观点，神经网络的定义是：人工神经网络是由人工建立的、以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态响应而进行信息处理。我们综合来源、特点和各种解释，神经网络可简单地表述为：人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统[2]。

2 人工神经网络的发展

人工神经网络的整个发展过程，大致可以分为4个阶段：形成时期，低谷时期，复兴时期，发展时期。

2.1 形成时期

1943年，生理学家McCulloch和数学家Pitts发表文章，提出了第一个神经元模型（M-P模型），他们的努力奠定了网络模型和以后神经网络开发的基础，开启了人们对人工神经网络的研究。1951年，心理学家Donala O.Hebb提出了连接权值强化的Hebb法则：在神经网络中，信息存储在连接权中，神经元之间突触的联系强度是可变的，这种变化建立起神经元之间的连接。Hebb法则为构造有学习功能的神经网络模型奠定了基础。1954年，生物学家Eccles提出了真实突触的分流模型，这一模型通过突触的电生理实验得到证实，因而为神经网络模拟突触的功能提供了原型和生理学的证据。1956年，Uttley发明了一种由处理单元组成的推理机，用于模拟行为及条件反射。70年代中期，他把该推理机用于自适应模式识别，并认为该模型能反映实际神经系统的工作原理。1960年，Widrow和Hoff提出了自适应线性元件Adaline网络模型，这是一种连续取值的自适应线性神经元网络模型，他们对分段线性网络的训练有一定作用，此方法速度较快且具有较高的精度。

2.2 低谷时期

在第一次神经网络研究热潮中，人们忽视了其本身的局限性。1969年Minskyh和Papert经过多年的研究，提出了对当前成果的质疑，指出当前的网络只能应用于简单的线性问题，却不能有效地应用于多层网络，由此开始了神经网络的低谷期。1972年，芬兰的Kohonen教授，提出了自组织映射（SOM）理论；同时美国的神经生理学家和心理学家Anderson，提出了一个与之类似的神经网络，称为“交互存储器”。现在的神经网络主要是根据Kohonen的工作来实现的[3]。1980年福岛邦彦发表的“新认知机”（Neocognitron）是视觉模式识别机制模型，它与生物视觉理论结合，综合出一种神经网络模型，使它像人类一样具有一定模式识别能力。在低谷时期，许多重要研究成果都为日后神经网络理论研究打下了坚实的基础。

2.3 复兴时期

1982年，美国物理学家Hopfield博士提出了Hopfield模型理论，他证明了在一定条件下，网络可以达到稳定的状态。在他的影响下，大量学者又重新开始了对神经网络的研究。1986年，由美国的Rumelhart和 McCkekkand提出了 PDP（Parallel Distributed Processing）网络思想，再一次推动了神经网络的发展。20世纪90年代中后期，神经网络研究步入了一个新的时期，在已有理论不断深化的同时，新的理论和方法也不断涌现。1995年，Jenkins等人开始研究光学神经网络（PNN），建立了光学二维并行互连与电子学混合的光学神经网络系统。经过多年的发展，目前已有上百种的神经网络模型被提出与应用。

2.4 发展时期

20世纪80年代，随着人工神经网络在世界范围内的复苏，我国也逐步掀起了对其的研究热潮。1990年2月由国内8个顶尖学会（生物物理学会和心理学会、人工智能学会、自动化学会、中国电子学会、中国计算机学会、通信学会、物理学会）联合在北京召开“中国神经网络首届学术会议”。这次大会的主题是“八学会联盟，探智能奥秘”，并且收到300多篇学术论文，开创了中国人工神经网络及神经计算机方面科学研究的新纪元。经过十几年的不断发展，中国学术界和工程界在人工神经网络的理论研究和应用方面取得了丰硕成果。与此同时，国外人工神经网络也在迅速发展着。1987年，在美国加州召开了第一届国际神经网络学会。此后每年召开两次国际联合神经网络大会（IJCNN）。同时也创建了很多相关刊物。至此，神经网络理论研究在国内国外学术领域已经受到了相当的关注。

90年代，国内外许多学者进一步完善和发展了神经网络领域。特别是通过神经网络方法来解决非线性系统的控制问题，并取得了突出的成果。1991年在南京召开了中国神经网络学术大会 （第二届），并成立了中国神经网络学会。我国“863”高技术研究计划和“攀登”计划、相关基金、年会、期刊等都把神经网络的研究列入重要课题范围。这些都为我国发展神经网络创造了良好的条件，INNS开始重视我国。1992年，在北京召开由国际神经网络学会、IEEE神经网络委员主办的国际性学术会议IJCNN。Wunsch在90OSA年会提出一种Annual Meeting，用光电执行ART，主要计算强度由光学硬件完成，它的学习过程有自适应滤波和推理功能，具有快速和稳定的学习特点。1995年Jenkins等人研究了光学神经网络（PNN），建立了光学神经网络系统，用光学二维并行互连与电子学混合实现了光学神经元，意味着应用新的方法来解决光学实现相减和取阈的问题。充分发挥了光学强大的互连能力和并行处理能力，提高神经网络的实现规模，从而加强了网络的自适应功能和学习功能。Albus在1975年提出了小脑模型关节控制器（CMAC）。依此，Miller等人进一步研究了非线性动态系统控制问题，它具有局部逼近和修改权极小的特点，但采用间断超平面对非线性超曲逼近时，会出现精度不够，也有可能得不到相应的导数估计的情况。1992年Lane对它作了改进，使逼近超平面的光滑性更好，逼近精度有一定提高。1993年Bulsari[4]提出了以乘积Sigmoid函数作为激发函数，并给出非线性系统用神经网络逼近的构造性描述，得到了节点数目的上界估计。1997年罗忠等人[5]对CMAC的收敛性以及hash编码对它的影响作了矩阵分析和证明。

2000年，Setiono提出了快速规则抽取算法。所谓快速是相对于其他的基于结构的规则抽取算法而言，去掉不重要的连接，但要对网络进行训练，保证神经网络的精度，这增加了算法的消耗，降低了效率。所以，Setiono[6]又提出来了FERNN算法，该算法不用对神经网络进行多次的训练，可以抽取MOFN规则或DNF规则。几年来混沌神经网络也得到很好的发展，Aihara等提出了混沌神经网络模型，之后出现多种改进模型[7]，2004年，提出了用于计算混沌神经网络最大Lyapunov指数的一种算法，基于最大指数的计算，研究网络混沌区域的分布和特征，可以合理的选择网络参数。2004年，武妍、王守觉等人提出了一种基于结果反馈的神经网络训练算法[8]，其将输入调整与权值调整的BP算法结合起来，通过双重调整来最小化误差函数。该方法是通过对输入样本集的模糊化处理来避免学习过程中的过拟合，提高了网络的泛化能力。2011年第12届国际语音通信协会上，微软研究人员发布了人工神经网络进行大词汇语音识别的论文，其利用深度网络模型（DNNs）建立因素模型用于语音识别实验，此法与常规方法相比误差较小，这是神经网络应用的一大进步。

3 人工神经网络的应用

经过几十年的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。下面介绍神经网络在一些领域中的应用现状。

3.1 人工神经网络在信息领域中的应用

在处理许多问题中，信息来源既不完整，又包含假象，决策规则有时相互矛盾，有时无章可循，这给传统的信息处理方式带来了很大的困难，而神经网络却能很好的处理这些问题，并给出合理的识别与判断。

3.1.1 信息处理

现代信息处理要解决的问题是很复杂的，人工神经网络具有模仿或代替与人的思维有关的功能，可以实现自动诊断、问题求解，解决传统方法所不能或难以解决的问题[9]。人工神经网络系统具有很高的容错性、鲁棒性及自组织性，即使连接线遭到很高程度的破坏，它仍能处在优化工作状态，这点在军事系统电子设备中得到广泛的应用。现有的智能信息系统有智能仪器、自动跟踪监测仪器系统、自动控制制导系统、自动故障诊断和报警系统等。

3.1.2 模式识别

模式识别是对表征事物或现象的各种形式的信息进行处理和分析，来对事物或现象进行描述、辨认、分类和解释的过程。该技术以贝叶斯概率论和申农的信息论为理论基础，对信息的处理过程更接近人类大脑的逻辑思维过程。现在有两种基本的模式识别方法，即统计模式识别方法和结构模式识别方法。人工神经网络是模式识别中的常用方法，近年来发展起来的人工神经网络模式的识别方法逐渐取代传统的模式识别方法。经过多年的研究和发展，模式识别已成为当前比较先进的技术，被广泛应用到文字识别、语音识别、指纹识别、遥感图像识别、人脸识别、手写体字符的识别、工业故障检测、精确制导等方面[10]。

3.2 人工神经网络在医学中的应用

由于人体和疾病的复杂性、不可预测性，在生物信号与信息的表现形式上、变化规律（自身变化与医学干预后变化）上，对其进行检测与信号表达，获取的数据及信息的分析、决策等诸多方面都存在非常复杂的非线性联系，适合人工神经网络的应用。目前的研究几乎涉及从基础医学到临床医学的各个方面，主要应用在生物信号的检测与自动分析，医学专家系统等。

3.2.1 生物信号的检测与分析

大部分医学检测设备都是以连续波形的方式输出数据的，这些波形是诊断的依据。人工神经网络是由大量的简单处理单元连接而成的自适应动力学系统，具有巨量并行性，分布式存贮，自适应学习的自组织等功能，可以用它来解决生物医学信号分析处理中常规法难以解决或无法解决的问题。神经网络在生物医学信号检测与处理中的应用主要集中在对脑电信号的分析，听觉诱发电位信号的提取、肌电和胃肠电等信号的识别，心电信号的压缩，医学图像的识别和处理等。

3.2.2 医学专家系统

传统的专家系统，是把专家的经验和知识以规则的形式存储在计算机中，建立知识库，用逻辑推理的方式进行医疗诊断。但是在实际应用中，随着数据库规模的增大，将导致知识“爆炸”，在知识获取途径中也存在“瓶颈”问题，致使工作效率很低。以非线性并行处理为基础的神经网络为专家系统的研究指明了新的发展方向，解决了专家系统的以上问题，并提高了知识的推理、自组织、自学习能力，从而神经网络在医学专家系统中得到广泛的应用和发展。

在麻醉与危重医学等相关领域的研究中，涉及到多生理变量的分析与预测，在临床数据中存在着一些尚未发现或无确切证据的关系与现象，信号的处理，干扰信号的自动区分检测，各种临床状况的预测等，都可以应用到人工神经网络技术。

3.3 人工神经网络在经济领域的应用

3.3.1 市场价格预测

对商品价格变动的分析，可归结为对影响市场供求关系的诸多因素的综合分析。传统的统计经济学方法因其固有的局限性，难以对价格变动做出科学的预测，而人工神经网络容易处理不完整的、模糊不确定或规律性不明显的数据，所以用人工神经网络进行价格预测是有着传统方法无法相比的优势。从市场价格的确定机制出发，依据影响商品价格的家庭户数、人均可支配收入、贷款利率、城市化水平等复杂、多变的因素，建立较为准确可靠的模型。该模型可以对商品价格的变动趋势进行科学预测，并得到准确客观的评价结果。

3.3.2 风险评估

风险是指在从事某项特定活动的过程中，因其存在的不确定性而产生的经济或财务的损失、自然破坏或损伤的可能性[11]。防范风险的最佳办法就是事先对风险做出科学的预测和评估。应用人工神经网络的预测思想是根据具体现实的风险来源，构造出适合实际情况的信用风险模型的结构和算法，得到风险评价系数，然后确定实际问题的解决方案。利用该模型进行实证分析能够弥补主观评估的不足，可以取得满意效果。

3.4 人工神经网络在控制领域中的应用

人工神经网络由于其独特的模型结构和固有的非线性模拟能力，以及高度的自适应和容错特性等突出特征，在控制系统中获得了广泛的应用。其在各类控制器框架结构的基础上，加入了非线性自适应学习机制，从而使控制器具有更好的性能。基本的控制结构有监督控制、直接逆模控制、模型参考控制、内模控制、预测控制、最优决策控制等。

3.5 人工神经网络在交通领域的应用

今年来人们对神经网络在交通运输系统中的应用开始了深入的研究。交通运输问题是高度非线性的，可获得的数据通常是大量的、复杂的，用神经网络处理相关问题有它巨大的优越性。应用范围涉及到汽车驾驶员行为的模拟、参数估计、路面维护、车辆检测与分类、交通模式分析、货物运营管理、交通流量预测、运输策略与经济、交通环保、空中运输、船舶的自动导航及船只的辨认、地铁运营及交通控制等领域并已经取得了很好的效果。

3.6 人工神经网络在心理学领域的应用

从神经网络模型的形成开始，它就与心理学就有着密不可分的联系。神经网络抽象于神经元的信息处理功能，神经网络的训练则反映了感觉、记忆、学习等认知过程。人们通过不断地研究，变化着人工神经网络的结构模型和学习规则，从不同角度探讨着神经网络的认知功能，为其在心理学的研究中奠定了坚实的基础。近年来，人工神经网络模型已经成为探讨社会认知、记忆、学习等高级心理过程机制的不可或缺的工具。人工神经网络模型还可以对脑损伤病人的认知缺陷进行研究，对传统的认知定位机制提出了挑战。

虽然人工神经网络已经取得了一定的进步，但是还存在许多缺陷，例如：应用的面不够宽阔、结果不够精确；现有模型算法的训练速度不够高；算法的集成度不够高；同时我们希望在理论上寻找新的突破点，建立新的通用模型和算法。需进一步对生物神经元系统进行研究，不断丰富人们对人脑神经的认识。

4 人工神经网络的展望

人工神经网络或许无法代替人类的大脑，但是它拓展了人们对外部环境的认识与控制能力。它特有的非线性适应性信息处理能力[12]，使之在智能控制、组合优化、预测等领域得到成功应用，成为一门独具特色的信息处理学科。

人工神经网络的发展有如下趋势：人工神经网络正向模拟人类认知的道路上深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向；在现代神经科学研究成果的基础上，试图用模拟神经网络加工、记忆信息的方式，制造各种智能机器；神经元网络的实现是其广泛应用的前提，是软件与硬件的有效结合，可以针对网络材料和功能结构，研究更简洁高效的网络结构，同时扩大神经元芯片的作用范围；利用光电结合的神经计算机，创造出功能更全，应用更广的人工神经网络，提高其信息处理能力，进一步优化从理论到实际的实现；人类与计算机的自然口译、流畅的谈话、音频检索甚至用自然语言与计算机对话也是其发展实现的方向之一。

5 结 论

文中首先对人工神经网络的发展作了阶段性的回顾；其次介绍了网络的特性和其在信息、医学等主要领域的应用现状；最后在此基础上对人工神经网络的发展作了一定的展望。人工神经网络具有非线性、适应性等特点，其与现有研究方法的结合，将使人工神经网络理论被不断的完善、应用面也日趋广泛。

[1]韩立群.人工神经网络[M].北京:北京邮电大学出版社，2006.

[2]董军，胡上序.混沌神经网络研究进展和展望[J].信息与控制，1997，26（5）:360-368.DONG Jun，HU Shang-xu.The progress and prospects of neural network research[J].Information and Control，1997，26（5）:360-368.

[3]Jenkins B K，Tanguay A R.Handbook of Neural Computing and Neural Networks[M].Boston:MIT Press，1995.

[4]Bnlsabi A.Some analytical solutions to the general approximation problem for feed forward neural networks[J].Neural Networks 1993（6）:991-996.

[5]罗忠，谢永斌，朱重光.CMAC学习过程收敛性研究[J].自动化学报，1997，23（4）:455-461.LUO ZHong，XIE Yong-bin，ZHU Chong-guang.The study of convergence of CMAC learning process[J].Acta Automatic Sinica，1997，23（4）:455-461.

[6]Setiono R，Leow W K.FERNN:An algorithm for fast extraction of rules from neural networks[J].Applied Intelligence，2000，12（1-2）:15-25.

[7]何国光，朱萍，曹志彤，等.混沌神经网络的Lyapunov指数与混沌区域[J].浙江大学学报，2004，31（7）:387-390.HE Guo-guang，ZHU Ping，CAO Zhi-tong，et al.Lyapunov exponents and chaotic regions of chaotic neural networks[J].Journal of Zhejiang University，2004，31（7）:387-390.

[8]武妍，王守觉.一种通过反馈提高神经网络学习性能的新算法[J].计算机研究与发展，2004，41（9）:1488-1492.WU Yan，WANG Shou-jue.A new algorithm of improving the learning performance of neural network by feedback[J].Journal of Computer Research and Development，2004，41（9）:1488-1492.

[9]XIA Min，FANG Jian-an，TANG Yang，et al.Dynamic depression control of chaotic neural networks for associative memory[J].Neurocomputing， 2010（73），776-783.

[10]OZ C，LEU M C.American sign language word recognition with a sensory glove using artificial neural networks[J].Engineering Applications of Artificial Intelligence，2011（4）:1204-1213.

[11]Singhal D，Swarup K S.Electricity price forecasting using artificial neural networks[J].Electrical Power and Energy Systems，2011（3）:550-555.

[12]WU Wei，WANG Jian，CHENG Ming-song，et al.Convergence analysis of online gradient method for BP neural networks[J].Neural Networks ， 2011（24）:91-98.