神经网络技术初探

山东省青岛市第二中学 张 瑞

神经网络技术初探

山东省青岛市第二中学 张 瑞

随着信息科学的快速发展，人工智能得到了研究者的广泛关注。作为人工智能中的主要实现手段，人工神经网络受神经元工作原理启发，而建立的一种对信息处理的数学模型。近年来，随着深度学习的发展，对它的研究取得了一系列进展，并得到广泛的商业应用。本文将简述神经网络的发展历史及现状，基本原理及对其未来的展望。

人工智能；人工神经网络

一、引言

自从第一代电子计算机问世以来，计算机科学技术便得到了快速的发展，从最早被应用到科学计算，到利用计算机程序进行数据处理及辅助设计，以及最为广泛应用的无纸化办公，计算机已被应用到我们社会生产生活的方方面面。传统上我们在利用计算机处理实际问题时，我们通过将目标任务分解成一条条简单可执行的步骤，并将其用相应的编程语句记录下来，并利用相应的软件解释执行。原则上我们可以给出每一个任务的分解，但是许多现实问题过于复杂以至于我们没有办法给出有效的具有普遍性的分解，如面部识别，语音识别，自动驾驶，机器翻译。上个世纪，由生物神经网络启发而建立起来的人工神经网络模型，经过几十年的发展，已被证明在处理类似传统编程方法难以解决的问题上具有明显的优势。与传统的方法相比，它不需要事先就准确地将相应任务的程序编写完成，允许其具有一定的较大的误差，通过大量样本的学习而最终以极高的成功率完成目标任务。近年来，神经网络的技术有了极大的发展，尤其是深度学习技术的广泛而深入的研究推动了神经网络的实际应用，如智能手机中的语音助手，不久前在围棋上击败人类棋手的Alpha Go 等。

在本文中，我们将通过分三个部分对神经网络技术进行初步的阐述。首先我们对神经网络发展的历史及现状进行阐述，接着我们介绍了神经网络的基本原理，最后我们给出神经网络技术的张望，以及其对人类社会文明可能带来的影响。

二、神经网络发展历史及现状

人工神经网络的研究萌芽于上个世纪四十年代，神经学家Warran McCulloch及数学家Walter Pitts所构建的用来解释神经元工作原理的电流神经元模型。在这之后Donald Hebb 提出两个神经元之间的连接会在其每次有传导的时候而增强，并认为这也是人脑学习过程的基本原理。到了五十年代，Rosenblatt提出了感知器的模型，并证明对于线性可分的系统，其学习算法一定收敛。感知器模型在处理简单分类模型时极其有效，它可以看作是最早的人工神经网络，它的提出极大推动了人工神经网络的发展。但同时由于其单层结构模型过于简单，它也有着较大的局限性，它对于经典的二进制问题都无法处理。同时由于当时计算机技术水平所限，以及传统编程方法的快速发展，人工神经网络的发展进入了低潮。直到上个世纪八十年代初，加州理工教授J.J.Hopfield提出了一种单层反馈网络Hopfield的网络，并成功用它解决了旅行商问题，同时由于国际上对于第五代计算机研发的竞争使得更多的资金涌入这一领域，从而推动了人工神经网络这一领域的复兴。之后反向传播法被提出用于多层神经网络的训练，从而解决异或逻辑的处理。

在长期的研究后，人们逐渐达成共识层数越多网络能完成的任务越多。但是，层数越多也就意味网络的训练越困难。对这一问题的研究产生了深度学习这一领域。1984年,日本学者福岛邦彦提出了卷积神经网络的原始模型神经感知机，1998年，Y. LeCun提出了深度学习常用模型之一卷积神经网络。到了2006年G. Hinton提出了深度学习的概念，随后与其团队提出了深度学习模型之一，深度信念网络，并给出了一种高效的半监督算法：逐层贪心算法，来训练深度信念网络的参数，打破了长期以来深度网络难以训练的僵局，并在政府机构，研究机构，公司中掀起了对深度学习的研究。时至今日利用深度学习训练的深度网络已进入我们生活的方方面面，如机器翻译，语音助手，人脸解锁，步态识别等等。

三、神经网络基本原理

人工神经网络是受神经元的工作原理启发而来的。图1展示了神经元的基本结构，一个神经元由树突，细胞核，细胞核，细胞体及突触组成。每一个神经元细胞通过树突接受从其他神经元细胞传来的电化学信号。当电化学信号的总强度达到一定阈值时，神经元便可以被激活，当神经元被激活后，电化学信号通过突触被传送到与之相连的神经元。人工神经网络便是基于神经元工作的模型构建出来的。

图1 神经元基本结构图

将多个这样的单元组成一组作为一层并把每个层相互连接成网络则形成人工神经网络。一个人工神经网络基本结构示意图如图3所示。它由输入层隐含层以及输出层组成。数据通过输入层输入，经过隐含层而处理，最后由输出层输出。对于中间的隐含层前一层的输出就是下一层的输入。

在人类学习的过程中，我们不断接触具有相同特征的事物，做大量的练习，通过正反馈使得相应神经元之间的连接得到增强，从而使得我们学会相应的任务。对于人工神经网络，其学习过程也类似，我们通过改变连接系数，不断的使得网络学到的结果和我们希望它学习的内容直接的差异不断减小而完成其学习过程。主要的学习方法有。

四、神经网络的发展展望

今日，在深度学习及硬件性能提升的基础上，人工神经网络尤其是深度网络得到广泛的研究和应用。但是仍然存在着许多困难阻碍其更进一步实际的应用。首先，由于一般的实际问题都需要是要使用多层的网络，随着层数的变多，可以修改的参数也随之成倍增加，这样一来，利用传统的梯地下降法进行训练，其收敛的速度极慢。同时训练对于神经网络的应用极其重要，因此我们首先要提供合适的样本以供训练。为了得到较好的学习效果，一般会采用监督学习，及对于每一个样本均有相应的标签，在训练的过程中，通过改变连接系数减小网络预测值与标签的误差。现实应用中需要大量的样本，样本标签的获得需要人力物力，提高了应用的成本。

为了解决训练速度的问题，一方面可以通过提出更易于训练的新型网络和学习方法来解决，另一方面可以通过构建人工神经网络专用的处理器，来提高训练及运行速度。由于无标签的样本较容易获得，不需要过多数据加工，因此让网络从没有标签的样本中自己学习即无监督学习可以减小标记样本的成本。但是无监督算法较难实现，而通过在样本中进行少量的标记而进行的半监督学习则较为容易实现，因此半监督学习算法及无监督学习算法的发展将推动人工神经网络的发展及进一步应用。

五、总结

人工神经网络是以神经元模型为基础而构建的一种数学模型，它通过训练过程调整每个神经元之间的连接系数，从而学会某一任务。相比于传统的编程方法，它更擅长处理一些人类很容易完成，但传统计算机难以解决的问题，如语音识别，机器翻译，人脸识别等等。自从近年来深度学习算法的提出，人工神经网络已渐渐地投入实际应用中，如手机语音助手，百度在线翻译等等，相信随着更优化的算法进一步提出，以及计算机性能的提高，人工神经网络最终将极大地推动生产力的发展甚至的社会变革。

[1]邹蕾,张先锋.人工智能及其发展应用[J].信息网络安全,2012(2):11-13.

[2]焦李成,杨淑媛,刘芳,等.神经网络七十年:回顾与展望[J].计算机学报,2016,39(8):1697-1716.

[3]孙志军,薛磊,许阳明,等.深度学习研究综述[J].计算机应用研究,2012,29(8):2806-2810.