基于深度学习的典型神经网络对比分析

苑方

摘 要：深度学习作为计算机领域快速研究与发展的重要方向，近年来受到了人们的广泛关注，且在诸多方面已经取得了一些进展。本文为进一步了解深度学习，首先阐述了深度学习的基本概念与深度学习方法，接着对几种典型深度学习神经网络具体内容进行了分析，主要包括对前馈深度学习网络、反馈深度学习网络与双向深度学习网络的基本结构与功能等方面进行阐述与对比分析，相信通过深度学习神经网络的进一步发展完善，将会为人工智能技术发展带来新机。

关键词：深度学习；神经网络；前馈深度学习网络；反馈深度学习网络；双向深度学习网络

中图分类号：TN91 文献标识码：A 文章编号：1671-2064（2018）19-0009-02

1 引言

随着科技的迅猛发展，深度学习是人工智能研究中的一个新的研究方向。它的目的是用机器模拟大脑进行图形等相关数据分析，从而使计算机和人类一样具有学习能力。这其中有几种典型神经网络是人工智能技术研究的重要基础，比如：前馈深度网络、反馈深度网络、双向深度网络等神经自学习网络。基于深度学习的神经网络通常都是以实现优化计算、模式识别、数据聚类等智能算法来实现模拟人脑的工作过程，因此其主要广泛应用于智能机器人、统计数据分析相关领域。

正是由于基于神经网络的深度学习已经得到了一定应用，且具有广泛的前景，本文针对深度学习的基本模型，对比分析了几种典型的神经自学习网络，并从其结构、功能、效率等角度进行了深入研究，以此深入了解人工智能技术。

2 深度学习概况

作为机器学习的一个重要分支，深度学习主要克服在对象特征的选择与提取所遇到的困难，而发展起来的一种自动特征提取的无监督学习机制。

所谓深度学习是相对于之前传统的浅层学习的一个新方法，其概念在G.E.Hinton教授的有关深度自信网络的快速算法中提出。主要通过自主学习对象特征，并且帮助人类进行特征选取工作的一种方法，它是通过构建大量训练数据从而提升分类、预测的准确性。它的思想来源于对人工神经网络的研究与应用，所以在结构上比较类似，但它与传统的神经网络之间又具有本质的区别。相同点是二者均采用了相似的分层结构，且对应的各种网络结构很接近人脑的神经元网络结构。而不同点在于，传统的神经网络采用的是BP（Back Propagation）的方式，而深度学习神经网络采用的是分层的训练模型与训练机制。

其分层训练模型主要体现在其采用的各种神经网络一般均采用了输入层、隐藏层与输出层，其中隐藏层可能是多层结构，在训练模型中只有相邻层节点之间具有信息传递，同一层内的节点之间、非相邻层的节点之间没有信息传递，每一层可以看成一个独立的数据逻辑处理模型。对应的分层训练机制是通过对这种多层神经网络进行大规模数据训练，对对象原始信息进行依次逐层的特征分析与变换，并自动地学习获取各层特征，通过对特征信息的描述，进而实现对对象的识别学习。

3 典型深度神经网络及其对比

深度学习神经网络是现今人工智能技术的主要研究对象，其结构内部类似神经元之间的连接方式是受到动物视觉皮层组织的启发。深度学习所使用的深度网络中含有大量的类似神经元的节点，它们之间相互连接，且由多个单层非线性网络叠加形成，其强度在学习过程中得到不断修改，以此决定学习网络的功能，此深度网络的结构符合神经网络的特征，所以称之为深度神经网络（Deep Neural Network：DNN）。通常神经网络的编码情况可以划分为三类：只含编码器、只含解码器、同时含有编码解码器，按照神经网络数据编码方式的不同，深度神经网络可以分为：前馈深度学习网络（Feed Forward Deep Network：FFDN），反馈深度学习网络（Feed Back Deep Network：FBDN）和双向深度学习网络（Bi-Directional Deep Network：BDDN）。

3.1 前馈深度学习网络

所谓前馈深度学习网络是指在神经网络中只有编码器，是一种前向网络结构，网络信息只能沿输入端到輸出端进行传输。前馈学习网络分为两类：单层前馈神经网络和多层前馈神经网络。其中单层前馈神经网络是最简单的一种人工神经网络，只含一个输出层。多层前馈神经网络有一个输入层、中间有若干个隐含层、一个输出层。

其特点结构简单，应用广泛，能够以精确精度逼近任意连续函数以及平方可积函数。从系统来看，前馈网络属于静态非线性映射，拥有复杂的非线性处理能力，但从计算来看，缺乏动力学行为。前馈网络中大多都是学习网络，它的分类、模式识别能力均强于反馈网络。

另外，还有几种前馈神经网络，如：感知器网络——用于模式分类，BP网络（Back Propagation）——可实现从输入到输出的非线性映射，RBF网络（Radial Basis Function，径向基函数）——由线性神经元组成的输出层。

3.2 反馈深度学习网络

所谓反馈深度学习网络是指在神经网络中只有解码器，这恰好与前馈神经网络不同，反馈网络是对输入信号进行解码，通过对反卷积的解或数据集的基进行求解实现神经网络的反馈学习。反馈深度学习网络按照反馈程度分为两大类：全反馈网络和部分反馈网络。在全反馈网络中，1982年发明的Hopfield网络是其中最简单、应用最广的模型。它具有单层且对称的结构，每一个神经元是输入也是输出，将自己的信息传递给其他神经元的同时也接受其他神经元传送过来的信息。它有两种工作的方式：离散型——处理联想记忆方面问题；连续性霍普菲尔德神经网络——解决TSP问题。另外由于这种神经网络是全链接，而其结构中缺少隐含层，所以在面对一些非线性系统中，会对其应用产生影响。

为了简化结构繁杂的全反馈网络，往往用部分反馈网络。其中有几个典型的例子：Elman网络、Jordan网络。Elman网络的结构由输入层、隐含层、输出层组成，另外还有一种特殊的隐含层——关联层，他接收从隐含层传来的反馈信号，用来记忆隐含层中神经元在上一时段的输出值，然后关联层神经元的输出经过存储后再次输入至隐含层，这样以达到加强自身处理信息的能力。Jordan网络不同于Elman网络，它是将输出层的输出信息再反馈至输入层。

从上面几种反馈神经网络可以看出，反饋神经网络是通过增加隐含层或将输出层的信息返回输入层的方式来增加自身网络的动态性能，但同时也增加了网络的复杂度。

3.3 双向深度学习网络

所谓双向深度学习网络是指在神经网络中既有编码器又有解码器，这时单层可能有三种数据处理方式，即只有编码过程、只有解码过程、同时具有编码与解码过程，可见是结合了前馈网络与反馈网络的功能，网络功能相对更加丰富，但网络结构也更加复杂。在双向深度学习网络中有几个典型的网络，如：波尔兹曼机双向深度学习网络、深度信念双向深度学习网络与带栈式自编码器双向深度学习网络。

波尔兹曼机双向深度学习网络（BM），由Hinton等人在1983至1986年间提出并不断完善，是一种随机递归神经网络，并可分为限制波尔兹曼机双向深度学习网络与深度波尔兹曼机双向深度学习网络。限制波尔兹曼机（RBM）在原有波尔兹曼机的基础上使隐含层减少一点，这样提高其自身效率。而多个限制波尔兹曼机叠加，并将一层的输出用作下面一层的输入，这样就形成了深度波尔兹曼机，其每层间的节点都是双向的。

深度信念双向深度学习网络（DBN），是由多个RBM叠加得到的，前一层的输出为下一层的输入。在训练过程中，需要充分地逐层训练到最后一层，这样的方式解决了之前多层网络训练时出现的问题，以达到更好的效果。

带栈式自编码器双向深度学习网络也具有相类似的结构，是一个由多层稀疏自编码器组成，前一层的自编码器输出直接作为后一层自编码器的输入，而对应的解码过程是从后向前进行的，与编码过程恰好相反，如果结合反向传播算法实现对训练参数的微调会得到局部最优的结果。

4 结语

由浅层学习发展而来的深度学习已经给生活带来了一些巨大的改变，越来越多的人也都正在或将要聚焦深度学习领域，虽然深度学习还刚刚处于发展初期，但自从深度学习概念的提出到如今一些理论的形成与成果的应用给机器学习及其人工智能技术产生了深远影响。但深度学习领域还有大量的工作要做，如如何缩小网络规模、缩短训练时间、提高网络工作效率等问题，以及借助深度学习网络优化传统算法的性能等。

参考文献

[1]尹宝才，王文通，王立春.深度学习研究综述[J].北京工业大学学报，2015，41（1）：48-60.

[2]李海峰，李纯果.深度学习结构和算法比较分析[J].河北大学学报（自然科学版），2012，32（5）：538-544.

[3]毛勇华，桂小林，李前，贺兴时.深度学习应用技术研究[J].计算机应用研究，2016，33（11）：3201-3215.

[4]孙志军，薛磊，许阳明，王正.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806-2810.

[5]吴晓红.反馈神经网络的一种反向传播算法[J].系统工程与电子技术，1999，21（9）：65-68.

[6]周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017，40（6）：1229-1250.