深度学习发展来源研究

周勇 吴瑕 周为 狄宏林

东莞市广播电视大学



深度学习发展来源研究

周勇 吴瑕 周为 狄宏林

东莞市广播电视大学

深度学习带来了机器学习的一个新浪潮，受到从学术届到工业界的广泛重视，也导致了“大数据+深度模型”时代的来临，深度学习在各个领域都得到了广泛的应用并取得了发展优势，本文论述了深度学习的起源，对深度学习的三个起源机械学习、神经网络、深度学习作了详细介绍。

机器学习 深度学习 神经网络 大数据

深度学习是机械学习研究的一个新领域，尤其是大数据时代的爆炸式到来，大数据技术已在很多技术和行业广泛应用，由于大数据存在复杂、高维、多变等特性，如何从复杂的大数据中挖掘出人类感兴趣的知识，迫切需要更深刻的机器学习理论进行指导。了解深度学习发展的来源，可以让我们更有效的提出深度学习的模型及改进算法。

1　萌芽阶段：机器学习

机器学习在人工智能领域具有举足轻重的地位，如果一个智能系统不具有学习能力，那它就不能称为一个真正的智能系统。机器学习通过算法，让机器可以从外界输入的大量的数据中学习到规律，从而进行识别判断。传统机器学习的问题主要包括如下4个方面：理解并且模拟用户的学习过程；针对计算机和用户之间的自然语言接口的研究；针对不完整的信息进行推理和推算的能力，即自动规划和解决问题；创造可发现新的程序。

传统机器学习面临的一个新挑战是如何处理大数据。目前，包含大规模数据的机器学习问题是普遍存在的，但是，由于现有的许多机器学习算法是基于内存的，大数据却无法装载进计算机内存，故现有的诸多算法不能处理大数据。

2　草创阶段：神经网络

神经网络是智能学科的重要部分，为解决复杂问题和智能控制提供了有效的途径。神经网络曾一度成为机器学习领域备受关注的方向。

1943年，美国芝加哥大学心理学家和数理逻辑学家最先建立神经网络和数学模型，即神经元模型，这是人工神经网络研究的开端。人工神经网络研究的内容相当的广泛，包括生物原型、建立模型、算法、应用等。在这些理论模型基础上构建的神经网络（计算机模拟），相比传统的方法，具有并行、容错、可以硬件实现和自我学习等优点。神经网络为解决一些复杂度较高的问题提供了一种相对有效的简单方法。一般情况下，我们把神经网络划分为输入层、输出层和隐层：输入层的每个节点对应一个预测变量；输出层的节点对应目标变量（可有多个）；在输入层和输出层之间的是隐层，目前为止，隐层层数和节点数的选取仍然没有相关的理论支持，只是靠经验来选取。

人工神经网络的学习也称为训练，通过输入参数的刺激来调整网络参数。一般有两种学习方法：无监督学习和有监督学习。有监督的学习，就是利用提供的训练集进行模仿或分类；无监督的学习，只规定学习的方式和规则，具体的学习内容会随训练库的不同而不同，系统可以根据学习来发现特征。在人工神经网络的设计与使用过程中，从互联结构来看，包括前馈网络，反馈型局部互联网络，有反馈的前馈网络，全反馈型网络（如网络和玻尔兹曼机），以及自组织网络等等。

深度学习可以理解为神经网络的发展，神经网络是对人脑或生物神经网络基本特征进行抽象和建模，可以从外界环境中学习，并以与生物类似的交互方式适应环境。

3　形成阶段：深度学习

在大数据条件下，简单的机器学习模型会比复杂模型更加有效。比如说，在很多的大数据应用中，最简单的线性模型得到大量使用。而最近深度学习的惊人进展促使我们也许到了要重新思考这个观点的时候。简而言之，在大数据情况下，也许只有比较复杂的模型，或者说表达能力强的模型，才能够充分发掘海量数据中蕴藏的丰富信息。现在我们到了需要重新思考“大数据+简单模型”的时候。运用更强大的深度模型，也许我们能从大数据中发掘出更多的有价值的信息和知识。浅层模型有一个重要特点，就是假设靠人工经验来抽取样本的特征，而强调模型主要是负责分类或预测。在模型的运用不出差错的前提下（比如，假设互联网公司聘请的是机器学习的专家），特征的好坏就成为整个系统性能的瓶颈。因此，通常一个开发团队中更多的人力是投入到发掘更好的特征上去的。发现一个好的特征，要求开发人员对待解决的问题要有很深入的理解。而达到这个程度，往往需要反复的摸索，甚至是数年磨一剑。因此，人工设计样本特征，不是一个可扩展的途径。

深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。所以，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：强调了模型结构的深度，通常有 5层、6层，甚至10多层的隐层节点；明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而分类或预测更加容易。

［1］丁世飞.人工智能［M］.北京：清华大学出版社，2011

［2］史忠值.神经网络［M］.北京：高等教育出版社，2009

个人简介

周勇，男，1980-，山东人，汉，学士学位，职称：讲师，研究方向：数据挖掘与处理。