深度学习的发展以及应用

陈仲为

（武汉科技大学计算机科学与技术学院，武汉430070）

0 引言

近几年随着科技的迅猛发展，人工智能行业发展火热，被越来越多的人所关注。因而科幻电影如雨后春笋般涌现出来，让观众大饱眼福。现实生活中的人机大战也为各大媒体争相报道：2016 年3 月，AlphaGo以4:1 击败韩国围棋天王李世石；2017 年5 月，加强版的AlphaGo 又以3:0 的完美战绩击败人类最强棋手柯洁。AlphaGo 能够在如此短的时间内变得这么强大的秘密在于深度学习算法。

深度学习隶属于机器学习，是机器学习领域里一个相当重要的分支，了解机器学习的原理有助于我们更好的去了解深度学习。机器学习是人工智能领域当中的一个分支，当人们谈及人工智能的时候，往往都绕不开机器学习。显然，机器学习研究的是如何能够让机器像人一样独立自主地学习某种事物。简单来说，就是通过算法，让机器从大量的样本数据中发现某种规律，然后来识别新的样本或者对未来作出一定的预测。

1 机器学习的发展阶段

第一阶段，机器学习将研究的侧重点放在非符号的神经元模型上。主要的目标是研制出一个通用的学习系统，即神经网络或自组织系统。

第二阶段为20 世纪70 年代中期至80 年代后期，机器学习主要侧重符号学习的研究，即以离散符号的推理为基础，运用已有知识，来对未知作出预测。

第三阶段从20 世纪80 年代后期开始一直到今天[1]。一方面，关于传统符号学习的各种方法已经全面发展并且趋近完善，应用的领域不断扩大，达到一个鼎盛时期；同时由于发现用隐单元来计算和学习的非线性函数方法，从而克服了早期神经元模型只能解决线性问题的局限性；计算机硬件的飞速发展和处理器运行速度的提高以及并行计算机的普及使得演化计算的研究突飞猛进，在机器学习的各个领域都取得了不错的成果。连接学习和符号学习这两个学派争奇斗艳，显示出各自的魅力。另一方面，越来越多的人开始重视对机器学习基础理论的研究，从1988 年起，美、德、日等国连续召开计算学习理论的学术会议，相关的学术论文也经常出现在关于机器学习的杂志上。因此，在这一阶段，机器学习的研究进入了一个全面化、系统化的时期。

2 机器学习的分类

大体上来说，机器学习算法可以划分为有监督学习、无监督学习和增强学习三种形式[2]。

图1 机器学习发展的时间轴

在有监督学习中，训练机器的目标是让机器建立起从输入到输出一一对应的模型，训练时，机器的每一次输出都会与事先准备好的正确输出进行比对并做出相应调整。例如，我们要训练机器来识别各种水果的图像，则需要使用大量已经人工标注好的各种水果图像来对机器进行训练，得到一个模型，然后机器就可以用这个模型来对未知类型的水果进行识别判断。

无监督学习则没有指导者进行指导，因此只有输入数据过程而没有输出比对过程。训练机器的目标是对输入数据进行分析从而得到数据的某些知识，其典型代表是聚类。例如，我们要对1000 封电子邮件进行分类，我们并没有事先定义好分类，也没有已经训练好的模型。机器通过聚类算法自己完成对1000 封电子邮件的分类，保证同一类型邮件是同一个主题的，不同类型的邮件是不一样的。

增强学习是一类比较特殊的机器学习算法。在一些应用中，机器需要输出的是一个个动作所组成的序列而不是单个结果。排除在序列之外的某个动作并没有什么意义，只有这些动作所组成的序列能够完成给定的目标才是有意义的，即策略更加重要。所以机器在执行的过程中也就不存在某个最好的动作。如果该动作最终能够完成目标，即是某个策略的组成部分，那么该动作就是好的。在这种情况下，机器就应当能够评估策略的好坏程度，并且从以前所学习到的好的动作序列中获得提示，从而选择成功率更高的策略来执行。

3 人机大战背后的算法

在人机大战中大放异彩的AlphaGo 背后的算法便是深度学习算法。深度学习是机器学习领域的一个重要分支，因为在训练机器时不需要人为进行指导，所以属于无监督学习。受到大脑神经元结构的启发，深度学习算法通过构造一个人工神经网络来模仿人脑的神经结构，并希望能够像人脑一样学习和处理相关事物。具体来说，该核心算法由两种深度神经网络构成：“决策网络”（Policy Network）和“价值网络”（Value Network）。

“价值网络”的作用是根据棋盘上白子和黑子的位置来作出评价，从而减少搜索的深度：AI 机器每走一步便会根据场上的局势来推算出自己获胜的概率，而不需要搜索所有结束棋局的路径。当某些方法使得局面明显不利于自己时，机器便会直接放弃这些路线，从而减少算法搜索的深度。

“决策网络”的作用是预测下一步，来减少搜索的宽度：根据“价值网络”的反馈信息，AI 机器不必给每一步相同的重视程度，主动放弃一些明显的“坏棋步”而将注意力更多的放在那些有前景的“好棋步”上，将搜索范围缩小至自己最有可能获胜的那些棋步。

AlphaGo 利用这两个工具来分析棋局，判断每种下子策略的获胜概率，从而选择获胜概率更高的棋步。除此之外，AlphaGo 还利用增强学习来让AI 机器和自己对弈。通过和自己进行大量的对弈训练，AlphaGo 能够学会自己发现新的策略，从而提高“决策网络”的效率。

4 深度学习算法的基本网络框架

目前基于深度学习算法的网络框架很多，但大抵都是基于以下四个基本网络框架：无监督预训练网络、卷积神经网络、循环神经网络和递归神经网络。

无监督预训练网络[3]：使用无监督学习算法来训练深度神经网络，即先训练网络的第一个隐藏层而封锁其他的隐藏层，之后再训练第二个隐藏层……以此类推直到最后一层，然后将训练时获得的网络参数值作为整个神经网络的初始参数值参与到之后的训练当中。

图2 无监督预训练网络

卷积神经网络：该深度神经网络主要是用来识别二维图像[4]。第一个隐藏层通过卷积运算，将原本的像素点压缩后存储；第二个隐藏层对前面的数据进行子抽样，提取数据特征，然后根据共享权值来进行局部平均……两个相邻的隐藏层之间不断重复进行着卷积和抽样的操作，一步步地将处理后的结果往更高一层传递，直至输出层将结果进行输出。

图3 卷积神经网络中卷积和子采样过程

循环神经网络[5]：主要是为了识别序列（如语音或者文本）而在时间上进行拓展的多层感知机。在卷积神经网络之中，每个元素之间是相互独立互不干扰的，输入和输出自然也是独立的。而在该网络中，每一个单元结构都可以重复使用，能够像人一样拥有短暂的记忆功能，所以它的输出依赖于当前的输入和之前的记忆。

递归神经网络[6]：与分层网络的原理很相似。该网络能够把长短不一的输入序列划分为一个个长度相等的数据块，然后再将这些数据块按顺序输入到树状网络中进行分层处理，从而使得解决变长输入问题成为可能。在该网络中，每一个语义树的结构信息被预先编码为一个向量，与向量空间里的某一个点一一对应。如果两个语义树意思相近，那么对应的向量之间的距离也比较近；反之，如果两个语义树意思完全不同，那么对应的向量之间的距离也会很远。例如图5中的Monday 和Tuesday 距离较近，而与代表国家的France 距离很远。

图4 循环神经网络的大致结构

图5 递归神经网络中语义向量与向量空间

5 深度学习算法的应用[7]

深度学习算法被广泛运用于各行各业之中，在这其中以语音识别、图像识别和自然语言处理三个方面为主，取得了不少瞩目的成果。

语音识别[8]：将声信号输入到电脑中，通过数字采样转化为易处理的电信号，然后将电信号输入到深度神经网络中进一步处理。由于每个人发音的长短不一样，因此电信号所对应的英文字母可能会有所重复，这时候就需要删除多余的字母。这样处理完毕之后便可以得到一个单词，因为存在连读以及某些字母读音相同现象，单词会出现错误，这时再与基于书面文本（书籍、新闻等）的大数据库进行比对，找出最有可能的结果作为最终结果进行输出。

图像识别[9]：通过多层次的卷积神经网络来处理和识别输入的图片信息。最低层从原始像素开始卷积，描绘出局部的边缘和纹理特征，如直线或者曲线等；中间层将上一层的信息进行整合加工，抽象到更高层次，如某种形状；最高层描绘的是整个图片的整体特征。如此反复，机器最终可以学会如何识别该物体。而在整个过程中，机器完全是自主学习，图片中的某些特征是机器自己去寻找发现的，无须人为干预。

自然语言处理[10]：能够使用自然语言和计算机进行交流是人们长期追求的目标，这就要求计算机能够识别和理解输入的自然语言信息，也能够使用自然语言来给予相应的反馈。机器通过算法使用一个低维稠密的向量来表示一个词语（词嵌入），让这些词向量代替原来的词语的特征，便于识别和处理。然后通过另外的算法，将这些词向量进行语义组合，来获得短语和句子的概念，从而使机器能够理解自然语言。

6 结语

总的来说，深度学习的出现将机器学习的地位提升到一个全新的高度，受到各界人士的广泛关注，也带动了其他领域的技术革命。深度学习的快速发展既得益于计算机计算能力的飞速提升，也离不开过去理论和算法的贡献。虽然存在一些局限性，如需要大量数据训练、良好的底层硬件支持、训练时间长等，但是它对非线性问题的处理能力和强大的自我学习能力是其他算法所不能比拟的。笔者相信，随着算法理论的进一步发展和计算成本的大幅度降低，深度学习必将在更多的领域里大展拳脚。深度学习，未来可期！