基于卷积神经网络探讨深度学习算法与应用

高强　靳其兵　程勇

摘要：近些年来，深度学习得到了广泛的关注，已经成为计算机科学机器学习重要的领域和方向，深度学习已经被引入到机器学习中，进而与人工智能这一最初的目标更为接近。深度学习包括学习样本数据在内，是一种表示层次和内在规律。深度学习对于解释声音数据、图像数据、文字数据等帮助很大。使机器可以像人类一样，具有很强的分析学习能力，这便是深度学习的目标。通过深度学习，机器可以对声音、图像以及文字等数据进行有效识别。该文中，笔者就基于卷积神经网络探讨深度学习算法与应用。

关键词：深度学习；卷积神经网络；模式识别；算法；应用

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2015）13-0169-02

Abstract： in recent years， the depth of learning has been widely concerned， has already become the important research field and direction of the computer science and machine learning， depth of learning has been introduced into the machine learning， and artificial intelligence that initial goal closer. Deep learning， including learning sample data， is a kind of expression levels and inherent laws. Depth of learning for interpretation of sound data， image data， text data and other help. The machine can be like human beings， with a strong analysis of learning ability， this is the goal of deep learning. Through the depth of learning， the machine can effectively identify data such as sound， image and text.. In this paper， the author discusses the depth based learning algorithm and application based on convolutional neural network

Keywords： depth learning； convolution neural network； pattern recognition； algorithm； application

深度学习是一项比较复杂的机器学习算法，在图像识别方面和语音识别方面，深度学习均取得了一定的效果，深度学习被人们看作是一种先进、新颖的技术。深度学习在个性化技术、语音、自然语言处理、机器翻译、多媒体学习、机器学习、数据挖掘、搜索技术等诸多方面都取得了很好的成果。通过深度学习，机器可以对人类活动进行模仿，例如思考活动和视听活动等，从本质上解决了复杂模式识别等难题，使人工智能技术等相关技术都在一定程度上获得了进步，把各种实际应用研究与深度学习有机结合起来是一项不可或缺的工作。下面，笔者在卷积神经网络基础之上，对深度学习算法与应用进行探讨。

1 关于卷积神经网络

卷积神经网络事实上是多层感知器的一种变种，著名生物学家通过对猫的视觉皮层进行观察而发展得来，在视觉皮层细胞里有比较复杂的结构，这些细胞对于视觉的输入空间的子区域比较敏感，我们将其称作感受野，用这样的方式来对整个视野区域平铺覆盖。将这些细胞进行有效区分，将其分成复杂细胞和简单细胞这两种类型。复杂细胞的接受域更大，如果确切位置对复杂细胞进行刺激，则复杂细胞具有局部的不变性，而简单细胞对于来自感受野范围里边缘刺激的模式产生最大程度响应。

1.1 卷积神经网络的稀疏连接

BP神经网络里每一个神经元节点都是一个线性的一维排列结构，层和层的各个神经元节点之间都是全部连接。在卷积神经网络里，层和层之间神经元节点并非全连接形式，对层间的局部空间相关性进行充分利用，进而将相邻每一层神经元节点与上层神经元节点相连接，这便是局部连接。卷积神经网络结构从此得来。将输入层设置为m-1层，在BP神经网络里，m-1层所有神经元节点与m层神经元节点相连接。在卷积神经网络里，m层神经元节点和其相接近三个节点有效连接，这样便从本质上将神经网络架构参数规模降低。

1.2 卷积神经网络的权重共享

在卷积神经网络里，卷积层每一种卷积滤波器在整个感受野中进行重复作用，对于输入图像实时卷积，卷积结果会构成输入图像特征图，将图像局部特征进行提取。每一个卷积滤波器实现相同参数共享，包括相同偏置顶以及权重矩阵。m层的特征图像主要包括三个神经元，将不同连接线之间权重参数实施共享，仍然可以运用梯度下降法来实施权重参数的共享，只要原有梯度下降法开展小小改进，共享连接参数的梯度之和就是共享权重梯度。共享权重的优势就是在提取图像特征的过程中，不用对局部特征位置进行充分考虑，并且权重共享可以从本质上降低卷积神经网络模型的参数数量。

1.3 卷积神经网络的整体架构

作为一种多层监督学习的神经网络，在卷积神经网络中，池采样层和卷积层是重要的模块，该模块有利于将卷积神经网络特征的提取功能实现，通过运用梯度下降法，能够将损失函数最小化，进而实施网络权重参数逐层反向调节，通过不断地迭代训练，将网络精度实现。

2 基于卷积神经网络的深度学习算法的应用

深度学习从本质上促进了机器学习的不断发展，并且受到了世界各国研究人员的青睐，各个国家的高科技公司也越来越重视深度学习。在深度学习算法应用的过程中，自然语言处理、图像以及语音这三个领域是重要的研究领域。下面，就对这三个领域中，深度学习算法的应用进行阐述。

2.1 自然语言处理领域的应用

在深度学习应用过程中，自然语言处理领域是十分重要的领域。经过了数十年的时间，统计模型仍然是处理自然语言的主流方法，在统计方法模型中，人工神经网络是重要的模型，但是，人工神经网络在自然语言处理领域中并没有引起充分的重视。最早运用神经网络而实施自然语言处理的标志就是语言建模，美国NEC研究院，是最早在自然语言处理中应用深度学习的机构，NEC研究院的研究人员从2008年开始，便通过多层一维卷积结构以及将词汇映射到一维矢量空间的方法，来对自然语言问题进行处理，例如词性标注、语义角色标注、命名实体识别、分词等问题。NEC研究人员通过进行同一个网络模型进行构建，进而将其用于解决四个不同问题之中，并且均取得了十分准确和精确的结果。

2.2 图像识别领域的应用

在深度学习算法的应用过程中，最早尝试的领域就是图像处理领域。1989年，加拿大的知名大学教授便和其同事共同研究，进而提出卷积神经网络这一概念。人们还将卷积神经网络称之为CNN，卷积神经网络是一种深度神经网络模型，该模型包括卷积层。通常情况下，一个卷积神经网络的架构要包括两个非线性的卷积层，这两个非线性的卷积层主要通过训练而产生，两个子采样层是固定的，并且和一个全连接层相同，通常情况下，还包括五个以上的隐藏层数量。通过生物学家对于动物视觉模型的研究而设计了卷积神经网络架构，特别是对动物视觉皮层里复杂细胞以及简单细胞进行模拟，在小规模应用的过程中，卷积神经网络取得了良好的效果。但是，该成果在很长一段时间都处于停滞状态，没有重大的突破。原因就在于，一直无法取得在大尺寸图像上应用卷积神经网络的理想结果。例如对于自然图像内容的理解，由于自然图像的像素很大，卷积神经网络无法对其进行很好地理解，这便导致其无法引起相关研究领域和研究人员的高度重视。一直到2012年，研究人员通过卷积神经网络模型在ImageNet问题中取得了良好的成果，这个时候，其对于图像识别的程度更深，其研究工作也前进了一大步。

自从卷积神经网络问世以来，并没有在图像识别领域中取得进步，直至2012年，深度神经网络的构建才取得了一定的成果。这一成果的取得，得益于改进其算法，在网络训练过程中，运用权重衰减的相关概念，从本质上将权重幅度减小。再加上计算机计算能力不断提升，计算机的GPU得到了快速发展，这便使其在训练的时候，可以收集比以前更多的训练数据，使网络能够对训练样本进行更好地拟合。2012年，百度公司把与其相关的最新的技术成果，运用到自然图像识别领域和人脸识别领域中，取得了成功，并且推出了与之相应的产品。现如今，深度学习的网络模型已经能够对一般自然图像进行识别和理解，深度学习模型的构建，不仅从本质上将图像识别精度提升，更有效避免了人工特征提取，由于人工特征提取工作需要消耗太多的时间，因此，深度学习模型的构建从本质上提升了在线运算的效率。此外，深度学习还有可能会成为主流的图像识别技术，进而取代机器学习和人工相结合的形式。

2.3 语音识别领域的应用

在很长一段时间内，大多数语音识别系统都运用混合高斯模型，进而对每一个建模单元统计概率的模型进行有效描述，因为这样的模型估计十分简单，所以，为运用大模型数据实施训练提供了便利。混合高斯模型拥有训练算法，该算法具有较好的区分度，这便从本质上为混合高斯模型可以被有效的训练提供保障，因此，混合高斯模型在一定时期内，在语音识别应用领域中，具有很强的主导地位。但是，纵观混合高斯模型的实质，我们会发现，该模型其实是一种浅层学习网络的建模，不能够将其特征状态空间分布充分地描述出来。同时，运用混合高斯模型建模需要几十维的特征维数，这便导致无法描述特征之间相关性。最后，虽然可以通过分度训练模拟得到一些模式分类之间区分性，但是，该模型的建模本质就是似然概率的建模方式，所以，其效果十分有限。

在国际方面，谷歌运用深层神经网络来针对声音开展建模，谷歌是最早突破深度神经网络工业化应用领域的一个企业，但是，谷歌所生产的产品里，只有四层至五层使用了深度神经网络架构。和百度公司相比较，百度公司深度神经网络架构达到了九层，正因为这样的结构差别，使在线学习过程中，运用深度神经网络计算难题，能够很好地解决难题。这也使百度公司线上产品运用神经网络模型更加复杂，通过这样的结构差异核心，使百度公司对在线计算技术难题进行更好的解决。所以，百度公司的线上产品能够运用的网络模型更加复杂。这可以从本质上帮助深度神经网络模型的训练，对大规模语料数据进行拓展。

3 结束语

在机器学习领域中，深度学习是重要的分支领域。通常情况下，机器学习已经成为了代替人工智能的概念。通过机器学习算法，能够使计算机从大量的数据中，对潜在特征和规律进行学习，以便对新样本实施智能识别，还可以对未来的某件事情可能性进行预期。使机器像人类一样思考，这已经成为很多科学家的梦想，而深度学习的产生和发展，为实现这一梦想奠定了基础。虽然现阶段仍然是对深度学习开展研究的最初阶段，但是，深度学习在数据挖掘、语音识别、图像等诸多领域都取得了成功和进步，促进相关领域的进步和发展。

参考文献：

[1] 蔡娟， 蔡坚勇， 廖晓东. 基于卷积神经网络的手势识别初探[J]. 计算机系统应用， 2015（4）： 113-117.

[2] 谭文学， 赵春江， 吴华瑞. 基于弹性动量深度学习神经网络的果体病理图像识别[J]. 农业机械学报， 2015（1）： 20-25.

[3] 余永维， 殷国富， 殷鹰. 基于深度学习网络的射线图像缺陷识别方法[J]. 仪器仪表学报， 2014（9）： 2012-2019.

[4] 余滨， 李绍滋， 徐素霞等. 深度学习：开启大数据时代的钥匙[J]. 工程研究-跨学科视野中的工程， 2014（3）： 233-243.

[5] 葛明涛， 王小丽， 潘立武. 基于多重卷积神经网络的大模式联机手写文字识别[J]. 现代电子技术， 2014（20）： 19-21+26.