基于Dropout深度信念网络的人脸图像识别研究

王玮+李福进

摘 要：针对深度神经网络在只存在少量训练样本时容易出现过拟合的问题，文中将Dropout算法与深度信念网络相结合，以解决神经网络在训练阶段识别正确率高，但在测试阶段识别正确率不高的问题。将加入Dropout 的深度信念网络和未加入Dropout的网络在ORL人脸库中进行对比，实验结果表明，加入Dropout网络的系统误识率更低，对于防止过拟合有很好的效果。

关键词：深度信念网络；过拟合；Dropout；人脸识别

中图分类号：TP391 文献标识码：A 文章编号：2095-1302（2018）02-00-03

0 引 言

人脸识别技术属于生物特征识别技术，归属于热门的计算机技术研究领域。人脸识别方法包括以下几种：

（1）几何特征方法[1]：通过眼睛、鼻子、嘴巴等五官的几何位置进行识别；

（2）特征脸方法[2]：将人脸图像变换到一个低维空间上，进行相似性衡量和分类学习实现人脸识别；

（3）神经网络方法[3]：通过学习图像的低维特征到高维特征的映射，得到人脸图像的本质特征，具有非常好的识别效果。

近几年，深度学习取得了巨大进步，特别是在图像识别、语音识别、自然语言处理等领域取得了突破性进展[4]。2016年，AlphaGo首次打败围棋专业棋手韩国名将李世石，让深度学习进入到了公众视野。深度学习是一种模仿人类深度脑组织结构，采用分层处理方式处理数据，对输入数据提取不同水平的特征，并逐层形成从低层信号到高层特征对应表示的方法。目前，被广泛使用的深度学习方法包括稀疏自动编码算法（SAE）[5]、深度卷积神经网络（Deep CNN）[6]和深度信念网络（DBN）[7] 等。其中，DBN是最具代表性的深度学习方法，具有较强的函数表征能力，能够从较少的样本中学习到最本质的数据特征。

过拟合是深度神经网络学习中的一个常见问题，即模型在训练集上能够较好地分类，但在测试集上却具有较高的误识率。Hinton首次提出Dropout策略[8]，即在模型训练阶段，Dropout以一定的概率将部分隐藏层神经元的输出设置为0，每一次训练都得到不同的网络结构，提高了网络泛化性能[9]。实验结果表明，将Dropout与DBN相结合的方法应用在人脸图像识别中取得了较好的效果。

1 DBN算法

1.1 DBN算法模型

2006年，多伦多大学的Hinton等人提出了DBN学习算法，即一种概率生成模型。DBN由多个受限玻尔兹曼机（RBM）堆叠而成，其结构如图1所示。

RBM是一个二分图，由可视层和隐含层构成，层内无连接，层间互相连接。受限玻尔兹曼机是一种能量概率模型，其能量函数见式（1）：

其中W为权值矩阵，a为可视层单元阈值，b为隐藏层单元阈值。网络越稳定，能量函数的值越小，求解目标即求取最小能量函数值。

由于RBM同层节点之间无连接，因此相邻两层节点之间的条件分布相互独立，概率分布如式（2）和（3）所示：

其中δ（x）是sigmoid激活函数，其作用在于限定神经元输出振幅。

在DBN中，每两个隐含层构成一个RBM，同时还包含一层反向传播（BP）网络，其结构如图2 所示。DBN的训练过程包含预训练和微调。在预训练阶段，DBN采用自底向上的无监督训练方法训练每一层RBM，将输入作为第一层RBM的可视层，第一层RBM的隐含层作为第二层RBM的可视层，依次类推，无监督地训练整个DBN网络。在微调阶段，采用自顶向下的方式对整个网络进行有监督的微调。

1.2 Dropout神经网络模型描述

假设有一个含有L层隐藏层的神经网络，其输入输出关系如式（4）和（5）：

其中，z为输入向量，y为输出向量，w为权重，b为偏置向量，f为激活函数，其作用在于限定幅值，取f（x）=1/（1+exp（-x））。

当加入Dropout，前馈神经网络关系如式（6）～（9）：

式中r为伯努利随机变量。

如图3所示，图（a）为标准网络，图（b）为加入Dropout的网络，通过伯努利随机变量使网络变薄，如果一个单元在训练时以概率p保留，那么测试时的输出权重也要乘以概率p。

Dropout随机删除了一些单元，但并不意味着这些单元彻底消失，而只是让该单元暂时失活。由于每次使用输入网络的样本进行权值更新时，隐含层的节点都以一定的概率随机出现，因此无法保证每2个隐含节点每次都能同时出现，这样权值更新将不再依赖于具有固定关系隐含节点的共同作用，可防止某些特征仅在其他特征存在时才有效果的情况出现。如图4所示，取p=0.5时的Dropout神经网络可以看到隐含层中一半的神经元概率设置为0，即在该次训练过程中不起作用，在下一次训练过程中不将其概率设置0时便又恢复作用。

可以将Dropout看做一种模型平均，虽然每次训练的样本都不同，但它们却共享所有隐含结点的权重。在训练神经网络时使用Dropout能够使每个单元与其他随机出现的单元共同作用，而那些不依赖于其他固定关系的单元只有在某些单元出现时才发挥作用，具有独自改错和创造有区分性特征的能力，增强神经元的鲁棒性。對于全连接层的网络，将Dropout作用于所有隐藏层的作用效果要优于只作用于一层隐藏层的效果，且其概率应适当选择，太过极端反而会导致糟糕的结果出现。Dropout同样可以作用于输入层，而此时最佳的概率应选择0.5。

2 实 验

为了验证所提算法的有效性，实验在Matlab 7.1环境下进行，计算机配置为Windows10 Intel（R） Core（TM） i5-4200H CPU @ 2.80 GHz 4 GB内存；实验在ORL人脸库中进行，ORL人脸库包括40人的信息，每人10幅图像，分别为表情、姿态和面部饰物的变化。图5、图6所示分别为深度信念网络训练过程和测试过程的识别错误率。endprint

训练和测试阶段的迭代次数均为200次。在训练阶段，使用Dropout和未使用Dropout的神经网络的识别错误率都不高且两者接近，但在测试阶段，使用Dropout显然比未使用Dropout的网络识别错误率更低。通过该实验说明加入Dropout的深度信念网络有更强的泛化能力，能够有效防止过拟合。

3 结 语

针对传统神经网络存在的过拟合问题，将Dropout和深度信念网络相结合，并通过ORL人脸库实验表明，加入Dropout的深度信念网络的识别错误率变低，所提算法能够提高网络的泛化能力，具有防止网络过拟合的能力。

参考文献

[1]糜元根，陈丹驰，季鹏.基于几何特征与新Haar特征的人脸检测算法[J]. 传感器与微系统， 2017， 36（2）：154-157.

[2] Sharma R，Patterh M S. A new pose invariant face recognition system using PCA and ANFIS[J].Optik - International Journal for Light and Electron Optics， 2015， 126（23）：3483-3487.

[3] Sun Y， Wang X， Tang X. Sparsifying Neural Network Connections for Face Recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2016：4856-4864.

[4]蔣鲁宁.机器学习、深度学习与网络安全技术[J].中国信息安全，2016（5）：94.

[5] Kato T， Hino H， Murata N. Multi-frame image super resolution based on sparse coding[J]. Neural Networks： the Official Journal of the International Neural Network Society， 2015， 66（C）： 64–78.

[6]卢宏涛， 张秦川.深度卷积神经网络在计算机视觉中的应用研究综述[J].数据采集与处理， 2016，31（1）：1-17.

[7] HINTON G E， OSINDERO S， THE Y-W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（7）： 1527-1554.

[8] Hinton G E， Srivastava N， Krizhevsky A， et al.Improving neural networks by preventing co-adaptation of feature detectors[J].Computer Science， 2012，3（4）： 212-223.

[9] Srivastava N， Hinton G， Krizhevsky A， et al. Dropout： a simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research，2014， 15（1）：1929-1958.endprint