深度信念网络研究进展

周 涛，陆惠玲，霍兵强

1.北方民族大学 计算机科学与工程学院，银川750021

2.宁夏智能信息与大数据处理重点实验室，银川750021

3.宁夏医科大学 理学院，银川750004

1 引言

深度信念网络[1-2]（Deep Belief Network，DBN）是深度学习（Deep Learning，DL）中的重要模型，是目前研究和应用都比较广泛的深度学习架构之一。深度信念网络是一种融合了深度学习和特征学习的多层神经网络，是结合了无监督学习和有监督学习的多层概率机器学习模型。深度信念网络能够从原始数据中自动学习、提取特征，通过DBN 学习的特征能够对原始数据实现更本质的描述，并且通过DBN 的“逐层初始化”能够有效地解决深层网络的训练问题。深度信念网络的提出为深度学习提供了一个新的研究方向。

在深度信念网络提出之前，深层网络的训练问题一直都没有被有效解决，梯度不稳定、监督学习易造成模型的过拟合、梯度下降算法对初始值敏感易陷入局部极值等问题导致了深层网络监督学习的参数难于训练，所以深层网络的效果反而不如浅层网络。2006 年Hin‐ton[3]首次提出了深度信念网络和贪婪无监督逐层学习算法，有效解决深度学习模型的训练问题，从而也展开了深度信念网络在多方面的研究和应用。目前，深度信念网络己被成功应用于人脸识别[4]、手写字体识别[5]、医学图像分析处理等诸多领域。

鉴于深度信念网络优异的特征学习能力和实际应用价值，本文围绕深度信念神经网络做了以下几个方面的工作：（1）简单介绍了深度信念网络；（2）从受限玻尔兹曼机以及深度信念网络的网络结构和学习过程两方面总结了深度信念网络的基本原理；（3）从网络结构和学习算法两方面总结了深度信念网络的研究进展，其中，网络结构研究进展的归纳从网络深度、RBM 结构和DBN 级联三个角度展开，学习算法研究进展的梳理从基本算法、优化算法和融合方法（DBN 结合预处理方法、特征提取方法、分类识别方法和结果预测方法）三个角度展开；（4）聚焦深度信念网络在医学图像分析领域中的应用。

2 基本原理

深度信念网络是一种融合了深度学习和特征学习的多层神经网络，是结合了无监督学习和有监督学习的多层概率机器学习模型。深度信念网络是由多层无监督的受限玻尔兹曼机（Restricted Boltzmann Machines，RBM）和一层有监督的反向传播网络组成的。贪婪无监督逐层学习算法的核心思想是对深层网络结构的参数进行逐层的初始化，然后再使用有监督算法对初始化后的网络参数进行全局微调。这种学习方法克服了深层网络训练中遇到的问题，使深层网络的学习变得高效。

2.1 受限波尔兹曼机

受限玻尔兹曼机是一种随机神经网络模型，每个RBM 分为两层，输入数据层称为可视层，不可见层称为隐藏层或隐层。RBM 的层内无连接，层间彼此互连。RBM结构如图1所示。

图1 受限玻尔兹曼机结构

图1 中，可视层表示为v=( v1, v2,...,vn)T，隐藏层表示为h=( h1, h2,...,hm)T，连 接 两 层 的 权 值 矩 阵 是ω=(ωi,j)∈Rn×m,可 视 层 与 隐 藏 层 的 偏 置 分 别 为b=( b1, b2,...,bn)T和c=( c1,c2,...,cm)T。RBM 的能 量 函数为：

其中，θ={ωij, bi,cj} 是RBM参数。

由于可视层和隐藏层都满足玻尔兹曼分布，当输入可视层v 时，由激活函数P( hj|v ;θ )得到隐藏层h，然后根据P( vi|h ;θ )将隐藏层h重构为可视层v′，同时更新模型参数θ。多次重复上述步骤，当重构的可视层v′与原始输入的可视层一致时，则该隐藏层h即为原始可视层v 的另一种表达，那么该隐藏层h相当于是从原始输入数据中学习到的有效特征。当可视层或隐藏层确定时，隐藏层与可视层的激活函数分别为：

其中，函数f 是sigmoid函数：

RBM 训练过程要学习参数θ=( wij,bi,cj)的值，以拟合给定的训练数据。RBM 的非监督学习过程中通常采用对比散度（Contrastive Divergence，CD）的算法更新参数，各参数的更新规则为：

其中，ε 为RBM 训练的学习率，Edate()⋅是训练数据集所定义的分布之上的数学期望，Erecon()⋅ 是重构模型所定义的分布之上的期望。

2.2 深度信念网络结构和学习过程

深度信念网络结合了有监督学习和无监督学习两种方式对网络进行训练，是多层非线性网络，对数据的复杂关系有极强的非线性映射能力。深度信念网络由若干层无监督的RBM 单元和一层有监督的BP 网络组成，能够将底层特征通过多层次结构形成更抽象的高层特征，实现对原始训练数据的本质描述。一个DBN 结构如图2所示。

图2 DBN结构

DBN 的学习过程具体可分为两个阶段，第一阶段是无监督特征学习，第二阶段是有监督参数微调。

（1）第一阶段对DBN 每层网络进行预训练，预训练过程采用贪婪无监督逐层学习算法自底层到顶层逐层训练每个RBM，将前一个RBM 的输出作为其高一层RBM 的输入，自底层到顶层逐层实现每个RBM 的训练，从而实现网络参数的初始化。

（2）经过预训练之后，原始输入数据的特征被组合成更抽象的高层特征。每个RBM 的训练只能优化该层的网络参数，为了使整个网络的参数达到最优，则要采用BP 算法对参数进行微调，达到全局优化。将预训练结束后得到的权重作为DBN 网络的初始权重，自顶层向下层微调整个模型，进行有监督的训练，从而形成整个DBN 深层网络结构。与传统神经网络相比，深度信念网络解决了传统神经网络在深度结构增加时训练时间长、易陷入局部最优、大数据处理慢的问题。

3 深度信念网络研究进展

深度信念网络是一种多层神经网络，是结合了无监督学习和监督学习的多层概率机器学习模型。目前深度信念网络的研究主要集中在网络结构和学习算法两个方面。

3.1 网络结构

DBN 是由多个RBM 堆叠而成的深层网络，所以RBM 的堆叠个数即网络深度和RBM 结构的不同会构建不同的DBN，并且DBN 级联的不同也会在很大程度上对其性能产生影响。本节从网络深度、RBM 结构和DBN 级联三方面总结了DBN 网络结构的研究进展，如图3所示。

图3 DBN网络结构的研究进展

3.1.1 网络深度

在DBN 的网络深度方面，不同的网络深度可以构造不同的DBN，网络层数的多少往往会影响网络的拟合程度，从而影响网络的学习效率。目前，DBN 网络层数通常需要通过实验确定或者由主观性较强的经验确定，网络学习效率较低，为此很多研究者做了一系列工作：李晋徽[6]提出的瓶颈深度信念网络（BN-DBN）是一个层数为奇数的深层网络，其中节点相对较少的一层为瓶颈层，去掉瓶颈层之后的网络，令瓶颈层为整个网络的输出层；潘广源[7]提出一种基于重构误差的网络深度判断方法，根据隐含层和重构误差之间的关系确定网络深度；陈雷[8]提出一种基于区分性和自适应瓶颈深度信念网络的方法以解决DBN 隐含层层数和隐含层节点数增加到一定程度后网络学习效率降低的问题；高强[9]研究了深度信念网络（DBN）权重的层次趋势问题，实验表明深度信念网络层数的增加，权值系数矩阵中的元素越来越趋于正态分布，解释了DBN 能自动提取到精细特征的原因；Zheng[10]提出了一种基于改进的深度信念网络（DBN）的语音情感识别模型，该方法用校正线性单元（Relu）代替传统的DBN 激活函数，重建误差用于确定DBN 网络的深度。Kamada[11]提出了自适应结构学习的DBN 应用于综合医学检查数据的癌症预测，该方法通过神经元生成-湮灭算法在受限玻尔兹曼机（RBM）中发现给定输入数据的最佳隐层神经元数，并通过算法的扩展在DBN 生成新的隐层，此方法比传统DBN 分类精度更高。整体来看，网络的深度呈现越来越深的发展趋势，其学习效果也越来越好。近几年发展起来的ResNet在网络深度（152 层）和分类精度上都性能卓越，Incep‐tion 网络和密集连接网络都在以不断提高网络深度而提高网络性能。

3.1.2 RBM结构

基于RBM 结构的改进是DBN 模型结构研究的重要组成部分。RBM 是一种由可视层和隐藏层两层组成的随机神经网络模型，RBM 层内无连接，层间互连。很多学者在原始的RBM 结构基础之上进行了一系列改进：鲁铮[12]提出的T 型RBM 能够对数据起到除噪效果，从而提高分类精度，降低特征提取的时间复杂度，但是很难在多计算机中进行并行训练，因此寻找有效的可拓展的并行学习算法来训练深度网络模型是一个难点；万程[13]提出的自适应基数RBM 通过对每个输入数据设定对应的阈值以调整网络参数；Elfwing[14]提出的期望能量RBM 是用负期望能量代替负自由能量计算输出量，使RBM 学习性能大大提升；高斯RBM 分类器是在高斯RBM 的隐含层h上添加一个输出层o，隐含层h从可视层v 中提取的特征表达能力更强、更有利于分类；耿志强[15]提出一种基于胶质细胞链的DBN，其链式结构由每个RBM 与一组胶质细胞链接而成，每个胶质细胞与RBM 隐藏层节点相连，该结构的目的是利用胶质细胞优化RBM 训练，能够学习到RBM 层内节点间的关联信息；Shen[16]在城市声学分类（UAC）中，采用迁移学习结合深层信念网络（DBN），将预先训练好的深层神经网络作为特征提取器，提取的特征被连接并馈送到DBN 用于分类器学习。为了获得良好的泛化性能，在DBN 采用了三个受限玻尔兹曼机（RBM），它们由对比散度算法（CD）训练，采用反向传播（BP）的参数微调；丁世飞[17]通过改变RBM 模型中的训练参数，使用随机变量代替传统的实值变量，构建基于随机权值的受限的波尔兹曼机WRBM，在WRBM 基础上构建了相应的深度模型：Weight uncertainty Deep Belief Network（WDBN）和Weight uncertainty Deep Boltzmann Machine（WDBM），并且通过实验验证了WDBN 和WDBM 的有效性；Zhang[18]提出的逐点选择受限玻尔兹曼机能够有效地从含有无关模式的数据中发现任务相关的模式，从而达到满意的分类结果。

3.1.3 DBN级联

DBN级联的不同会在很大程度上对DBN的性能产生影响。在DBN 级联方面，Wang[19]提出了一种基于迁移学习的生长DBN 模型（TL-GDBN）来自动确定其结构尺寸，首先，初始化一个具有单隐层的基本DBN 结构，冻结学习到的权重参数；第二，将学习到的权重参数中的知识转移到新添加的神经元和隐藏层，实现结构增长；对预处理得到的权值参数进行进一步微调，从而加快其学习过程，提高模型精度，但训练过程中参数较多，减少计算复杂性成为主要问题。叶学义[20]提出一种概率态多层RBM 级联神经网络的方法，采用RBM 中神经元的概率态表征来模拟人脑神经元连续分布的激活状态，并且利用多层P-RBM 级联来仿真人脑对视觉的层次学习模式，又以逐层递减隐藏层神经元数来控制网络规模，最后采用分层训练和整体优化的机制来缓解鲁棒性和准确性的矛盾；Liu[21]提出的Boosted DBN 由一组DBN 构成，能够使特征学习、特征选择和分类器形成一个循环的过程，从而实现特征的联合微调，构成一个功能强大的分类器。

3.2 学习算法

DBN 模型训练的学习过程分为无监督特征学习和有监督微调，学习算法是实现特征学习和分类识别的基础。本节从基本算法、优化算法和DBN 与其他方法融合三方面总结DBN 学习算法的改进，其中融合方法从DBN 结合预处理、特征提取、分类识别和结果预测四方面展开阐述，如图4所示。

3.2.1 基本算法

RBM 训练过程要学习参数θ=( wij,bi,cj)的值，以拟合给定的训练数据。2006 年，Hinton[22]提出高效的RBM 近似学习算法——CD（Contrastive Divergence）学习算法，即将原始RBM 的学习算法中的概率分布差异度量用一个近似的概率分布差异度量取代，RBM 非监督预训练过程中权重参数的更新通常采用CD 算法；2008 年，Tieleman[23]提出了PCD（Persistent Contrastive Divergence）学习算法，PCD 算法既不仅具有CD 算法的高学习效率而且具有更强的模式生成能力；2009 年，Tieleman 和Hinton 提出了快速持续对比散度FPCD（Fast Persistent Contrastive Divergence）算法[24]，FPCD加快了RBM 训练的速度；在2009 年到2010 年，出现了一系列基于回火的马尔可夫链蒙特卡罗采样算法的RBM 学习算法[25-28]，算法思想上采用基于回火的MC‐MC 采样算法来提升RBM 的学习性能；Lopes[29]为提高CD算法的收敛性提出了一种自适应步长技术。

3.2.2 优化算法

为了加快DBN 的学习速度，提高DBN 的整体性能，在对于DBN 的改进研究中提出了一系列优化算法：最大判别能力转换法是能够动态地学习模型结构的算法，它利用Fisher 准则判断隐藏层神经元的判别性能，然后动态地选择部分隐藏层神经元来构建最优的模型结构；鲁铮[12]提出了一种基于T-RBM的DBN分类算法，能够有效减少训练时间，提高识别性能；Wan[30]将非负矩阵分解（NMF）结合DBN 方法用于预测早期癌症疾病，使用NMF 方法作为矩阵分解技术来降低样本数据集的维数，然后使用分解后的矩阵和权重矩阵来近似原始矩阵，以减少算法的时间和空间复杂度，该算法在保持较低时间复杂度的同时，减少了数据的存储空间，可以有效提高预测性能。刘道元[31]提出一种基于深度置信神经网络—深度神经网络的预测模型，用于制造系统完工期快速预测。Papa[32]引入和声搜索算法，Ro‐drigues[32]引入布谷鸟算法来处理深度信念网络中的参数微调问题；Shen[34]采用共轭梯度法来加快DBN 的学习；Hossain[35]结合进化算法来提升DBN 性能和减少其计算时间；Lopes[36]引入CD-k 算法提升模型训练速度；为减轻过拟合问题，Mohamed[37]在用DBN 做阿拉伯手写文字识别时，采用dropout 和dropconnect 技术两种正则化方法训练，对权值进行优化，从而提高分类精度并且能够提高网络的泛化能力。

图4 DBN学习算法的研究进展

3.2.3 融合方法

为了能够发挥DBN 优异的特征学习能力和实际应用能力，通常将DBN 算法与其他方法进行融合，从而实现优化DBN性能的目的。DBN与其他方法的融合表现在结合预处理方法、特征提取方法、分类识别方法和结果预测方法四个方面。

（1）数据预处理是数据输入前的重要过程，数据预处理在众多深度学习算法训练中都起着重要作用。DBN 与预处理方法的融合方面，Wang[38]提出了一种基于模糊神经网络的稀疏深层信念网络（SDBFNN）用于非线性系统建模，稀疏DBN 实现快速权值初始化和获取特征向量，用以平衡密集表示以提高鲁棒性。Hou[39]提出了一种半监督PolSAR 图像分类方法，该方法利用DBN和张量降维，利用多线性主成分分析（MPCA）对张量形式的PolSAR数据进行降维，并将PolSAR数据的多个特征作为DBN 的输入，实验表明，基于该方法的整体分类精度优于传统的分类策略，在计算方面，虽然DBN有较好的表示能力，但对半监督算法来说，为学习到良好的训练效果，需要训练更多的样本的学习到更多的特征，即需要更多的资源才能训练得到良好模型。Dong[40]提出了基于体积的稀疏深度信任网络（VS-DBN）模型，DBN 从体积fMRI 数据直接推断出分层的大脑网络，以基于人类连接体项目（HCP）受试者发布的体积功能磁共振成像数据重建分层脑网络，大脑网络在多个基于HCP 任务的功能磁共振成像数据集上表现出相当好的一致性和对应性。

（2）特征提取是DBN 模型学习的重要一环，特征提取是通过特征选择来减少特征维度，从而有效地减小特征空间。DBN 与特征提取方法的融合方面，Aswathy[41]提出基于简化空间特征和深度信念网络的半监督人脸表情识别算法，该算法由级联结构组成，首先对人脸图像进行特征提取，然后进行特征约简，将具有所有可用的标记和未标记数据的半监督训练应用于DBN。基于DBN 的Bottleneck 特征提取方法的以训练准则为最大化帧级交叉熵；将多尺度局部二值模式算法与DBN 算法相结合的方法采用多尺度局部二值模式算法提取特征，并将提取的特征作为DBN 的输入；李明爱[42]利用小波包变换良好的时频局部化特性对运动想象脑电信号进行时频分解，将其瞬时功率信号输入给DBN，通过无监督训练方法完成各个RBM 的初始化预训练，再采用有监督训练方法对整个DBN 网络进行微调，实现运动想象脑电信号特征的自动提取。王培良[43]将粒子群优化算法用于优化DBN 特征提取，提高了DBN 网络的训练速度和泛化能力；Tang[44]结合CNN 和DBN，以CNN提取特征，DBN进行分类。

（3）特征提取是手段，分类识别才是DBN 学习过程的最终目的，DBN 与分类识别方法的融合方面，施徐敢[45]提出一种结合DBN 和多层感知器的识别方法，把DBN 学习到的高层特征初始化多层感知器进行分类；基于DBN 与随机森林的算法将DBN 学习的抽象特征输入到随机森林中进行分类识别；黄寿喜[46]采用改进的深度信念网络作为提取人脸表情特征的检测器，堆叠自编码器作为识别表情的分类器，实现在人脸表情识别研究中深度信念网络与堆叠自编码器的融合。张昕[47]提出了一种结合了DBN 和隐马尔科夫模型的分类模型，降低了算法复杂度和时间复杂度。

（4）DBN 与结果预测方法的融合方面，郭磊[48]提出的二型模糊DBN 能够对经过特征选择之后仍存在随机性和不确定性的特征进行有效的处理，并将二型模糊逻辑系统作为预测模型；Qin[49]利用自回归积分滑动平均模型（ARIMA）较强的预测能力和DBN 在非线性关系中强大的表达能力，提出了一种结合ARIMA 和DBN 的赤潮预测模型；杨旭华[50]在网络的顶层叠加一个逻辑回归层并将提取出的数据特征作为输入来预测各科室未来的门诊量。

4 深度信念网络在医学图像分析中的应用

基于深度信念网络强大的特征学习能力，诸多研究者将深度信念网络应用于医学图像的分析，目前DBN已经在很多疾病的影像分析中发挥着其强大的功能，具体体现在医学图像分割和计算机辅助诊断两个方面。

（1）医学图像分割对疾病的诊断和医学数据分析等方面有重要意义，能够为疾病的临床诊疗和病理学研究提供可靠的依据。在医学图像分割方面，付文[51]利用深度学习算法对前列腺MRI 图像的进行分割，构建DBN模型逐层无监督学习提取有效的高层特征，通过无监督学习学习到的抽象特征根据不同的数据集而进行调整，同时能够对高层的结构语义信息进行编码，然后根据带标签的数据进行有监督的微调，最后将学习到的特征作为softmax 回归分类器的输入，对数据进行分类最终实现图像的分割。

（2）计算机辅助诊断是现代医学影像研究的热点之一，在疾病的诊断中有很高的临床价值。在医学图像分类识别和计算机辅助诊断方面，目前已实现深度信念网络模型对乳腺肿瘤X 线图像和甲状腺结节超声图像的良恶性分类；陈娜[52]采用判别式RBM 对乳腺X 光图像进行分类，判别式RBM 是能够从图像中自动学习特征，并利用学习到的高层特征对图像进行分类，这是一种新的医学图像分析方法，在乳腺X 光图像标准数据集上的实验结果表明，采用判别式RBM 对医学图像的分类准确率明显高于其他基于统计特征提取的医学图像分类方法；目前肺结节良恶性分类方法存在识别精度低，模型分类结果假阳性高、诊断的漏诊率和误诊率降低困难等问题，把深度信念网络引入了肺结节的良恶性分类并提出的自定义的DBN 分类算法，实验证明该算法具有优良的分类性能，能够为影像科医生提供准确率较高的、可供参考的诊断结果；Khatami[53]将DBN 应用于多类别放射性图像的分类问题，该方法使用基于小波变换和统计测试技术对图像去噪，采用DBN 学习无标签特征，该方法具有较好鲁棒性；Abdel-Zaher[54]基于DBN 提出了一种用于乳腺癌检测的计算机辅助诊断方案，经测试分类准确度达到99.68%，该方案为乳腺癌提供了有效的分类模型，在调整参数方面，不适当的参数选择会导致学习收敛于局部最优解。

5 结束语

深度学习为机器学习带来了新机遇，深度信念网络的提出使深度学习成为机器学习的一个新兴研究方向，深度信念网络受到了学术界和工业界的广泛关注，并成为研究热点。本文从深度学习的重要模型——深度信念网络出发，从受限玻尔兹曼机以及深度信念网络结构和学习过程两方面介绍了深度信念网络的基本原理，详细总结了深度信念网络在网络结构和学习算法两方面的研究进展，并总结了深度信念网络在医学图像分析中的应用。这里对DBN及其未来展望如下：

（1）网络结构越来越复杂、网络节点功能越来越丰富

为了不断提升深度信念神经网络的性能，正如本文总结的那样，科学家不断在网络深度、RBM 结构、DBN级联方式和网络节点功能上进行探索，深度神经网络的层数已扩展到上百层甚至上千层，随着网络层数的不断加深，其学习效果也越来越好，近几年发展起来的ResNet 在网络深度（152 层）和分类精度上都性能卓越，Inception 网络和密集连接网络都在以不断提高网络深度而提高网络性能。采用胶囊作为网络节点的胶囊网络，理论上更接近人脑的思维方式，旨在提高深度神经网络的空间分层和推理能力。DeepMind、谷歌大脑和图网络，都试图定义具有关系归纳偏置功能的模，使深度神经网络具有因果推理的能力。

（2）深度学习模型与机器学习模型的深度融合

深度学习模型自身也存在参数量大、计算复杂、模型退化、梯度消失、网络收敛性不好等问题，因此通过融合其他机器学习模型，可能会避免对图像的过度预处理，通过局部感受野、权值共享、池化功能，使得深度学习模型能在较低的模型复杂度下充分利用图像局部和全局信息，对图像的平移、旋转、缩放等具有一定鲁棒性，从而很好地解决了深层卷积神经网络层数与准确度之间的矛盾，进而可以加深网络深度，解决了网络加深所出现的梯度消失问题，并且加速网络收敛。为了降低深度神经网络模型训练所需的数据量，引入了迁移学习的思想，迁移学习可以说是一种“站在巨人肩膀上”的学习方法，可以利用数据、任务或模型之间的相似性，将在旧领域学习过的模型，应用于新领域的一种学习过程。通过将训练好的模型迁移到类似场景，实现只需少量的训练数据就可以达到较好的效果。

（3）无监督数据的特征学习

如果已经有一个足够强大的机器学习算法，为了获得更好的性能，最可靠的方法之一是给这个算法更多的数据。机器学习界有个说法：“有时候胜出者并非有最好的算法，而是有更多的数据”。科学家总是尝试获取更多的已标注数据，基于已标注数据的特征学习仍然占据着主导地位。但是标注数据的时间和经济成本往往很高，海量的无标注数据在现实世界中大量存在，将海量无标注数据逐一人工标注，显然费时费力，因此，随着深度学习技术的发展，必将越来越重视对无标注数据的特征学习，以及将无标注数据自动添加标注技术的研究。目前有科学家已经开展利用数据自身的一些特点来自动寻找标注信息，通过这种方式得到的标注数据噪声较大，但是廉价的自标注数据，大幅度降低对人工标注高精度数据的需求，对推动深度学习赋能细分行业有着积极的意义。

（4）“人工智能+医疗”的发展

将以深度学习为代表的人工智能技术应用于医疗行业的本质是为解决医疗资源的供给不足，医疗资源分布布局的问题，这不仅是医疗行业的一种技术创新，更是对医疗产业的一种变革，将带来巨大的市场增量，拥有巨大的市场空间。人工智能的发展为医生的大脑添加了一个新引擎，人工智能技术能够进一步优化医疗产业链，并让医疗行业走向更高效率和更高层次，未来值得期待。

深度信念网络作为机器学习领域的新兴技术，具有较好的特征学习能力、实际应用价值和应用潜力，未来深度信念网络的研究应着力解决目前存在的问题。深度信念网络更广泛地应用于医学图像分析领域将对疾病的诊断、医学数据的分析等方面产生重要意义，将对临床诊疗和病理学研究做出重要贡献。