基于种蛋图像血线特征和深度置信网络的早期鸡胚雌雄识别

祝志慧，汤　勇，洪　琪，黄　飘，王巧华，马美湖

（1. 华中农业大学工学院，武汉 430070；2. 农业部长江中下游农业装备重点实验室，武汉 430070；3. 华中农业大学食品科学技术学院，武汉 430070）

0　引　言

家禽繁育中，鸡育种目标一直都实行蛋肉兼用的培育方向，而现有商业品系则要求专门化——蛋用或肉用。鸡种蛋的孵化周期约为21 d，是一个耗时耗能的过程[1]。若在种蛋孵化过程中或孵化早期鉴定出胚蛋的性别，不仅可以减少孵化过程中的经济成本而且还可以降低孵化后的产品浪费。种蛋雌雄鉴别后可以进行分类生产，根据蛋品与肉品的市场需求进行有计划的孵化养殖，满足市场需求，实现经济效率的最大化。传统的种蛋性别鉴别方法是通过种蛋外形特征，但是这种方法的主观性太强、受蛋形的影响较大；另外，虽然在孵化后期利用激素法对16-18日龄鸡胚的性别鉴定方法准确率高，但是发育到16日龄的鸡胚已接近出雏期并已完全分化，对这些鸡胚的处理是有悖于社会伦理、残忍的一件事情[2]。所以，亟需找到一种兼顾禽业生产与社会伦理、且快速准确鉴别鸡种蛋孵化早期胚胎雌雄的方法。

目前，鸡种蛋孵化早期的性别鉴定主要分为蛋壳外鉴定和蛋内容物的鉴定。严鲲鹏[3]观察鸡蛋的外形表明椭球形种蛋孵出的都是雄鸡，接近球形种蛋孵化出的都是雌鸡，而介于两者之间的种蛋不易区分雌雄。唐剑林等[4]根据不同性别鸡胚血管分布的不同规律，雄胚主血管明显，血管较粗，分布均匀；雌胚血管纤细、粗细均匀、分支较多、呈不规则状，对种蛋胚胎进行雌雄鉴别。通过蛋外形与血线形态的方式进行性别识别，分析因素太过于单一，获取的发育信息不够全面，容易受被测因素自身的影响。Turkyilmaz等[5]利用PCR方法筛选的PCR产物通过琼脂糖凝胶电泳显示，雄性有一个单一的条带（256碱基对），雌性有如预期一样的额外的第二频带（415碱基对）。美国Embrex公司申请的专利[6-7]通过检测鸡胚尿囊液中雌激素含量来鉴别鸡胚雌雄。Steiner等[8]从鸡蛋中提取少量的胚层细胞，基于傅里叶变换红外光谱(FT-IR)测定雄性和雌性胚胎的DNA含量差异在2%左右。潘磊庆等[1]通过高光谱获取胚胎发育的胚相、理化等全部信息，提取感兴趣区域的光谱数据建立模型进行种蛋雌雄判别。PCR、激素方法操作步骤多，并且需要提取内涵物，容易损坏胚胎，并且其成本也相对较高；红外光谱和高光谱信息数据量过于庞大，处理速度较慢。而机器视觉获取的种蛋图像进行后期处理能获得足够的纹理信息建立判别模型，且响应速度快。近年来，随着计算机运算速度的不断提高和机器视觉技术在农产品品质检测领域的广泛应用，本文利用机器视觉技术和图像处理技术探讨种蛋孵化早期鸡胚雌雄识别的可行性。

1　材料与方法

1.1　试验材料

本研究的 180枚同一批次种蛋样品均来源于荆州峪口禽业有限公司，品种为京粉1号。鸡种蛋在5%新洁尔灭溶液中浸泡3 min进行消毒处理，分别编号1—180，晾干后放入孵化箱中。其中，孵化温度和相对湿度分别为37.8 ℃和63.5%，自动翻蛋时间间隔为2 h/次，采集孵化第 3、4、5、6、8、10天的图像。为了准确获得种蛋鸡胚雌雄性别信息，于孵化的第15天对种蛋进行破坏性解剖，人工识别性别，以此作为后期判别模型的鉴定依据。孵化后期胚胎发育趋近于成熟，各种组织器官已发育完整。雌雄胚胎组织的区别在于：雌性胚胎右侧卵巢退化，使得卵巢两侧发育不平衡；而雄性胚胎两侧的睾丸发育对称[9]，可通过解剖后肉眼观察到雄性睾丸和雌性卵巢的形态变化来区分胚蛋性别，如图1所示。

图1　鸡胚雌雄形态图Fig.1　Male and female morphology diagram of chicken embryo

1.2　机器视觉图像采集系统

鸡胚雌雄识别机器视觉图像采集系统如图2所示。

图2　机器视觉图像采集系统Fig.2　Image acquisition system of machine vision

由图 2可知，本文的图像采集系统主要由工业相机（Basler，Aca1600-20uc）、光照系统和计算机构成。光照系统被分为上下两部分，上半部分为暗室部分，内壁用黑纸平铺，中间用载物平台隔开，载物平台中间开一个透光孔，且透光孔上端还有椭球槽，用于种蛋样品的固定；下半部分为光源部分，根据试验需要，参照深圳市振野蛋品智能设备股份有限公司的鸡蛋品质检测系统，选择一个功率为1W的LED灯（ZYG- L627-1W），安装在光照系统底部。图像采集系统的物距为218 mm，待检测鸡蛋横向静置2 min，且横向放置在载物平台上，通过载物平台下的光源透射，利用工业相机获取图像并通过USB数据线传送至计算机。

1.3　图像处理

图 3为种蛋胚胎在不同孵化时间的机器视觉图像。在孵化的第3天（图3a），血线开始出现，还未完全展开；在孵化的第4天（图3b），血线完全呈现在机器视觉视野范围内，没有出现不完整的状态；从孵化的第 5天（图3c）开始，部分血线不在机器视觉的视野范围内，且还有部分血线已经进入气室端。根据血线的清晰度以及机器视觉视野范围内的血线完整度原则，最终确定利用孵化第4天的图像进行后续分析。

图3　不同孵化时期种蛋胚胎发育形态图Fig.3　Hatching eggs embryos diagram of different hatching periods

采用图像处理技术对鸡胚蛋图像进行预处理。如图4所示，对原始图像，获取R、G、B这3个分量图像，因B分量中种蛋区域细节信息基本丢失，所以本研究不提取B分量信息来分析。G分量包含的图像信息丰富，通过中值滤波去除椒盐噪声。R分量中的亮部正好是种蛋区域，为了准确定位种蛋区域，则需要消除背景信息的影响，主要是消除与种蛋相邻的部分由于光照产生的较亮区域。对此，可采用二分法逐步获取固定阈值 15，二值化R分量并与中值滤波图像相乘提取感兴趣区域（region of interest，ROI）[10]。为了增强图像质量和可辨识度，本研究采用限制对比度自适应直方图均衡化（CLAHE），CLAHE算法[11]可以通过增强局部区域的对比度，从而增强图像局部细节的可视性，与此同时还能抑制部分噪音的产生[12]。利用图像反色将ROI区域中的血线变亮，通过高帽变换（top-hat）[13]减低帽变换（bottom-hat）基本凸显血线区域，进一步利用Otsu阈值分割[14]去除部分噪声，提取血线区域。基于大部分的噪声仍然存在，采用八连通域去除较小的噪点，血线完全凸显。为了保证图像纹理信息的真实性，需要对图像进行映射。

1.4　特征提取

1.4.1方向梯度直方图

方向梯度直方图（histogram of oriented gradients，HOG）的核心思想是：所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述，它通过计算和统计图像局部区域的梯度方向直方图来构成特征[15]。HOG特征的提取过程如下[16]：

图4　鸡种蛋图像处理Fig.4　Chicken hatching egg image processing

1）图像归一化。将颜色空间统一转换到灰度图像，并且将灰度值转换到0～1范围。

2）图像梯度计算。分别计算图像水平和竖直方向的梯度，并计算每个像素的梯度方向和梯度幅值。

3）图像分块。将图像划分为许多块，块与块之间可以重叠，每个块内存在许多细小单元，每个单元由多个像素点组成。

4）单元梯度方向直方图计算。将每个单元中的梯度方向分为若干个梯度方向级，计算其梯度方向直方图。

5）块内直方图归一化。将每个块内的直方图串联成一个块梯度方向直方图，并进行块内归一化。

6）HOG特征向量提取。经过上述步骤，对有重叠部分块的直方图归一化，将所有块的特征向量进行组合，即将每一块内归一化后的梯度方向直方图串联，作为图像的HOG特征向量。

1.4.2主成分分析降维

由于HOG特征向量维度过大，因此本文采用主成分分析（principal component analysis，PCA）对其进行降维。其目的用较少的新变量（即主成分）去解释原始资料中的大部分变异[17]。主成分分析是一种基于卡洛南-洛伊（Karhunen-Loeve，K-L）正交变换的无监督线性特征提取算法，K-L变换是在满足最小均方误差的前提下的最优变换，大大降低了HOG特征向量的维数。

1.4.3灰度共生矩阵

由于图像纹理是由灰度分布在空间位置上反复出现而形成的，因而图像的灰度就具有一定的空间相关性，而灰度共生矩阵则是利用这种特性来描述纹理的一种方法，其能反映出种蛋的图像信息，尤其是血线区域的灰度在方向、空间间隔和变化幅度上的综合信息，从而能分析图像的局部特征和排列规则[18]。

为了更直观地以灰度共生矩阵描述纹理特征，通常用能量、对比度、相关性、熵和均匀度 5个标量来表征图像纹理的特征。

1.5　建立孵化早期鸡胚雌雄识别模型

试验中，有雌、雄样本各90枚。从雌、雄样本中各随机挑选60枚组成模型的训练集（样本120枚），剩余雌、雄样本各30枚组成模型的测试集（样本60枚）。为充分比较不同的建模方法对预测性能的影响，运用了支持向量机（support vector machine，SVM）、反向传递（back propagation，BP）神经网络和深度置信网络（deep belief networks，DBN）对数据进行建模分析。

当人工神经网络超过5层时，BP学习算法无法有效传递误差，梯度会在误差反向传播时越来越稀疏，导致误差校正信号越来越低，近乎为0，进而使得算法陷入局部极值[19]。深度学习同样采用的是多隐层网络，因此其核心就在于解决梯度扩散问题，其中应用最广泛的深度学习网络之一就是深度置信网络（DBN）。

自下而上的非监督学习在DBN网络中被称作受限玻尔兹曼机（restricted boltzmann machine，RBM）[20-21]，RBM训练参数的方法不同于BP神经网络，其主要结构形式是图5所示的无向连接形式。

图5　受限玻尔兹曼机示意图Fig.5　Illustrative diagram of restricted boltzmann machine

RBM的结构形式让可见层和隐层之间无向连接，并且各层内部无连接。其目的是在所有假设模型有相等先验概率条件下，输出极大似然假设，其中引入了Hopfield提出的能量函数E，对于可见层构成的向量v，隐层构成的向量h，有可见层与隐层之间的权重w和2层各自的偏置系数a、b，因此能量函数如式（1）所示。

式中，i、j表示神经元，θ =（wij，ai，bj）是 RBM 的参数，wij表示可见节点vi与隐层节点hj之间的连接权值，ai和 bj分别表示 vi和 hj的偏置值。联合配置能量，引入联合概率p描述可见层和隐层之间的向量概率关系

为求得极大似然函数 P(v)，对 h求边缘分布得到似然函数

通过最大化P(v)求得损失函数L：

式（4）N表示训练样本个数。当能量趋于稳态时，根据可见层数据v求隐层数据h，通过h来重构可见向量v1，再根据v1生成新的隐层向量h1。依此可再求得新的向量v2和h2，其求解条件概率为：

最后利用对比散度（CD-k，contrastive divergence）[22]算法，通过多次Gibbs分布抽样实现对样本的近似，即可将 2次重构的参数的差异近似作为网络参数的训练梯度：

利用以上梯度，通过多次迭代即可完成对RBM网络参数的更新，将多个RBM结构依次叠加，在DBN的最后一层设置BP网络，接收RBM的输出特征向量作为它的输入特征向量。然后将其中的前馈传播权重w和偏置系数a、b作为BP神经网络的初始参数值，再利用反向传播算法进行参数微调，基于这种训练模式的网络结构就是DBN网络[23]。

2　结果与分析

2.1　特征参数的选择

1）全信息特征

对于种蛋图像，保证血线完整的情况下，利用固定的像素坐标范围裁剪图像，可获取 350×350像素大小的血线区域，选取整数倍的关系，设定单元格大小为35×35像素，块内存在2×2个单元格，块移动步长为35个像素单位，每个单元格内直方图为 9维，因此可获取最终的HOG特征向量长度为2 916维。二维梯度信息常规处理是卷积网络，根据梯度信息，人眼可分辨的种蛋性别特征较少，应用卷积网络，需要提取细粒度的特征，会加大运算复杂度，所以需要对图像进行放缩。由于前几层对于粗粒度的提取使得样本丢失过多特征，应用卷积网络难以保证学习到有用的信息。因此可利用降采样的方式代替卷积前几层的操作，提取细粒度特征，此时样本维度并不大，可以直接使用全连接，将原图降采样至35×35大小，即1 225维。此处自定义完成图像处理后并降采样的图像所有特征为全信息特征。

2）简化特征

HOG直方图提取的全信息经过 PCA降维，如图 6所示，取累计贡献率达到 90%的主成分数作为降维后的特征，最终得到降维后的HOG特征长度为91维。

图6　HOG特征累计贡献率Fig.6　Cumulative contribution rate of HOG features

灰度共生矩阵包含5维向量，HOG特征经主成分分析降维后包含91维向量，因此PCA降维特征与灰度共生矩阵特征组合的简化特征向量有96维。

2.2　DBN模型的参数优化

对于特征区分度不高的输入向量，机器学习模型很容易过拟合，尤其是神经网络，DBN网络也不例外。直接将全信息特征作为输入特征会引入很多噪音，网络训练难度大，并且导致网络收敛速度过慢。

1）改善过拟合。本研究采用 Hinton等[24]提出的dropout算法，利用输入样本进行权值更新，令隐含节点以一定的概率随机出现，从而阻止某些特征仅仅在特定情况下才有效果的情况。通过这种模型平均的方式实现对模型过拟合的改善。

2）加快收敛速度。由于采用激励函数是sigmoid函数，当函数值趋近于0和1时，函数梯度将趋近于0，此时网络训练将陷入停滞状态，为加快收敛速度，对此本文将均方误差损失函数调整为不受函数值影响的交叉熵函数L[25]：

式（7）中，x表示样本，n表示样本总数，y和d分别表示网络的实际输出和期望输出。

3）避免局部收敛。网络的训练实质上是对参数的优化，避免局部收敛。本研究采用随机梯度下降算法[26]（stochastic gradient descent，SGD），每次只随机取部分样本集进行训练，防止网络陷入局部收敛。

2.3　建模与验证

2.3.1建模参数设定

本文利用BP神经网络、SVM和DBN网络3个算法，分别对简化特征和全信息特征进行训练建模。运用MATLAB R2012a版本软件，SVM模型采用libsvm-faruto加强工具箱[27]，DBN模型采用Deep Learn Toolbox工具箱[28]，BPNN模型采用软件内嵌的 Neural Network Toolbox工具箱。

1）简化特征

简化特征向量维96维。对于BP神经网络，其隐层的节点数m依据经验公式（8）来确定：

其中n为输入向量维度，隐层节点数为7，BP的学习速率为0.001，动量为0.9。DBN网络虽然是深度网络，但依然可以设置 2个隐层，经过多次训练调参，设定各层节点数分别为50和26，dropout比例设为0，学习速率为1，动量为0.9，网络迭代次数设为1 000代。BP网络和DBN网络的输出层节点数均为1，输出值“0”和“1”分别代表雌性和雄性。SVM采用RBF核函数，并利用交叉验证的方式寻参，得到最优参数gamma值为0.000 98，cost值为16。

2）全信息特征

对于全信息特征，BP神经网络由于其浅层网络的特性，只设定单隐层，依据公式（8）求得节点数为10，BP的学习速率为0.001，动量为0.9。DBN网络作为深度网络，可以设置多层网络逐层提取图像特征，经过多次训练调参，设置5个隐层，各层节点数为900、625、400、225、100，dropout比例为0.3，学习速率为 1，动量为 0.9，网络迭代次数为10 000代，RBM训练次数为500。BP网络和DBN网络的输出层节点数均为1，输出值“0”和“1”分别代表雌性和雄性。SVM采用RBF核函数，并利用交叉验证的方式寻参，得到最优参数 gamma值为0.000 98，cost值为16。模型参数设置如表1所示。

2.3.2模型验证

为了分析不同图像特征信息对雌雄识别模型的影响，提取图像特征得到简化特征和全信息特征，利用 3种机器学习方法分别验证，3种模型判别准确率结果如表2所示。DBN模型和SVM模型的训练集准确率优于BP模型，均为100%；对测试集而言，BP模型的简化特征和全信息特征的判别综合准确率分别为 51.67%和58.33%。SVM模型简化特征和全信息特征的判别综合准确率分别为60%和63.33%。DBN模型简化特征和全信息特征的判别综合准确率分别为58.33%和83.33%。基于全信息特征的 3种模型综合准确率均优于对应的简化特征的3种模型综合准确率，基于全信息特征的DBN模型测试集雄性准确率为76.67%，雌性准确率为90%，综合准确率为83.33%，明显优于基于简化特征的DBN模型综合准确率58.33%。表明图像不同特征信息对模型准确率有一定影响。

表1　模型参数设定Table 1　Model parameters setting

表2　鸡胚简化特征与全信息特征雌性鉴定模型判别结果Table 2　Discriminant results of male and female identification models of simplified features and full information features for chicken embryos

从表 2结果发现，SVM 模型的训练集准确率为100%，测试集识别综合准确率最高才达到 63.33%；BP模型训练集准确率为 80%以上，测试集识别综合准确率最高才达到58.33%；表明SVM和BP模型出现过拟合现象。对于DBN，由于加入dropout算法，相比于SVM和BP的过拟合会有所缓解，同时用受限玻尔兹曼机进行权值初始化，降低局部收敛概率，改善了模型的过拟合。

以测试样本平均运行时间值作为模型的判别时间。由表3可知：针对同一输入特征的3种模型，其简化特征的SVM模型、BP模型、DBN模型的判别时间分别为0.006 1、0.007 7、0.0227 s，即TSVM

表3　模型测试集判别时间Table 3　Discriminant time of model test set

表 3中，基于全信息特征的 DBN模型判别时间7.835 0 s远长于其他模型的判别时间，表明输入的特征维数越多，相应模型的判别时间会越长；同时也与模型的复杂程度有关，随着隐层数和隐层数节点的增多，神经网络越复杂，导致运行速度降低，即模型的判别时间延长。

3　结　论

1）本研究构建了鸡胚雌雄识别的机器视觉图像采集系统，采集不同孵化时间段的种蛋胚胎发育形态图，根据血线的清晰度以及机器视觉视野范围内的血线完整度原则，确定孵化第4天的图像最适合用于鸡胚雌雄的识别。

2）根据全信息特征和简化特征，分别构建支持向量机（SVM）、反向传递（BP）神经网络、深度置信网络（DBN）3种鸡胚雌雄性别识别模型，通过模型准确率和判别时间比较，基于HOG全信息特征的DBN模型准确率最佳，但判别时间最长。其中，综合准确率为83.33%（雄性样本判别正确率为76.67%，雌性样本判别准确率为90%）；判别时间为7.835 0 s。

3）本文研究表明，机器视觉对孵化早期鸡胚雌雄的识别有一定效果。但是从结果来看，全信息特征中的噪音对于模型依旧存在着干扰，降低了鸡胚雌雄识别的准确率，并且判别时间较长。在以后的研究中，需要使用更为有效的去噪方法，尽可能消除噪音对图像信息的影响，同时也要充分保留图像信息，以提高鉴别精度和缩短判别时间。

[参考文献]

[1] 潘磊庆，张伟，于敏莉，等. 基于高光谱图像的鸡种蛋孵化早期胚胎性别鉴定[J]. 农业工程学报，2016，32(1)：181－186.Pan Leiqing, Zhang Wei, Yu Minli, et al. Gender determination of early chicken hatching eggs embryos by hyperspectral imaging[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(1): 181－186. (in Chinese with English abstract)

[2] 王健，漠纵泉，肖小珺，等. 鸡胚性别鉴定：家禽科学研究的新视点[J]. 中国家禽，2003，25(14)：23－33.

[3] 严鲲鹏. 鸡蛋的雌雄鉴别[J]. 当代畜禽养殖业，1999(12)：32.

[4] 唐剑林，周玉兰. 鸡胚早期雌雄鉴别[J]. 贵州畜牧兽医，2001，25(5)：29.

[5] Turkyilmaz M K, Karagenc L, Fıdan E. Sexing of newly-hatched chicks using DNA isolated from chorio-allantoic membrane samples by polymerase chain reaction in Denizli chicken[J]. British Poultry Science, 2010,51(4): 525－529.

[6] Phelps P V. Method of Sorting Birds in Ovo: US, US 6506570 B1[P]. 2003-01-14.

[7] Gore A K, Bryan T E. Method for Localizing Allantoic Fluid of Avian Eggs: US, US6510811[P]. 2003-01-28.

[8] Steiner G, Bartels T, Stelling A, et al. Gender determination of fertilized unincubated chicken eggs by infrared spectroscopic imaging[J]. Analytical & Bioanalytical Chemistry, 2011, 400(9): 2775.

[9] 俸艳萍. 鸡的性比及性分化早期胚胎性别差异表达基因研究[D]. 武汉：华中农业大学，2007.Feng Yanping. On the Sex Ratio of Chicken and Sexual Differentially Expressed Genes in Chicken Embryos During Early Sexual Differentiation[D]. Wuhan: Huazhong Agricultural University, 2007. (in Chinese with English abstract)

[10] 雷建锋，汪伟. 基于OpenCV的图像阈值分割研究与实现[J]. 现代电子技术，2013，26(24)：73－76.Lei Jianfeng, Wang Wei. Research and implementation of image threshold segmentation based on Open CV[J]. Modern Electronics Technique, 2013, 26(24): 73－76. (in Chinese with English abstract)

[11] Liu H, Yan B, Lv M, et al. Adaptive CLAHE image enhancement using imaging environment self-perception[C]//Man–Machine–Environment System Engineering – Proceedings of the 17th International Conference on MMESE.Jinggangshan, China, 2018: 343-350.

[12] Zuiderveld K. Contrast Limited Adaptive Histogram Equalization[M]// Graphics gems IV. Academic Press Professional,Inc. 1994: 474－485.

[13] Kushol R, Kabir M H, Salekin M S, et al. Contrast Enhancement by Top-Hat and Bottom-Hat Transform with Optimal Structuring Element: Application to Retinal Vessel Segmentation[C]// International Conference Image Analysis and Recognition. Springer, Cham, 2017: 553－540.

[14] 谢鹏鹤. 图像阈值分割算法研究[D]. 湘潭：湘潭大学，2012.Xie Penghe. The Study on the Image Thresholding Segmentation Algorithm[D]. Xiangtan: Xiangtan University, 2012. (in Chinese with English abstract)

[15] Davis M, Sahin F. HOG feature human detection system[C]//IEEE International Conference on Systems, Man, and Cybernetics, 2017: 2878-2883.

[16] 慕春雷. 基于HOG特征的人脸识别系统研究[D]. 成都：电子科技大学，2013.Mu Chunlei. The Research of Face Recognition System Based on HOG Feature[D]. Chengdu: University of Electronic Science and Technology of China, 2013. (in Chinese with English abstract)

[17] 李林，吴跃，叶茂. 一种基于HOG-PCA的高效图像分类方法[J]. 计算机应用研究，2013，30(11)：3476－3479.Li Lin, Wu Yue, Ye Mao. Effective image classification method based on HOG-PCA[J]. Application Research of Computers, 2013, 30(11): 3476－3479. (in Chinese with English abstract)

[18] 迟强. 基于高光谱图像技术对牛肉品质无损检测的研究 [D]. 哈尔滨：东北农业大学，2015.Chi Qiang. The Research Based on Hyperspectral Image Technology on the Nondestructive Examination for Beef Quality[D]. Harbin: College of Electric and Information,2015. (in Chinese with English abstract)

[19] Heaton J. Ian Goodfellow and Yoshua Bengio and Aaron Courville: Deep learning[J]. Genetic Programming &Evolvable Machines, 2017: 1－3.

[20] 周树森. 基于深度置信网络的分类方法[M]. 北京：清华大学出版社，2016.

[21] 李飞，高晓光，万开方. 基于权值动量的 RBM 加速学习算法研究[J]. 自动化学报，2017，43(7)：1142－1159.Li Fei, Gao Xiaoguang, Wan Kaifang. Research on RBM accelerating learning algorithm with weight momentum[J].Acta Automatica Sinica, 2017, 43(7): 1142－1159. (in Chinese with English abstract)

[22] 高琰，陈白帆，晁绪耀，等. 基于对比散度-受限玻尔兹曼机深度学习的产品评论情感分析[J]. 计算机应用，2016，36(4)：1045－1049.Gao Yan, Chen Baifan, Chao Xuyao, et al. Sentiment analysis of product reviews based on contrastive divergencerestricted Boltzmann machine deep learning[J]. Journal of Computer Applications, 2016, 36(4): 1045-1049. (in Chinese with English abstract)

[23] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature,2015, 521(7553): 436－444.

[24] Hinton G E, Srivastava N, Krizhevsky A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012, 3(4): 212－223.

[25] 蔡满军，程晓燕，乔刚. 一种改进BP网络学习算法[J]. 计算机仿真，2009，26(7)：172－174.Cai Manjun, Cheng Xiaoyan, Qiao Gang. An improved learning algorithm for BP network[J]. Computer Simulation,2009, 26(7): 172－174. (in Chinese with English abstract)

[26] Zinkevich M, Weimer M, Smola A J, et al. Parallelized stochastic gradient descent[J]. Advances in Neural Information Processing Systems, 2010, 23(23): 2595－2603.[27] Chang C C, Lin C J. LIBSVM: A library for support vector machines[J]. Acm Transactions on Intelligent Systems &Technology, 2011, 2(3): 1－27.

[28] Palm R B. Prediction as a Candidate for Learning Deep Hierarchical Models of Data[D]. Kongens Lyngby: Technical University of Denmark, 2012.