基于堆栈式自编码器的尾矿库安全评价

陈国定，姚景新，洑佳红

(浙江工业大学 信息工程学院，浙江 杭州 310023)

基于堆栈式自编码器的尾矿库安全评价

陈国定，姚景新，洑佳红

(浙江工业大学 信息工程学院，浙江 杭州 310023)

摘要：为有效评估尾矿库的安全状况，针对尾矿库数据的随机波动性、非线性和多数据源的特点，采用堆栈式自编码器算法对尾矿库进行安全评价.基于多层结构、稀疏性限制，该算法采用贪心逐层训练策略对网络权值进行优化，进而对尾矿库进行安全评价.结合淳安某尾矿库的数据进行了安全评价的仿真实验，结果表明：堆栈式自编码器算法能克服多层网络结构权值易陷入局部最小值的缺陷，有效刻画数据的非线性和随机波动性，具备良好的评价准确率.

关键词：堆栈式自编码器；尾矿库；安全评价；稀疏性

Safety evaluation of the tailing pond based on stacked auto-encoder

CHEN Guoding, YAO Jingxin, FU Jiahong

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:For the purpose of evaluating the safety status of tailing pond, a prediction model is established by adopting stacked auto-encoder algorithm according to the characteristics of stochastic fluctuation, non-linear and multiple data sources. Based on the multi-level architectures and sparsity limitation, this algorithm uses Greedy Layer-wise Algorithm to train parameters in order to optimize the network weights. The applied safety evaluation on Chunan tailing pond shows that stacked auto-encoder could overcome the defect that the optimized network weights will be easy to fall into local minimum in the multi-level architectures. It can effectively describe characterization of nonlinear and stochastic volatility of the data with a good evaluation accuracy.

Keywords:stacked auto-encoder; tailing pond; safety evaluation; sparsity

尾矿库是用来堆存金属、非金属矿石选别后排出的尾矿的场所，是维持矿山正常运行的必要设施，但也是重大的危险源[1]，一旦发生溃坝或有毒物质下泄等事故，后果将不堪设想.近年由于尾矿库事故造成人员伤亡、环境污染和经济财产损失时有发生，尤其2008年山西襄汾发生“9·8”特大尾矿库溃坝事故，造成276人死亡，经济损失达9 600多万元.目前，尾矿库运行状态的安全评价方法主要集中在综合分析法和BP神经网络两类.综合分析法包括模糊综合分析法[2]、集对分析法[3]和证据理论[4]等.实践表明综合分析法具有不错的预测准确率，但存在一定局限性：1) 获得权重的算法[5-6]的客观性受到人为因素的制约；2) 模糊综合分析法的相对隶属度矩阵的维度依赖于样本数，使得算法容易引起维度灾难；3) 证据理论法、集对分析法虽不依赖于样本数，但评价模型由初始权值直接推导出，增强了人为因素的影响.所以综合分析法受人为因素影响大，对于系统随机性和非线性不能很好解决，且不利于处理大数据量的情况.另一方面BP神经网络方法对非线性问题具有较好的拟合和识别能力[7-8]，能克服随机性和高度非线性问题、避免模型陷入维度灾难、减小人为因素对模型的影响等，在尾矿库评价模型构建也取得了不错的结果[9-10].但BP神经网络属于浅层网络，数据表征能力不足，不能充分反应数据内部信息，若要增强网络的表征能力，网络的节点数将呈指数级增长[11].

为克服综合分析法和BP神经网络法的缺陷，在此提出以堆栈式自编码器(Stacked auto-encoder, SAE)算法构建尾矿库的安全评价模型.在阐述SAE的原理后，结合尾矿库数据的特点搭建合适的评价模型，实验结果表明：SAE满足评价模型对于随机性和非线性的要求，多层结构增强了模型的数据表征能力，且稀疏性限制实现了模型的特征提取，具备较好的评价准确率.

1堆栈式自编码器的构建

深度神经网络为具备深度结构的神经网络模型，其目的在于实现数据的表征学习，SAE属于深度神经网络的其中一种算法结构.在机器学习领域，机器学习算法的目标是能够自主的从数据中学习、调整、进步，最终产生理解数据的能力.实现这个目标的前提是能对错综复杂的、混乱无须的原始数据进行抽象，发现隐藏在数据内部的具备区分度的特征，从而识别出能用来评判或分类的抽象概念.该抽象概念在算法中称作数据的表征形式，为算法结构中某一层的数据形式.理论表明：机器学习的算法结构层次每降低1层，若想维持相同的表征能力，算法所需要的计算单元数会呈指数级增长.因此，BP神经网络、主成分分析法(Principal component analysis，PCA)、支持向量机(Support vector machine，SVM)、混合高斯模型(Mixture of Gaussians，MoGs)等浅层算法，难以实现数据表证的充分学习，无法自主获得合适的表征.这时需要借用人为干预，根据人工的经验分析数据，获得较为合适的数据表征，再将该表征输入机器学习算法进行训练.具备深度结构的算法模型能够弥补浅层算法在表征学习方面的不足，其深度的层次结构提供了理想的表征学习和数据抽象的能力.而深度神经网络具备多层次和分布式的结构特点，十分适合作为特征学习的算法，避免人为因素的干预，提高算法的学习能力.

深度神经网络模型主要包括以SAE为代表的数值模型和以深度信念网络(Deep belief networks，DBNs)为代表的概率模型，它们分别以受限玻尔兹曼机(Restricted Boltzmann machine，RBM)和自编码器(Auto-encoder，AE)为核心构建.数值模型和概率模型的本质区别在于隐层节点的功能不同.数值模型中隐层节点作为具有实际意义的计算单元存在，而概率模型中隐层节点作为算法的隐藏随机变量，并非实际计算节点.理论和实践表明，离散模型在训练二值化的离散数据时更具优势，而对于具备连续性和确定性的数值数据，数值模型会获得更好的训练效果[12].尾矿库安全评价时所需要处理的数据都是确定性连续数据，因此采用堆栈式自编码器作为训练单层神经网络的算法.

1.1堆栈式自编码器的网络结构

SAE网络结构由输入层，若干隐藏层和输出层三部分组成，如图1所示.预处理后的数据经输入层I进入网络，然后经过L个隐层H(1),H(2),…,H(L)逐层实现数据的抽象和特征提取.其中每个隐层都是输入数据的一种表征形式，最后得到输入数据合适的特征表示即H(L).SAE的多层结构既能提高评价模型的表征能力，又能避免节点数指数增长.最后由隐层H(L)和输出层O构建Softmax分类器，实现评价模型对尾矿库状态的多级分类.

图1　堆栈式自编码器示意图Fig.1　The image of stacked auto-encoder

作为深度神经网络，堆栈式自编码器中最重要的是参数的优化训练问题.一般来说，参数训练算法对于两层的网络结构是有效的.对于深度神经网络，若采用基于随机初始化的参数和输出误差，利用梯度的训练算法时，最高两层(靠近输出端的网络层)的参数仍会获得不错的训练效果，但较低层(靠近输入端的网络层)的参数训练效果却很差.这是因为梯度会在反向传播过程中逐层稀释，对于越靠前的网络层的权值修改的作用越小，使得无法获得网络权值最优解.然而较低层网络参数训练效果差会影响数据抽象过程中的表征学习，进而影响输出层的预测和分类.因此权值训练策略采用贪心逐层训练(Greedy layer-wise training)[13]的方式，该方法共包含三个步骤：网络预训练，网络展开，网络微调(Fine-tuning).贪心逐层初始化与参数随机初始化都是为了获得一个较好的网络参数初始值，减少网络参数陷入局部极值的可能性.对于深度神经网络，贪心逐层初始化具有更好的效果，它使训练好的网络参数更靠近最优值，且让较低层的网络参数也能得到充分的训练.

1.2网络预训练

图2　隐层网络预训练过程示意图Fig.2　The pre-training process of hidden layers

当隐层的节点数少于输入层时，AE的作用相当于对输入数据进行压缩，然而该思路不利于AE从数据中充分发掘内在信息，为了提高网络对于输入数据的抽象能力，采用隐层的节点数多于输入层节点数的网络结构.进而为了实现数据的特征提取，对AE的隐层节点输出值添加稀疏性限制从而构建稀疏自编码器模型[14]，该模型输出误差代价函数为：

(1)

(2)

(3)

(4)

网络的输出层为Softmax分类器，实现网络的多级分类.其中Softmax分类器的输入层即SAE的第L个隐层的H(L)，而其输出层的误差代价函数为

(5)

(6)

其中：W为分类器的权值向量；N为样本数；K为输出层节点数；I{·}为真值函数，当表达式为真时等于1，反之等于0.

基于式(1，5)，采用LM-BP算法对权值训练算法优化，以克服BP算法收敛速度慢和易陷入局部极小值的缺点.该算法权值更新策略[15]为

(7)

Rk=Tk-Yk

(8)

其中：Wk为第k次迭代的权值向量；Rk为输出误差向量；Tk和Yk分别为标准输出和实际输出；Jk为Rk关于Wk的Jacobian矩阵.

LM-BP算法实现：

Step 1初始化权值向量W和节点偏置向量b.设定误差项ε，系数μ，β，λ等参数.

Step 2根据式(1)或式(5)计算输出层的代价函数当前值Ek.

Step 3若Ek<ε，将Wk作为网络最终权值，结束训练；否则进行Step4.

Step 4计算Jk.

1.3网络展开和微调

网络展开是将预训练完成的L个自编码器和Softmax分类器链接成图1所示的堆栈式自编码器.但此时网络参数仅仅是各层独立训练时的最优值，需要微调得到网络参数的全局最优解.微调过程中将预处理后的数据再次输入网络，使用展开后的网络权值作为权值初始值，根据输出误差代价函数值，使用LM-BP算法训练整体网络参数以获得网络全局最优解.

2尾矿库安全评价实验

2.1实验数据说明

实验数据来自淳安某尾矿库的传感器，共有9个数据源，包括地表位移、库水位相对值、干滩长度、地表位移四类.其中地表位移传感器分设在上中下三个位置，每个位置包含偏移量传感器和倾斜角传感器.

数据源的部分原始数据如表1所示.可知不同数据源的数据具有不同的阈值，且由于采样时间间隔的不同，数据具有非线性变化和随机波动情况.

为获得一致的数据表现形式，采用max-min法对原始数据进行归一化处理，该方法为

(9)

表1　数据源部分采集数据

2.2仿真实验

实验数据共674个样本，其中400个作为训练样本，274个作为测试样本.堆栈式自编码器的网络结构为：输入层9个节点，3个隐层各36个节点，softmax分类器4个输出节点.

图3　隐层的收敛过程Fig.3　The convergence process of hidden layers

图4　softmax分类器的收敛过程Fig.4　The convergence process of softmax Classifier

图3，4为训练阶段，3个隐层H(1),H(2),H(3)和Softmax层输出误差代价函数值和参数梯度1范数的变化曲线.由图3得出：1) 相比于第1个隐层，训练第2和第3隐层的速度更快，这表明在使用“贪婪逐层训练”策略时，从原始数据提取特征最复杂，且特征抽象在更深网络层降低；2) 从图4看出：Softmax收敛速度快，能实现有效分类；3) 输入数据具有非线性和随机波动性，但各层训练时代价函数能够实现收敛，说明模型能够刻画并包容这些特性，并作出准确的评价结果.

微调阶段堆栈式自编码器的输出误差代价函数和参数梯度1范数的变化曲线如图5所示.经过逐层优化的预训练，网络参数已接近最优值，所以网络全局优化能够较快收敛.另一方面，微调阶段的初始时期由于参数并非网络的全局最优解，使得网络输出误差较大.随着权值和梯度调整，网络最终参数能很好的收敛，进一步验证了其对于尾矿库数据非线性和随机波动性的刻画能力.

图5　微调阶段参数训练过程Fig.5　The training process of fine-tuning

测试阶段将274个测试样本输入网络，比较输出值和目标值来获得评价准确率.同时观察3个隐层的节点输出值，以验证网络对于初始数据的抽象和特征提取能力.其中部分样本在三个隐层部分节点的输出值如表2所示.

表2　部分样本在三个隐层部分节点的输出值

隐层节点输出值代表其对于前一层数据的刻画作用，输出值越接近1，表明其刻画作用时越大，反之越接近0越小.观察表2可得：1) 同一样本在不同隐层呈现不同的表征形式，表明模型对输入数据的抽象能力；2) 稀疏性限制使得大多样本的多数节点的输出值接近0，实现了数据的特征提取；3) 不同样本在相同隐层的表征形式不同，表明网络能根据特征区分数据，实现多级分类.

表3给出的是分别使用基于LM-BP的普通三层神经网络和SAE算法构建尾矿库安全评价模型的仿真实验结果.三层神经网路的隐层节点数根据经验得到

(10)

其中：k为隐层节点数；m为输入层节点数；n为输出层节点数；N的取值范围为[1,10].

表3　基于LM-BP的神经网络和SAE的比较

根据表3可得：1) 因为对于普通BP神经网络，隐层节点过少会出现欠拟合，反之过多又会出现过拟合，因此当取值为14，处于合适节点数附近时，BP神经网络能表现最好的拟合程度，获得较好的预测准确率；2) 对于SAE来说微调前的预测准确率只有33.58%，体现出微调对于网络参数调整的重要性；3) SAE的越准确率为99.27%，十分理想，体现出其相对于普通BP神经网络的优越性，原因是受限于隐层节点数，普通BP神经网络不具备对数据足够的抽象能力，同时网络对于数据中的随机波动性和非线性的表征能力不足；4) 虽然在时间的量级上SAE的训练时间和预测时间都高于LM-BP，但预测所需时间其在平均到一次预测所需时间时并不会带来严重问题，这表明SAE具有不错的应用价值.

3结论

采用堆栈式自编码器算法构建尾矿库安全评价模型，网络的多层结构提高了评价模型对尾矿库数据的表征能力，有效刻画数据的非线性和随机波动性.逐层贪心训练策略克服模型易陷入局部最小值的缺陷，且一定程度上提高了模型的扩展性.最终该评价模型能够获得较好的评价准确率.因此堆栈式自编码器算法适用于安全评价模型的构建，为尾矿库安全评价模型的设计提供了一种新的思路.另外，堆栈式自编码器只是深度神经网络的一种，且就算其自身的变种方案也仍在被学术界广泛讨论中，对该方法应用于尾矿库安全评价的仍需进一步的研究和实验，以达到更好的效果和使用价值.

参考文献：

[1]谢旭阳，王云海，张兴凯，等．我国尾矿库数据库的建立[J]．中国安全生产科学技术，2008，4(2)：53-56．

[2]李全明，张兴凯，王云海，等．尾矿库溃坝风险指标体系及风险评价模型研究[J]．水利学报，2009，40(8)：989-994．

[3]尹君，王玉杰，吕林，等．基于模糊层次和集对分析的尾矿库安全评价及预测[J]．金属矿山，2010(10)：159-188．

[4]董龙洋，周宇，徐文强，等．基于证据理论的尾矿库安全评价[J]．安全与环境工程，2012，12(4)：74-77．

[5]王涛，侯克鹏，郭振世，等．层次分析法(AHP)在尾矿库安全运行分析中的应用[J]．岩土力学，2008，29(1)：680-686．

[6]俞峰，李荣钧．基于熵权的集对分析法在尾矿库安全评价中的应用[J]．黄金，2012，33(5)：51-53．

[7]孟凡丽，郑棋，李燕，等．基于BP神经网络的深基坑维护变形预测[J]．浙江工业大学学报，2014，42(4)：367-372．

[8]吕刚，郝平．基于神经网络的数字验证码识别研究[J]．浙江工业大学学报，2010，38(4)：433-436．

[9]王英博，王琳，李仲学．基于HS-BP算法的尾矿库安全评价[J]．系统工程理论与实践，2012，23(11)：2585-2590．

[10]郎学政．基于遗传神经网络的尾矿库浸润线预测方法研究[D]．淄博：山东理工大学，2013．

[11]BENGIO Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning，2009，2(1)：1-127．

[12]BENGIO Y, COURVILLE A, VINCENT P. Representation learning: A review and new perspectives[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(8)：1798-1826．

[13]HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation，2006，10(7)：1527-1554．

[14]BENGIO Y, LAMBIN P, POPVICI D, et al. Greedy layer-wise training of deep networks[J]. Advances in Neural Information Processing Systems，2007(19)：153-160．

[15]李文娟．改进BP神经网络在水质评价中的应用研究[D]．重庆：重庆理工大学，2011．

(责任编辑：刘岩)

中图分类号：TP183

文献标志码：A

文章编号：1006-4303(2015)03-0326-06

作者简介：陈国定(1962—)，男，浙江宁波人，教授，博士，研究方向为计算机先进控制、网络控制、电力电子与电力传动及其中控制策略等，E-mail：gdchen@zjut.edu.cn.

收稿日期：2014-12-29