改进LSTM神经网络在磨机负荷参数软测量中的应用

保 罗，郭旭琦，乔铁柱，阎高伟

(太原理工大学， 山西 太原 030024)

改进LSTM神经网络在磨机负荷参数软测量中的应用

保 罗，郭旭琦，乔铁柱，阎高伟

(太原理工大学， 山西 太原 030024)

球磨机是用于磨矿的高能耗设备，可靠测量其负荷对优化系统控制和节能降耗意义重大。针对传统磨机负荷参数软测量模型未考虑特征样本间的时间尺度信息，以及筒体振动和振声信号之间蕴含的潜在变量信息难以充分挖掘等问题，提出了基于改进长短时记忆(LSTM)神经网络的磨机负荷参数软测量方法。首先求取磨机筒体振动及振声信号的频谱，然后采用编码神经网络提取特征参数，并使用LSTM神经网络建立软测量回归模型对磨机负荷参数进行检测，最后在实验室小型球磨机上进行实验验证。实验结果表明，该方法具有较高的预测精度以及较好的稳定性。

湿式球磨机； 软测量； LSTM神经网络； 磨机负荷

1 前言

球磨机是广泛应用于电力、矿山和冶金等行业的重大能耗设备，而磨机负荷(ML)是磨矿过程中的重要参数，准确检测磨机内部的充填率(CVR)、料球比(MBVR)、矿浆浓度(PD)等负荷参数判断ML状态对实现磨矿过程的优化控制、节能降耗以及磨矿效率的提高意义重大[1]。

实际工业过程中的球磨机由于封闭旋转的运行特性，且其运行过程存在非线性、强耦合及易受多种不确定性干扰的问题，使得ML参数难以直接有效测量[2]，因此，基于辅助变量建模的软测量模型得到了广泛的应用。文献[3]基于不同工况条件下的磨机筒体振动频谱信号，建立了基于主元分析(PCA)和最小二乘支持向量机(LS- SVM)的ML参数软测量模型。文献[4]采用偏最小二乘法(PLS)进行振动信号的特征提取，然后采用极限学习机(ELM)建立软测量模型。文献[5]采用深度信念网络(DBN)对振动信号的功率谱进行特征提取，然后将提取的有效特征输入ELM进行建模。由于这种基于单一振动信号的软测量模型存在着泛化性差以及预测精度低的问题，因此可采用集成模型解决这一问题，从而提高工业过程软测量模型的泛化能力[6]。文献[7]通过自动划分频段建立基于核偏最小二乘(KPLS)的各分频段ML参数子模型，并采用信息熵加权得到最终的集成模型，但是仍然存在信息融合不充分、泛化性能差等问题。文献[8]提出了选择性融合多传感器信息的ML参数选择性集成建模，实现了多源多尺度频谱特征的选择性信息融合，提高了模型的泛化性和有效性。

上述软测量模型对于处理单尺度信号特征以及多传感器集成信号特征有较好的适用性，但是未考虑到多个信号特征之间的时间尺度信息，对模型的测量精度有一定的影响。针对上述问题，本文提出了一种基于LSTM神经网络的磨机负荷参数软测量模型，利用LSTM可以处理特征样本间的时间变量信息，将相邻的特征样本输入LSTM，并结合神经网络较强的非线性拟合能力建立回归模型，最后输出模型的估计值。此外，为了有效提高模型的预测精度，同时将磨机筒体的振动信号及振声信号组合进行建模。实验结果表明，该方法可有效提高ML参数的预测精度。

2 LSTM回归模型

2.1 基本理论

递归神经网络(RNN)是一种深层神经网络，能够在输出序列可变的环境中进行分类和生成任务，在人类语音识别、语音建模等领域获得了广泛应用。

长短时记忆(LSTM)神经网络是建立在RNN上的一种新型深度机器学习神经网络，其主要思想是使用特殊的神经元在长时间范围内存储并传递信息。它可以获得更持久的记忆，以及更轻松地捕获长期依赖项，减缓信息衰减的速率，增加深度计算的优势[9]。其网络模型增加了3个门的控制：输入门、输出门和遗忘门。它们用来选择性记忆反馈的误差函数随梯度下降的修正参数。当遗忘门被打开时，自己连接权值为1，记忆单元将内容写入自身。当遗忘门输出为0时，记忆单元会清除之前的内容。输出门允许在输出值为1的时候，神经网络的其它部分将内容记入记忆单元，而输入门则允许在输出值为1的时候，神经网络的其它部分读取记忆单元。

图1 LSTM记忆模块经典结构

LSTM的关键在于记忆模块，模块结构如图1所示。其单位时间的记忆单元Ct可以表示为：

(1)

式中it为输入门，ft为遗忘门，分别控制新内容的输入和旧内容的遗忘，计算公式如下：

it=σ(Wi[ht-1,xt]+bi)

(2)

ft=σ(Wf[ht-1,xt]+bf)

(3)

(4)

最后，一旦记忆单元更新，则当前隐含层输出ht的计算公式如下：

(5)

式中σ表示sigmoid激活函数，Wo和bo分别表示权值矩阵和偏置向量。

2.2LSTM回归建模

LSTM模型在训练预测时，更倾向于分类任务，为了解决回归任务中预测精度不高的缺点，本文在LSTM模型的基础上进行修改，添加一层神经网络作为回归模型的输出层，将其改为回归模型。

LSTM模型有多种网络结构，在本文的回归实验中，选择六输入单输出的网络结构模型，如图2所示。[x1,x2,…,x6]表示LSTM模型的输入，h7表示LSTM模型的输出。LSTM回归模型如图3所示，该模型采用反向传播(BP)[10]算法进行训练。在回归模型中的损失函数包含两个部分，首先是误差函数，计算公式如下：

(6)

图2 LSTM六输入单输出配置结构

其次是最小化的误差函数，即损失函数：

(7)

式中N为样本个数。训练结束后损失函数计算的实际值相当于均方误差(MSE)，它的值可用来衡量回归结果的精度[11]。

图3 LSTM回归模型结构

3 基于LSTM回归的软测量模型

软测量技术主要依据辅助变量与主导变量的数学函数模型，采用各种算法实现主导变量的测量或估计。本文分别采用球磨机的振动、振声信号作为辅助变量，利用LSTM神经网络建立回归模型估计3个磨机负荷参数。建模过程主要分为数据预处理、特征提取和回归建模3个部分，如图4所示。

图4 磨机负荷参数软测量模型流程图

建模的具体实现步骤如下。

(1)数据预处理。采集振动、振声两个传感器下的数据，采用Welch算法计算功率谱后进行数据分段。

(2)特征提取。采用编码神经网络作为特征提取器对预处理后的数据提取特征，并将提取特征后的数据集划分训练集和测试集。

(3)回归建模。根据三个磨机负荷参数对应的训练集训练LSTM神经网络，得到磨机负荷参数软测量模型。将对应的测试集样本输入，可得到负荷参数的预测结果，最后采用误差指标评估模型的性能。

4 实验结果与分析

4.1 实验过程及预处理

实验在一台小型湿式球磨机上进行。在实验过程中，振动传感器安置于远离电动机一端的轴承上，音频传感器安装在滚筒的筒壁上。实验开始时，首先在滚筒内添加定量的钢球和水，随后每次添加适量的矿料，使球磨机运行70s并采集数据。经过信号调理后以51.2kHz的采样速率进行采集。实验结束时，共采集到两个传感器下的各139组数据，每组数据点数为3×106。

对139组数据进行预处理，首先采用Welch方法[12]计算PSD，并通过编码神经网络进行特征参数提取，提取后的数据维度为250。然后将每组数据均划分为22段，取偶数段样本组成训练集，奇数段样本组成测试集，最后得到振动和振声传感器组合训练集规模为1 529×500，测试集规模为1 529×500。

4.2 实验结果分析

采用训练集数据分别针对料球比、矿浆浓度和充填率3个负荷参数建立LSTM回归模型并输出测量结果。为了评价该方法的建模性能，采用均方根误差(RMSE)作为测量精度的评价指标，其计算公式如下：

(8)

式中：N——测试样本的数量；

yi——第i个样本的真实值；

为了验证本文方法的有效性，采用偏最小二乘回归(PLS)、Mean Learner方法、支持向量机(SVM)、多层感知器(MLP)、随机森林(Random Forest)、回归树(Regression Tree)、近邻回归(Nearest Neighbors)、最小二乘支持向量机 (LS- SVM)[13]以及AdaBoost方法[14]进行对比，每种方法分别对于3个负荷参数：料球比(MBVR)、矿浆浓度(PD)以及充填率(CVR)进行建模，实验结果如表1所示，采用LSTM回归方法得到的3个参数的测量曲线如图5所示。

表1 不同测量模型的性能比较

图5 磨机负荷参数测量结果

从表1中可以看出，相比于其他回归方法，本文提出的LSTM回归方法在3个负荷参数的估计中RMSE 误差均达到了最小值。这是由于在传统的回归方法中，当使用数学模型来逼近输入与输出之间的映射关系时，大多数方法通过输入单个变量值估计输出，而未考虑变量间的时间因素，使得相邻变量间包含的时间信息丢失，从而使得信息挖掘不充分导致模型的预测精度降低。本文提出的LSTM回归方法通过输入多个相邻的变量建立模型，有较多的数据信息输入模型，从而使得建立的模型有较好的泛化性能和较高的预测精度。

从图5中可以看出，采用LSTM回归方法得到的负荷参数曲线与真实值的拟合程度较高，从而验证了本文方法的有效性。

实验采用振动信号与振声信号集成作为输入数据，与单独采用振声信号和振动信号所得实验结果进行比较，如表2所示。实验结果表明集成信号对环境影响具有更高的鲁棒性。

表2 不同输入信号下的参数测量性能比较

5 结论

针对传统的磨机负荷参数软测量模型中未考虑变量间的时间尺度信息使得模型的测量精度不高的问题，本文提出了一种基于LSTM神经网络的磨机负荷参数软测量模型，首先通过Welch 算法对样本进行转换，并采用编码神经网络提取样本特征，最后建立LSTM回归模型用于测量磨机负荷参数。通过将筒体振动信号以及振声信号结合进行建模，进一步提高了模型的泛化性能。实验结果表明，通过LSTM回归模型预测负荷参数可以获得较高的预测精度。

[1] 张立岩,柴天佑.氧化铝回转窑制粉系统磨机负荷的智能控制[J].控制理论与应用,2010,27(11):1471-1478.

[2] 汤 健,柴天佑,丛秋梅,等.基于EMD和选择性集成学习算法的磨机负荷参数软测量[J].自动化学报,2014,40(9):1853-1866.

[3] Tang J,Zhao L,Yu W,et al.Soft sensor modeling of ball mill load via principal component analysis and support vector machines [J].Advances in Neural Network Research and Applications.Springer Berlin Heidelberg,2010,803-810.

[4] Tang J，Wang D H，Chai T Y．Predicting mill load using partial least squares and extreme learning machines[J]．Soft Computing,2012,16(9): 1585-1594．

[5] 康 岩,卢慕超,阎高伟.基于DBN- ELM的球磨机料位软测量方法研究[J].仪表技术与传感器,2015,(4): 73-75.

[6] 桂卫华,阳春华,陈晓方,等.有色冶金过程建模与优化的若干问题及挑战[J].自动化学报,2013,39(3):197-207.

[7] 汤 健,柴天佑,赵立杰,等.基于振动频谱的磨矿过程球磨机负荷参数集成建模方法[J].控制理论与应用,2012,29(2):183-191.

[8] Tang J,Chai T,Yu W,et al.Modeling load parameters of ball mill in grinding process based on selective ensemble multisensor information[J].IEEE Transactions on Automation Science & Engineering,2013,10(3):726-740.

[9] Jozefowicz R,Zaremba W,Sutskever I.An empirical exploration of recurrent network architectures[J].2015.

[10] Kingma D,Ba J.Adam: a method for stochastic optimization[J].Computer Science,2015.

[11] Zaremba W,Sutskever I,Vinyals O.Recurrent neural network regularization[J].Eprint Arxiv,2014.

[12] Zhou yue,Si Gangquan,Cao Hui,Jia Lixin,Zhang Yanbin.A study of the power spectrum analysis application to ball mill load measurement[J].Industrial Instrumentation & Automation,2006,35(6): 21-24,32.

[13] Sapankevych N I,Sankar R.Time series prediction using support vector machines: a survey[J].IEEE Computational Intelligence Magazine,2009,4(2): 24-38.

[14] Freund Y.Experiment with a new boosting algorithm[C].Thirteenth International Conference on Machine Learning,1996.148-156.

Application of improved LSTM neural network in soft sensing of mill load parameters

Ball mill is a kind of high energy consuming equipment used in grinding. Reliable measurement of mill load is of great significance to optimize the system control and energy saving. According to the traditional soft measurement model of mill load parameter which has not considered the time scale information between characteristic samples and the information of latent variables between the cylinder vibration and acoustic signal is difficult to fully discover, a soft measurement method of mill load parameters based on improved long short term memory (LSTM)neural network is proposed. First of all, the spectrum of mill shell vibration and acoustic signal is obtained. Then the encoding neural network is used for feature extraction, and a LSTM neural network is applied to build a soft measurement regression model for detecting the parameters of mill load. At last, the experimental verification is carried out in a laboratory ball mill. The experimental results show that the method has high prediction accuracy and good stability.

wet ball mill; soft sensing; long short term memory neural network; mill load

TD679

A

2017-02-27

2017-05-04

保 罗(1989-)，男，玻利维亚留学生，硕士研究生，主要研究方向为智能信息处理。

国家自然科学基金资助项目(61450011)；山西省自然科学基金项目(2015011052)；山西省煤基重点科技攻关项目(MD 2014- 07)

1672-609X(2017)03-0066-04