基于回声状态网络的柴油性质近红外光谱测量模型

薄迎春 赵逸博 夏伯锴

(中国石油大学信息与控制工程学院，山东 青岛 266580)

近红外光谱(Near Infrared Spectroscopy，NIRS)测量技术是20世纪90年代产生的一种新型的光谱测量方法，具有快速、绿色环保、操作方便及可同时测量多种理化性质等特点[1，2]。目前，NIRS测量技术已经在石油石化[3，4]、食品工业[5]及生物制药[6]等多个产品质量检测和质量控制领域得到了广泛的应用。NIRS分析方法是一种间接测定方法，其利用氢基团化学键伸缩振动的倍频和合频在近红外区形成吸收光谱，并通过适当的化学计量学校正方法将吸收光谱信息与被测样品的性质数据进行关联，进而建立吸收光谱与被测样品性质之间的关系模型。

柴油性质测量对于保证柴油炼制过程的产品质量以及降低柴油燃烧过程的污染等方面均具有重要意义[7]。由于C-H基团对NIRS具有较强的吸收作用，因此NIRS非常适合于柴油性质的测量。

用化学计量学方法建立NIRS分析模型是NIRS测量的核心技术之一[8]。目前，常用的化学计量学方法主要有多元线性回归(Multiple Linear Regression，MLR)、主成分回归(Principal Components Regression，PCR)、偏最小二乘(Partial Least Squares，PLS)及人工神经网络(Artificial Neural Network，ANN)等[9]。与其他方法相比，ANN具有更强的非线性逼近能力，近年来，ANN已成为NIRS分析模型的研究热点之一[10，11]。然而，常规ANN学习速度缓慢，并且学习过程易陷入局部极小，同时由于初始参数选取的随机性，使得ANN的模型鲁棒性较弱，这极大地限制了ANN在NIRS测量中的应用。

笔者针对ANN在NIRS建模中的问题，提出了一种基于回声状态网络(Echo State Network，ESN)的NIRS分析模型建立方法，ESN是一种新型的ANN，是池计算的典型代表[12]。

1 方法原理①

1.1 ESN原理

ESN由输入、输出和动态神经元池(Dynamical Reservoir，DR)组成，其结构如图1所示。DR由大量的随机稀疏连接的神经元组成，DR内部神经元数量可以为几十、成百乃至上千个，这使得ESN可逼近复杂的非线性映射和非线性动力学系统。

图1 ESN结构

ESN的信息传递公式可表示为：

s(n)=σ(WINz(n)+WRs(n-1))

(1)

y(n)=WT(n)s(n)

(2)

其中σ是池内神经元的激活函数(一般选择为Sigmoid类型函数)，n表示样本输入的顺序，s为池内神经元输出向量(或称ESN的内部状态向量)，z为ESN输入向量，y为ESN输出向量,WIN、WR、W分别是输入到DR、DR内部和DR与输出之间的连接权值矩阵。在ESN中，WIN和WR在ESN生成时随机给定并在学习过程中保持不变，所以，ESN的学习过程只需训练W。

根据式(2)，W的计算方法如下：

WT=YS*

(3)

其中，Y=[y(1)，…，y(P)]为ESN的期望输出，P为样本个数，S*=(STS)-1，ST为S的Moore-Penrose逆，这里：

(4)

由式(3)可见，ESN的权值训练过程实质上是一个线性方程组的求解过程。与常规的ANN相比，ESN学习更为简单，并且，这个求解过程可直接获得权值的最优解，有效避免了常规ANN迭代学习过程易陷入局部极小的弊端。ESN本身是一种递归神经网络，但从其结构可以看出，若令WR=0，则ESN将会退化为常规的三层前馈网络。所以，可以根据样本的特点选择合适的谱半径(矩阵WR的最大奇异值)，当样本间存在较强的时间关系时，可以适当地加大ESN的谱半径，反之可以适当减小谱半径以消弱样本间的时间关系。

1.2ESN的集成学习

由于ESN的WIN、WR在网络建立时随机生成，这使得ESN的性能不够稳定，即使在神经元个数、谱半径[12]及稀疏度等宏观参数相同的情况下，其性能也会产生较大的波动[13]，在此情况下，为获得高性能的ESN，不得不进行大量的测试。根据ESN的生成和学习过程可知，ESN的性能波动是由于WIN、WR选取和DR连接方式存在随机性引起的，因此，这种性能波动可视为一种随机干扰。为提高ESN的性能稳定性，这里采用了一种集成学习的方式，即采用多个ESN对柴油性质的近红外光谱数据进行建模，建模过程采用Bagging技术中的简单自举方法，即每次在原始样本中随机抽取与样本集相同数量的样本进行建模。并将各ESN模型的输出经过平均得到模型的最终输出结果。即：

(5)

其中M为模型个数，y表示集成模型的输出，yi表示第i个ESN模型的输出。ESN的集成学习过程如图2所示。

图2 ESN的集成学习过程

2 实验研究

2.1实验数据

实验采取Eigenvector研究所的柴油性质近红外光谱数据集[14]。其光谱的采集范围为750～1 550nm，采样间隔为2nm。数据集中共包含255条光谱线(即255个样本)，每条近红外光谱包含401个数据点，这些数据点已经过异常值处理及数据平滑去噪等措施。数据集中柴油性质的近红外测量谱线如图3所示。

图3 柴油性质近红外测量谱线

由于十六烷值和密度是衡量柴油质量的两个重要的指标，所以，这里选取数据集中的十六烷值和密度参量进行NIRS分析模型的测试。测试过程采用MLR、PCR、PLS和ESN 4种方法。

首先对数据集中的十六烷值和密度值数据进行正规化处理：

(6)

其中，y′为正规化后的值，y为原始值，ymax、ymin分别表示向量y的最大值和最小值。

2.2ESN的初始参数选择及设置

ESN的输入神经元个数为17(采用主元分析和交叉验证方法确定)，DR内部神经元个数选为30，输出神经元数为2，ESN模型个数M=7。ESN中，WIN各元素在[-0.5,0.5]范围内随机取值。WR的取值方法如下：

(7)

其中η为稀疏度。通过改变η、a的值，可以改变WR矩阵的稀疏程度和谱半径。实验中，由于样本采样间隔较大，其时间关系较弱，取η=0.1，a=0.005(谱半径约为0.009)。

2.3实验结果及分析

图4、5分别为十六烷值模型和密度模型的测试结果，分析图4、5，在表1中列出了采用4种分析模型的各项误差指标。其中Emax为绝对误差最大值，EA为误差均值，ER为均方根误差，EV为误差的方差。

图4 十六烷值模型测试结果

图5 密度模型测试结果

项目十六烷值模型密度模型EmaxEAEREVEmaxEAEREVMLR72.31400.47999.190085.05900.00788.35×10-51.72×10-32.81×10-6PCR5.88810.44062.29995.14580.00287.55×10-57.91×10-46.25×10-7PLS5.77410.46882.14194.41100.00476.73×10-58.39×10-47.06×10-7ESN5.94620.27091.93963.72530.00212.03×10-57.31×10-45.39×10-7

从表1可见，MLR方法对于柴油十六烷值的建模效果较差，这主要是由于柴油十六烷值与光谱信息之间的非线性较强，而MLR更适合解决具有线性关系的建模问题。从衡量模型整体精度的指标(ER)来看，ESN对于柴油十六烷值的建模精度较PCR、PLS分别提高了15.67%、9.40%。从EV来看，ESN的模型误差的平稳性较好，这说明集成的ESN模型具有较好的鲁棒性。ESN模型的平均误差EA更接近于0，这说明ESN的建模误差分布更为均匀。对于柴油密度分析模型而言，ESN方法在各个指标上均优于其他方法所建立的模型。值得指出的是，由于柴油密度与NIRS测量数据间存在较强的线性关系，所以，MLR也取得了较好的效果。从结果来看，ESN的建模精度(以ER为指标)较PCA、PLS分别提高了7.59%、12.87%，较MLR提高了57.50%。从EA、EV来看，ESN模型误差波动较小，误差分布更为均匀。从表1可见，对于柴油性质的NIRS数据，无论是对于线性关系模型还是非线性关系模型，集成ESN方法均取得了较高的建模精度。

3 结论

3.1采用ESN建立了柴油性质NIRS分析模型，其精度优于常规化学计量学方法建立的模型。

3.2集成的ESN学习方法能够在较大程度上消除ESN初始结构设计随机性对模型性能的影响，从而提高模型的鲁棒性。

3.3ESN对线性、非线性模型均有较强的模型适应能力。

3.4实验中对ESN的参数主要采取经验方法选取。若能对ESN的参数(如DR内部神经元数量，谱半径及稀疏度等)进行优化，则ESN的建模能力会得到进一步增强，而池计算网络的结构优化问题也是ANN领域研究的热点之一。

[1] Syunyaev R Z，Balabin R M，Akhatov I S.Adsorption of Petroleum Asphaltents onto Reservoir Rock Sand Studied by Near-Infrared Spectroscopy[J].Energy & Fuels，2009，23(2)：1230～1236.

[2] 徐广通，刘泽龙，杨玉蕊，等.近红外光谱法测定柴油组成及其应用[J].石油学报，2002，18(4)：65～77.

[3] 郝勇，孙旭东，蔡丽君，等.基于互信息方法的燃油品质光谱分析模型构建与简化[J].光谱学与光谱分析，2012，32(1)：175～178.

[4] 樊泽霞，郭绪强，王杰祥.原油乳状液稳定性光学评价方法研究[J].中国石油大学学报(自然科学版)，2007，31(4)：130～138.

[5] 林涛，于海燕，应义斌.可见/近红外光谱技术在液态食品检测中的应用研究进展[J].光谱学与光谱分析，2008，28(2)：285～290.

[6] Garrido P，Paula M，Marques M，et al.Spectroscopic and Electrochemical Studies of Cocaine-Pioid Interactions[J]. Anal Bioanal Chem，2007，388(8)：1799～1808.

[7] 王志芳，夏伯锴.用基团法预测柴油密度值[J].化工自动化及仪表，2009，36(1)：67～70.

[8] 袁天军，王家俊.近红外光谱法的应用及相关标准综述[J].中国农学通报，2013，29(20)：190～196.

[9] 褚小立，许育鹏，陆婉珍.用于近红外光谱分析的化学计量学方法研究与应用进展[J].分析化学评述与进展，2008，36(5)：702～709.

[10] Kim S C，Herlina A R，Ruzairi A R.Artificial Neural Network Coupled with Robust Principal Components in Near Infrared Spectroscopic Analysis[C].IEEE 8th International Colloquium on Signal Processing and Its Applications.Melaka:IEEE,2012：19～22.

[11] 雷萌，李明，吴楠.基于神经网络集成的挥发分近红外回归模型[J].中国矿业大学学报，2013，42(2)：291～295.

[12] Herbert J.Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication[J]. Science，2004，304(5667)：78～80.

[13] 薄迎春，乔俊飞，张昭昭.一种具有small world 特性的ESN 结构分析与设计[J].控制与决策，2012，27(3)： 383～388.

[14] Soutwest Research Institute(SWRI).Near Infrared Spectra of Diesel Fuels [EB/OL].http://software.Eigen- vector.com/Data/index. Html，2005.