基于灵敏度分析的海洋油气资源BP神经网络预测模型的优化

赵 健,刘 展

(中国石油大学(华东)地球科学与技术学院,山东 青岛 266580)



基于灵敏度分析的海洋油气资源BP神经网络预测模型的优化

赵 健,刘 展

(中国石油大学(华东)地球科学与技术学院,山东 青岛 266580)

作者针对BP神经网络结构设计中存在的问题,提出利用灵敏度分析方法对BP神经网络预测模型进行优化。通过BP算法与参数灵敏度分析的结合,寻找网络输入属性与输出属性之间的影响因子;在保证精度的前提下优选网络输入属性,简化网络结构,以增强网络的泛化能力,减少人为主观因素对网络设计的影响。最后以海洋油气资源预测为例,结合实测资料建立BP神经网络预测模型并进行了优化及预测精度评价,表明优化后的模型既能有效提高油气资源预测结果的稳定性,又不损失预测精度。

BP神经网络;网络结构设计;灵敏度分析;模型优化

doi:10.11759//hykx20141113001

神经网络模型由于其在非线性系统建模与优化求解方面的优势,被广泛应用于预测控制中。BP神经网络是应用最为广泛和成功的神经网络之一,以其独有的学习记忆和非线性逼近能力在油气资源勘探资料处理中被广泛应用。BP神经网络可自动模拟各种影响因素之间的自然关系,进行全局优化搜索,减少人为干预,提高油气预测的准确率[1]。

对于BP神经网络预测,构建合适的网络结构尤其是选取适当的输入变量至关重要,直接决定着预测的精度。在实际应用过程中,BP网络结构的设计带有较大的主观性,特别是隐含层节点数一般根据经验确定,导致同样的问题不同操作者会得到不同的结果[2]。为了解决上述问题,很多研究人员从BP网络结构的优化方面进行了改进,如对学习算法附加动量项、变学习率、分级学习[3],利用智能算法调整权值等[4];针对网络隐含层节点数确定问题,通过连接权大小删除与合并隐含层节点[5]、灰色关联分析与遗传算法同时优化网络结构与权值[6];利用统计分析如相关性、自相关和部分自相关分析等方法选取适当的输入变量[7-8]。这些研究在一定程度上提高了BP网络的性能,减少了网络结构设计中的人为主观因素。

作者在对BP算法进行深入分析的基础上,利用参数灵敏度分析模型,对网络输入输出间的变化关系进行分析,寻找网络输入属性与输出属性间的影响因子,评价网络结构性能并进行模型优化。最后应用该优化方法处理了海洋油气资源勘探实测资料,表明优化后的模型既能有效提高油气资源预测结果的稳定性,又能保持较高的预测精度。

1 BP神经网络原理

BP神经网络(Back-Propagation neutral network, BP)是指基于误差反向传播算法(BP算法)的多层前向神经网络。BP网络由输入层、隐含层和输出层3层构成,各层之间由权系数连接,每一层的输出为下一层的输入。理论上已证明:具有阈值和至少一个S型隐含层加上一个线性输出层的BP网络,能以任意精度逼近任意复杂的非线性函数。

BP算法基本思想是根据网络实际输出与期望输出的误差,从输出层开始,反向调整网络的权值,最终使输出的均方误差最小。隐含层节点的激活函数通常选择S型函数,其表达式如下:

其中f为对数传输函数,z为隐含层与输出层的神经元。

BP算法的误差反向传播实际是一种监督学习方法,它利用均方误差和梯度下降法来实现网络连接权值的修正,以保证误差平方和最小。为消除输入样本顺序对训练结果的影响,可采取批处理方式修改权值。首先对网络连接权值设置小的初值,当网络经过全部学习模式的训练以后,将每个学习模式产生的误差梯度平均在一起,然后将累计平方误差的平均值与目标误差比较,再按照学习规则修正网络中各个权值和阈值,直至算法收敛。

理论分析和实验证明,BP算法的迭代学习误差曲线上存在局部极小值,并且误差曲线表面上绝大部分区域是下降斜率非常小的平坦区域,使得BP算法的收敛速度十分缓慢,同时还不能保证全局极小值的获得[9-11]。因此将BP网络应用于实际问题时,需要进行各种改进来适应问题的求解[3-8]。

2 BP神经网络的优化

现实系统中,系统输出常受多个参数的共同影响,在系统模型化的过程中,只需要对影响程度大的主要参数的数值进行准确估计,即可用以建立合理可靠的系统模型。参数灵敏度分析的目的正是计算各系统参数对于系统输出的影响因子,从而对系统参数进行优选[12]。神经网络能够模拟复杂的非线性系统,关键在于其网络拓扑结构与学习算法的合理搭配。作者借用灵敏度分析的计算方法求出BP网络的灵敏度,根据灵敏度的大小找出对输出影响较大的属性,进而对网络输入层节点进行筛选,达到优化BP网络结构的目的。

灵敏度指标一般取为一阶灵敏度系数,即系统输出对系统参数的一阶导数。在复杂系统中,由于系统方程的复杂性,灵敏度指标常常无法直接计算得到。常用的简化计算方法是进行单因素分析,即对某一系统参数进行微小摄动,同时固定其他参数取值,进行系统计算,得到相应系统输出,然后采用差分计算得到灵敏度大小[13]。

2.1 BP网络灵敏度分析

对于典型的3层BP神经网络,网络输出o与网络输入x之间的映射关系为:

其中x为网络的输入向量,iz为第i层神经元的输入向量,iw为第i–1层与第i层神经元间的连接权值矩阵,iθ为第i层神经元的阈值向量,if为第i层神经元的S型激活函数,1y为隐含层神经元输出向量,o为网络的输出向量。将隐含层视为第一层,输出层视为第二层。

在实际应用中,受S型激活函数数值计算范围限制,BP网络计算时需要对输出输入值进行归一化处理,将数值限定在[0,1]区间内。在此限定x与o为归一化处理后的向量。常用的归一化计算公式为:

其中x*、 o*为网络实际输入、输出; xmin、 xmax、omin、 omax分别表示网络输入和输出向量的极小值和极大值。网络输出o相对于输入x的灵敏度矩阵可由下式计算得到:

隐含层与输出层的S型激活函数均取对数传输函数:

其导数为:

式(6)即为利用含一个隐含层的BP神经网络计算灵敏度矩阵的表达式。利用学习模式数据对BP网络进行训练后,参数1w、1θ、2w可直接得到;再将式(8)代入式(6)即可方便地计算出灵敏度矩阵。提取矩阵中输出变量相对于输入变量的一阶导数,就得到了各个输入变量的灵敏度指标。灵敏度指标反映了输入变量对输出变量的影响程度,据此即可对BP网络模型的性能进行评价。

2.2 BP网络预测精度的评价

目前,对BP神经网络预测精度的评价还没有被广泛认可的统一标准,通常需要利用多种指标对网络预测能力进行评价,并分析不同指标评价结果的一致性。作者采用均方误差RMSE、相关系数r两种评价指标分析优化前后BP网络的预测精度[8,13]。

(1)均方误差RMSE

(2)相关系数r

其中,n为预测样本数; vi、oi分别表示BP网络预测样本输出的实测值及预测值(i=1,2,…,n);、分别表示实测值及预测值的平均值。RMSE、r分别从误差大小、相关程度两方面对BP网络的预测精度进行分析,可以较好地评价网络的泛化能力。

3 应用实例

基于上述BP神经网络的分析,作者结合海洋油气化探、地质、地球物理等勘探资料建立海洋油气资源BP神经网络预测模型,利用灵敏度分析方法对模型进行优化,并对优化前后BP网络预测精度进行评价。

3.1 BP神经网络预测模型结构设计

在石油勘探中,油气化探、地质、物探等资料均可进行油气资源评价,但这些信息与油气藏之间并非都存在明确的一一对应关系,而且不同研究区域其对应关系也不尽相同。将油气化探与地质、地震、非地震物探、遥感等勘探技术结合,不仅能克服单一方法存在的局限性和不确定性,从直接的油气物质成分和间接的油气赋存条件等多个方面提取综合信息,还可以缩短油气勘探周期,降低勘探成本。但在利用BP神经网络进行油气资源预测时,采用哪些指标进行预测具有较大的主观性。较多的输入信息个数会影响网络性能,而且这些信息之间可能会包含许多彼此相关的因素,从而造成信息资料的重复和浪费[1]。

根据渤海湾某研究区勘探资料,通过对已知钻井的分析研究,共选取7种指标组成BP网络输入属性(表1)。首先进行了油气地质综合分析,主要考虑油气生成、运移、成藏等因素及先后顺序关系,得到油气地质综合评价(F5)指标。同时结合同步荧光330nm(F1)、酸解烃丙烷(F2)、酸解烃乙烯(F3)、热释烃乙烷(F4)等油气化探指标,以及重力垂向二阶导数(F6)、磁力垂向一阶导数(F7)等组成BP网络输入,以实际油气藏类型为网络输出目标值,输出层节点数为6,具体含义如表2所示[1]。

表1 BP网络输入属性Tab.1 Input significance of BP neural network

BP网络隐含层设计为1层,节点数为10个。随机选取研究区20组已知异常模式中的10组作为学习模式(表3)来训练网络,剩余10组用于测试BP网络预测能力。

表2 BP网络模型期望输出含义Tab.2 Output signification of BP neural network

表3 BP网络学习模式Tab.3 Study patterns of BP neural network

3.2 BP网络灵敏度分析

对于上述设计好的BP网络及学习模式,设最大学习次数30000次,系统最大误差0.0001,网络学习率设为0.15,并在权值调整过程中附加动量项。网络训练21443次后收敛,训练过程结束,10组学习模式实际输出与期望输出如表4所示。

表4 BP网络学习模式实际输出与期望输出Tab.4 Actual output and expected output of BP neural network study patterns

由训练过程得到的参数1w、1θ、2w 利用式(6)即可计算出BP网络的灵敏度矩阵,如表5所示。提取矩阵中输出变量相对于输入变量的一阶导数,考察各个输入变量对输出变量的影响程度,分析结果见表6。

表5 BP网络灵敏度矩阵Tab.5 Sensitivity matrix of BP neural network

表6 影响因素结果分析Tab.6 Results of the analysis of influence factors

(1)F1(同步荧光330 nm)、F2(酸解烃丙烷)、F3(酸解烃乙烯)属性与油气预测的关系为负相关,其中F1影响程度最大,F3较大,F2较小。

(2)F4(热释烃乙烷)、F5(油气地质综合评价)属性与油气预测的关系为正相关,其中F5影响程度大, F4较小。

(3)F6(重力垂向二阶导数)、F7(磁力垂向一阶导数)属性与油气预测的关系为负相关,其中F6影响程度较大,F7最小。

根据灵敏度分析结果,为优化网络结构,去除影响程度较小的F4、F7属性,仅选择F1、F2、F3、F5、F6等5种属性作为优化后的BP网络输入属性。保留10组学习模式中的这5种属性作为学习模式,则优化后网络输入层节点数变为5。仍设隐含层为1 层,节点数为10,最大学习次数30 000次,系统最大误差0.0001,学习率设为0.15,并在权值调整过程中附加动量项。优化后BP网络训练25 468次后收敛,训练过程结束。比较表7与表4可发现,虽然输入属性减少,优化后的BP网络学习过程迭代次数稍有增加,但网络输出结果与优化前一致,由图1可以看出优化后网络期望输出与实际输出的偏差分布更为均匀,学习过程更为稳定。

表7 优化后BP网络学习模式实际输出与期望输出Tab.7 Actual output and expected output of BP neural network study patterns after optimization

图1 优化前后BP网络学习模式偏差Fig.1 Deviations of BP neural network learning patterns before and after optimization

3.3 优化前后BP网络预测精度评价

利用研究区剩余10组异常模式,分别利用优化前后的BP网络模型进行预测,并由预测值与实测值计算各自的均方误差RMSE与相关系数r,结果如表8所示。

表8 优化前后BP网络预测精度Tab.8 Prediction accuracy of BP neural network before and after optimization

RMSE越小,表明网络预测精度越高;而r代表了预测值与实测值之间的一致性,其绝对值越靠近1,表明预测结果越接近实际观测。可以看出优化后的BP网络在保证稳定性的同时,预测精度并无降低,网络仍具有较强的泛化能力。

BP网络预测精度受网络结构(输入层、输出层节点数、隐含层数及节点数)、预测模式集大小、学习率等因素影响,不同网络结构、不同模式数、不同学习率会产生不同的评价结果,应在对不同网络结构模型预测精度分析的基础上,综合多种因素来优选最佳网络结构。

4 结论

BP神经网络作为一种具有高度非线性映射能力的计算模型,可自动模拟各种影响因素间的自然关系。作者在分析BP算法的基础上,利用参数灵敏度分析方法研究BP网络输入属性与输出属性之间的影响因子,对BP网络结构进行优化。应用该方法对海洋油气资源勘探实测资料的处理结果表明,优化后的BP网络模型既能有效提高预测结果的稳定性,又能保证较高的预测精度。作者对网络结构的优化是不断试验获得的,因此针对海洋油气资源预测,构建合适的网络结构至关重要,BP神经网络结构的设计还需要进一步的理论研究。

[1] 赵健,刘展,张勇.激光单分子BTEX异常的人工神经网络评价技术[J].海洋科学,2008,32(3):6-12.

Zhao Jian,Liu Zhan,Zhang Yong.Artificial neural network evaluation technology for comprehensive evaluation of BTEX anomalies using a single molecule detection by laser[J].Marine Sciences,2008,32(3):6-12.

[2] 阴江宁,肖克炎,李楠,等.BP神经网络在化探数据分类中的应用[J].地质通报,2010,29(10):1564-1571.

Yin Jiangning,Xiao Keyan,Li Nan,et al.Application of BP neural network in the classification of geochemical survey data[J].Geological Bulletin of China, 2010,29(10):1564-1571.

[3] Hagen M T,Demuth H B.Neural network design[M].Beijing:China Machine Press,2001.

[4] 张材,谭建平.基于遗传算法反向传播模型的板形模式识别[J].中南大学学报(自然科学版),2006,37(2): 294-299.

Zhang Cai,Tan Jianping.Strip flatness pattern recognition based on genetic algorithms-back propagation model[J].Journal of Central South University(Science and Technology),2006,37(2):294-299.

[5] 李晓峰,徐玖平.BP人工神经网络自适应学习算法的建立及其应用[J].系统工程理论与实践,2004,5:1-8.

Li Xiaofeng,Xu Jiuping.The establishment of self-adapting algorithm of BP neural network and its application[J].SystemsEngineering-theory&Practice,2004,5:1-8.

[6] 唐万梅.BP神经网络网络结构优化问题的研究[J].系统工程理论与实践,2005,10:95-100.

Tang Wanmei.The study of the optimal structure of BP neuralnetwork[J].Systems Engineering–theory & Practice,2005,10:95-100.

[7] 王国成,柳林涛,徐爱功,等.径向基函数神经网络在GPS卫星钟差预报中的应用[J].测绘学报,2014, 43(8):803-807.

Wang Guocheng,Liu Lintao,Xu Aigong,et al.The application of radial basis function neural network in the GPS satellite clock bias prediction[J].Acta Geodaetica etCartographica Sinica,2014,43(8): 803-807.

[8] Li G,Shi J.On comparing three artificial neural networks for wind speed forecasting[J].Applied Energy,2010,87: 2313-2320.

[9] 沈云中,陶本藻.实用测量数据处理方法(第二版)[M].北京:测绘出版社,2012:165-178.

Shen Yunzhong,Tao Benzao.Practical methods for surveying data processing[M].Beijing:Surveying and Mapping Press,2012:165-178.

[10]Imani M,You R J,Kuo C Y.Caspian Sea level prediction using satellite altimetry by artificial neural networks[J].International Journal of Environmental Science and Technology,2014,11:1035-1042.

[11]Yu S W,Zhu K J,Diao F Q.A dynamic all parameters adaptive BP neural networks model and its application on oil reservoir prediction[J].Applied Mathematics and Computation,2008,195:66-75.

[12]俞集辉,韦俊涛,彭光金,等.基于人工神经网络的参数灵敏度分析模型[J].计算机应用研究,2009, 26(6):2279-2281.

Yu Jihui,Wei Juntao,Peng Guangjin,et al.Parameter sensitivity analysis based on artificial neural network[J].Application Research of Computers,2009,26(6):2279-2281.

[13]Mohammad A G,Rahman K,Ali A,et al.Sea water levelforecasting using genetic programming and comparing the performance with Artificialneural networks[J].Computers& Geosciences,2010,36(5): 620–627.

(本文编辑:谭雪静)

Structure optimization of ocean oil and gas resources via BP neural network prediction model based on sensitivity analysis

ZHAO Jian,LIU Zhan

(School of Geosciences,China University of Petroleum,Qingdao 266580,China)

Nov.13,2014

BP neural network;network structure design;sensitivity analysis;model optimization

To resolve problems existing in the backpropagation(BP)neural network structure design,we used the sensitivity analysis method to optimize the BP neural network prediction model.First,we investigated the impact factors of the input and output attributes of the network by combining the BP algorithm and parameter sensitivity analysis.Then,based on an accurate premise,we optimized the input attributes of the BP network and simplified the model network structure to improve the network’s generalization ability and to greatly reduce the subjective choice of the structural parameters.Lastly,taking ocean oil and gas resources prediction as an example,we established the BP neural network prediction model using the measured data,and conducted a sensitivity analysis and prediction accuracy evaluation.The results indicate that the optimized model can effectively improve the stability of the prediction results with no loss in prediction accuracy.

TP183,TE51

A

1000-3096(2016)05-0103-06

2014-11-13;

2015-04-03

山东省自然科学基金项目(ZR2014DQ008);中国石油科技创新基金项目(2015D-5006-0302);中央高校基本科研业务费专项基金(16CX02031A)

[Foundation:Shandong Provincial Natural Science Foundation,China,No.ZR2014DQ008;PetroChina Innovation Foundation,No.2015D-5006-0302;the Foundamental Research Funds for the Central Universities,No.16CX02031A]

赵健(1981-),男,山东齐河人,讲师,博士,主要从事海洋空间信息技术与探测研究,电话:13793297350,E-mail:zhjianupc@163.com