深度神经网络模型超参数选取及评价研究——以含油气性多波地震响应特征提取为例

杨久强,林年添,张 凯,田高鹏,崔 岩

(1.山东科技大学地球科学与工程学院,山东青岛266590;2.核工业湖州勘测规划设计研究院股份有限公司,浙江湖州313000)

机器学习因其具有自适应、自学习和自组织能力,在油气地震勘探领域得到广泛应用。目前主要的机器学习方法有聚类分析[1-2]、遗传算法[3-4]、模糊理论[5-6]、支持向量机[7-9]、深度学习[10-12]等。此外,人工神经网络在油气藏预测方面也发挥了重要的作用[13-14]。人工神经网络应用于油气储层分布地震预测的主要目的是通过其非线性拟合能力分析由不同地质和地球物理来源获得的数据之间的相关性,以实现利用已知信息获取未知区域油气储层地震信息。

人工神经网络技术最早由MCCULLOCH等[15]提出。20世纪80年代,人工神经网络技术逐渐应用到物探领域,起初用于求解地震反演问题[16]。由于人工神经网络具有响应快、拟合能力强等特点,被逐渐应用于储层预测[17-21]。ABDULAZIZ等[22]利用测井数据和地震属性资料通过神经网络进行了油气储层质量预测。王俊等[23]通过门控循环单元神经网络预测储层孔渗饱参数。为了解决传统的单层神经网络算法在训练过程中存在的收敛速度较慢、网络不收敛等问题,HINTON等[24]提出了多层前馈神经网络,即深度学习。深度神经网络含有多个隐含层,具有强大的自主学习能力,经过不断学习取得的特征更能体现数据的本质。林年添等[25]以地震数据为驱动,借助深度神经网络智能提取、分类并识别地震油气特征。GAO等[26]通过一种深度神经网络与迁移学习相结合的方法进行了气藏识别。

深度神经网络可以映射数据间复杂的非线性关系,并且具有很强的鲁棒性。在油气藏分布地震预测中,能够很好地反映样本与样点之间的关系,提高地震油气藏分布的刻画精度。深度神经网络的性能可以通过超参数选取确定,超参数是指在构建深度神经网络时需要确定的网络结构参数等,这些参数的设置是在神经网络训练开始之前,而不是在网络训练过程中得到(如权值、偏置等)[27-28]。超参数有很多,如隐藏层的数目、神经元节点数、激活函数、优化算法、损失函数等。不同的超参数对网络模型的影响不同,有的会影响网络预测结果的精度,有的会影响网络的计算效率[29-30]。为了探讨深度神经网络超参数的取值对模型性能的影响,本文以气藏多波地震响应特征提取为例,研究了超参数的取值对油气藏分布边界的刻画精度的影响,为寻找深度神经网络超参数最优配置方案提供思路。

1 理论基础

1.1 深度神经网络

深度神经网络(deep neural network,DNN)是一种利用误差反向传播算法训练的多层神经网络,可以从原始数据中逐步提取更高层次的特征[31]。该网络共包含3个部分,如图1所示,其中,隐含层的数目不固定,具有3个及以上隐含层的神经网络称为深度神经网络(亦称多层神经网络)。深度神经网络在训练过程中包括两个过程,即信号前向传播过程和误差反向传播过程。在前向传播过程中,样本进入到网络中,经过隐含层处理后,获得网络的预测输出。将网络的预测输出与期望输出进行比较,若两者不一致,则进行反向传播[32-34]。神经网络在该过程中,通过各种参数优化方法,不断更新各层的权值和偏置,从而使网络的预测输出结果更加接近期望输出[35-36]。

图1 深度神经网络基本结构

深度神经网络某一神经元的输出为:

(1)

在误差反向传播中,误差ek计算公式为:

(2)

式中:di为期望输出;yi为神经网络的预测输出。

由(1)式和(2)式可知,误差函数ek由各神经元决定。因此需要对各层的权值和偏置进行优化,使网络的预测值不断接近真实值。目前用来优化神经网络的权值和偏置的训练算法很多,比较常用的算法是梯度下降算法,但是该算法在训练过程中收敛速度比较慢,并且易陷入局部极值。因此,本研究采用比梯度下降算法更快、收敛更稳定的莱文贝格-马夸特算法(Levenberg-Marquardt algorithm,LMA)进行网络权值和偏置的优化[37]。LMA可以看作是最速下降算法和高斯-牛顿算法的结合。当公式(2)中的误差过大时,即预测输出远离期望输出时,LMA类似于最速下降算法,而当预测输出接近期望输出时,LMA类似于高斯-牛顿算法。LMA优化算法更新权重w和偏置b的过程如(3)式和(4)式所示[38]。

(3)

(4)

式中:wl为当前的权值;wl+1为下一次更新后的权值;bl为当前的偏置;bl+1为下一次更新后的偏置;ek为误差;μ为正标量值或组合系数;I为单位矩阵;J为雅可比矩阵。

1.2 模型性能评价

通过均方误差(MSE)、平均绝对值误差(MAE)、拟合优度(R2)3个性能指标对模型的性能进行评价。这些指标的标准定义如下。

MSE:衡量预测值与实际值之间的误差,MSE的值(RMSE)越小,表明预测的精确度越高。

(5)

MAE:反映模型预测值的误差,MAE的值(RMAE)越小,表明预测的精确度越高。

(6)

R2:表征模型的拟合效果,R2的值越大,说明拟合效果越好。

(7)

2 超参数选取

2.1 样本数据准备

合理选择输入变量是建立精确预测模型的重要步骤,本研究拟以多波地震属性作为源数据进行相关数据处理与分析。地震属性的种类非常多,不同地震属性对气藏描述的贡献不同(测试区主要为气藏),将所有的地震属性都用来进行分析,会造成信息的冗余,影响网络的精度和计算效率,因此,需要优选出对气藏响应敏感的地震属性。根据前人的研究[39-41],我们构建了3种影响气藏分布预测的输入变量来进行深度神经网络超参数研究,即3种复合地震属性(比值属性F1,比值属性F2,乘积属性F3)[40-41],如图2所示。提取已知钻井含气区域的局部地震波形数据作为标准地震道,再计算标准地震道与钻井周围区域的地震数据的相似度来表征含气概率结果。最后将80%的数据作为训练数据集,将20%的数据作为测试数据集。

图2 3种复合地震属性[40-41]

2.2 隐含层数目的确定

增加深度神经网络隐含层数目会提高预测结果的精度,但盲目增加隐含层数会使网络结构变复杂,从而降低网络的训练效率,增加时间成本。对不同隐含层数目下神经网络的均方误差的分析发现(图3a),随着隐含层数目的增加,同一训练次数下的均方误差不断减小,层数较少时误差下降比较快,当大于7层时,误差趋于稳定。隐含层数目为7和9的神经网络在训练时的均方误差基本一致。当训练次数为20000次时,不同隐含层数目网络的误差下降到目标值,如图3b所示,说明网络在含有7个隐含层时已经得到了较好的训练,故本文确定隐含层的数目为7。

图3 神经网络性能曲线

2.3 隐含层节点数的确定

为了避免设计的训练网络过于复杂,网络的神经元节点数不宜过多。我们对同一数据集进行了大量的试验工作,设计了各种神经元数量的深度神经网络模型,发现当某一隐含层神经元数量超过15时,如(3-5-5-7-7-18-18-18-1),(3-5-5-11-11-18-18-18-1),(3-5-7-9-11-13-15-17-1),(3-7-7-11-11-15-15-15-1),(3-7-7-11-11-18-18-18-1),网络的预测结果不理想,网络的拟合度非常低(R2低于0.6),因此,隐含层节点数一般限制在3～15。我们利用性能指标对不同数量神经元(3～15)的深度神经网络模型的性能进行评估(表1)。从表1中可以看出,深度神经网络模型为(3-5-5-7-7-9-9-9-1)时,MSE,MAE的值非常小,表明该网络模型具有较高的预测精度,同时,R2较高,说明模型的拟合度较好,因此,我们选用结构为(3-5-5-7-7-9-9-9-1)的深度神经网络作为本研究中最佳的训练模型用于气藏地震响应特征的表征。

表1 不同深度神经网络模型的性能分析

2.4 激活函数的确定

为了使深度神经网络每层的输出不是输入的线性组合,提高整个神经网络的非线性拟合能力,需要对神经网络进行激活。常用的激活函数有Sigmoid函数、Tanh函数和Relu函数等(图4)。对3种激活函数分别进行误差测试,Sigmoid函数、Tanh函数和Relu函数训练1000次的误差分别为0.4293,0.0677和0.0124,可以看出Relu激活函数的误差最小。由图4c也可看出,Relu函数会在神经网络的训练过程中将隐含层部分神经元的输出变为0,降低了神经网络中参数之间的相互依存关系,有效地缓解了网络训练过程中过拟合问题的发生,同时极大地提高了网络训练的效率。

图4 常用的激活函数

2.5 深度神经网络模型的确定

采用LMA优化网络,最大迭代次数为30000次。网络训练从权值和偏置的随机值开始,因此刚开始进行迭代时的误差较大。在迭代过程中,训练算法通过调整参数,逐渐将MSE、MAE降低到非常小的值,直到满足精度要求(即RMSE小于0.001),训练停止,获得最佳的网络模型。最终,确定了7个隐含层的深度神经网络模型(3-5-5-7-7-9-9-9-1),这是本研究气藏地震响应特征描述应采用的最佳深度神经网络模型,其模型结构如图5所示。在本模型图中,输入变量(F1,F2,F3)分别由I1,I2,I3表示,每个隐含层中隐藏神经元的数量分别由H1到H9表示,用O1表示输出参数,应用于神经元节点的偏置如图5中的B1,B2,B3,B4,B5,B6,B7和B8所示。黑线表示正权重,灰线表示负权重。线的粗细与权重大小成正比。

图5 应用于含气性多波地震响应特征提取的最佳深度神经网络模型

3 预测结果分析与讨论

3.1 深度神经网络预测结果分析

图6给出了测试数据集中深度神经网络预测值与实际值的比较。可以看出,深度神经网络的预测数据点接近理想线(图中黑色实线),表明深度神经网络模型的预测结果具有较高的拟合度,同时,深度神经网络的预测值与实际值基本一致,说明深度神经网络具有良好的预测性能。这仅是数学意义上的评价,下面结合实际钻井数据资料作进一步分析。

图6 测试数据集中深度神经网络模型的预测值与实际值比较

测试区目标层共有11口井,包括7口气井(P1,N3,N2,M1,M2,M3,M4)和4口干井(O1,O2,N1,N4)。将神经网络训练所得模型应用于实现以测试区多波复合地震属性数据为驱动的气藏的分布预测,结果如图7所示。在刚开始进行训练时(如100次,500次,1000次),深度神经网络已经可以看到初步的气藏分布情况,但是刻画的边界信息不丰富,这与图3b的性能曲线相对应,在刚开始训练时,深度神经网络的均方误差较大。随着训练次数的增加(如5000次,10000次,15000次),深度神经网络的预测结果不断变化,所刻画的气藏边界逐渐清晰,信息逐渐丰富,与钻井信息的吻合度越来越高。从性能曲线也可以看出,随着训练次数的增加,均方误差不断下降。当训练次数达到20000次时,深度神经网络趋于稳定,预测结果随训练次数的增加(如25000次,30000次)变化不明显。可以看出,深度神经网络的预测结果与性能曲线基本一致,随着训练次数的增加,深度神经网络的均方误差不断下降,刻画的气藏边界也逐渐清晰,与钻井信息的吻合度也越来越高。当训练超过20000次时,深度神经网络的均方误差随着训练次数的增加下降不明显,网络的预测结果也趋于稳定,刻画的气藏边界信息与20000次时的预测结果基本一致。该结果表明,深度神经网络训练次数等超参数的选取对气藏范围的预测结果存在一定的影响。

3.2 基于测试区目标层局部构造特征的评价分析

测试区目标层构造如图8所示,红色代表构造高部位,蓝色代表构造低部位。结合钻井资料(除O1,O2,N1,N4为干井外,其它7口钻井在目标层均有气藏响应),可以看出,气藏的基本位于构造高部位,如图8黄色圆圈区域。深度神经网络模型训练20000次的预测结果与构造高部位基本吻合,如图9黄色圆圈区域,进一步说明了深度神经网络在参数选取合理的情况下,可以取得良好的预测结果。其它有利于地区目前尚未钻井,可以作为下一步的有利目标区进行布井。

4 结论

本文对应用于气藏多波地震响应特征提取的深度神经网络模型超参数进行了探讨,对不同隐含层数目的深度神经网络进行了误差分析,结果表明,随着隐含层数目的增加,同一训练次数下的均方误差不断减小,层数较少时误差下降的比较快,当大于7层时,误差趋于稳定。最终确定最佳的隐含层数为7层,最佳训练次数为20000次。对比网络不同训练次数下的预测结果表明,深度神经网络训练次数等超参数的选取对油气藏分布范围的预测结果存在一定的影响,在今后将神经网络应用于其它数据集时,应综合考虑超参数的影响,做出更好的配置方案。

尽管本文方法取得了一定的效果,但是深度神经网络部分超参数(如隐含层节点数等)的选取目前主要通过试错法来确定,在未来工作中可以进一步针对隐含层节点数的寻优进行更深入探讨与研究。

致谢:感谢中石化勘探开发研究院提供的资料。在论文的完成过程中,王守进、张栋、文博、付超、彭杰、魏乾乾、赵传伟、杨修超、张建彬等同志先后都做了不少工作,在此一并表示感谢。