采用带注意力机制3D U-Net网络的地质模型参数化技术

李小波，李欣，闫林，周腾骅，李顺明，王继强，李心浩

（1.中国石油勘探开发研究院人工智能研究中心，北京 100083；2.中国石油天然气集团有限公司勘探开发人工智能技术研发中心，北京 100083；3.中国石油勘探开发研究院油田开发研究所，北京 100083）

0 引言

油藏历史拟合的计算量会随着地质模型精细化、不确定因素的增加以及研究问题的深入而显著增加[1-2]。解决上述问题的途径之一是使用代理模型[3]来提升油藏历史拟合过程中的计算速度；另一途径是采用地质模型参数化技术将相关性强的模型参变量从高维空间映射到低维空间，达到大幅降低油藏历史拟合计算量的效果。该技术的主要挑战在于尽可能降低原始地质模型参变量维度的同时，保留足够精细的原始模型地质特征信息。

截至目前，油藏历史拟合领域已发展了 3大类地质模型参数化技术：第 1类是基于一些传统数学变换方法来降低原始地质模型参变量维度，比如主成分分析（PCA）及其变种、离散小波变换（DWT）、离散余弦变换（DCT）、水平集函数（Level-Set）等[4-9]。这些方法各有其优缺点，其中最为常用的PCA方法通过矩阵的特征值排序来实现线性降维，其缺点在于协方差不能够直接处理具有多点统计特征的地质模型。第 2类是利用深度学习网络模型将原始地质模型参变量转换为网络模型内部的低维隐变量，比如自编码器（AE）、变分自编码器（VAE）、深度信念网络（DBN）、生成对抗网络（GAN）等[10-13]，这类方法普遍存在数据依赖性强、可解释性差等缺点。第 3类是将传统数学变换方法特别是其中的PCA方法与深度学习模型结合起来使用，比如 CNN（卷积神经网络）-PCA和 PCACycle-GAN等[9,14-15]，这类方法先利用PCA方法进行降维，然后利用训练好的深度学习模型对PCA降维过程中丢失的地质特征信息进行补全，从而弥补PCA方法不能够直接处理具有多点统计特征地质模型的不足。

Liu等[9,14]提出了一个用于三维复杂地质模型参数化的CNN-PCA技术框架。该技术在PCA降维基础上，引入残差网络模型 ResNet来补全 PCA降维过程中丢失的模型细节信息。在具体实现中，Liu等[9,14]在模型训练中还使用了一个综合地质图像内容、风格和井点硬数据的损失函数来定量评估网络模型训练效果，其中地质图像风格使用预训练好的C3D网络模型来针对地质模型逐层提取。本文针对三维复合河道砂体油藏模型的进一步研究发现：采用ResNet网络模型对PCA降维模型进行细节补全后，河道走向和河道砂体边缘仍存在较大的损失；在网络模型训练中采用预训练好的C3D网络模型逐层提取图像风格特征，存在可解释性差和后期针对复杂沉积环境下地质模型进行迁移应用时有风险的问题。

针对上述问题，本文不使用预训练好的C3D网络模型来提取三维模型风格特征，而采用新的损失函数，并引入一种带注意力机制的3D U-Net网络模型来更好地补全PCA降维过程中丢失的模型细节信息。以一个复合河道砂体油藏为例，对比分析 CNN-PCA和本文技术的应用效果。

1 带注意力机制的3D U-Net网络模型及相应的损失函数

3D U-Net网络模型是生物医学图像智能化领域应用较为成功的三维图像分割网络模型之一[16-17]，该网络包含了1个卷积部分和1个上采样部分。其中，卷积部分由 3个编码块组成，并且卷积部分和上采样部分的网络层具有一一对应的关系。因此，可以将对应的特征层通过拼接的方式连接在一起进行计算，从而将输入模型在下采样过程中丢失的语义特征传递到上采样层，融合了多尺度的特征，使得每层的特征都得到了有效计算，图像分割能力显著提升。本质上，3D U-Net网络模型仍是一种基于编码器-解码器模型框架（Encoder-Decoder）的神经网络模型，同样存在该框架的固有问题，即所有输入对中间语义向量的影响都相同，没有区分重点，在持续输入过程中前期的输入容易丢失很多细节信息。鉴于此，引入注意力机制提升3D U-Net网络模型性能成为众多学者关注的焦点[18-20]。

经过对比研究，本文采用 Oktay等[19]提出的“门控信号”注意力机制来提升3D U-Net网络模型预测精度。具体每个层级的通道数分别为64、128、256、512和1 024，每个层级编码器与对应的解码器进行特征拼接前，通过一个“门控信号”注意力模块调整编码器的输出，从而提升网络的预测精度。实验表明，这种“门控信号”注意力机制对3D U-Net网络模型结构的改动工作量少，可明显提高网络对重要特征的关注度，并抑制对不相关特征的学习，从而提升3D U-Net网络模型的灵敏度和准确度。

“门控信号”注意力机制如图1所示，g为门控信号，xl为输入信号，Wg，Wx，ψ为卷积核。g将信息尺度较为粗糙的信息叠加到xl来消除跳跃连接中相关性较弱的特征响应并突出重要特征，从而学习得到注意力系数α，再与xl相乘得到用于拼接的特征向量xˆl。

图1 “门控信号”注意力机制

Liu等[9,14]在训练 ResNet网络模型时使用了预训练好的C3D网络模型来逐层提取三维地质模型图像的风格特征，并且为了改善训练效果还另外生成一些扰动模型参与训练。经过实验研究发现，该做法的训练效率和技术效果需要进一步改进，此外存在C3D网络模型的可解释性差以及后期迁移应用有风险等问题。为此，本文放弃使用预训练好的C3D网络模型，使用综合 Tversky损失和硬数据损失两者的损失函数来完成3D U-Net网络模型训练，该损失函数具体表达式为：

进一步考虑了模型的地质概念，将模型纵向按地质层分段计算 Tversky损失[20]后求和，兼顾了精确度和召回率，在实验中表现出了良好的性能。具体有：

经过多次实验，选择了一组效果较好的网络模型超参数组合，具体为：每层通道数分别取64，128，512，1 024，并令注意力门中的中间通道数取对应通道数的1/2，损失函数权重取γt=500，γh=80，Tversky损失中系数取αt=0.5。上述超参数取值使得Tversky损失和硬数据损失在训练起步时数值接近，并有足够的数量级，降低陷入局部最优的风险。针对本文算例进行10轮模型训练，训练过程共耗时4 h，损失函数变化情况如图2所示，训练后期函数变化满足收敛要求。

图2 损失函数值随迭代轮数变化图

2 算例分析

本文使用 1个复合河道砂体油藏算例进行对比研究。该算例包括6口生产井（P1，P4，P5，P11，P12，P15）的岩石相和孔隙度、渗透率、饱和度等硬数据，结合物源方向、河道展布特征等地质认识，采用商业建模软件随机模拟得到总数为3 000个的砂-泥两相复合河道砂体油藏地质模型集合，每个模型包含42 560（76×112×5）个网格，纵向上1—3层为1个地质层段，4—5层为1个地质层段，油藏流体包含油气水三相，其中 1个具体油藏模型如图 3所示。图中色标表示岩相，0代表泥岩相，1代表砂岩相，不等于0或不等于1代表信息在降维过程中有丢失，原来为1的位置降维后为 0也表示信息有丢失，需要用神经网络补全修复。

图3 复合河道砂体油藏地质模型示例

采用PCA对原始的复合河道砂体油藏地质模型进行降维处理后，得到如图 4所示的图像，此时河道砂体的展布信息变得模糊。显然，PCA降维会导致原始地质模型细节信息的丢失，需要进一步利用CNN模型来进行丢失信息的补全。

图4 PCA降维后的复合河道砂体油藏地质模型

采用Liu等[9,14]提供的残差网络模型对PCA降维后的复合河道砂体油藏地质模型进行信息补全后的结果如图 5所示。与原始模型相比，河道宽度（边缘）与河道走向等关键信息仍然存在较大损失，均方差为696.30。

图5 采用残差网络模型补全后的地质模型及其与原始模型的偏差

使用不带注意力机制的3D U-Net网络对PCA降维后的复合河道砂体油藏地质模型进行补全后的结果如图 6所示。可以发现，补全后的模型中河道砂体缺失、不连续，均方差为428.94。

图6 采用不带注意力机制的3D U-Net模型补全后的地质模型及其与原始模型的偏差

采用带注意力机制的3D U-Net网络对PCA降维后的复合河道砂体油藏地质模型进行补全后的结果如图 7所示。可以发现，相比前两者，带注意力机制的3D U-Net在保持河道连续性、修补河道边缘方面能够获得更好的效果，均方差为 395.58，与采用残差网络模型补全后的地质模型相比降低幅度超过40%。

图7 采用带注意力机制的3D U-Net模型补全后的地质模型及其与原始模型的偏差

采用带注意力机制的3D U-Net模型补全后的地质模型与原始模型仍然存在一定的偏差，考虑到历史拟合过程中会在此基础上结合生产动态进一步调整模型，因此判断地质模型参数化技术效果更为关键的指标是降维后的模型是否能够完整反映原始地质模型流动特性。具体对本算例的3 000个原始模型而言，本文利用PCA提取模型特征降维后，分别采用残差网络模型和带注意力机制的3D U-Net模型进行补全后，只用300个模型即可反映原始3 000个随机模型的流动特性（见图8），从而达到大幅降低油藏历史拟合计算量的效果，本文300个模型的历史拟合用时为12 h。对比两种不同的深度学习网络模型，从图 9中P10，P50，P90曲线吻合程度可看出采用带注意力机制的 3D U-Net模型补全后的地质模型在反映原始地质模型的流动特性方面具有更好的效果。

图8 分别采用残差网络模型和带注意力机制的3D U-Net模型补全后的地质模型流动特性统计

在前文研究基础上，进一步结合多数据同化集合平滑算法（ES-MDA）[21]对油藏18年的生产动态进行历史拟合，在相同拟合控制参数条件下，带注意力机制的3D U-Net模型获得了更好的拟合效果，单井拟合结果的均方差降低了80%（见图9）。

图9 分别采用残差网络模型和带注意力机制的3D U-Net模型补全后的地质模型进行历史拟合的效果对比

3 结论

采用带注意力机制的3D U-Net网络能够更好地补全PCA降维后丢失的地质模型信息，本文算例的补全结果均方差降低了 40%。还能够改善油藏历史拟合的技术效果，本文算例使用300个模型代替3 000个模型完成拟合，单井拟合结果的均方差降低了80%。

使用新的损失函数代替预训练好的C3D网络模型来提取三维模型风格特征，同样能够评估深度学习网络模型对于三维地质模型特征的补全效果，且将CNN-PCA模型迁移到不同沉积环境下地质模型应用时有更好的潜在价值。下一步可基于本文提供的地质模型参数化技术进一步探索其对不同沉积环境下地质模型的具体应用效果。

符号注释：

fw——表征对降维模型中丢失的地质特征信息进行补全操作的函数；g——门控信号；i——油藏地质模型序号；j——地质层段序号；I——输入图像的边长，m；l——降维后的变量维度；L——损失函数；Lt，Lh——Tversky损失和硬数据损失；mgm——原始油藏地质模型；mpca——原始油藏地质模型经过主成分分析方法降维得到的模型；P10，P50，P90——概率分布曲线上累计概率为10%，50%，90%时对应的参数值；Wg，Wx，ψ——注意力机制的 3个卷积核；xl——注意力机制的输入信号；xˆl——用于拼接的特征向量；α——注意力系数；αt——根据实际需求设置的损失系数，0≤αt≤1；γt，γh——Tversky损失和硬数据损失对应的损失函数权重因子。