基于Transformer 的地震数据断层识别

摘要： 利用地震资料识别断层在油气勘探中有着重要的作用。目前，机器学习和深度学习技术提高了断层识别的精度和效率，但断裂预测结果仍难以满足生产需求。为此，提出基于Transformer 的地震断层识别方法，即3D SwinTrans‐U‐Net。该网络由Swin Transformer 模块、卷积模块组成。其中，Swin Transformer 模块可以利用Transformer 的注意力机制提取全局信息，并将计算全局注意力转变为计算窗口的注意力，从而比Transformer减少了计算复杂度； 卷积模块具有归纳偏置的特性，避免了Swin Transformer 存在弱归纳偏置的缺陷；最后，利用U‐Net 结构，结合Swin Transformer 层与卷积层，融合深层与浅层的信息并提取相关特征，充分学习全局性和局部依赖性信息，在保证断层识别精度的基础上提高了计算效率，实现端到端的地震断层学习。模型数据和实际数据测试均表明，3D SwinTrans‐U‐Net 网络能进一步提升断层识别精度。

关键词： 深度学习，3D SwinTrans‐U‐Net，断层识别，Transformer，Swin Transformer，卷积

中图分类号：P631 文献标识码：A DOI：10. 13810/j. cnki. issn. 1000‐7210. 2024. 06. 003

0 引言

断层识别一直是地震资料解释的一个重要部分。传统的断层解释主要基于人工，其精度和效率都难以满足生产需求。

随着计算机技术的发展，自动、半自动检测方法提高了断层识别效率。Xiong 等[1]利用卷积神经网络（Convolutional Neural Network， CNN）将断层检测视为图像分类问题，断层识别结果具有更高的分辨率。残差连接[2]可以加深网络结构，提高模型性能。据此，张政等[3]提出了一个与迁移学习相结合的34 层深度的残差网络，更全面地解析了地震数据中的断层结构。

U‐Net 是一种常用的语义分割网络，可以得到不同层次的断层特征。据此，Wu 等[5‐6]利用合成地震数据对U‐Net 网络进行训练，实现了端到端的断层智能识别。王海龙等[7]利用GeoEast 软件断层智能检测技术逐级识别断层，解决了实际需求。常德宽等[8]联合ResNet 与U‐Net，提高了地震资料断层的识别效率。何涛等[9]将残差模块引入U ‐ Net 网络，提出了ResU‐Net 网络，进一步提高了模型的泛化性能。路鹏飞等[10]利用VNet 网络进行断层识别，该网络可以在下采样过程中增加信号感受野，从而能够更好地保留信号的细节信息。

在面对特征较复杂的地震数据时，U‐Net 无法对复杂的特征给予更多关注，而注意力机制可以关注某些特定信息，忽略无关信息。Transformer[11]是一种基于自注意力机制的编码器—解码器结构的神经网络模型，可以有效提取全局信息，具有强大的表达能力。Dosovitskiy 等[12]将Trasnsformer 用于图像分类，提出了Vision Transformer（ViT）模型，然而所带来的问题是计算量的剧增。为了提高计算效率，Liu 等[13]提出了Swin Transformer 网络架构，与Vision Transformer 相比，基于窗口的自注意力机制仅仅只用计算窗口内的自注意力，降低了计算成本，并且基于移动窗口的多头自注意力机制可以引入相邻窗口之间的信息，从而能够获取全局信息，因此能够在保证精度的同时能够提高计算效率。Tang等[14]在U‐Net 网络中引入Transformer 模块进行特征提取，使用2. 5D 地震合成数据进行训练，相比于3D U‐Net，该方法可以获得更连续的断层预测结果。目前，Swin Transformer 多应用于医学、遥感领域中，均取得了不错的效果。Cao 等[15]设计了一个U型纯Transformer 网络，在多器官和心脏分割任务方面具有出色的性能和泛化能力。Liang 等[16]建立了一个3D U 型对称的Swin Transformer 网络，在分割远离肿瘤中心的小面积的病变时，该网络性能几乎优于基于卷积的方法。Cai 等[17]设计了基于Swin Transformer 和卷积的医学图像分割网络，在模型参数数量和精度之间达到了很好的平衡。

因此，基于注意力机制能够提取全局信息的优势以及卷积的归纳偏置特性，为了满足对复杂构造区域断裂预测的油气勘探需求，本文将Swin Transformer[13]与卷积层进行结合，提出基于Transformer的地震断层识别方法，即3D SwinTrans‐U‐Net，以提高断层识别的精度。