基于小样本卷积神经网络的主动源P波初至拾取方法

于智瀚，王 涛*，孙鹏远，王文闯，郭振波

1.南京大学 地球科学与工程学院，南京 210023；

2.中石油东方地球物理公司 物探技术研究中心，涿州 072750

1 引言

自20世纪70年代以来，前人提出并发展了一系列震相识别和到时拾取的自动化算法，其本质都是通过比较背景噪声和地震信号的特征差异来实现。基于振幅特征，前人提出了短长时窗平均 比 例（Short Time Average/Long Time Average, STA/LTA）的方法（Allen, 1978），其应用在高信噪比的数据上取得了良好的效果。为了提高初至拾取的精度，许多基于短长时窗比的改良方法被提出，包括Modified Energy Ratio(MER)（Wong et al., 2009）和信噪比选择法（Li and Peng, 2016）。此外，针对初至的不同物理特征，前人也提出了基于分形学（Boschetti et al., 1996; Jiao and Moon, 2000; Sabbione et al., 2010）、Akaike信息准则（Diehl et al., 2009）、高级统计量（Yung and Ikelle, 1997）和小波分析（Zhang et al., 2003; Tibuleac et al., 2003）等多种拾取方法。上述方法都是对单条地震记录进行自动化初至拾取，并没有考虑到勘探地震记录中相邻道之间的波形相关性和时距关系。

近年来，机器学习可以处理较复杂的多变量数据并提取其中的数据特征，已被引入进行地震初至的自动化拾取。这些方法主要包括了传统神经网络（Murat and Rudman, 1992; McCormack et al.,1993; Li et al., 2013; Maity et al., 2014）、支 持 向 量机（Qu et al., 2018）和深度神经网络（Yuan et al.,2018; Hollander et al., 2018; Mezyk and Malinowski,2018; Tsai et al., 2018; Zhu and Beroza, 2018; 于子叶等，2018; Hu et al., 2019; Wang et al., 2019; 赵明等,2019; Zhen et al., 2019；周本伟等，2020）。上述方法大都是对单条地震记录进行初至拾取，并未利用相邻道之间的走时和波形关系。另外，机器学习的泛化能力不足已经成为这些方法拾取初至的“痛点”。前人利用U型全卷积神经网络（U-Net）对初至进行拾取，将训练后的模型应用于不同区域的数据集上进行泛化能力测试（Hu et al., 2019）。他们的结果显示，对于不同区域的数据集，需要使用该区域的数据对模型进行重新训练。泛化能力不足意味着针对不同区域需要重新制作训练集，这将消耗大量时间和精力。

我们将主动源多道记录的P波初至拾取视作为图像分割任务，并使用U型卷积神经网络（U-Net）作为深度学习模型。为解决模型的泛化性问题，本文借鉴半监督深度学习框架（Cubuk et al., 2019）中的数据增强方法，实现了使用较少的训练集提取P波初至的主要特征并达到较高的拾取精度。通过对比模型拾取与传统算法拾取的P波初至到时，讨论神经网络和数据增强的优势。

2 数据及深度神经网络

2.1 实验数据及预处理

本文使用的主动源地震数据是由中国石油集团东方地球物理勘探有限公司提供，在一条长为49公里的测线上等间距放炮后接收到的地震记录。其中一共有1450次主动源地震事件，每次放炮事件被测线上的520个检波器记录到，产生520道地震记录（图1C）。每一个检波器的地震事件记录时间长度为6 s，采样频率为500 Hz。每次放炮点位于相邻两个检波器距离中点，并依次平移，且检波器之间的距离为25 m。对于主动源地震数据的预处理我们使用常规地震数据处理的方法：去均值、去趋势以及去仪器响应。为了制作高质量的训练集样本，我们还对处理后的地震记录进行滤波处理，利用低通滤波器滤除150 Hz以上的信号，去除高频噪声的干扰。对地震记录到的事件波形目视检查后，发现各道初至到时基本上小于2 s，因此我们只截取前2 s内的地震记录进行训练，这样也可以降低显存需求并且提高初至拾取的分辨率。

我们使用GeoTomo公司提供的TomoPlus地球物理数据处理软件对各道地震记录拾取初至到时，并将其作为训练集、验证集的标签和测试集的真实结果。部分检波器的地震记录信噪比较差，所以TomoPlus无法拾取全部道的初至到时。特别是靠近炮点的检波器的初至信号和面波信号混杂在一起（图1B），并且面波信号的能量较强，造成初至信号的信噪比较差，TomoPlus难以拾取这些检波器的初至记录。最终，我们选择TomoPlus可以准确拾取初至的道数大于450道的炮集数据（共计852炮），进一步将TomoPlus拾取的单炮初至到时进行线性插值，得到完整的初至结果。

2.2 深度学习U-Net架构

卷积神经网络（LeCun et al., 1989）是一个性能出众并且被广泛应用的深度学习网络，适用于医学图像分割、计算机视觉、无人驾驶等领域。本文中使用的深度神经网络是U型卷积神经网络（U-Net）（Ronneberger et al., 2015）。为 了 简 化U-Net中的参数，我们将最大池化层（Zhou and Chellappa,1988）应用在U-Net中。U-Net类似于编码—解码器，左半部分对应编码器，作用是提取输入图像不同维度的特征，右半部分对应解码器，作用是将提取的抽象特征恢复到原样。在解码部分中，将采样后数据恢复的过程中，特征的通道数量会减少，必然会有信息的损失，因此U-Net每次反卷积之后输出的特征图像与浅层对应通道数相同的特征图像进行拼接（Skip Connection），拼接之后特征通道数量翻倍。拼接操作将底层提取的特征与高层抽象的特征进行结合，这样特征图像不仅包括高度抽象的部分又包含底层相对直观的部分，起到了信息补充的作用。本文中所建立的U-Net（图2）特征提取部分包含了4个卷积块，每个卷积块中包含了2个卷积层和1个池化层；上采样部分包含了4个反卷积块，反卷积块包含了1个拼接层、1个反卷积层和一个卷积层。卷积核的大小为3×3，卷积步长为1，采用最邻近元法差值进行上采样。损失函数使用交叉熵损失函数。

在我们确定使用U-Net作为深度学习神经网络后，我们需要制作对应的训练集。笔者将初至拾取视作语义分割任务，其主要目标是寻找图像中不同语义的边界。首先，我们需要将单炮的波形数据的范围缩放到灰度图像的像素数据范围，作为训练集中的样本。灰度图像中每个像素的取值范围为0（黑）~255（白）。因此笔者将各道地震记录进行归一化，并将其值缩放到0~255范围内，对应着灰度图中从黑到白的像素。按照炮检距左右对称排列各道地震记录组成单炮波形图像。制作完训练集的样本后，我们需要制作对应的人工拾取（文中使用TomoPlus拾取）的语义标签图像。我们可知制作出的样本图像中包含两种语义，第一种是在初至到来前的噪声信号，第二种是在初至到来之后的信号和噪声相混杂的波形。因此，我们希望机器学习能够拾取到两种语义的边界，即初至到时。我们将初至到来前的波形的标签设置为0（黑），将初至到来后的波形的标签设置为255（白）来区分两种语义（图2）。最终，一共有852个图片数据集可供U-Net架构进行训练和验证。

模型中,绝缘子串可以使用两种简化方法:① 将绝缘子串视为刚体;② 将其视为变形体,如为变形体则需赋予很大的弹性模量.本文在铁塔有限元模型建立过程中,将绝缘子串视为刚体.为简化计算和分析,文中假设在塔-线体系模型中不含有螺栓、铁板等小辅助零件,仅令杆塔的质量、特征尺寸与实际吻合.

3 U-Net训练结果

3.1 不同训练集比例的U-net实验

为了测试不同训练集样本数量对于模型训练和预测结果的影响，我们做了三组对比实验。三组实验分别使用了占总样本比例为5%、15%、70%的部分样本作为训练集，其余的样本作为验证集（表1），测试训练后模型的预测效果。

本文实验是在南京大学高性能计算中心（HPCC）平台上进行的，训练过程所使用的硬件是Nvidia公司生产的高性能CUDA计算卡Tesla V100 GPU，显存为32G，在训练样本数为597的条件下，训练50轮大约需要消耗12个小时。我们将训练过程的学习率设置为0.005，并且设置每完成训练10轮后学习率减半，在训练的过程中逐渐降低学习率有助于模型快速逼近最优解。三组实验的损失函数随着训练轮数的变化曲线显示：随着训练轮数的增加，损失函数逐渐下降，且训练集占比越大下降越快（图3）。这说明模型输入的训练样本越多，其特征学习越快。验证集的损失函数和准确率在训练过程中存在较大波动，其原因是部分验证集样本的震相特征没有包含在训练集中，即U-Net没有学习到部分样本的特征。最终，我们选择损失函数最小对应的训练轮数作为结束，并保存在该轮数下的模型信息（表1）。

图3 训练过程中训练集和验证集损失函数和准确率的变化曲线Fig.3 Changes in loss function and accuracy of the training set and the verification set during training

表1 以不同样本比例训练的模型的均方根误差表Table 1 Root mean square error (RMSE) for models trained with different sample ratios

3.2 初至效果评估

在训练好U-Net后，为了将其应用到初至拾取的工作上，我们将全部852炮作为测试集并输入网络进行预测，并与真实结果进行对比，用来评估模型预测的平均误差。在2.1实验数据的预处理部分中，我们规定了标签中初至到来前波形为黑（像素值为0），初至到来后波形为白（像素值为255），在输入神经网络后标签分别转化为0和1。同理，预测结果中像素含义与标签中像素含义相同。因此，预测结果的图像中黑色区域与白色区域的边界线即为各道地震记录中的初至到时。我们使用了图像边缘检测算法中的Canny算法（Canny et al., 1986）对预测图像中的黑白边界进行拾取。Canny算法的目的是寻找到一个最优的边缘，实现尽可能多地标识出图像中的实际边界，并且标识出的边界要和真实的边界足够接近，以及要对图像中的噪声有一定的鲁棒性。Canny算法包含了三个步骤：降噪、寻找梯度以及跟踪边缘。降噪操作是对原始数据与高斯平滑模板做卷积，卷积后的图片与原始图像相比有轻微的模糊，降低像素噪声对边缘检测的影响。寻找梯度的过程中，使用4个Mask检测水平、垂直以及对角线方向的边缘。跟踪边缘部分使用了滞后阈值，滞后阈值需要一个高阈值和低阈值。在梯度高于高阈值的时候，认为该像素是边缘像素；在梯度小于低阈值的时候，认为该像素是假的边缘像素。由此，我们筛选出边缘像素并连成边界线。对比其他边缘检测算子Sobel和Prewitt等，Canny算法的改进是提出了基于边缘梯度方向的非极大值抑制以及双阈值的滞后阈值处理。从效果上讲，Canny算法是对Sobel和Prewitt等算子效果的进一步细化和更加准确的定位。通过Canny算法，我们对各道进行拾取，得到了初至到时。

为了确定U-Net的拾取效果，我们计算了初至拾取到时和TomoPlus拾取到时的均方根误差：

公式中t(i)代表了TomoPlus拾取的第i道的数据的初至到时，tˆ(i)代表了U-Net拾取的第i道的初至到时，N代表了单炮道集中的检波器数量（本文中为520个）。通过比较各种情况下测试集的各炮的均方根误差的分布，来评估模型的拾取效果和精度。

误差直方分布图显示数据集的比例对模型预测的效果有显著影响（图4）。实验Ⅰ中使用了总样本数5%作为训练集，平均拾取均方根误差为11.4 ms，大约为6个采样点。虽然实验Ⅰ中的平均均方根误差较大，但是其训练时间明显缩短且占用计算资源较小。其可能原因是样本数量较少，无法包含所有样本的特征，因此其预测效果较差。实验Ⅱ中使用了总样本数15%作为训练集，其平均均方根误差降低至7.4 ms，大约为3个采样点，说明增加训练集样本量能够降低预测误差，提升初至拾取的精度。由于训练集样本量的更加，训练的时间随之增加，训练样本包含的特征也变得丰富且泛化，有利于模型学习整体目标区域的初至特征。在实验Ⅲ中，我们将训练集样本量增加到总样本数的70%。随着训练样本的增加，平均均方根误差降低至6.5ms。综上所述，U-Net对训练集的大小敏感，训练集越大，U-Net学习到的样本的特征和细节越多，越有利于对整体样本的预测，预测误差的分布相对集中，因此预测的准确性越高（图4）。

图4 不同训练集比例的预测误差分布Fig.4 Prediction error distribution of different training set proportions

4 数据增强后U-Net训练效果

4.1 数据增强方法

数据增强（Data Augmentation）是深度学习中常用的技巧之一，在已有的训练样本集上，通过改造、重组、变换方法增加训练集样本量，让训练集尽可能的多样化，使得训练的模型有更强的泛化能力（Perez et al., 2017, Zhu et al., 2020）, 并提高模型的预测效果。 前人已经发掘出多种应用在图像上的数据增强方法，例如平移、旋转、反色、镜像、随机剪裁（Wang et al., 2016）、随机擦除（Zhong et al., 2017）、增加噪声等。我们使用的训练集是由多道地震数据组成的灰度图像，不存在RGB格式图片中的三个通道，所以对于RGB通道进行的数据增强方法没有效果，笔者将其排除。由于主动源地震的天然特征，旋转图像等改变角度的数据增强方法同样不适用。经过对地震数据条件的分析，我们最终选择四种方法对小样本训练集进行数据增强操作：随机剪裁、随机擦除、弹性形变（Pastor et al.,2013）以及加入噪声（图5）。以上的数据增强操作对训练集中的样本和标签是相同的，用来保证信息的一致性。

图5 不同的数据增强方式对图像处理的效果Fig.5 Effects of different data augmentation methods on image processing

随机剪裁是指从原图像中随机剪裁出一定面积比例的部分图像，并线性插值到原图像的尺寸作为新的样本。随机剪裁的优点是集中神经网络的注意力，有利于提取图像中的高维信息，可以降低神经元之间的关联性以及模型中的参数的复杂程度。随机擦除是指使用包含随机噪声的矩阵覆盖原图像和标签图像的一部分。遮挡住图像的部分信息能提高神经网络的鲁棒性，防止神经网络过拟合。弹性形变是对原图像随机的矩形区域扭曲变换。加入高斯噪声是在原有的数据基础上增加高斯噪声，降低数据的信噪比，增加模型的鲁棒性。对于不同的数据增强方法，有多种参数调节其数据增强的效果，例如是否对原始图像使用数据增强的概率、不同数据增强方法的程度（面积、扭曲程度、噪声的幅度等等）。 针对于小样本训练集，合适的数据增强方法能有效地提高模型的训练效果。

本文实验中笔者在完整训练集（852个样本）中随机选取一定比例的训练样本组成小样本训练集。在小样本训练集的基础上，我们利用数据增强方法将小样本训练集样本数扩增到1000个，以此来训练神经网络。

4.2 小样本比例情况下，不同数据增强方法对于结果的影响

此次研究保留实验Ⅰ中所使用的35个样本的训练集，并对其使用不同的数据增强方法（表2），使得训练集样本数量增加到1000个。经过训练模型并对测试集进行初至提取，得到四组实验结果Ⅳ、Ⅴ、Ⅵ、Ⅶ。

表2 以相同样本比例后经数据增强的训练模型的均方根误差表Table 2 Root mean square error with the same sample augmented

为了直观展现不同实验的拾取误差，我们使用了核密度估计曲线来对误差分布进行拟合（图6）。对比实验Ⅰ、Ⅳ、Ⅶ的结果可以发现，经过弹性形变的实验Ⅳ虽然优于未经过数据增强的实验Ⅰ，但是其误差却高于传统的利用增加噪声方式的实验Ⅶ。这说明弹性形变的方式不符合地下细微异常结果对于地震波形的影响，属于错误的方向，因此其效果甚至差于添加噪声。在实验Ⅰ、Ⅲ、Ⅴ、Ⅵ中，经过随机剪裁和随机擦除数据增强方法的实验Ⅴ、Ⅵ都明显优于未经过增强的实验Ⅰ，原因可能是因为训练集样本数量的增加，并且随机剪裁和随机擦除的操作能有效降低模型过拟合程度。但是通过实验Ⅴ、Ⅵ和实验Ⅲ对比，我们发现5%样本（35个）在经过随机擦除增强到1000个样本后，其拾取误差甚至优于70%（597个）样本不经过任何增强操作的误差。同时，也排除了数据增强增加的样本对于拾取误差的影响。对此，我们做出如下解释：随机剪裁操作能够降低预测误差，是因为随机剪裁可以理解为图像的平移，类似于放炮点位置的变化，所以机器学习能够更好地分辨初至到时的特征；随机剪裁也伴随着图像的局部缩放，能够让网络学习到更多的细节并且减少无关波形对初至的干扰，有利于提高预测的准确率。随机擦除操作取得更好的效果，其原因是在图像的随机位置上利用噪声遮盖原图像能够有效地降低过拟合程度，增加其泛化性。

图6 经过不同增强方法和未经过增强的训练集得到的均方根误差分布Fig.6 Predicted error distributions obtained by training sets with different data augmentation

经过上述四种图像增强方法的比较，我们可以看到总样本数5%的训练集在经过随机擦除操作后，其拾取效果甚至优于不经过数据增强的总样本数70%的训练集（图7）。这说明，我们可以使用数据增强方法来对小样本数据集进行数据增强，增加的数据部分并不需要人工标注。因此，在针对不同区域的初至进行拾取的时候，我们可以通过此方法来减少重新训练模型的人工成本，只利用少量的本区域的训练样本即可实现较低的拾取误差。

图7 所有情况所得到的预测误差的对比图Fig.7 Comparison of the predicted errors in all cases

4.3 数据增强后U-Net与TomoPlus的拾取效果讨论

利用训练好的U-Net对验证集样本进行初至拾取。为了比较本文方法和TomoPlus的拾取效果，我们选择两者的RMSE较大的一个单炮道集中三个不同炮检距的波形进行分析（图8）。TomoPlus中算法设置为拾取初至信号的波谷，因此U-Net学习的初至也为初至信号的波谷。在图8a中，我们可以看出无论是在高信噪比还是低信噪比环境下TomoPlus和U-Net对P波拾取是一致且正确的；图8b中第220~230道，TomoPlus错误地拾取了前一个的波谷。为了探究TomoPlus与U-Net的真实误差，我们人工拾取P波初至（在图中为粉色标记）。经过对比，并分别计算两者与人工拾取之间的均方根误差：U-Net与人工拾取的RMSE为1.64，TomoPlus与人工拾取的RMSE为4.46；8c中，我们聚焦于炮点附近数据，由于TomoPlus无法拾取炮点附近初至，我们使用人工对P波初至进行拾取，但由于信噪比较差，加大了拾取难度。对比U-Net与人工拾取，说明良好的标签是必要的。根据前人经验，训练样本的质量决定了模型训练的好坏，进而影响拾取效果。TomoPlus中初至拾取算法本身相对于人工来说存在系统误差，并且在制作训练集时，部分道的初至到时是经过线性插值得到的结果，同样存在误差。因此，如果提供给U-Net的训练样本的初至均为人工挑选，则U-Net的拾取误差将更小。

图8 RMSE较大的单炮道集中U-Net，TomoPlus和人工拾取对比图Fig.8 Comparison of picking details between U-Net (augmented) and TomoPlus

综上所述，利用数据增强将小样本训练集扩增，既能减少人工标记的成本，又能提升U-Net拾取的效果，提升模型在不同区域的泛化性。

5 结论

传统机器学习拾取P波初至方法的泛化性不足，完成训练后的模型在拾取不同区域的初至到时可能误差较大，因而在不同区域需要大量人工标注进行重新训练。本研究将数据增强方法应用在机器学习拾取初至的过程中，在达到相同训练效果的前提下，训练所需样本数量仅为原来的二十分之一，大大减少了重新训练过程中人工标注的工作量。本文构建共炮点多道集的图像数据集，使用U-Net模型进行图像分割实现初至拾取，通过对比不同数据增强方法的效果，得到如下的结论：

（1）U-Net具有区别初至前波形部分和初至后波形部分的能力，继而拾取初至到时，初至前和初至后的波形的语义分割准确率可以到达99%以上。

（2）U-Net具有良好的图像语义分割能力，能够提取图像特征并将特定目标区域分割开。对于共炮点道集，U-Net适合批量拾取初至到时。对于本文所使用的不同比例的训练集和测试集，U-Net在训练20轮左右后平均拾取误差最低为6.4 ms。

（3）对样本数量小的训练集，使用数据增强方法增加其样本量，能够有效提高模型的拾取精度。实验证明，相比于使用原样本数量的训练集，使用数据增强后的训练集所训练的模型的拾取误差显著降低，从11.4 ms降低至5.5~9.2 ms不等。其中，经过随机擦除增强后的训练集的训练效果最好，平均拾取误差为5.5 ms。

（4）使用TomoPlus代替人工拾取到时作为深度学习的标签，而TomoPlus本身存在着拾取误差，深度学习的优劣与训练样本的好坏有直接关系。因此U-Net模型拾取精度提升空间大，并为综合分析P波初至到时提供了一种可行的方法。

因为共炮点道集的样本相似性较高、初至特征较为明显，所以制作大量的训练集标签是没有必要也是耗费大量人工成本的。根据上述结论，在今后使用机器学习方法对多道地震记录初至到时进行提取时，可以使用本文中所采用的U-Net结合数据增强的方法，在小样本训练集的前提下，实现较好的拾取效果。对于步入大数据时代的地震学来说，小样本学习方法逐渐的探索和实现，能够有效地减轻研究人员数据处理的压力，更有利于地震数据的批量处理和信息有效挖掘。