神经网络在地球物理勘探中的研究进展

吴骏业，郭荣文，柳建新，陈 杭

(1.中南大学 地球科学与信息物理学院，湖南 长沙 410083；2.有色资源与地质灾害探查湖南省重点实验室，湖南 长沙 410083)

1 引 言

神经网络[1]起源于20世纪五六十年代，它是受人脑启发的一项技术，旨在从信息处理角度对人脑神经元网络进行抽象，建立模型来模拟人类神经元的运行规律。这些模型按照不同的连接方式组成不同的神经网络，从而解决各种问题[2]。神经网络一般由输入层和输出层以及多个隐藏层组成，输入的特征向量通过隐含层变换达到输出层，在输出层得到结果。而且越深的节点就可以识别出越复杂的特征，因为它们会聚合并重组上一层的特征。因此各种具有独特神经处理单元和复杂层次结构的神经网络不断涌现，如深度置信网络[3](Deep Belief Network, DBN)、卷积神经网络[4](Convolutional Neural Networks, CNN)、循环神经网络[5](Recurrent Neural Network，RNN)等，这些技术在许多领域中都发挥出了巨大的作用。

但其实本质上，神经网络就是试图建立输入数据和输出信息之间复杂的映射关系。这与地球物理勘探中建立各种物理场的变化与相对应地下介质构造之间关系的思想是一样的，即两者具有共同点：通过数据驱动，建立符合数据要求的模型[6,7]。在大数据时代背景下，基于数据驱动的方法备受青睐，其不依赖物理模型的特性有效地弥补了基于数理模型的不足。因此随着深度神经网络技术与计算机硬件的快速发展，神经网络在地球物理领域中得到了广泛的应用，包括地震数据去噪、初至拾取、地震反演、波形自动识别和分类、电法勘探反演等领域。本文基于前人对于神经网络的研究，阐述了神经网络的基本原理和方法及其在地球物理领域中的研究现状，并展望了该方法的未来发展方向。

2 神经网络基本理论

2.1 人工神经网络

人工神经网络(Artificial Neural Network, ANN)是一种受人脑启发而发展起来的计算网络，由相互连接的称为神经元的处理单元构建而成，它具有学习输入和输出之间复杂关系的能力。神经网络的理论在文献中有很好的描述[8]，这里仅作简要概述：图1所示的单个神经元将n个输入值x1,...,xn转换为一个输出值y，即：

图1 神经元将输入x1,x2,...,xn和偏置b转换为输出y

(1)

权重wi确定神经元对各个输入值的敏感度，偏置b控制输入的整体重要性。神经元对某些输入x的响应由激活函数φ描述，比如常用的Sigmoid函数：

(2)

如图2所示，多层感知器将神经元组织成层：具有节点xi的输入层，具有节点yi的输出层以及其间的隐藏层。第l层中神经元的输出用作后续第l+1层中所有神经元的输入。每个神经元的权重和偏差都可以不同。

图2 具有多个隐藏层的多层感知器的示意图圆圈代表单个神经元

使用训练数据集(通常是所有数据的一小部分)更新网络中的每个权重，以便使实际输出更接近目标输出，从而将每个输出神经元和整个网络的输出误差最小化。

David Everett Rumelhart教授等人[9]于1986年在自然杂志上首次提出了著名的反向传播算法(BP算法)，提供了一种快速的方法来计算神经网络的输出对其所有参数的敏感度，大幅降低了模型训练所需要的时间[10,11]。以图2的多层感知机为例，代价函数为:

(3)

其中,yk(xi)表示输入为xi时网络的前馈输出;tk,i表示真实结果。

对于网络中的每个权值wji，计算其误差的导数：

(4)

然后根据导数来修改权值

(5)

其中,η是学习率。

2.2 深度神经网络

ANN受限于当时的计算机水平，一般只含有1～2层的隐藏层。后来科学家发现神经网络的层数直接决定了它对现实的表达能力，因此如今一般构建具有很有隐藏层的深度学习结构，并且将这种含有较多隐藏层的网络叫做深度神经网络(Deep Neural Networks，DNN)。

卷积神经网络(CNN)是当下一种很常见的DNN算法，它抛弃过去使用的Sigmoid激活函数，在隐藏层中使用了非线性激活函数整流线性单位ReLU：

φ(x)=max(0,x)

(6)

ReLU可以有效避免梯度消失问题，防止出现随着层数的增加会局部函数越来越容易陷入局部最优解的现象，提高了训练效率。

CNN使用一种特殊的隐藏层(称为卷积层)，卷积层在CNN中从二维输入映射中提取特征起着重要作用。组成卷积核的每个元素都对应一个权重系数和一个偏差量，卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，也称为“感受野”，可以类比生物学中视觉皮层细胞的感受野。卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量：

(7)

而(i,j)∈{0,1,...,Ll+1}Ll+1

其中,b为偏置量;Zl和Zl+1表示第l+1层的卷积输入和输出;Ll+1为Zl+1的尺寸(这里假设特征图长宽相同);Z(i,j)对应特征图的像素;K为特征图的通道数;f、s0和p是卷积层参数，对应卷积核大小、卷积步长(stride)和填充(padding)层数。

卷积层的反向传播是一个与前向传播类似的交叉相关计算：

(8-1)

(8-2)

式中,E为代价函数计算的误差、φ′为激活函数的导数;η是学习速率。

事实证明，CNN灵活的结构能够对非常复杂的现象进行建模，而无需事先知道输入数据的任何统计信息，并且具有强大的鲁棒性[12]。

深度置信网络(DBN)是另外一种深度神经网络模型，它是由多层受限波尔兹曼机(RBM)和一层BP神经网络组成，其中RBM是无监督学习，用于特征提取，在BP神经网络部分采用有监督训练方式。其优点在于不依靠经验提取数据特征，而是通过RBM自动提取，因此该网络擅长于处理多分类问题；但缺点便是如果学习问题的复杂性高，学习过程将十分缓慢。

循环神经网络(RNN)是另外一类算法，它解决了对于时间序列上的变化进行建模的难题，广泛应用于序列的识别与预测。RNN网络中以循环的方式记忆工作，隐藏层的状态取决于它的过去状态，这样的特点使其擅长于处理长时间的复杂信号问题。

3 神经网络在地球物理勘探中的应用

3.1 神经网络在地震勘探中的应用

3.1.1 地震数据处理

神经网络在地震数据处理中的应用是最早开发的地球物理应用之一，其中许多工作集中在初至拾取、去噪、数据插值中。

在初至拾取方面，早期使用人工神经网络(ANN)从地震数据中提取初至波[13,14]。首先选取一个窗口来计算初至波(FB)的属性或特征(例如STA/LTA比和自回归系数；方差，偏度和峰度；幅度，相位和频率)[15,16]，再将这些属性作为ANN的输入，神经网络便可通过属性进行分类。基于ANN的方法可以自适应地选择不同类型的初至波，但是基于人工神经网络的FB选择的准确性在很大程度上取决于属性的选择。此外，这些方法很少利用波形的空间相干特征，这可能会影响FB拾取的准确性[17,18]。因此Yuan S[19]等将卷积神经网络(CNN)应用于直达波和折射波的初至波拾取，取得了良好效果。文章中还设计了一个判别分数函数，以可视方式对地震波采集道中时空波形进行分类。

在地震数据去噪领域，较为常用的网络结构是DnCNN[20]和U-Net[21]。经过训练的网络与传统的小波、曲波去噪方法相比，能够在极短的时间内达到更好且自适应的去噪效果。

在地震数据插值方面，Wang B[22]等人使用残差学习网络(ResNet)进行地震数据抗锯齿插值，该方法可以通过自学习以非线性方式提取训练数据的更深特征。它还可以避免传统插值方法的线性事件、稀疏性和低秩假设。重建的密集数据可能有益于提高后续算法(例如反演、偏移和多重衰减)的准确性。

3.1.2 地震反演

Das等人[23]将卷积神经网络(CNN)用于面波频散曲线自动拾取，从而反演出地表速度模型。并将基于CNN的预测与近似贝叶斯计算(ABC)方法相结合，以估计后验分布，量化不确定性。Moseley等人[24]利用CNN将速度曲线从深度域转换到时间域之后，通过WaveNet[25]实现了一维速度模型反演。Araya-Polo等人[26]使用卷积神经网络(CNN)直接从原始地震数据中生成速度模型，该方法是自动且无需人工干预的，是经典层析成像的替代方法。

在全波形反演(FWI)中，Richardson[27]证明了具有自动微分的递归神经网络(RNN)可用于进行梯度计算，并将RNN用于地震全波形反演。Sun和Demanet[28]展示了一种使用深度学习推断低频地震能量以提高FWI算法收敛性的方法。Wu和McMechan[29]将传统的全波形反演与CNN结合使用，以捕获几何中的显着特征并获得了更好的反演结果。

在反射率反演中，Kim[30]等人比较了DNN和基于最小二乘法的地球物理反演在反射率反演问题上的效果，结果表明DNN具有更高的空间分辨率。

3.1.3 数据解释

在断层识别方面，Zheng等[31]在叠前合成地震记录中引入基于蚁群优化算法的ANN进行了断层识别试验，取得了良好效果。Xiong W等[32]引入CNN网络对断层进行识别，取得了良好效果。Wu 和Hale等[33]基于CNN 估算断层倾角，并形成断层概率图分析了断层分布，效果显著。Wu等人[34]使用卷积神经网络CNN进行断层解释的技术，不再提取地震属性，而是直接对地震振幅数据体进行断层识别。该方法不仅可以预测断层概率，还能同时估计断层方向。但这些方法需要选择一个局部窗口或立方体来对每个图像像素进行断层预测，这在计算上非常昂贵，尤其是在3D断层检测中。于是Wu等人[35]使用简化的U-net来执行3D断层分割的任务。这样显著的节省了GPU内存和计算时间，但仍保留了3D断层检测任务中的高性能。

在地震事件检测方面，孔庆开[36]等利用人工神经网络区分智能手机网络收集的加速度波形中的地震信号与人类活动噪声。Perol等[37]提出了一种使用卷积神经网络的地震识别方法，并用于美国俄克拉荷马州地震记录识别，在保证精度同时该方法比传统技术要快几个数量级。Ross等[38]等基于南加州地区的地震事件建立了数据集并训练CNN模型，其得到的模型具有较强的泛化能力，而且对于信噪比非常低的地震件波形，也能有效进行地震识别。Wiszniowski等人[39]提出了一种使用递归神经网络(RNN)的实时地震监测算法，该算法也取得了很好的效果。

在震相识别方面，Zhu和 Beroza[40]提出一种Phase Net网络，该网络使用图像分割任务中的U-Net网络进行震相的识别并取得了较好的效果。于子叶等[41]将三分量地震数据经过高通滤波以及归一化处理后输入17层的Inception模型[42]，对比了100组添加不同比例噪声数据以进行检验，结果表明深度学习方法稳定性好，对噪声容忍度高，相比 AR-AIC+STA/LTA方法，深度学习方法可用性更高。Qian等人[43]结合深度卷积自动编码器(DCAE)[44]及其逐层无监督训练策略，自动从叠前地震数据中提取特征，再通过聚类技术(自组织图(SOM))完成了地震相分析，比常规方法具有更高的分辨率，并具有显著突出地层和沉积信息的潜力。

3.2 神经网络在电法勘探中的应用

在二维电磁法勘探领域，基于BP神经网络算法的人工神经网络(ANN)在电磁法非线性反演中得到了有效的应用。国外学者方面，Singh等[45]人将ANN应用于二维垂直电测深(VES)反演中，比较了隐藏层数量、节点数量、不同的参数初始化、学习率以及参数的偏置对于反演效果的影响，并选择了最优的网络结构对实测数据进行反演，结果与实际钻探得到结果相同。次年，Montahaei等[46]将ANNs方法直接扩展用于方位各向异性电导率的二维MT数据反演，并在三类地电各向异性结构以及智利中南部大陆边缘的现场数据集上测试了其适用性。结果表明，人工神经网络系统能够正确解决方位各向异性电阻率的MT反问题。国内学者方面，王鹤等[47]将BP神经网络引入二维大地电磁视电阻率反演，训练好的网络可对类似模型的视电阻率曲线进行实时反演，无需求解雅克比矩阵，大大提高大地电磁反演速度和工作效率。但是，BP神经网络算法采用随机数初始化网络参数，使得网络往往容易陷入局部最优解，王鹤等[48]利用遗传算法对神经网络的权值和阈值进行优化，将反演结果与经典最小二乘法反演进行对比，验证了该算法对二维大地电磁非线性反演的可行性和有效性。但基于遗传算法优化的BP神经网络算法的网络训练时间又过长，这些在一定程度上限制了人工神经网络算法的应用效果。所以王鹤[49]等人将深度置信网络(DBN)引入二维大地电磁测深反演，克服了BP神经网络的缺点(训练时间长，容易因随机初始化网络参数而导致陷入局部最优解)，并与经典最小二乘反演比较，结果表明基于DBN的反演算法效率大大提高。

在这些情况下，每个训练模型的地点位置集都是固定的，这可能会限制学习好的神经网络在实际应用中的可重用性。此外，MT反问题的性质非常复杂，这意味着很难学习可用于任意地质情况的网络。所以另外一种方法是通过ANN实现反演过程中计算量最大的正演计算。Conway等[50]使用经过训练的人工神经网络(ANN)实现MT正演功能，并且与WSINV3D[51]正演代码相比，将速度提高了五个数量级。并通过使用协方差矩阵适应进化策略(CMA-ES)优化算法[52]将其应用于反演，获得与WSINV3D相当的反演结果，但是在1/50的时间内实现了收敛。

ANN和DBN在输入上接受的信息必须一维向量化，而CNN在输入上使用多通道卷积。每个通道都是对空间中某个点上不同数量的观察(例如，图像数据中的彩色通道)。对于EM测量，通道的可能选择是电场和磁场分量，幅度和相位，频率。卷积网络采用卷积运算来代替完全连接的网络中的常规矩阵乘法，具有更强的学习能力。因此Puzyrev V等[53]将卷积神经网络CNN引入一维海洋CSEM反演，训练好的网络可以在几毫秒内根据在海底测得的数据准确地重建地下电阻率分布。Puzyrev V等[54]接着把将卷积神经网络(CNN)应用于二维陆地可控源CSEM电磁CO2监测方案，并将在计算机视觉中用于比较两个样本集相似性的一种评估指标 “联合交叉点”(IoU，也称为Jaccard相似系数)引入损失函数，训练好的网络健壮，可以快速并准确估计电阻率分布。为了解决反演中的多解性，Liu等[55]在输入数据中引入了图层特征图并在训练过程中将平滑约束和深度加权函数引入损失函数中，使用基于U-net网络来反演电阻率，训练好的网络具有良好的反演效果。

4 结 语

目前神经网络已经在地球物理领域取得了一定的效果，但仍存在着一些局限性。例如人们测量的物理场数据都是基于特定的观测参数，在对数据处理时，传统的地球物理方法可以添加先验信息来限制多解性，但是目前在神经网络算法中，如何解决该问题还存在着讨论。

其次，目前大多数学者解决问题使用的都还是监督学习型网络，需要对数据进行标签，但是标签通常会受人主观的影响出现偏差，出现特征明确的现象，从而限制了依赖训练数据集的算法的有效性，而无监督学习是一个很好的解决方案，该方法可以自动地从数据集中学习特征，所以下一步应该利用无监督学习来解决地球物理问题。

再次，通用性的缺乏可能是神经网络的重大缺陷。例如大多数文章研究的是均一模型，但为了神经网络的应用范围更广，应该考虑更接近真实地质情况的非均匀介质。对于该问题，无监督学习可能是一个很好的解决方案。

最后，得益于高精度地球物理仪器的快速发展，目前观测得到的数据量大大增加，但是目前学者们还是在建立数据集上花费了大量精力。而且每个人数据集都不相同，难以确定每种方法的相对检测性能，即缺乏明确的基准数据集对地球物理领域中的算法进行性能评估。因此建立一个开源数据集(类似计算机视觉中的ImageNet)，并基于该数据集创办类似计算机视觉领域的比赛促进学科融合，对于地球物理领域的发展会有很大的帮助。