基于神经网络的偏微分方程求解方法研究综述1)

查文舒 李道伦 沈路航 张 雯 刘旭亮

(合肥工业大学数学学院,合肥 230009)

引言

人工智能引发多领域技术变革,广泛应用于计算机视觉,生物医学,油气工程开发等领域.深度学习(deep learning)在工程技术,流体力学,计算力学等领域的研究具有重要的理论指导意义与工程应用价值.近年来,基于油藏动、静态数据,人工智能有望实现油藏精细描述与精准开发,提高采收率.将测井、压裂施工、生产数据等进行智能融合,大幅提升压裂改造效果,降低开发成本.大数据与智能优化方法相结合,将变革油田数据分析方法、油田开发控制与优化方法[1].非常规油气开发难题与人工智能相结合,有望解决非常规复杂油气物理规律建立、偏微分方程求解等难题.人工智能与大数据将“实现石油勘探开发主体技术更新换代的宏伟目标,从技术层面上促进石油勘探开发行业整体转型升级”[2].

人工智能方法因其处理高度复杂问题的突出能力,已引起油田领域的特别关注[3-6].传统人工神经网络已在石油工程领域得到广泛应用,例如预测未知年份的测井数据[3]、预测油品压力-体积-温度属性[4]、预测注产剖面[5]、估算孔隙度[6]、井底流动压力[7]、选择页岩气藏完井方法[8]、试井解释[9-13]等.

深度学习是机器学习的一个新领域.深度学习的本质是构建含有多个隐藏层的网络模型,通过学习大规模的数据,获得更具代表性的特征,从而提高预测和分类的精度.Tian和Horne[14]利用递归神经网络学习永久井下压力计(PDG)数据,用于识别油藏模型及生产预测.Sudakov 等[15]将深度学习用于渗透率预测.Mosser 等[16]利用深度学习进行三维多孔介质重构.张东晓等[17]利用循环神经网络研究测井曲线的生成与修补.近两年,深度学习在试井参数自动反演得到了很好的应用[18-20].

同时,在解决参数反演、数字岩心、测井曲线、试井解释等问题上,深度学习作为人工智能发展引擎有着优秀的表现[21-25].以深度学习为核心的人工智能正在油气开发领域掀起新的研究热潮,其中最具前瞻性、颠覆性的研究当属基于深度学习的偏微分方程求解.该方法一旦突破,物理规律建立、参数反演和数值模拟方法都将发生变革,我国也将在以偏微分方程(偏微分方程)求解为核心的工业计算软件中迎来巨大机遇.自2017 年来,深度学习在物理规律发现、油藏参数反演和偏微分方程求解中发挥了令人惊讶的作用[26-30].

在实际开发现场或其他应用场景中,只能获取相关测量数据,而数据背后所潜在的物理规律需要进一步分析得到,偏微分方程模型是刻画其特性的重要工具.目前,解决基于大量数据寻找物理规律的主要思路有:在有一定的先验知识下,列出偏微分方程所描述的物理过程的备选项,利用稀疏回归技术或其他方法进行特征选择和参数估计[31-35];其二用神经网络作为逼近器的功能,使用不同的神经网络结构表征偏微分方程系统,通过学习网络结构达到发现物理规律的目的[1,36].

现有的偏微分方程求解方法要进行网格划分、非线性方程组求解,计算成本高,技术突破难度大.基于深度学习的偏微分方程求解方法不仅能快速正演、快速反演[37-38],而且能很好解决非线性问题[39-42],能对更复杂、更高维的偏微分方程[27,30,43]进行求解,有望颠覆传统偏微分方程数值求解技术,引发数值模拟技术的巨大变革.

虽然技术路线存在差异,但深度学习在物理模型建立、偏微分方程求解和参数反演中的应用,其核心仍是如何用深度学习表征偏微分方程.当前的研究多集中在无源汇的偏微分方程,多是数据驱动(data driven)、物理约束(physics informed),少量为物理驱动(physical based,physical constraint,theory based or without labeled data).由于当前处于研究初始阶段,很多学者都提出了自己的术语,导致当前术语复杂,然而不同术语往往表示同一含义.为此,本文约定:数据驱动(data driven)为仅用标签数据约束的方法,物理驱动(physics driven)为不含任何标签数据约束的方法.物理约束(physics informed)介于二者之间,即标签数据约束、偏微分方程约束共存的方法.因而,若仅用偏微分方程约束,物理约束方法就是物理驱动方法.另外,遵循于传统偏微分方程解析解、偏微分方程数值解术语,这里称用深度学习进行偏微分方程求解的方法为偏微分方程智能求解方法或偏微分方程神经网络求解方法.

本文将深度学习表征偏微分方程分为两个场景:构建未知偏微分方程与求解已知偏微分方程.对于构建未知偏微分方程,本文简要介绍了网络结构与偏微分方程、微分算子或演化算子等的内在联系,概述神经网络逼近未知偏微分方程的表示方法,并给出其中有待解决的问题与难点.对于求解已知偏微分方程,本文从数据驱动、物理约束和物理驱动3 个角度介绍神经网络求解已知偏微分方程方法,主要包括神经网络求解偏微分方程原理,网络框架构建,损失函数构造等,结合国内外研究现状,系统梳理该领域的研究脉络,分析神经网络求解偏微分方程中存在的关键问题和解决方案,并对可行的未来研究方向和内容进行讨论和展望.此外,虽然深度学习在近年来得到了迅猛发展,但其在求解偏微分方程等力学问题上的研究仍然有限,在实际应用中的表现仍有待考验.因此,本文主要侧重研究方法上的进展.

1 基于神经网络的偏微分方程求解方法探索研究

1943 年McCulloch和Pitts[44]建立了神经网络及其数学模型,开创了人工神经网络研究的新时代.20 世纪80 年代中期,首次提出的反向传播算法算法及其发展[45]引起了人工神经网络领域研究的第二次热潮.

一直以来,人们希望找到无须网格划分、无须非线性方程求解的偏微分方程数值求解新方法.其探索之一就是基于人工神经网络的求解方法.自动微分(automatic differentiation) 能使用链式法则精确计算导数[46-48],可以根据神经网络的输入坐标和网络参数对整个神经网络模型进行微分,从而代替偏微分方程中复杂的梯度计算,为基于人工神经网络的偏微分方程求解奠定了基础.

在20 世纪90 年代,便有学者开始研究使用神经网络求解微分方程的数学基础与方法.1990 年Wornik 等[49]证明了多层神经网络能够逼近任意函数及其导数.这为微分方程的神经网络求解奠定了理论基础.随后,Li[50]证明了一个隐藏层的神经网络可逼近多元多项式函数及其导数.Lagaris 等[51]将微分方程中的初值与边界条件独立表征,提出颇为新颖的偏微分方程求解方法.随后,不少学者进行了探索研究,例如,Aarts和Van[52]将表征不同阶微分算子的单隐层前馈网络联合起来,共同训练来求解偏微分方程;又如,Ramuhalli 等[53]将有限元模型嵌入到神经网络中,提出了有限元神经网络.由于早期多层前馈神经网络模型的局限性,早期方法只能求解简单的偏微分方程,基于神经网络的偏微分方程求解方法没引起足够的重视.

早期方法主要基于数据驱动,即事先获得偏微分方程的输入及精确解(常称为“标签数据”),然后用神经网络逼近标签数据,从而获得能够表征偏微分方程的神经网络模型,如图1(a)所示.网络的输入可以是参数或空间、时间等,可根据需要选择.

图1 基于PDE 智能求解方法的两种技术路线Fig.1 Two technical routes based on PDE intelligent solution method

随着深度学习算法在多个领域的成功应用[54-55],国内外学者重新开启了基于神经网络的偏微分方程求解方法研究,取得了系列突破,提出了新方法,如纯物理驱动的偏微分方程求解方法.该方法用控制方程进行约束,无需标签数据,如图1(b)所示.

根据不同的应用场景,本文将从深度学习反演构建未知偏微分方程和求解已知偏微分方程两个方面展开介绍.下节主要介绍如何通过神经网络逼近线性或非线性算子,从数据中找出隐藏的偏微分方程模型.

2 基于深度学习反演未知偏微分方程

利用深度学习方法从数据中反演未知的偏微分方程是当前的研究热点之一.对于未知的偏微分方程,主要的研究目标是通过深度学习找出数据背后蕴藏的偏微分方程模型,从数据中反演未知的偏微分方程(例如方程的右端项、方程的积分形式或方程的演化算子等),进一步构建模型用于求解.

恢复方程的传统思路是构建简单函数和偏导数的备选字典.这些函数和偏导数很可能出现在未知的控制方程中.根据已知偏微分方程的非线性响应的形式构建模型,然后利用稀疏回归类方法来学习这些未知参数,选择最准确代表数据的项.这种传统的恢复方式要求假设非线性响应形式已知或确定微分算子的有限差分逼近的方法,而深度学习大大降低了对偏微分方程先验知识的要求,只需要简单的先验知识,如方程最大可能的阶.此外稀疏回归方法需要事先确定字典中空间差分的数值近似,限制了字典的表达能力和预测能力且需要建立一个足够大的字典,这可能会导致高的内存负载和计算成本,特别是当模型变量的数量很大的时候.深度学习方法采用可学习的卷积近似微分算子或近似演化算子,从根本上提高从噪声数据中识别动力学的能力,从而使模型具有更强的表达能力和和预测准确性.如果没有足够的数据知识,也有可能通过调整多项式的微分来获得更好的表征效果,神经网络在偏微分方程求解和恢复问题中都大有可为.

近几年,国内外学者致力于探究网络结构与偏微分方程、各项微分算子或方程的演化算子等的内在联系,从理论上支撑用深度学习来表征偏微分方程.2018 年Long 等[56-57]提出一种基于数据驱动的前馈神经网络(PDE-Net),其核心思想是:时间导数项做欧拉离散,受约束卷积核近似微分算子,进而使用神经网络或其他机器学习方法近似方程右端项,构建网络来逼近偏微分方程系统,并对其解进行长期预测.此外结合Symnet (symbolic neural network)[58-59],使用可学习滤波器PDE-Net2.0[56-57]更加灵活,能够在少量先验知识的情况下揭示方程的解析形式,尤其对于非线性问题有更好的结果,并能够更强大地逼近未知动态和更长的时间预测.

变分和偏微分方程框架下卷积与微分之间存在内在关联[60-61].据此关联,Long 等[56]提出受约束的卷积核,即在数学上能证明该卷积能表征微分算子,因而卷积核是受限的.深度学习在受限的基础上学习卷积核,从而有更好的偏微分算子表征能力.例如,对于卷积核,将该卷积核作用在二维空间变量u上,得到

类似于小波理论中的消失矩的阶,对于卷积核q,定义q的消失矩的阶 α=(α1,α2)∈满足

其中β=(β1,β2)∈,对于满足|β|＜|α| 或|β|=|α|,但β≠α的所有β都有式(1) 成立.满足以上条件的α=(α1,α2)称为q的消失矩的阶.卷积核q有α ∈阶消失矩,其作用于一个连续函数F(x)∈R2有,应用泰勒展开进行推导得

最终可通过式(2)构造卷积核来近似微分算子,详见文献[56].基于受约束的卷积核,构造卷积神经网络来逼近偏微分方程,并使用神经网络或其他机器学习方法确定非线性响应项.当偏微分方程对应以下格式时

对时间导数项做欧拉离散,空间类导数项做约束卷积近似,方程(3)可表示为

其中D0和Di j表示卷积核,cij是二维矩阵,相当于偏导项的系数,可以插值得到,也可以直接在训练过程中学习得到,再根据矩阵是否为零来判断对应的项是否存在,从而反演出未知偏微分方程.

González-García 等[62]基于人工神经网络体系结构提出物理模型建立方法,其本质是在一定的先验知识下,列出描述物理过程的偏微分方程所有的备选项,利用人工神经网络进行自动选择和参数估计,从而发现数据后隐藏的物理规律.

Wu 等[63-64]首次基于残差网络(ResNet)构建了从数据中学习未知微分方程的新框架.该框架以微分方程内在的积分形式为基础,以逼近方程的流谱(flow map,针对常微分方程)和演化算子(evolution operator,针对偏微分方程)为目标,从根本上避免了传统框架(以逼近方程的右端项为目标)所依赖的数值微分.文献[63-64]提出了两种多步的ResNet 神经网络结构,从精确演化算子的角度,首次在理论上建立了ResNet 与精确演化算子的内在数学关系、由此给出了该深度学习方法的数学解释.不同于Wu和Xiu[64]在模态/傅里叶空间学习方程,Chen 等[65]在物理空间进行学习和建模,利用DNN学习测量数据,从而学习未知偏微分方程.Chen 等[66]提出一种无梯度的符号遗传算法(SGA-PDE),使用符号数学灵活表示任意给定偏微分方程,优化其表示形式,从数据中发现开放形式的偏微分方程.Xu和Zhang[67]在PINN 的基础上提出一种更具鲁棒性的深度学习遗传算法(R-DLGA),将深度学习-遗传算法提供的潜在项的初步结果作为物理约束加入损失函数,提升了在高阶导数等影响下导数的计算精度,从而在高噪声稀疏数据中获得偏微分方程.

迄今为止,该领域提出的许多方法都存在一些局限性.特别是,目前的方法通常研究ut=N(u,x,t)形式的方程,但许多物理方程不在此类.此外,如果测量一个具有参数依赖性的系统,如何消除演化动力学及其参数依赖性之间的歧义是有待解决的问题.尽管神经网络表现出强大的数据学习能力,但对于有噪声数据的学习,尤其在非线性、多耦合的复杂物理系统中,网络模型的精确性以及稳定性有待提升.

而对于已知的给定的偏微分方程,神经网络可用于逼近偏微分方程的解或表征方程,本文下节将从数据驱动、物理约束和物理驱动3 个方面对神经网络求解偏微分方程展开介绍,并简述所用的神经网络,如全连接神经网络,卷积神经网络(CNN)、残差网络(ResNet)、DenseNet、自编码网络(autoencoder)、长短期记忆(LSTM)网络等,总结现有研究的重要进展,并探讨下一步的发展趋势,对未来偏微分方程智能求解的研究提出建议.

3 基于深度学习的偏微分方程求解方法

3.1 偏微分方程神经网络求解方法概述

深度神经网络的基本结构是前馈全连接深度神经网络[68],以此为例介绍已知偏微分方程的神经网络求解方法.以d维行向量x∈Rd为网络输入,一个单隐层神经网络的k维输出形式为

式中,W1和W2分别为d×q和q×k的权重矩阵,b1和b2分别为 1×q和1×k的偏置向量;σ(·) 是一个非线性模型,称为激活函数.

对于多层神经网络,模型参数可以表示为

式中,θ 表示网络参数{W,b} 的集合.参数的优化采用随机梯度下降(SGD) 或其变体方法[69-71].以SGD 为例,第i次迭代过程如下

式中,η为第i次迭代的步长.损失函数相对于模型参数的梯度 ∇θJ通常使用反向传播[72]计算,这是反向模式自动微分[48]技术的特殊情况.关于神经网络的优化过程不再详细描述,具体可参考文献[48,68,72].

对于给定的一般偏微分方程,在初始条件I(·)(IC)以及边界条件 B(·) (BC)的约束下可表述为[73]

式中,u(t,x;θ) 是方程的近似解,θ 是近似解在方程中对应的参数;N(·) 是一个微分算子包含时间微分,空间微分等组成的线性或非线性项;x为定义在有界连续空间域 D⊆RD中的位置向量,∂D 为边界.

一般来说,根据训练方法的不同,基于深度学习的偏微分方程求解方法可以分为数据驱动和物理驱动两种方法.数据驱动方法所需的标签数据形如u(t,x),通过寻找一组最优的网络参数 (W,b),以局部最小化训练数据u(t,x)和神经网络预测(t,x;W,b)之间的差.也就是说,可以将数据驱动的优化问题表示为

式中,W*和b*为神经网络的优化目标.

对于物理驱动方法,通常使用控制方程和IC,BC 构造残差,然后将残差添加到损失函数中,从而优化网络参数.其中,网络的输出(t,x;W,b) 被代入控制方程构造残差,再通过最小化残差来优化参数.基于物理约束的优化问题如下所示

3.2 数据驱动下的偏微分方程神经网络求解方法

偏微分方程已知情况下,基于数据驱动求解偏微分方程,其核心问题是探究方程及其中各项微分算子的表征方法,进而得到方程的解.

3.2.1 基于CNN 的求解方法

由于受约束的卷积核数学上具有偏微分算子特征,用其来表征与求解偏微分方程会具有很好的效果.为此,基于受限卷积核来表征微分算子的思想[57],Zha 等[73]将二维受限卷积核推广到三维受限卷积核,构建新的三维偏微分方程智能求解方法.

对卷积核q,其矩矩阵M(q)=(mi,j,t)N×N×N,i,j,t=0,1,···,N-1.当三维微分算子最大可能的阶为1 时,在卷积核表征微分算子过程中,约束q最大阶i+j+t=1 时,mi,j,t≠0.例如,对 23受限卷积核近似微分算子有

显然,可以用约束下的卷积核近似对应阶数的微分算子,对偏微分方程N(t,x,y,z;u):=ut-F(x,y,z,ux,uy,uz,uxx,...)进行卷积近似时,有

在此基础上,引入分层自适应激活函数构建3D-PDE-Net,如图2 所示,其中激活函数可以表示为σ(naiDijtu),n≥1 为预定义的比例因子,参数ai是激活函数的斜率,可学习参数,σ 采用Tanh激活函数.

数值实验表明,3D-PDE-Net 求解精度L∞误差比求解比数值格式Douglas-Gunn ADI 降低20倍[73];所加入分层的自适应激活函数可10 倍提高训练速度,且局部误差得到改善.但此时3D-PDE-Net不是显式可解释的.

图23 D-PDE-Net 网络结构示意图[73]Fig.2 The schematic diagram of a δt-block[73]

3.2.2 基于其他网络的偏微分方程求解方法

Liu 等[26]探讨了全连接神经网络在函数逼近中的应用,并提出了一个通用的基础微分方程求解器,主要利用自动微分对方程的初值问题和边值问题进行求解.E 等[30]与Han 等[27]用深度学习逼近梯度算子,基于偏微分方程的离散格式,对高维偏微分方程给出深度学习求解新方法.对有H个隐藏层、N个时间间隔的半线性抛物型偏微分方程的网络结构如图3 所示,整个网络共有 (H+1)(N-1) 层,通过损失函数共同优化所有的网络参数.t=t1,t2,···,tN-1中的每一列对应一个t时间步的子网络,是每一个子网络中的中间神经元.基于标签数据,用多层前馈神经网络逼近梯度算子,从而可得到高于100 维的偏微分方程解,并给出了多种类型高维偏微分方程方程的求解结果.

图3 有H 个隐藏层、N 个时间间隔的半线性抛物型偏微分方程的网络结构(修改自文献[30])Fig.3 Illustration of the network architecture for solving semilinear parabolic PDEs with H hidden layers for each sub-network and N time intervals (modified from Ref.[30])

3.3 物理约束下的偏微分方程神经网络求解方法

由于数据驱动存在泛化能力弱等缺点,物理驱动可提高泛化能力,减少标签数据.物理驱动与数据驱动相融合,即物理约束的方法,受到广泛的关注.

在近几年的研究中[74-76],已经看到利用结构化先验信息构建基于数据和物理信息的机器学习算法的研究前景.Sirignano 等[77]给出了类似于LSTM 人工神经网络的deep Galerkin method (DGM)网络,提出了基于Galerkin 方法的二阶微分算子计算方法,同时给出了物理约束下的神经网络逼近定理.

3.3.1 PINN

Raissi 等[39-40]利用偏微分方程的控制方程以及边界条件等恒等式构造残差,利用各项残差之和构造损失函数,并将此方法拓展到解决非线性问题,提出了物理约束下的神经网络(physics informed neural network,PINN).PINN 将数据驱动与物理约束相结合,从而提出了偏微分方程建立与求解的新思路,即,对偏微分方程

PINN 中的损失函数主要由3 部分组成,分别为偏微分方程的控制方程,网络输出与初始条件、边界条件的标签数据的残差.

同时,Raissi 等[41]还研究了连续时间模型与离散时间模型在方程求解和方程恢复两种场景下的应用,以及标签数据噪音对求解精度的影响及误差传播.

以求解Dirichlet 边界下的Burgers 方程为例,其方程为

则有函数D(u) 为

可定义损失函数为

通过最小化损失函数优化神经网络参数,使得网络输出逼近Burgers 方程的解.

3.3.2 基于PINN 的改进方法

基于PINN 算法,Toshiyuki 等[78]使用由3 个DNNs 组成的PINN 框架对Richardson-Richards 方程进行参数反演,并估算保水曲线和水力传导函数.Han 等[79]介绍了一种基于深度学习的一般高维抛物型偏微分方程的求解方法.先对偏微分方程进行重新构造,再利用神经网络逼近未知解的梯度,在非线性方程计算中得到了满意的数值结果.Meng 等[80]提出了一种改进的PINN 方法,称为PPINN,将一个长时间的问题分解为多个独立的短时间问题,以加速偏微分方程的求解.Michoski 等[81]研究了激波偏微分方程神经网络求解方法,神经网络方法与传统方法结果对比表明,基于神经网络的求解方法有优势,标签数据可有效提升求解精度.Kani和Elsheikh[82]将物理约束求解偏微分方程方法与正交分解(POD)和离散经验插值方法(DEIM)相结合,提供了一个高精度的非线性动力系统降阶模型,降低了高保真数值模拟的计算复杂度.

Jagtap 等[83-84]提出自适应激活函数,有效地提高了PINN 逼近非线性函数和偏微分方程的效率、鲁棒性和准确性,自适应激活函数如下,图4 为各自适应激活函数的图像

图4 Sigmoid,tanh,ReLU和leaky-ReLU 的对应变量 a 的激活函数[83]Fig.4 Sigmoid,tanh,ReLU and leaky-ReLU activation functions for various values of a [83]

然而,含标签数据的偏微分方程神经网络求解方法,存在很大的局限性.对很多问题,其精确解是未知的.若需要偏微分方程的精确解才能构造损失函数,这大大限制了其应用范围.例如,在油田开发过程中,仪器只能测量井底的压力、井口的产量,而不能获得其他地区的压力.这意味着基于标签数据的偏微分方程求解方法无效.从而,基于纯物理约束(即物理驱动)的求解方法具有更广阔的应用前景,有着与传统求解方法一样的便利性(无须任何标签数据).这一旦突破,将引发偏微分方程求解技术的真正变革.

3.3.3 可测量标签数据下的偏微分方程神经网络求解方法

上述数据驱动下的偏微分方程求解方法往往需要未知量的分布数据,例如需要知道压力空间分布数据.这往往在实验条件下才能获得.例如,可在实验中布置多个压力传感器,才能获得压力的空间时变数据.但对实际工程问题,这部分数据是不可测量的.例如,在油藏开发中,只能测量井中的压力,其他的压力数据无法获知.因而,上述数据驱动下的偏微分方程智能求解方法难以有真正应用.

实际工程中,存在一部分可测量的数据,若能使用少量的可测量数据作为标签,就能对偏微分方程进行求解,将具有重要的理论意义与应用价值.部分学者对此进行了积极的探索研究.

Wang 等[85-86]将实际工程中的专家经验、物理规律和稀疏观测数据等整合为理论指导神经网络(theory-guided neural network,TgNN),如图5 所示,利用TgNN 解决地下流动建模,不确定性量化等问题.

图5 TgNN 模型的网络结构[85]Fig.5 Structure of the TgNN model[85]

Li 等[87]使用深度神经网络解决单相渗流问题,加入部分可测量的井底流压数据作为标签,有效提高非稳态、具有源汇的偏微分方程问题的求解精度.该方法的最大特点是,除将可观测的井底压力数据作为标签外,不再需要任何其他的标签数据,而是用偏微分方程约束代替压力分布的标签数据,从而大大提高该方法实际应用可行性.此外,利用源汇项引起的梯度特征构造梯度模型,作为“路标”加入神经网络,通过添加固定神经元的方式帮助网络提高优化能力,同时提出了预训练获得“路标”的解决思路.图6 为智能求解所获得的压力分布、井底压力(BHP)图.

图6 智能求解得到的压力分布和井底压力图[87]Fig.6 Pressure distribution and BHP obtained by intelligent solution [87]

Chen 等[88]提出一种基于协方差矩阵优化的无梯度神经网络,有效提升学习小数据样本的鲁棒性,适合实际工程应用.在后续研究中,Chen 等[89]提出一种硬约束投影(hard constraint projection,HCP)的方法提升机器学习方法对小样本数据的学习能力.

3.4 物理驱动下的偏微分方程神经网络求解方法

相较于传统数值求解,偏微分方程智能求解仍受标签数据的约束,在实际应用中,往往会面临数据获取困难的情况.对此,无需标签数据的物理驱动方法成为重要的研究方向,是最终的解决方案.

3.4.1 全连接神经网络(FC-NN)求解偏微分方程

Nabian 等[90]使用无监督的前馈深度残差神经网络近似高维偏微分方程,利用随机梯度下降(SGD)算法优化神经网络参数.Cai 等[91]研究了基于无监督深度学习的一维二阶椭圆偏微分方程数值求解方法,并利用一阶系统最小二乘(FOSLS)作为损失函数来优化神经网络的参数.Sun 等[92]提出了基于“硬边界约束”的神经网络求解方法,将偏微分方程的控制方程和边界条件作为损失函数来约束神经网络,通过构造“硬编码”的结构化深度神经网络来加强初始条件和Dirichlet 边界条件,有效增强物理约束下的偏微分方程智能求解,如图7 所示.对于下述不可压缩Navier-Stokes 方程[92]

图7 基于“硬边界约束”的FC-NN 框架(修改自文献[92])Fig.7 Schematic diagram of FC-NN framework based on“hard boundary constraint”(modified from Ref.[92])

其中t和x分别代表时间和空间,θ是d维向量,包括流体性质、域的几何形状等参数;速度u(t,x,θ)和压力p(t,x,θ) 都是时间、空间和可变参数的函数;ρ和ν分别表示流体的密度和黏度;bf是身体力参数;Ωf⊂R3为流体域.

对初始条件和Dirichlet 边界条件的“硬编码”过程如下所示

其中,uparticular,pparticular是满足初始和边界条件的特解,D(t,x,θ) 是定义的从内部点到“边界”的平滑函数.即,D在边界 ∂Ωf×[0,T]和Ωf×0 处为零且在远离边界处增大.对于IC/BC和简单几何域 Ωf,t的问题,可以用解析的方法写出函数D和特解.

然而,对于具有Neumann 边界条件的偏微分方程问题,仍将Neumann 边界条件以惩罚项的形式加入损失函数,在求解精度上仍有所欠缺.综上所述,Sun 等[92]为一部分具有Dirichlet 边界的稳态问题的物理约束求解提供了很好的解决方法,但由于需要解析解构造边界平滑函数,对非稳态,具有Neumann边界的问题存在一定的局限性.

3.4.2 CNN 求解偏微分方程

在人脸识别、AlphaGo 等大显身手的CNN 在偏微分方程求解中也受到广泛关注.偏微分方程的属性空间(如渗流方程中的渗透率)与解空间的对应关系,非常适合用卷积算子进行表征.基于这一特性,卷积神经网络求解偏微分方程会有很大的优势.然而,多数偏微分方程求解网络都基于FC-NN 的“点态”(基于时空域中离散的分布点)方式进行训练,这意味着FC-NN 训练样本分布自由度很大.而CNN则需要输入相对完整的样本分布,是以“点阵”图像的形式进行训练.这就带来了诸多新挑战,如不规则域、卷积网络损失函数构造等.对于不规则域,Gao等[93]通过对CNN 网络输入的物理量约束,得到偏微分方程求解神经网络模型,再通过保形变换,实现对不规则区域下的偏微分方程求解.

对于卷积网络的损失函数,Zhu和Zabaras[94]提出了贝叶斯损失函数约束下的新偏微分方程求解网络.该网络模型将CNN 与编解码器网络相融合,吸取了DenseNet 特征重用的优点,使得在参数和计算成本更少的情形下实现比ResNet 更优的性能[95].如图8 所示.

图8 贝叶斯损失函数约束下的DenseED-c16 网络(修改自文献[94])Fig.8 DenseED-c16 network with Bayesian loss function constraints(modified from Ref.[94])

随后,Zhu 等[96]研究了数据驱动、物理驱动等损失约束下的偏微分方程求解方法,并提出物理约束的稠密卷积编解码器网络(如图9 所示),提高求解精度以及泛化能力,并使用Sobel 算子计算CNN框架下的导数.与FC-NN 不同,CNN 以卷积的形式提取图像特征,其本质就是对图像的像素求导数,Sobel 算子是以滤波算子的形式计算一阶导数,从而可利用卷积函数快速计算.

图9 物理约束下的稠密卷积编解码器网络(修改自文献[96])Fig.9 Dense convolutional encoder-decoder network as the deterministic surrogate (modified from Ref.[96])

然而,目前研究的物理驱动方法(无标签数据)尚不能有效解决非稳态与源汇的问题.物理驱动的研究仍在起步阶段,离实际需求还很远.

总体上,基于深度学习的偏微分方程建立、求解与参数反演研究还处于初始阶段,主要存在以下问题:(1)很多方法只能应用于简单的偏微分方程,例如,偏微分方程中没有时间导数项,或没有源汇项.这说明求解方法还有待深入研究.(2)多数方法都是基于数据驱动的:数据驱动下,神经网络受到了强有力的约束,从而更容易收敛,但其场景有限.(3)物理驱动方法亟待突破:一旦物理驱动下的偏微分方程求解方法获得突破,偏微分方程求解方法将获得颠覆性的变革,基于深度学习的偏微分方程重建、参数反演方法都将随之变革.然而,少了标签数据的约束,深度学习收敛将十分困难,大量的科学技术问题亟待解决.

4 研究前景与展望

国内外研究进展表明,当前的应用场景主要有3 种.

(1)基于神经网络的偏微分方程建立:在大量实测数据的基础上,可以利用深度学习网络在大量备选的偏微分算子中,寻找合适的算子来“拟合”实测数据,从而“人工智能”地建立偏微分方程.相关研究很多,Raissi和Karniadakis[42]认为,深度学习有能力在少量的数据中就可发现其背后的物理规律;对高噪声稀疏数据,Xu和Zhang[67]将深度学习和遗传算法相融合来提算法高鲁棒性.

(2)参数反演:参数反演是众多工程问题的难点之一.利用神经网络的逼近能力,可以进行快速反演.该方法一般是基于标签数据的.数据驱动下的参数反演可无须考虑物理过程,例如试井参数自动反演就可从数据到数据[18-19].然而,将数据驱动与物理信息相结合,可能会有更好的反演效果[86,97].从另一个角度,将物理信息(如控制方程)加入预测模型,能够根据容易获得的数据预测更难获得的数据[89,98-99].为此,将物理驱动与数据驱动相结合,将大幅降低标签数据的数据量,相关研究将给工业应用带来很大的便利.

(3) 偏微分方程智能求解:基于深度网络的偏微分方程求解,无须网格划分、线性方程组求解、没有维度灾难.然而,由于约束少,纯物理约束下的求解方法挑战仍很大.这也是偏微分方程深度学习求解必须攻克的难题.

另一求解偏微分方程的思路是利用神经网络对非线性方程组的逼近能力,进行偏微分方程求解.神经网络的权值修正方法可以用来逼近与求解非线性方程组,且能证明,通过对权值的限制,该方法一定是收敛的[100].由于偏微分方程方程离散后仍是非线性的,从而可用此方法进行求解.按此思路,Ebadi等[101]用自适应神经网络代替传统的牛顿迭代法,提出了一种技术路线与上完全不同的偏微分方程求解方法,并利用该方法对一维的单项与两相流动进行了求解.

另一研究思路是,将偏微分方程与深度学习混合使用,相互学习、相互支撑.存在这样的情形,数据中隐藏的物理规律部分已知,部分未知.未知部分用深度学习表征,已知部分用偏微分方程表征,从而整个损失函数将包含这两部分内容.这样,在神经网络训练时,二者能相互约束、相互修正,既能防止过拟合,也能弥补数据丢失等引起的误差[102],使精度更高,效果更好.

除传统数值计算具备的应用前景外,基于深度网络的偏微分方程求解还将大幅提升强非线性偏微分方程求解能力,借助深度学习的并行能力,提升数值模拟速度.再借助物理约束与深度学习本身认知能力,在历史拟合中,有望自我完善偏微分方程,从而极大丰富与增强建模途径与能力,流动模型建立与数值模拟能力都将发生巨大变化.

5 结语

从反演未知偏微分方程与求解已知偏微分方程两个角度,本文总结了偏微分方程智能求解方法的发展历程,从数据驱动、物理约束和物理驱动3 个方面,重点介绍了已知偏微分方程的智能求解方法,简要介绍了应用场景和未来研究方向.数学界更注重一般偏微分方程方程智能求解方法研究,结合具体领域的应用研究研究正受到重视.若能突破物理驱动求解方法瓶颈,有望颠覆传统偏微分方程数值求解技术,引发数值模拟技术的巨大变革.

偏微分方程深度学习求解具有深厚的科学内涵,需要将深度学习理论、数值模拟技术、偏微分方程数学本质、偏微分方程物理意义和工程背景等有机融合,深度交叉,方能得到物理意义明确、数学基础坚实、能解决工程问题的偏微分方程求解新方法,将推动数学、力学、人工智能和油藏工程等学科融合与学科发展.