卷积神经网络在流场重构研究中的进展1)

陈皓 郭明明 田 野, 陈尔达邓雪 乐嘉陵 李林静

* (西南科技大学信息工程学院,四川绵阳 621010)

† (中国空气动力研究与发展中心,四川绵阳 621000)

引言

通常情况下,飞行器气动设计时,通过实验或者计算流体力学(computational fluid dynamics,CFD)模拟获得流场信息.CFD 通过对流场基本物理方程的高精度数值求解,在众多应用中发挥着越来越重要的作用[1].工程中常用的做法是: 通过实验或者CFD 计算获得能包络飞行轨迹的一组流场作为采样流场,再通过插值方法可以得到飞行轨迹的任意参数状态的流场信息,例如升力系数、阻力系数、流场中某点的压力(或者密度等)数据[2-3].然而,CFD 对网格质量要求高、数值求解过程复杂、动网格处理难度大导致计算耗费大,限制了CFD 方法在诸如高精度气动优化设计、气动伺服弹性、闭环流动控制等多学科耦合建模与优化等问题中应用[4-5].

本征正交分解理论(proper orthogonal decomposition,POD)[6]、动模态分解(dynamic mode decomposition,DMD)[7]是经典的数学方法,可以在保证流场结构信息精度的前提下,将冗余信息忽略,从而大幅度降低计算问题的自由度,减小模型预测的时间.罗杰等[8]以三段翼型流场作为研究对象,POD 降阶模型分别与三次样条插值和径向基插值结合,实现设计状态处流场信息快速预测.然而,三次样条插值与径向基插值等假设插值对象是连续的,因此,当流场信息随状态参数变化存在间断(如激波现象)时,流场预测结果在间断区域会产生较大的误差.侯强等[9]基于POD 理论和径向基函数建立了高超声速乘波前体流场结构和气动性能参数的快速预测模型,并对扩容设计的乘波前体流场开展了快速预测研究.该研究表明基于本征正交分解理论的快速预测方法可精确、快速地获得不同几何设计参数下乘波前体的流场,预测误差不高于2%.李天一等[10]提出了Gappy POD 方法用于重构湍流场数据,并解释了此方法重构误差的两个来源.第一部分来自截断误差,当流场复杂程度较低时,应当采用增大POD 模态数目来减小截断误差,当其复杂度较高时,需要采用流场所有的 POD 模态进行重构以消除截断误差;第二部分来自 POD 基函数在已知点上的值组成的矩阵的非列满秩性,它主要取决于破损区域的面积大小和几何形状,与其面积大小呈正相关性.张人会等[11]采用POD 方法对2 BE-203 型液环泵内单个叶轮流道的气液两相流流场进行了重构,精确地重构了单个叶轮内流场结构的各个特征,除在气液交界面附近有一定的误差,整体预测结果具有较高的精度,大大减少了流场预估的计算量.但传统模型降阶方法也存在一些显著的不足: 不适合或难以应用于多尺度、瞬态过程、间断过程,并且在发生移动、缩放及旋转变换时无法保证不变性[12].

与POD 和DMD 等方法相比,深度神经网络(deep neural network,DNN)则有望解决传统降阶方法所固有的缺点.得益于当前流体力学积累的大量数值模拟数据、实验测量数据以及现场监测数据,深度学习可以从大量的数据中挖掘出有用的信息[13]并拥有强大的非线性函数拟合能力.越来越多的研究者倾向于使用深度学习方法来预测物理模型周围的流场,并学习数值模拟中使用的方程.计算成本的显著降低和模拟结果准确性的提高显示了深度学习方法在处理计算流体动力学数据方面的潜力[14-15].本文将从以下五个章节进行讲解.第一节讲解了深度学习的基本知识;第二节调研了国内外的流场超分辨率重构的研究,包括传统卷积神经网络与生成对抗网络两种结构的超分辨率网络;第三节调研了基于特征信息的流场映射重构研究;第四节调研了长短期记忆神经网络对流场的重建;第五节得出结论并做了展望.

1 卷积神经网络的基本理论

卷积神经网络是深度学习主要方法之一,近年来已在流场重构中得到广泛应用.卷积神经网络发展至今已出现许多经典的网络结构,例如文献[16-20].这些网络在图像识别等领域表现出越来越好的效果,尽管结构越来越复杂多变,但本质上还是由卷积、激活、池化、全连接、残差结构等基本的元素组成.深度学习过程实际上是一个参数优化问题,通过定义损失函数作为网络收敛的判据,网络不断地学习所提供训练数据的特征,最终学习到的模型可用于解决实际工程中的预测、分类等问题.

1.1 卷积和激活

卷积操作是用一个卷积核矩阵在一个输入图像矩阵上面以一定的步长进行滑动,每次滑动前计算卷积核矩阵中的权重参数与对应的输入图像矩阵中的参数的乘积并相加,把每一次滑动计算所得数据拼接起来,最终组合成一个输出特征矩阵,如图1 所示.深度学习中激活函数有多种,例如: Tanh 函数、Sigmoid 函数、Softmax 函数及ReLU 等.激活函数一般用于卷积操作之后.激活函数的引入增加了网络的非线性特性,增强了拟合能力.

图1 卷积Fig.1 Convolution

1.2 池化

池化相当于对图像进行下采样操作,通过利用某一位置相邻输出的整体统计特性来代替该位置的网络输出,起到下采样的作用.池化可以有效减少参数数量,降低网络复杂度.池化主要有两种类型,一种是最大池化下采样,一种是平均池化下采样,最常见的下采样方式即最大池化下采样.如图2 所示.

图2 最大池化Fig.2 Maxpooling

1.3 全连接层

全连接层的输入是一维数组,多维数组需先进行一维化处理,然后连接全连接层.全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来.一个简单的两层全连接图结构如图3 所示.

图3 全连接层Fig.3 Full connection layer

1.4 残差网络

非常深的神经网络存在梯度消失和梯度爆炸问题,难以训练.ResNet 采用跳跃连接,每两层增加一个捷径,构成一个残差块,残差结构可以减小梯度消失、梯度爆炸的现象,结构如图4 所示.

残差结构主要包括两种结构,第一种如图4 中BasicBlock 模块,采用两个3×3 的卷积进行串联;第二种如图4 中Bottleneck 模块,采用1×1 卷积,3×3 卷积,1×1 卷积进行串联.对于ResNet 系列较浅层的模型,例如ResNet18,34,选用BasicBlock 模块,对于ResNet44,50,101 等采用Bottleneck 模块,首先,利用1×1 的卷积进行通道降维;然后,进行3×3 卷积操作,提取特征;最后,再利用1×1 的卷积恢复通道数.通过1×1 的卷积,看似增加了模型结构的复杂性,实则可以有效减少模型的计算量.

图4 残差结构Fig.4 Residual structure

1.5 注意力机制

在认知科学中,由于信息处理的瓶颈,人类会选择性地关注所有信息的一部分,同时忽略其他可见的信息,上述机制通常被称为注意力机制.在空间域上的应用就是让网络去注意那些“显眼”的地方,怎么去注意“显眼”的地方呢？哪些地方又是属于“显眼”的呢？主要解决的就是这两个问题.一张图片,把它划分成几块,每一块给定一个权重,权重大的地方就是“显眼”的位置.

Woo 等[21]提出了卷积块注意模块CBAM,如图5 所示,这是一个简单而有效的注意模块,可以与任何前馈卷积神经网络集成.给定一个中间特征图,模块沿两个单独的维度(通道和空间)顺序推断注意力图,然后将注意力图乘以输入特征图以进行自适应特征细化.因为CBAM 是一个轻量级的通用模块,它可以无缝集成到任何CNN 架构中,开销可以忽略不计.该模块可以与基础CNN 一起进行端到端的训练.Fei 等[22]提出了“residual attention network”,这是一种使用注意力机制的卷积神经网络,它可以以端到端的训练方式与最先进的前馈网络架构相结合.剩余注意力网络是通过堆叠注意力模块构建的,这些注意力模块会产生注意力感知功能.随着层的深入,来自不同模块的注意力感知特征会自适应地变化.在每个“attention module”内部,采用自下而上、自上而下的前馈结构,将前馈和反馈注意过程展开为单个前馈过程.重要的是,提出的注意力残差学习来训练非常深的残差注意力网络,该网络可以很容易地扩展到数百层.

图5 CBAM 结构Fig.5 CBAM structure

2 流场数据超分辨率重建

2.1 基于超分辨率网络的流场高质量生成

2.1.1 超分辨率网络简介

超分辨率技术(super-resolution,SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备、卫星图像和医学影像等领域都有重要的应用价值.超分辨率卷积神经网络(super-resolution convolutional neutral network,SRCNN)是深度学习用在超分辨率重建上的开山之作.SRCNN[23]的网络结构非常简单,仅仅用了三个卷积层,网络结构如图6 所示.SRCNN 首先使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸,接着通过三层卷积网络拟合非线性映射,最后输出高分辨率图像结果.作者将三层卷积的结构解释成三个步骤: 图像块的提取和特征表示,特征非线性映射和最终的重建.

图6 SRCNN 结构Fig.6 SRCNN structure

Zhou 等[24]在基于正则化的SR 框架下,针对双边全变分BTV 超分辨率重建模型的不足,提出一种基于局部结构自适应BTV 正则化的超分辨率重建方法.该方法根据局部结构自适应地选择先验模型和正则化参数.实验结果表明,该方法能够获得较好的重构效果,显著减少了正则化参数选择的人工工作量.Anwar 等[25]比较了30 多个最先进的超分辨率卷积神经网络在三个经典数据集和三个最近引入的具有挑战性的数据集中的表现,以对单张图像的超分辨率进行基准测试,为基于深度学习的超分辨率网络引入了一种分类法,将现有方法分为九类,包括线性、残差、多分支、递归、渐进式、基于注意力和对抗性设计,如图7 所示,在网络复杂性、内存占用、模型输入和输出、学习细节、网络损失的类型和重要的架构差异(例如深度、跳跃连接、过滤器)方面提供了模型之间的比较.

图7 基于最显着特征的现有单图像超分辨率技术的分类Fig.7 Classification of existing single image super-resolution technology based on the most salient features

线性网络具有简单的结构,仅由没有任何跳跃连接的信号流的单一路径或多个分支组成.在这样的网络设计中,几个卷积层相互堆叠,并且输入按顺序从初始层流向后面的层.线性网络在上采样操作的方式上有所不同,即早期上采样或后期上采样.DnCNN[26]直接学习预测高频残差而不是潜在的超分辨率图像.残差图像基本上是低分辨率LR 和高分辨率HR 图像之间的差异.DnCNN 的架构非常简单,类似于SRCNN,因为它只堆叠了卷积层、批量归一化层和ReLU 层,尽管两个模型都能够得出有利的结果,但它们的性能在很大程度上取决于噪声估计的准确性,而不知道图像中存在的底层结构和纹理.此外,由于每个卷积层之后的批量归一化操作,导致它们的计算成本很高.与线性网络相比,残差学习在网络设计中使用跳跃连接来避免梯度消失,并使设计非常深的网络变得可行.它的重要性首先在图像分类问题中得到证实.Lim 等[27]开发了一种增强的深度超分辨率网络EDSR,通过删除传统残差网络中不必要的模块进行的优化,在稳定训练过程的同时,通过扩大模型大小进一步提高性能.为了在单个模型中能更鲁棒性地重建不同放大因子的高分辨率图像,文中还提出了一种新的多尺度深度超分辨率系统MDSR 和训练方法.Tai 等[28]提出一种非常深的CNN 模型(最多52 个卷积层),名为深度递归残差网络(deep recursive residual network,DRRN),旨在实现深度而简洁的网络.具体来说,采用全局和局部方式的残差学习,以减轻训练非常深的网络的难度,递归学习用于在增加深度的同时控制模型参数.通常CNN 算法一步预测出结果,但是,对于较大的比例因子较为困难,利用渐进式重建设计,分步式预测.Lai 等[29]提出拉普拉斯金字塔超分辨率网络LapSRN 来逐步重建高分辨率图像的子带残差.在每个金字塔级别,将粗分辨率特征图作为输入,预测高频残差,并使用转置卷积进行上采样到更精细的级别.该方法不需要双三次插值作为预处理步骤,因此极大降低了计算复杂度.并且使用鲁棒的Charbonnier 损失函数对提出的LapSRN 进行深度监督训练,并实现高质量的重建.此外,文中通过渐进式重建在一次前馈传递中生成多尺度预测,从而促进资源感知应用.密集连接网络结合沿网络深度可用的分层线索,以实现高灵活性和更丰富的特征表示.Zhang 等[30]提出了用于图像超分辨率的密集特征融合DFF.由于不同自然图像中的相同内容通常具有不同的尺度和视角,因此联合学习分层特征对于图像SR 至关重要,以局部和全局方式充分利用所有有意义的卷积特征,使用密集连接的卷积层来提取丰富的局部特征,使用局部特征融合来自适应地从先前和当前的局部特征中学习更有效的特征,在充分获得密集的局部特征后,使用全局特征融合来联合和自适应地学习全局层次特征.该方法在定量和视觉上与最先进的方法相比取得了良好的性能.Shi 等[31]为了实现在单个K2 GPU 上对1080 p视频进行实时SR 的卷积神经网络,提出了一种新颖的CNN 架构,其中在LR 空间中提取特征图.此外,还引入了一个高效的亚像素卷积层,它学习了一系列放大滤波器,以将最终的LR 特征图放大到HR 输出中.有效地为每个特征图训练更复杂的升级过滤器替换了SR 管道中的手工制作的双三次过滤器,同时还降低了整体SR 操作的计算复杂度.

以上的网络设计认为所有空间位置和通道对超分辨率具有统一的重要性.在某些情况下,它有助于选择性地只关注给定层的少数特征.基于注意力的模型允许这种灵活性,并认为并非所有特征对于超分辨率都是必不可少的,这些特征具有不同的重要性.文献[32]受其他超分辨率方法中使用的线性映射技术的启发,将ReLU 重新解释为单位映射和开关的逐点乘法,最后提出了一种新的非线性单元,称为选择单元SU.虽然传统的ReLU 无法直接控制数据的传递,但所提出的SU 优化了这种开关控制,因此能够以更灵活的方式比ReLU 更好地处理非线性功能,有效降低模型的计算复杂度.密集残余拉普拉斯注意力网络(dense residual Laplace attention network,DRLN)[33]被引入于超分辨率图像.网络结构是模块化和分层的,网络的主要亮点是: (1) 模块化架构;(2) 密集连接的残差单元;(3) 级联连接;(4) 拉普拉斯注意.DRLN 利用不同的连接方式.在每个块中,三个残差单元密集连接以学习紧凑表示;然后,在同一块中使用拉普拉斯注意力对学习到的特征进行加权.目前,所有数据集的最佳结果由DRLN 提供.与RCAN[34]类似,DRLN 采用L1 损失函数来训练网络.训练的设置与RCAN 相同,即训练块大小、时期数、优化器等.DRLN 的改进可归功于具有拉普拉斯注意和级联结构的创新模块.与RCAN 相比,DRLN 的卷积层数显著减少.而另一方面,DRLN 的参数数量更高;对于多重退化处理网络仅仅考虑双三次退化,在现实中可能不是一个可行的假设,因为多个降级可能同时发生.现有的基于CNN 的SISR方法大多假设从高分辨率图像中对低分辨率图像进行双三次下采样,因此当真正的退化不遵循该假设时,不可避免地会导致性能不佳.此外,它们在学习单个模型以非盲目地处理多个降级方面缺乏可扩展性.为了解决这些问题,Zhang 等[35]提出了一个具有维度拉伸策略的通用框架,该框架使单个卷积超分辨率网络能够将SISR 退化过程的两个关键因素,即模糊核和噪声水平作为输入.因此,超级解析器可以处理多个甚至空间变化的降级,大大提高了实用性.合成和真实LR 图像的大量实验结果表明,所提出的卷积超分辨率网络不仅可以在多次退化上产生良好的结果,而且计算效率高,为实际的SISR 应用提供了一种高效且可扩展的解决方案.多重退化的超分辨率网络(super-resolution multiple degenerate network,SRMD)[36]采用连接的低分辨率图像及其退化图.SRMD 的架构类似于SRCNN[37],DnCNN[26],IRCNN[38].首先,将3×3 滤波器大小的卷积层级联应用于提取的特征,然后是一系列Conv,ReLU 和Batch 归一化层.此外,类似于ESPCN[31],使用卷积运算来提取HR 子图像,作为最后一步,将多个HR 子图像转换为最终的单个HR 输出.SRMD直接学习HR 图像,而不是图像的残差.

2.1.2 改进的SRCNN 在流场超分辨率重建中的应用

对高分辨率流动数据的追求一直是实验和计算流体动力学的主要追求之一.随着高性能计算机和实验技术的进步,研究人员更容易获得高分辨率的流体数据.实验流场测量,例如粒子图像测速术,可以捕捉湍流的复杂细节.还能采用CFD 方法获得高分辨率流场.然而,实验和模拟方法仍然是昂贵且耗时的工作.Liu 等[39]提出了一个静态卷积神经网络(static convolutional neural network,SCNN)和一个新颖的多时间路径卷积神经网络(multi time path convolution neural network,MTPC)来重建高分辨率流场.该方法与传统的双三次插值相比,有很明显的提升.图8 显示了各向同性湍流的低分辨率、双三次插值、SCNN、MTPC 和DNS (direct numerical simulation)结果的比较.

图8 几种超分辨率重建方法的对比Fig.8 Comparison of several super-resolution reconstruction methods

与之相似的工作,Kong 等[40]提出了一个超分辨率卷积神经网络(SRCNN)和一个多路径超分辨卷积神经网络(multipath super-resolution convolutional neural network,MPSRC)用来实现超分辨温度场的重构,并与双三次插值法进行了比较.结果表明,这两种方法都可以大大提高超分辨率重建精度,而MPSRC 重建算法能够以较低的均方误差和较高的峰值信噪比提供较好的重建结果.其中一组重建结果比较如图9 所示.该方法虽然取得了很大的进步,但仍然存在一些挑战.例如,当放大比例因子较大时,超分辨率重建性能有一定程度的下降,这将是下一步工作需要研究的问题.二维圆柱尾流被认为是第一个展示整体超分辨率过程并展示其在层流数据上的能力的例子,Kai 等[41]开发了两种机器学习模型,即卷积神经网络和混合下采样跳跃连接/多尺度模型.这些机器学习模型作为初步测试应用于二维圆柱尾流,并显示出从低分辨率流场数据重建湍流和层流的显著能力.Ferdian 等[42]开发了4DFlowNet能够产生无噪声的超分辨率4D 流动图像.快速计算的应用十分广泛,除了医学中的流动成像问题,电影等视频领域也希望能通过流体的快速计算达到逼真的视觉效果.

图9 Bicubic,SRCNN,MPSRC 重建结果的对比Fig.9 Comparison of reconstruction results of Bicubic,SRCNN and MPSRC

Kong 等[43]研究单路径模型采用简单的卷积层和全连接层串行架构,多路径模型通过增加池化层来增加分支路径,实现融合结构,其中多路径的模型架构如图10 所示.并在各种工作条件下进行超音速隔离段中流动的地面实验,以建立实验数据集.将训练后的单路径和多路径CNN 与传统插值方法在流场SR 重建精度上进行比较.结果如图11 所示,单路径CNN 具有一定的学习能力,但SR 精度不理想;多路径CNN 显著提高了流场SR 的准确性,并且具有一个分支路径的多路径CNN,实现了最佳的SR 性能.

图10 多路径的模型架构Fig.10 Multipath model architecture

图11 模型重建和实验结果之间瞬时流场的比较: (a)楔角为0°,(b)楔角为14°,(c)楔角为20°Fig.11 Comparison of instantaneous flow field between model reconstruction and experimental results: (a) wedge angle of 0°,(b) wedge angle of 14° and (c) wedge angle of 20°

从图12 中可以看出,传统的插值只是简单的数据平滑.当SR 因子较小(r=4)时,基于插值法重建的SR 流场看起来比LR 流场更清晰,但实际上双三次插值法只是机械地增加了像素密度,没有添加新的SR 结果的流场详细信息.当SR 因子较大(r=8)时,双三次插值提供的流场过于平滑,SSIM 只有0.3 左右,非常低.输入的LR 流场包含的信息较少,插值方法不具备学习能力,不能通过简单的像素平滑重建激波串结构.单路径CNN (CNN-I)的SR 性能似乎优于双三次插值.超音速流场中的背景波基本重建清晰,但激波序列学习得不好,特别是当SR因子较大时(r=8),激波串结构完全被丢失,重建结果严重失真.CNN-I 具有一定的学习能力,但学习能力较弱,无法提供足够的流场细节,与简单插值相比,SSIM 和PSNR 略有提高,但仍远不能令人满意.

图12 四种方法的重建结果Fig.12 Reconstruction results of four methods

2.2 基于生成对抗网络的流场高质量生成

2.2.1 生成对抗网络简介

生成对抗网络 (generative adversarial nets,GAN)[44]实际上包含了2 个网络,一个是生成网络(generator),另一个是判别网络(discriminator).GAN 的终极目的是学习一个高质量的生成器G,GAN 通过引入判别器D来得到高质量的生成器G.G在训练过程中的目的是生成尽可能逼真的图片去让判别器判断不了这张图片到底是真实图片还是生成的虚假照片,D在训练过程中的目的就是尽可能去辨别真假图片,所以G是希望D的犯错率最大化,而D则是希望自己犯错率最小,二者互为对抗,在竞争中共同进步.理论上这种关系可以达到一个平衡点,即所谓的纳什均衡,也就是说G生成的图片D判别它为真实数据的概率是0.5,即现在判别器已经无法区分生成器所生成的图片的真假,那么生成器的目的也就达到以假乱真.GAN 的优化目标函数如式(1)所示其中x是先验概率分布Pz的一个噪声样本,x是一个服从特定分布Pdata 的一个真实样本.

训练网络D使得最大概率地分对训练样本的标签(最大化lgD(x)和lg[1-D(G(z))],训练网络G最小化lg[1-D(G(z))],即最大化D的损失.而训练过程中固定一方,更新另一个网络的参数,交替迭代,使得对方的错误最大化,最终,G能估测出样本数据的分布,也就是生成的样本更加真实.基本的GAN 结构可以用图13 表示.生成模型G: 可以是神经网络或者其他方式拟合出的一个函数,给定输入,负责生成整个GAN 所需的输出.判别模型D: 可以当作一个判断输入真假的二分类器,也是一个函数.

图13 生成对抗网络结构Fig.13 Generate countermeasure network structure

2.2.2 改进的GAN 在流场超分辨率重建中的应用

在四维物理场的问题中,生成对抗网络同样能够对流动进行处理.Xie 等[45]提出的TempoGAN 网络在判别器的部分进行了两方面考虑,分别对空间和时间进行了判别.这种方式能够生成更详细真实和时间一致的物理量.Xu 等[46]提出了一种数据驱动的三维超分辨率方法,以沿着每个空间方向将空间分辨率提高两倍.该方法被称为3D 超分辨率生成对抗网络(3D-SR-GAN),它构建了一个生成器和一个鉴别器网络,以学习地形信息,并以给定的低分辨率“counterpart”推断高分辨率的3D 湍流火焰结构.Lee 等[47]提出了模拟湍流小尺度特征的深度学习GAN 网络方法.该方法有望在利用未处理的模拟数据、通过处理三维卷积实现三维结构预测以及用更少的计算成本预测精确解方面具有新颖性.从时间的角度考虑,Liu 等[48]将深度学习引入到计算流体力学数据压缩中,提出了一种新的基于GAN 的原位压缩方法.利用计算流体力学数据中的小块,训练了一个包含两个神经网络的压缩网络:负责在计算节点上压缩数据的鉴别网络和用于在可视化节点上重构数据的生成网络.在训练阶段,神经网络相互协作,同时进行优化,实现高质量的数据压缩和重构.该方法在压缩时间上有很大的优势,并且能够根据可接受的重建效果来调整压缩比.Deng 等[49]使用基于GAN 的人工智能框架从低空间分辨率流场开发了超分辨率重建方法,结果证明了超分辨率生成对抗网络SRGAN 和增强型的超分辨率生成对抗网络ESRGAN 在湍流速度场超分辨率重建中的性能,对重建的瞬时流场、流动统计量和空间相关性的分析表明,在复杂的流动结构中,两种模型都可以准确地重建高空间分辨率的流场.速度场的空间分辨率可提高42倍和82倍.

然而,GAN 在训练中是非常困难的,并且可能收敛到局部极小值,在局部极小值处,生成的样本不能捕获训练数据的真实统计,针对这种情况,Wu等[50]提出了一个嵌入统计约束的生成对抗网络,通过强制训练数据的协方差约束,产生了一个改进的基于机器学习的仿真器来捕获通过求解完全分解的偏微分方程生成的训练数据的统计量.研究表明,与标准GAN 相比,这种统计正则化带来了更好的性能.文献[51]使用4 种不同的深度学习网络(考虑和不考虑守恒定律的生成对抗网络和考虑和不考虑守恒定律的卷积神经网络)训练和预测圆柱上的非定常流场.通过对不同流态下圆柱周围非定常流场的研究,发现4 种深度学习网络在短期预测时均可预测流量,但在长期预测时,是否考虑物理损失对预测结果产生了一定的影响.如何正确的向网络中引入物理信息(例如质量和动量守恒的信息)是值得关注的问题.Lin 等[52]针对传统GAN 网络难以收敛问题提出了一种新的GAN 网络,生成网络不再尽量去欺骗判别网络而是寻找对应关系的匹配问题.与传统的GAN 相比较,该方法在迭代收敛方面以及视觉检测方面都是优越的.

3 基于相关参数的流场映射重建

深度学习对被证明具有学习变量之间复杂非线性关系的能力,基于这种能力,研究人员做了许多基于相关参数重建相应流场信息的工作.Kong 等[53]通过搭建一个双路径CNN 网络成功学习到了超燃冲压发动机隔离段上下壁面压力数据到隔离段内流场纹影图像的映射关系,重建效果如图11 所示,并将此重建出来的流场用于激波串前缘位置的检测,结果表明通过深度学习重建出来的流场进行激波前缘检测的精度与效率优于传统的压力增量法和压力比法,并且能够感知到激波跳跃现象.

除此工作之外,Kong 等[54]基于此CNN 网络(图14)利用隔离器上的压力测量来重建超燃冲压发动机隔离段中的速度场.在不同的马赫数和背压下对训练好的网络模型进行测试,结果表明该模型能够高精度地重建速度场.

图14 速度场预测模型的CNN 网络架构Fig.14 CNN network architecture of velocity field prediction model

中国空气动力研究与发展中心在乐嘉陵院士的指导下开展了深度学习在超燃冲压发动机燃烧流场重构的研究,陈皓等[55]创新性的提出了一种多分支融合的卷积神经(multi-branch fusion convolution neural network,MBFCNN)架构,如图15 所示,针对于来流Ma2.5 的条件下,建立了不同当量比的壁面压力与燃烧流场纹影图像同步对应的数据集,结果表明训练好的模型可以准确应用壁面压力重构燃烧流场,平均相关系数0.952 左右,验证了卷积神经网络在超声速燃烧流场重构的可能性.

图15 超声速燃烧室流场重构MBFCNN 模型架构Fig.15 MBFCNN model architecture for flow field reconstruction in supersonic combustor

Marai 等[56]引入了一种深度学习方法来识别大规模张量场数据集中的激波位置,使用神经网络来学习从应变张量到用作标签的纹影图像的映射.研究表明这种方法可以用于快速预测二维和三维张量场的纹影值,潜在地允许张量流中的异常检测.Wang 等[57]对传统的基于人工神经网络的流场重建方法进行了改进,提出了一种阵列神经网络方法有效地预测未知的流场数据.计算结果表明,阵列神经网络能够比传统方法更准确地重构目标问题的流场,收敛速度明显加快.Hadikhani 等[58]提出了一种通过光学监测液滴流动来测量微流控芯片中不同流体性质的非侵入式方法,从液滴图像中提取所需信息,并用于训练深度神经网络来预测流量或浓度,所提出的方法原则上可用于测量流体的其他性质,如表面张力和黏度.Bhatnagar 等[59]证明了CNN 能够在最少的监督下自动检测基本特征,在给定雷诺数、攻角和翼形的情况下能够有效预测气动流场中的速度和压力场,并显示出比RANS 解算器更快地有效估计速度和压力场数量级,使近实时研究翼型形状和操作条件对气动力和流场的影响成为可能.Jin等[60]提出了一种数据驱动模型,通过融合卷积神经网络CNNs 利用圆柱体上压力系数的测量来预测圆柱体周围的速度场.研究发现该模型的预测结果与计算流体动力学结果很好地一致(图16),并且数据驱动模型成功地学习了潜在的流动状态,即尾流结构和圆柱体表面上的压力之间的关系被很好地建立.金晓威等[61]对物理增强的深度学习方法在流体力学降阶模型、流动控制方程求解问题进行了研究.他们介绍了如何将流体物理规律嵌入深度学习模型,发现物理融合的神经网络能够加速计算流场重构问题,但其所逼近的流场无法严格满足物理规律.如何改进网络结构设计使其逼近的流场自然满足流体物理规律是需要进一步解决的问题.Hui 等[62]使用符号距离函数(signed distance function,SDF)结合CNN 的数据驱动翼型压力分布预测方法.在给定机翼几何形状的情况下,提出了一个用于预测气动性能的有监督学习问题,均方误差结果小于2%,模型可以在几秒钟内预测压力系数,比CFD 仿真快3 个数量级.

图16 不同雷诺数的CFD 结果与模型预测值之间的瞬时流量比较Fig.16 Comparison of instantaneous flow between CFD results of different Reynolds numbers and model predicted values

图16 不同雷诺数的CFD 结果与模型预测值之间的瞬时流量比较(续)Fig.16 Comparison of instantaneous flow between CFD results of different Reynolds numbers and model predicted values (continued)

针对流场预测与外形优化设计问题,Sekar 等[63]提出了一种基于深度卷积神经网络和深度多层感知器MLP 相结合的数据驱动方法来预测翼型不可压缩层流定常流场.对流体在物体周围流动的评估时,Umetani 等[64-65]提出了一个机器学习框架,该框架可以预测给定三维形状输入的气动力、速度和压力场.提出的新的基于多管映射的参数化方法可以对设计和启动优化进行交互,对学习流动的响应十分快速.Guo 等[14]提出了一种基于CNNs 的二维或三维非均匀定常层流实时预测的通用、灵活的近似模型.研究表明,卷积神经网络可以估计速度场,比GPU 加速的CFD 解算器快两个数量级,比基于CPU 的CFD 解算器快四个数量级,且误差率较低.这种方法可以在设计的早期阶段为实时设计迭代提供即时反馈.Zhang 等[66]对多个CNN 结构以及多层感知器进行训练,预测在多个流动马赫数、雷诺数和不同迎角下具有各种形状的翼型的升力系数.研究表明所提CNN 模型在几何表示的最小约束条件下具有竞争性的预测精度.王怡星等[67]提出一种流场特征提取方法,主要采用Laplace 形式的偏微分方程生成流场网格,并将各网格点曲率值作为深度学习网络输入数据,通过这种方法在一定程度上表达了边界对周围流场造成的影响.何磊等[68]提出了多种机器学习方法并比较了这几种方法的优势和不足之处,同时,将流动条件参数组成向量,再映射为图像,与翼型图像构成“合成图像”建立了基于翼型几何图像、来流马赫数、迎角的翼型气动特性深度神经网络模型,得到了比较好的预测效果,拓展了气动特性深度学习建模方法的使用范围.杨从新等[69]为克服计算流体力学方法计算成本高及无法重复利用计算结果的缺陷,基于深度学习方法,利用132 组二维流场数据建立NACA0018 翼型α=2°～8°,Re=1.0×105～1.6×106下压力场、速度场的神经网络定常预测模型,将低速不可压缩流动能量守恒方程作为约束条件,考虑到翼型升阻力与表面压力的相关性及流场静压与动压的关系,提出一种能间接约束翼型压力场与速度场之间关系的激活函数,与传统的激活函数相比,改进的激活函数因存在内部间接约束,故在翼型速度场的预测中更准确,流场过渡更均匀,并且神经网络方法通过保存模型可实现重复利用数值模拟结果目的,相比传统CFD 方法数小时的计算,训练完成的神经网络只需要数秒即可得到计算结果,可极大地提升计算效率.惠心雨等[70]为了克服传统CFD 效率低、成本高的缺陷,提出了一种基于深度学习的非定常周期性流场的预测框架,可以实时生成给定状态的高可信度的流场结果.将条件生成对抗网络与卷积神经网络相结合,改进条件生成对抗网络对生成样本的约束方法,建立了基于深度学习策略,采用改进的回归生成对抗网络模型,并与常规的条件生成对抗网络模型的预测结果进行对比.基于改进的回归生成对抗网络的深度学习策略能准确预测出指定时刻的流场变量,且总时长比CFD 数值模拟减少至少1 个量级.Zhao 等[71]提出了一种基于压缩传感的翼型表面压力精细重构方法,可以用较少的压力测量数据高精度地重构压力分布.典型翼型亚音速绕流试验表明,由4～8 个测点重构压力积分后的升力和力矩精度可以满足国家军用标准的要求.该算法对噪声具有较强的鲁棒性,为工程中从稀疏表面压力试验中获取精确的力数据提供了新的思路.此外,Hu 和Zhang[72]提出一种新的卷积算子(Mesh-Conv),该算子允许CNN 在不需要对像素进行预处理的情况下模拟流场.数值实验表明,Mesh-Conv 算子比标准卷积算子具有更高的建模精度.模型预测的流场相关系数均在0.999 以上,不存在棋盘格现象.并且,Mesh-Conv 算子很容易扩展到大多数现有的CNN 结构中.

对于定常流场深度学习技术,Ribeiro 等[73]提出了U-net 模型,该模型能成功从CFD 生成的真实数据中学习出不同几何构型周围的流场信息,有效地逼近非均匀稳定层流问题的解.研究表明与CFD 方法相比速度提高了3 个数量级.作者文中也提到引入物理约束是未来网络模型的重要环节.对于引入了物理约束的流场重构工作,尧少波等[74]提出了融合Navier-Stokes (N-S)方程的PINN 神经网络模型,赋予了传统神经网络所不具备的先验知识和可解释性,研究结果证实了PINN 方法可为建立流动物理模型提供工具和算法支撑.Raissi 等[75]将流体力学基本方程N-S 方程引入损失函数,实现对圆柱尾流流场以及颅内动脉瘤影像的生物流场重构,这一成果发表在国际顶级学术期刊Science上.其具体做法是通过自动微分技术对网络输出变量求导,并代入N-S 方程计算残差,损失函数定义为传统二范数误差与这一残差的和.预测结果表明训练过程所用到的损失函数确实提升了神经网络的学习效果.相关方法被同一作者应用于涡致振动的研究中,同样显示出了良好效果[4].

近年来,基于降阶模型的流场重构同样在基于参数的流场映射重建中取得良好的效果.文献[76]提出了利用深度前馈神经网络(deep feedforward neural networks,DFNN)结合流动模态分解构建流体流动的降阶模型,应用提出的方法对动态失速下的湍流流场进行了模拟,降价模型(reduced order models,ROMs)准确捕捉了前缘失速涡和随后的后缘涡的流动动力学特性,与传统的稀疏回归方法相比,DNN 方法能够学习流动的瞬态特征,并提供稳定和准确的长期预测.Hasegawa等[77]将卷积神经网络自编码器(convolutional neural network autoencoder,CNN-AE) 和长短时记忆(long short-term memory,LSTM)相结合,构造了一种非定常流场降阶模型的方法,利用直接数值模拟数据对CNNAE 进行了训练,将高维流场数据映射到低维空间,应用LSTM 网络建立流场的时间预测系统,应用不同钝体形状的绕流验证了方法的有效性.H u等[78]针对现有的CFD 计算成本高导致获取大规模数据的可行性差等问题,提出了基于径向基函数(radial basis functions,RBF)的生成对抗网络方法(generative adversarial networks,GANs),开展了流场重构的研究,能够从有限和稀疏的数据集高精度地重构流场,与基本的GANs 进行流场重构相比稳定性提升了34.62%.Ma 等[79]提出了一种基于残差网络(residual neural network,ResNet)的非嵌入式流场重构的降阶模型,将本征正交分解与ResNet 结合,在NACA0012 翼型流动、可压缩的M6 机翼流动和非定常圆柱绕流等典型试验,获得了比基于前馈神经网络(feedforward neural networks,FNN) 与POD 结合的非嵌入式降阶模型更高的流场重构精度.最近,Brahmachary 等[80]针对于高超声速Busemann 进气道和三坡道进气道提出了一种内流场快速预测的降阶模型,应用不同的设计变量通过拉丁超立方抽样构建样本库,结合CFD 计算获取了流场数据,利用POD 对内流场进行降阶,同时采用移动最小二乘法的回归模型和基于多层感知器的神经网络技术重构流场,试验结果表明应用多层感知器的神经网络对降阶后的内流场数据能够准确估计.上述研究证明了基于降阶模型与神经网络结合的流场重构方法在快速性和准确性等方面具有一定优势.

4 基于LSTM 的流场预测

4.1 LSTM 简介

对具有时间结构信息的数据进行建模时,长短期记忆[81]网络具有良好的性能.网路结构图如图17 所示.网络主要由三个门结构来控制状态: 遗忘门、输入门和输出门.遗忘门主要是用来遗忘某些信息,输入门用来保留部分新的信息,使用到tanh 激活函数,最后就是输出门了,这里使用到Sigmoid 激活函数,表示输出哪些内容,而前面已被更新的状态通过tanh 激活函数后与之相乘,这就是一个时间步长的输出了,由多个这样的步长共同组成了整个网络结构.

图17 LSTM 结构Fig.17 LSTM structure

4.2 LSTM 在流场预测中的应用

针对非定常流动具有时空特性同时变化的特点问题,必须考虑时间效应,因此长短期记忆网络被广泛采用.

文献[82-84]将POD 降阶方法与LSTM 网络相结合成功预测了流场的变化.Huang 等[5]将最先进的实验技术(即时间分辨体积层析成像)与深度学习算法CNN-LSTM 相结合,以快速预测三维火焰演变.湍流研究方面,Mohan 等[85]提出的CNN 与LSTM 混合网络则展现出对时空特征的良好建模能力,同时作者也指出还需要进一步的工作,以便在LSTM 模型中包含更多的物理约束和可解释性.Li 等[86]设计了一个包含特殊卷积LSTM 层和卷积层的深度神经网络(ConvLSTM),如图18 所示.该网络可以通过超声速叶栅的上游压力场重建出下游压力场,在不同的背压下对训练后的模型进行测试,重建结果与计算流体力学吻合良好,特别是在识别激波位置变化和高精度识别三维流动中复杂弯曲激波方面.此外,Li 等[87]提出了一种基于全卷积神经网络(FCNN)的时间序列预测结构用于根据前一时刻的壁面压力重构超声速叶栅的未来流场.此网络将卷积嵌入到长短期记忆中,并在输出层使用卷积操作代替以往使用的全连接操作.实验结果表明,所提出的网络能准确预测激波串前缘位置,最大相对误差小于4.4%.并且提出双向LSTM (BiLSTM)预测叶珊通道的壁面压力,该模型能够准确地捕捉壁面压力随时间变化的非线性特征.本研究结果为后续确定流场稳定裕度奠定了坚实的基础.

图18 通过上游压力场重建超声速叶栅下游压力场的ConvLSTM 结构Fig.18 Reconstruction of convlstm structure of downstream pressure field of supersonic cascade through upstream pressure field

Han 等[88]设计了一种新的混合深度神经网络结构,直接从高维数值非定常流场数据中获取非定常流动的时空特征.混合DNN 由卷积神经网络、卷积长短时记忆神经网络和反卷积神经网络组成.尹云飞等[89]针对现有的火灾烟气流动与温度分布预测工作烦琐、预测准确度低的现状,提出基于趋势特征向量的火灾烟气流动与温度分布预测模型的LSTM-TFV 算法,所提模型能够抽取火灾时间序列数据中的趋势特征,并将这些特征作为先验知识来加速和优化深度神经网络的训练过程.本研究显示了基于混合深度神经网络的降阶模型在非定常流快速预测中的潜在能力.

5 结论

本文主要介绍了深度学习中各种不同类型的卷积神经网络在流场重建中的应用.流场重建可以分为流场超分辨率重构、基于相关参数的流场映射重建、基于LSTM 的流场预测.针对特定问题进行了分类介绍,归纳了相关研究领域的进展与成果.

(1)深度学习中图像超分辨率技术已经发展出大量的卷积神经网络,相比于传统的插值方法,这些网络在流场重构方面表现出更好的性能.相比于传统的CFD 方法,这些网络在流场重构方面表现出速度上的优势.基于改进的SRCNN 在重构指标上面表现出优异的性能,但从重构的图像上来看出现了平滑的现象.而改进的GAN 则能够重构出流场中更多的纹理细节,更加符合人眼的主观感受.如何选择合适的机器学习方法,需要结合研究的流场数据多尺度时空效应来设计模型架构,进而提高超分辨率算法的鲁棒性和计算效率.

(2)通过流场的相关参数对流场进行映射重建,其本质是建立相关参数作为输入、流场参数作为输出的网络模型.与CFD 等传统计算方法相比较,卷积神经网络能够加速基于流场的外形优化计算.同时,通过引入物理约束条件可以使得重构效果更佳.

(3)具有时空特性的非定常流场的预测需要使用LSTM 结构的卷积神经网络模型.此模型可以通过前一时间段的流场数据预测未来某一时段的流场数据.模型中的卷积层部分捕捉流场的空间结构特征并进行降维处理,LSTM 结构部分在保留流场空间结构特征的同时捕捉流场的时间演化特征.

深度学习与流场重构领域相关工作的结合正在逐渐发展,已经取得了大量卓有成效的结果,但同时也面临许多挑战.首先,解决不同的流场重构问题,使用合适的神经网络模型十分重要.没有一个万能的网络模型能够适用于所有流场数据.并且神经网络模型的训练调参是一个非常耗时的过程,这不仅需要计算机拥有强大的运算能力,也需要大量的流场数据驱动.因此,标准流场数据集的建立对流场重构的发展具有重要意义,这将有助于模型的检验与改进,也有助于深度学习与流体力学学科之间的融合发展.其次,现有的深度学习流场重构模型是基于可获得的流场图像数据发展的,在面对一些地面风洞无法获得流场图像的工况下,如何基于已有工况的数据集,基于地面风洞试验的多源数据进行融合,结合迁移学习等方法,准确重构出流场是一种可工程化推广的新趋势.最后,从文献发展来看,目前研究主要是关心重构出来的流场精确程度,但针对深度学习流场重构的应用场景研究还相对较少,如何发展轻量化的深度学习架构模型,并基于FPGA、嵌入式开发板等进行硬件化设计与工程紧密结合,将流场实时重构方法与流动控制结合,可提升空天飞行器等在复杂多变的飞行环境过程智能化水平,避免传统被动控制的局限性.

当前,深度学习在流场重构中的研究更多的是应用于经典方法,如CNN,LSTM,ResNet,GANs 等,而新兴的神经网络模型如针对图像的Capsule[90]模型,针对序列问题的Transformer[91]模型、Bert[92]模型,针对“non-uniform”数据的GNN[93]模型等在其他领域如遥感图像检测等方面取得了一定成效,但是在流场重构方面研究成果较少,将其应用于飞行器/发动机的流场图像智能解释及重构方面可能会进一步取得新的成果.

此外,神经网络技术在计算流体力学方面也正逐步引起科研人员的广泛关注和研究.当前针对于飞行器外流的机器学习湍流模型研究较多,可以预见机器学习、CFD 及超级计算机的融合发展势必会加速数值模拟计算速度,成为一种新的范式.首先，当前基于数据驱动的湍流不确定度量化及建模方法,有望针对于复杂流动特定的工程问题形成统一的湍流模型,可有效解决传统的湍流模型参数较多是根据经验或者人工反复调节的问题.其次,流体力学数据驱动的建模方法正处于探索阶段,研究者应更加关注可解释性的深度学习技术,而不仅是建立一个湍流代理的黑箱模型,为了提升神经网络的可解释性和泛化性,需要考虑基于物理特性的湍流建模方法,这些物理特性主要包括多样化的几何构型、湍流模型的时空特征、激波与激波/边界层的相互作用等,目前通过在神经网络的损失函数中引入流体力学物理方程对提升精度来说是一个较好的办法,这同时也增加了传统神经网络所不具备的先验知识和可解释性,物理约束的引入是未来深度学习技术与流体力学融合发展的趋势.最后,深度学习需要大量的数据,计算流体力学受限于数据获取的高昂价值的缺陷,如何发展小样本的神经网络流动建模方法是工程上可以广泛推广的重要研究方向.