基于SinGAN的岩石薄片图像超分辨率重建

程国建，张福临

(西安石油大学 计算机学院，陕西 西安 710065)

引 言

岩石是天然产出的具有稳定外型的矿物或玻璃集合体,按照一定的方式结合而成，是构成地壳和上地幔的物质基础。大量的勘探开发实践表明,储层的微观孔隙结构直接影响着储层的储集渗流能力,并最终决定着气藏的产能。因此,研究低渗气藏的微观孔隙结构具有重要的现实意义。岩石薄片分析是地质研究中的重要部分。传统方法是人工用显微镜对岩石薄片图像进行识别、分析、鉴定,但其存在耗时长、人力投入大、准确度低等问题。因此,利用人工智能及深度学习对岩石薄片进行超分辨率重建与研究具有重要意义。

近年来,随着硬件设备和深度学习的快速发展,诸多学者在图像处理方面做了更加深入的研究。2014年,Dong Chao等[1]将卷积神经网络应用于超分辨率重建上,提出基于卷积神经网络的超分辨率(SRCNN)算法,将图像特征从低分辨率空间非线性映射到高分辨率空间,重建效果优于其他传统算法。2016年,Dong Chao 等[2]改进了SRCNN算法,提出了FSRCNN算法,其不需要在网络外部进行放大图片尺寸的操作,同时通过添加收缩层和扩张层,将一个大层用一些小层来代替,提升了超分辨率重建速度；Shi等[3]提出了一种直接在低分辨率图像尺寸上提取特征,计算得到高分辨率图像的高效方法(ESPCN)；Kim等[4]加深了卷积层数,提出了一个20层的深度卷积神经网络模型(VDSR),提高了图像的重建质量；同年,Kim 等[5]又提出了基于深度循环神经网络的图像超分辨率重建(DRCN),加深了网络结构(16个递归),增加了网络感受野,提升了性能。2017年,Ledig等[6]首次将 GAN 应用到超分辨率重建上,提出了基于生成对抗网络的超分辨率重建(SRGAN),视觉效果逼真。

在岩石图像研究方面,2016年,程国建等[7]将深度学习应用到岩石图像处理中,证明深度学习方法在岩石图像中应用的可行性；随后,程国建、郭文惠、范鹏召等[8-9]将卷积神经网络和深度信念网络应用于岩石图像分类,训练的分类模型准确率分别达到98.5%和94.75%。2019年,程国建、魏珺洁[10]将K-Means的颜色量化算法应用于岩石图像预处理,更好地反映岩石图像的颜色特征。

本文将单图像生成式对抗网络应用于岩石图像超分辨率重建中,该模型不需大量的数据集,无需人工提取图像特征,最终达到对单张岩石薄片图像进行超分辨率重建的目的。

1 岩石铸体薄片图像

在石油地质行业中,通常使用岩石薄片研究地质油气分布情况。铸体薄片是将带色的有机玻璃或环氧树脂注入岩石的孔隙裂缝中,待树脂凝固后,再将岩心切片放在显微镜下观察,用以研究岩心薄片中的面孔率、孔喉类型、连通性、孔喉配位数以及碎屑组分等。本文实验使用来自鄂尔多斯盆地致密砂岩储层微观尺度智能化表征项目中偏光显微镜下拍摄的岩石铸体薄片图像作为数据集。

2 相关理论与方法

2.1 生成式对抗网络

Ian J.Goodfellow等[11]提出了一个通过对抗过程估计生成模型的新框架，Generative Adversarial Networks。框架中同时训练2个模型：捕获数据分布的生成模型G和估计样本来自训练数据的概率的判别模型D。G的训练程序是将D错误的概率最大化[12]。这个框架对应一个最大值集下限的双方对抗游戏。可以证明在任意函数G和D的空间中，存在唯一的解决方案，使得G重现训练数据分布，而D=0.5。在G和D由多层感知器定义的情况下，整个系统可以用反向传播进行训练。在训练或生成样本期间，不需要任何马尔科夫链或展开的近似推理网络。实验通过对生成的样品的定性和定量评估证明了本框架的潜力。生成式对抗网络的基本结构如图1所示。

2.2 单图像生成对抗网络

单图像生成对抗网络(SinGAN)是Tamar Rott Shaham等[13]在 2019 年提出的一种深度学习网络模型。一般来说训练GAN来生成图像,至少需要有成千上万的训练数据才可能有不错的效果。而它能够从单张自然图像中学习,是一种无监督的生成模型,训练后的SinGAN可以接受一个随机噪声的输入。SinGAN可以生成新的具有真实感的图像样本,在保留了原始的图像块分布的基础上,创造了新的物体外形和结构。

2.3 单图像生成对抗网络原理及结构

单图像生成对抗网络是一个可以从单张自然图像学习的非条件性生成式模型。这个模型可以捕捉给定图像中各个小块内的内在分布,接着就能够生成带有和给定图像中的视觉内容相同的高质量且多样的新图像。这个任务在概念上与传统的GAN设定类似,只是这里的训练样本是单个图像的patch,而不是来自数据库的整个图像样本。而且在图像的类别上不局限于一些特定图片,而是要处理包含复杂结构和纹理的一般自然图像,这就需要获取图像更多尺度上的内部信息。这是通过一个由全卷积的轻量级GANs组成的金字塔来实现的,每个GANs负责捕获不同规模的patch分布。如图2所示。

图2 SinGAN的基本结构Fig.2 The basic structure of SinGAN

SinGAN的结构是多个全卷积GANs{G0,G1,…,GN}组成的金字塔,这些全卷积GANs都负责学习图像{x0,x1,…,xN}中的某个小块中的内部信息,不同的GANs学习的小块的大小不同,从粗糙到细致、从低分辨率到高分辨率逐步生成新图像。这些新图像在具有给定的训练图像的全局结构和细节纹理的同时,还可以有很高的可变性。在这些全卷积GANs中,每个生成器GN都会生成真实图像xN的权重与偏置。图像样本从最粗的尺度开始,加入噪声ZN,依次通过所有生成器GN,得到图像xN,将图像xN放大r倍后,加入另外一个噪声ZN-1,一并输入生成器GN-1,生成更多细节的图像xN-1,以此类推,直到最细的尺度,生成具有丰富细节的图像x0。其基本公式如下：

(1)

(2)

SinGAN超分辨率重建的原理是,在低分辨率图像上训练模型,重建损失权重为α= 100,金字塔比例因子为

(3)

由于小型结构往往会在自然图像中重复出现,因此将图像上采样r倍(见式(2)),并将其(连同噪声)注入最后一个生成器G0,学习生成图像样本,重复此k次以获得最终的高分辨率输出。判别器DN都是基于patch判断的,从DN直到D0层。

3 实验及结果分析

3.1 实验环境

本实验采用PyTorch深度学习框架,使用GPU对处理过程加速,实验所用到的软硬件环境见表1。

表1 实验环境Tab.1 Experimental environment

3.2 实验结果

实验从鄂尔多斯盆地致密砂岩数据集中随机选取了6幅大小为256×256分辨率的岩石图像。进行两组实验,第一组以不同碎屑粒径的砂岩铸体薄片图像为数据集进行实验,第二组以不同孔隙类型的砂岩铸体薄片图像为数据集进行实验。

实验一，按照砂岩碎屑的粒径大小将砂岩图像分为3类：粗粒砂岩、中粒砂岩、细粒砂岩。粗粒砂岩的碎屑粒径主要在0.5～2.0 mm之间,岩石碎屑主要呈椭圆状、棱角状,碎屑分布稀疏,连通性好。中粒砂岩的碎屑粒径主要在0.1～0.2 mm之间,岩石碎屑主要呈次棱角状、棱角状,分布较稀疏,孔隙清晰可见。细粒砂岩的碎屑粒径主要在0.062 5～0.100 0 mm之间。实验结果如图3—图5所示,这3幅图的左图为实验原图,中间为实验原图标记区域图,右边为将实验原图超分辨率重建结果图，对应原图标记区域。

图3 粗粒砂岩图像重建结果Fig.3 Image reconstruction result of coarse sandstone

图4 中粒砂岩图像重建结果Fig.4 Image reconstruction result of medium grained sandstone

图5 细粒砂岩图像重建结果Fig.5 Image reconstruction result of fine sandstone

对比输入图与结果图,在输入图中,3种类型的岩石图像较模糊,且纹理信息不明显,碎屑边缘部分平滑。经过SinGAN重建之后的图像,总体质量明显提升,边缘部分的细节更加清晰,碎屑纹理突出。

实验二，按照砂岩孔隙的类型将砂岩图像分为3类：粒间孔隙、晶间孔隙、溶蚀孔隙。粒间孔隙是在碎屑颗粒、基质及胶结物之间的孔隙空间,它是碎屑岩中最大量及最主要的储集空间。晶间孔隙是盐酸盐矿物晶体之间的孔隙。溶蚀孔隙指由碎屑颗粒、基质、自生矿物胶结物或交代矿物中的可溶组分被溶解形成的孔隙。实验结果如图6—图8所示。

对比输入图与结果图,在输入图中,3种类型的孔隙图像较模糊,且孔隙的细节信息不明显,孔隙间的物质不够清晰。经过SinGAN重建之后的图像,总体质量明显提升,孔隙的细节信息突出,纹理结构更突出。由上述图像可以看出,基于单图像生成式对抗网络的超分辨率重建结果的图像质量均有明显的提升,纹理结构更加清晰,细节信息更加明显,有利于研究人员的后续研究。

图6 粒间孔隙图像重建结果Fig.6 Image reconstruction result of intergranular pores

图7 晶间孔隙图像重建结果Fig.7 Image reconstruction result of intercrystalline pores

图8 溶蚀孔隙图像重建结果Fig.8 Image reconstruction result of dissolution pores

实验三，利用双三次插值(Bicubic)、SRCNN、VDSR、DRCN、SRGAN对岩石薄片图像进行超分辨率重建，将重建结果与本文方法结果进行对比。结果如图9所示。

图9 中粒砂岩图像不同方法重建结果Fig.9 Image reconstruction results of medium grained sandstone with different methods

3.3 实验结果分析

3.3.1 PSNR和SSIM

本实验采用峰值信噪比PSNR和结构相似性SSIM作为评价指标。

(4)

(5)

式中：MSE表示当前图像X和图像Y的均方误差；H、W分别为图像的高度和宽度；n为每像素的比特数,一般取8,即像素灰阶数为256。PSNR的数值越大表示失真越小。

SSIM基于样本X和Y之间的3个量(亮度l、对比度c和结构s)的比较进行衡量。

(6)

其中C1=(K1L)2；

(7)

(8)

其中C2=(K2L)2；

(9)

(10)

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)。

(11)

式中：μX为X的均值,μY为Y的均值,σX为X的方差,σY为Y的方差,σXY为X和Y的协方差；C1、C2、C3是为了防止出现分母为零的情况,其中K1≪1，是一个常数，具体代码中的取值为0.01,K2一般在代码中取0.03,C3取C2的一半,L为灰度的动态范围，由图像的数据类型决定，如果数据为uint8型，则L=255。SSIM取值范围[0,1], 值越大,表示图像失真越小。

表2为6张图像超分辨率重建质量评价结果。

表2 图像超分辨率重建质量评价结果Fig.2 Evaluation result of super-resolution reconstruction of rock images

表3为6张图像使用不同方法超分辨率重建评平均的质量评价结果。

表3 不同方法的质量评价结果对比Tab.3 Comparison of super-resolution quality evaluation results of images using different methods

从PSNR和SSIM数据可以看出,SinGAN的重建效果较好,也比较稳定。

3.3.2 孔隙率

本实验利用ImageJ工具对实验原始输入图、输出图分别计算孔隙率,结果见表4。

表4 图像孔隙率对比Tab.4 Image porosity comparison

可以看出经过SinGAN超分辨率重建后,由于图像变得更加清晰,纹理更加细致,细节信息更加明显，岩石图像的孔隙率都有一定程度的提升。

4 结 论

将单图像生成式对抗网络应用到岩石薄片图像超分辨率重建中,该方法直接输入单张原始图像的数据,由SinGAN网络自动提取特征,SinGAN特有的金字塔式结构,使得每一层网络能学习到前一层确实的细节。实验结果表明在视觉上和评价指标上,均具有良好效果。下一步工作,调整图像重建部分的函数,使网络达到更好的效果，以及将SinGAN网络应用于岩石薄片图像的多状态生成。