基于Real-ESRGAN 的岩石CT 图像超分辨率重建

李刚，张亚兵，杨庆贺，邹军鹏，才天，刘航，赵艺鸣

（辽宁工程技术大学 矿业学院，辽宁 阜新 123000）

0 引言

在实际的岩土工程中，如地下开采、隧道掘进和硐室开挖等施工活动中，岩体通常会经历多次荷载施加和卸载过程[1]，岩石循环加卸载破裂会引起冲击地压、瓦斯突出和底板突水等灾害[2]。认识岩体微观结构的空间分布变化，有助于更好地理解岩体破裂过程中裂纹的扩展和分布[3-4]，对于揭示致灾机理具有重要意义。随着CT 等细观成像技术的不断进步，能够更深入地研究细微的尺度，从而揭示宏观结构特征演化的根本原因。然而，在实际应用中，由于采集设备成本和自然环境等因素的限制，往往难以获得高分辨率的岩石CT 图像，这对岩石细观结构分析的准确性带来一定影响。为了克服这一限制，图像超分辨率重建技术应运而生。该技术旨在通过对低分辨率图像进行恢复和重建来获取高分辨率图像，可有效增强图像细节，提高图像质量[5]。

图像超分辨率重建方法可分为三大类：基于差值的方法[6]、基于重建的方法[7]和基于学习的方法[8]。前两者属于传统方法，通常面临图像整体模糊和细节丢失等问题，因此存在明显的局限性。近年来，随着深度学习的迅速崛起，深度学习方法在图像超分辨率重建方面得到广泛应用[9]。特别是基于卷积神经网络（Convolutional Neural Network，CNN）的超分辨率重建算法，不仅能够显著提高图像分辨率，在一定程度上还有助于去除图像噪声[10]。Dong Chao 等[11]提出了超分辨率卷积神经网络（Super-Resolution Convolutional Neural Network，SRCNN），使用3 个卷积层进行图像重建，大幅提升了图像重建速度。C.Ledig 等[12]首次将生成对抗网络（Generative Adversarial Network，GAN）[13]应用于图像重建，提出了超分辨率生成对抗网络（Super-Resolution Generative Adversarial Network，SRGAN），并对网络的损失函数进行了改进，使得在需要大幅度图像放大的情况下，能够生成视觉效果出色的图像。Wang Xiantao 等[14]对SRGAN 进行改进，提出了增强型超分辨率生成对抗网络（Enhanced Super-Resolution Generative Adversarial Networks，ESRGAN），进一步提升了重建图像的质量，增强了纹理信息，并提高了视觉效果。辛元雪等[15]对ESRGAN 的生成网络进行改进，引入了多尺度特征融合、密集连接和注意力机制，有效提高了从低分辨率图像中学习高频信息的效率。B.Lim 等[16]提出了一种增强的深度超分辨网络（Enhanced Deep Super-Resolution Network，EDSR），通过增加网络的深度和宽度以提升超分辨图像重建性能。

然而，使用上述方法重建低质量岩石CT 图像还存在以下问题：在试件内部高密度矿物质颗粒和孔裂隙的表征方面，部分网络在重建过程中会忽视这些细节，导致不能精细定量表征煤岩孔裂隙形态、分布及矿物分布。Wang Xintao 等[17]提出了改进的ESRGAN-Real-ESRGAN。其引入了无批归一化的残差密集块（Residual in Residual Dense Block，RRDB）架构作为其基本构建模块，相较于ESRGAN中的普通残差块，RRDB 包含多个残差块，每个残差块又包含了2 个子残差块，增加了网络的容量和表征能力，提高了图像重建的质量。Real-ESRGAN 更加注重重建图像的真实感和自然性，不仅能增加图像的细节和清晰度，还能保持图像的自然纹理和特征。因此，本文采用Real-ESRGAN 对岩石CT 图像进行超分辨率重建，对不同放大倍数下的重建效果进行分析，并运用三维可视化分析软件Avizo 对重建图像进行三维重构，分析岩石内部细观结构，有助于更准确地表征砂岩的微纳米孔隙结构特征。

1 岩石CT 扫描试验

1.1 试验装置

在单轴抗压强度试验中，使用电液伺服压缩试验机，其最大轴向荷载为600 kN，加载速率为0.50 kN/s。通过该试验机进行岩石的抗压强度测试，得到砂岩的峰值强度、弹性模量、峰值应变等力学参数。

为进行CT 扫描，使用NanoVoxel-3000 工业X 射线显微镜，该设备将X 光显微成像技术与三维数字重建技术结合，可有效对样品的复杂构造进行高精度三维数字成像，实现微米级别的三维数字表征，并允许对样品的物质属性进行分析，而无需损伤样品本身。CT 扫描的主要参数：空间分辨率为60.63 μm，探测器为16 位，感光单元尺寸为74.8 μm，探测器像素尺寸为127 μm×127 μm，灰度范围为0～65 536。

1.2 试验方案

试验岩样取自山西晋城无烟煤矿业集团有限责任公司赵庄煤矿15 号煤层底板的砂岩。CT 扫描系统的分辨率与样品尺寸直接相关。因此，在合理范围内尽可能减少样品尺寸，可以最大程度地提高扫描的精细程度。为实现这一目标，在本试验中，通过套孔取心、切割和打磨等工序，将砂岩加工成4 个直径为20 mm、高度为30 mm 的圆柱形试件。声波探测显示其中1 个试件内部存在明显的初始节理，因此选择该试件进行CT 扫描，其余3 个试件用于砂岩抗压强度测试，并统计3 个试件的峰值强度，通过计算平均值确定本批岩样的峰值强度。

在CT 扫描试验阶段，目标是追踪参考岩石在单轴压缩荷载下的变形全过程并记录全应力-应变曲线。这个变形过程可以分为4 个主要阶段：初始孔隙压实阶段、弹性变形和裂隙稳定发展阶段、非稳定破裂扩展阶段、破裂后阶段。

结合单轴压缩荷载下的全应力-应变曲线，对内部存在明显初始节理的试件进行4 次不同荷载水平的CT 扫描，如图1 所示。

图1 不同荷载水平的岩石CT 扫描点Fig.1 Rock CT scanning points at different load levels

试验加载前，采取措施确保岩石试件在加载时端部应力分布均匀，其中包括垫聚四氟乙烯片及涂抹硅脂。首先，对岩石试件在初始状态（对应零荷载）进行CT 扫描，以获取有关其内部初始缺陷、矿物组分形态和分布等微观结构特征的信息。接着，以0.12 mm/min 的加载速率进行加载试验，在轴向荷载达到目标值时，对试件进行扫描，以获取岩石内部裂隙网络的分布信息。然后，继续加载直到试件完全失稳并发生破坏。最后，对破坏后的试件进行CT 扫描，试验结束。

2 图像超分辨率重建试验

2.1 Real-ESRGAN 原理

Real-ESRGAN 由生成器和判别器2 个部分组成。生成器用于对低分辨率图像进行超分辨率重建，而判别器则用于判断输入的图像是否为真实图像，通过不断训练增强网络的重建能力。Real-ESRGAN 是在ESRGAN 的基础上发展而来，它采用高阶退化模型和Sinc 滤波器构建更优秀的数据集进行训练，但其生成器与ESRGAN 相同。

本文使用经过训练的Real-ESRGAN 生成器来进行岩石CT 图像重建。Real-ESRGAN 生成器结构如图2 所示，采用改进的超分辨率残差网络（Super-Resolution Residual Network，SRResNet）[18]作为骨干网络。当CT 图像输入该网络后，通过下采样压缩图像尺寸，并扩充图像通道。之后图像输入改进的SRResNet，去除所有的批量归一化（Batch Normalization，BN）层[19]，增强网络性能。在改进的SRResNet 中，原有的残差模块被替换为RRDB 模块，融合了多级残差网络和密集连接的思想，进一步增强网络的稳定性。

图2 Real-ESRGAN 生成器结构Fig.2 Real-ESRGAN generator structure

Real-ESRGAN 的判别器采用带有光谱归一化的U-Net 结构，能够对单个生成的像素进行真假判断。这种结构在确保生成的高分辨率CT 图像整体真实性的同时，也特别关注图像细节的保留。

2.2 数据来源

在4 组扫描试验中，本文从原始CT 图像中筛选和剪切了不同位置的480 像素×480 像素二维切片，形成了一个包含2 430 张图像的数据集。采用DIV2K 数据集格式，训练集包含1 944 张图像，验证集、测试集各包含243 张图像。

为得到低分辨率的岩心图像，使用OpenCV 库中的resize 函数，选择双三次插值法，从而降低图像的分辨率。对原始图像进行不同倍数的下采样处理，获得不同倍数的低分辨率图像，如图3 所示。随着岩心图像的放大倍数增加到6 倍，可明显观察到许多孔隙内部细节的丢失。

图3 原始图像与不同倍数低分辨率图像对比Fig.3 Comparison between original image and low resolution images of different multiples

2.3 模型训练及评价

硬件设备包括AMD Ryzen 9 3950X 16-Core 处理器（主频为3.70 GHz、内存为32 GiB）及NVIDIA GeForce RTX 3080 显卡。使用PyTorch 框架构建Real-ESRGAN 模型，并在训练期间采用Adam 优化器。学习率设定为0.000 1，同时分别设置一阶动量项为0.9、二阶动量项为0.999。训练迭代时，设置批次大小为8，共进行400 000 次迭代训练（2 d）。每迭代5 000 次，保存1 次训练权重。

超分辨率是一个涉及不确定性的问题，不同方法可能会产生不同的视觉印象和结果。通常情况下，超分辨率可靠性的评估方法有主观评估和客观评估2 种。主观评估是由测试人员根据个人感受对重建图像进行打分。这种评价方法更加主观，因为评分结果会受不同个体的主观因素影响。客观评估则采用制定好的计算公式对重建图像与原始高清图像之间的误差进行评估。常见的客观评估指标包括峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似性（Structural Similarity，SSIM）[20]。

PSNR 是一种用于评估图像质量的指标，通过比较信号的最大功率与信号噪声功率来衡量图像的重建质量。通常情况下，PSNR 越高，表示重建图像与原始图像之间的差异越小，噪声水平越低，图像质量越好。PSNR 计算公式为[21]

式中：P为图像的PSNR；m，n分别为图像行、列的像素数；I（i，j）为原始图像的第i行、第j列像素值；K（i，j）为重建的高分辨率图像的第i行、第j列像素值。

SSIM 是一种通过比较图像的亮度、对比度及结构信息来评估2 幅图像相似程度的指标，取值范围为0～1。当2 幅图像的SSIM 接近1 时，表示它们的结构和内容非常相似，即重建图像与原始图像非常接近，图像质量好。SSIM 计算公式为[22]

式中：M(a,b)为图像a和b的SSIM；µa，µb分别为图像a，b灰度的平均值；c1和c2为用来维持稳定的常数，c1=(k1L)2，c2=(k2L)2，k1=0.01，k2=0.03，L为像素；σab为图像a和b灰度协方差；σa，σb分别为图像a，b灰度方差。

2.4 试验结果与分析

本试验的主要目标是对岩石CT 低分辨率图像进行2 倍、4 倍和6 倍的超分辨率重建。为验证Real-ESRGAN 算法的有效性，将其与SRCNN 算法、SRGAN 算法、EDSR 算法、ESRGAN 算法进行比较。

从4 组CT 扫描试验中选择15 张图像作为测试集Z1，以验证训练后的图像超分辨率重建算法的可靠性。对Z1 进行2 倍、4 倍、6 倍的超分辨率重建后，对各种图像超分辨率重建算法的客观评估结果见表1 和表2。可以发现，各算法重建图像PSNR 和SSIM 随着放大倍数的增加逐渐减小。Real-ESRGAN重建图像的PSNR 和SSIM 均优于其他算法。与PSNR 相比，SSIM 更能反映重建图像的结构信息和感知质量，Real-ESRGAN 更注重图像细节的重建。

表1 不同算法超分辨率重建图像PSNR 比较Table 1 Comparison of PSNR of super-resolution reconstruction images with different algorithms

表2 不同算法超分辨率重建图像SSIM 比较Table 2 Comparison of SSIM of super-resolution reconstruction images with different algorithms

为更直观地感受Real-ESRGAN 算法在图像重建的视觉效果，各超分辨率重建算法在测试集Z1 上进行2 倍、4 倍和6 倍超分辨率重建的结果如图4-图6 所示。图中白色区域代表砂岩内部高密度矿物质颗粒，浅灰色区域代表岩样基质，深灰色及黑色区域代表内部孔（裂）隙。

图4 不同算法2 倍超分辨率重建结果对比Fig.4 Comparison of 2x super-resolution reconstruction results of different algorithms

从图4-图6 可观察到：①SRCNN 算法重建的超分辨率图像存在一定程度的模糊，并且随着图像放大倍数的增大，模糊程度加深。特别是图6 中的Image2，SRCNN 无法准确重建裂隙的弯曲走向，导致视觉效果较差。② SRGAN 算法的重建图像整体质量优于SRCNN。该算法基于GAN，引入内容损失，更注重原始图像的语义特征差异，从而减少图像的模糊感。③ESRGAN 算法的重建图像细节优于SRGAN 和ESDR。从图4 可看出，ESRGAN 算法重建的白色区域和黑色区域相较于SRGAN 和ESDR更加清晰，伪影较少。然而，ESRGAN 在重建微小的矿物质颗粒方面存在一定的局限性。④ Real-ESRGAN 算法的重建图像在视觉上比其他算法表现更出色，能够更清晰地展示砂岩内部高密度矿物质，裂隙边缘更加突出。尤其在图5 的Image1 和Image2中，黑色孔隙也更加清晰可见。然而，随着图像放大倍数的增加，Real-ESRGAN 算法重建图像中的白色区域逐渐出现模糊现象，如图6 所示。

图5 不同算法4 倍超分辨率重建结果对比Fig.5 Comparison of 4x super-resolution reconstruction results of different algorithms

图6 不同算法6 倍超分辨率重建结果对比Fig.6 Comparison of 6x super-resolution reconstruction results of different algorithms

为验证Real-ESRGAN 算法的优越性，对测试集Z1 中的其余部分重建图像进行比较，如图7 所示。可明显看出Real-ESRGAN 重建的图像整体更清晰、更亮，裂隙的轮廓和高密度矿物质颗粒在重建图像中比原始图像更加清晰，而孔隙的分布形态与原始图像差异不大。

图7 不同算法2 倍超分辨率单幅图像重建结果对比Fig.7 Comparison of 2x super-resolution reconstruction results of a single image of different algorithms

3 三维图像重构及分析

在本试验中，选取轴向荷载为30 kN 时CT 扫描得到的图像（共540 张），并通过OpenCV 对CT 图像进行2 倍、4 倍和6 倍的下采样，获得低分辨率图像。使用训练好的SRCNN 算法、SRGAN 算法、EDSR 算法、ESRGAN 算法、Real-ESRGAN 算法对图像进行重建，分别得到轴向荷载为30 kN 时的原始CT 图像（1 倍）和放大2 倍、4 倍、6 倍的超分辨率图像。运用Avizo 软件对每组图像进行三维重构，并按切片进行孔隙率分析，结果如图8 和图9 所示。

图8 Real-ESRGAN 重建图像与原始CT 图像孔隙率对比Fig.8 Comparison of porosity between Real-ESRGAN reconstructed images and original CT images

图9 不同算法重建图像与原始CT 图像孔隙率对比Fig.9 Comparison of porosity between reconstructed images of different algorithms and original CT images

从图8 可看出，Real-ESRGAN 重建的原始CT图像（Real-ESRGAN-1x）和放大2 倍图像（Real-ESRGAN-2x）的孔隙率与原始CT 图像的孔隙率基本吻合，表明Real-ESRGAN 重建图像在孔隙率方面与原始图像一致。然而，随着放大倍数的增加，放大6 倍图像上的孔隙出现模糊。这是因为使用Real-ESRGAN 算法进行高倍数的超分辨率重建时，由于细小孔隙的复杂性，难以重建这些微小的细节，导致重建图像的孔隙率低于原始CT 图像。然而，从图9 可看出，相对于其他算法所重建的图像，Real-ESRGAN 在重建放大4 倍图像（Real-ESRGAN-4x）和放大6 倍图像（Real-ESRGAN-6x）时，其重建图像的孔隙率更加接近原始CT 图像的孔隙率，并且Real-ESRGAN 重建图像整体孔隙率走向与原始CT 图像保持一致。

孔隙网络模型用来描述岩石复杂孔隙结构，通常由孔隙和喉道2 个部分组成，其中喉道代表连接孔隙的细长通道[23]。通过Avizo 软件获取每组图像的孔隙网络模型，并获得喉道长度分布占比，结果如图10 和图11 所示。

图10 Real-ESRGAN 重建图像与原始CT 图像喉道长度分布占比对比Fig.10 Comparison of throat length distribution ratio between Real-ESRGAN reconstructed images and original CT images

图11 不同算法重建图像与原始CT 图像喉道长度分布占比对比Fig.11 Comparison of throat length distribution ratio between reconstructed images of different algorithms and original CT images

从图10 可看出，Real-ESRGAN 重建1 倍、2 倍和4 倍高分辨率图像的喉道长度分布占比趋势与原始CT 图像基本一致。从图11 可看出，在相同放大倍数下，Real-ESRGAN 重建图像的喉道长度分布占比相比于其他算法更接近原始CT 图像。

4 结论

1）Real-ESRGAN 算法在2 倍超分辨率重建后图像的PSNR 高达36.880 dB，SSIM 达0.933。随着原始图像放大倍数的增加，6 倍超分辨率重建图像上的孔隙出现模糊，PSNR 降至32.781 dB，SSIM 为0.896。这表明Real-ESRGAN 算法在超分辨率图像重建方面表现出色，但也需注意在高倍率放大情况下可能出现一定的模糊问题。

2）基于Real-ESRGAN 算法重建图像放大倍数不超过4 时，Real-ESRGAN 生成的高分辨率CT 图像与原始CT 图像非常相似，并且能够成功重建微小的矿物质颗粒，显著提高了微纳米孔隙图像的分辨率。

3）Real-ESRGAN 重建超分辨图像的孔隙率和喉道长度分布占比与原始CT 图像基本吻合，尤其是重建的原始CT 图像和放大2 倍的图像与原始CT 图像的孔隙率吻合较好，表明Real-ESRGAN 算法能够准确重建岩石内部复杂的孔隙网络结构。