Raw 格式岩心图像超分辨率重建

黄帅坤，陈洪刚，卿粼波，郝传铭

(四川大学 电子信息学院，四川 成都 610065)

0 引言

在地质勘探开发中，通过研究钻取的岩心能获得重要的地质信息，高清的岩心图像更有利于研究人员进行分析。 基于线阵相机的扫描仪，采集的图像分辨率较高，但扫描存在不稳定、成像时间长的问题[1]。 而基于面阵相机的扫描仪，通过一次成像，能大大减少岩心图像的采集时间；但为了使同样大小的岩心进入视野，采集的图像分辨率会有所下降。因此，如何提升岩心图像分辨率，从而达到后续的分析要求，具有重要的研究意义。

随着数据集的越加广泛[2-3]与训练模型深度的加深[4-5]，单幅图像超分辨率技术得到了很大的发展，但目前很多超分辨率方法在应用于岩心图像时表现不佳。 首先，许多方法[1，4-7]通过固定的下采样来获得低分辨率图像，但这种简单的退化模型并不能反映真实场景图像的退化过程。 其次，退化模型应该基于线性图像[5，8]，但许多方法是基于相机图像处理器(Image Signal Processor，ISP)处理后的非线性图像[1，4]，由于经过色调校正、有损压缩等非线性处理(如图1 所示)，会使模型重建出的高分辨率图像出现伪影。 为了解决这一问题，有研究者直接通过光学变焦方法拍摄现实场景中的图像作为数据集[2，4，9]，但针对岩心这种小视场图像，高低分辨率之间不同程度的畸变与较大视场差因素增大了对齐数据的难度。 文献[8]提出了一种方法，先模拟ISP 过程合成数据集，再使用一个双层卷积神经网络进行学习，其重建的图像色彩直接取决于分支2输入图像的色彩。 为得到逼真的色彩，需根据每次拍摄的坏境，对分支2 输入图像的色彩进行调整，且只能根据重建结果反馈给输入进行调整， 该过程比较繁琐和耗时。

图1 相机 ISP 流程

本文基于以上研究成果，针对重建效果细节模糊或色彩偏差问题，做了以下工作：(1)基于 Raw 格式岩心图像，模拟ISP 中的线性处理部分，制作线性图像数据集。(2)基于文献[8]网络，引入重叠池化层减少分支1 的冗余信息；引入通道注意力机制提高分支2 色彩恢复效果；并针对分支2 色彩调整耗时长的问题，提出了基于Raw 格式岩心图像的超分辨率重建算法。

1 提出方法

1.1 整体流程

为了使岩心图像获得更好的超分辨率结果，本文基于 Raw 格式图像进行研究，16 位 Raw 格式图像比8 位RGB 图像多出的高位信息有利于图像的重建[2，4，8-9]；并只学习线性高低分辨率图像之间的映射关系，便于重建结果的色彩调整，整体流程如图2 所示。首先，将输入的 Raw 格式图像 Iraw转换为Bayer 格式图像 Ibayer，并经过 CNN1 重建出纹理清晰的高分辨率图像。然后，由于Bayer 格式图像没有色彩信息，因此将输入的 Raw 格式图像再经 ISP 线性化操作得到线性 RGB 图像 Iref，并基于 CNN2 学习高低分辨率图像的色彩映射关系。 最后，将分支1 得到的结构特征与分支2 得到的色彩特征进行特征融合(即图2 中的 M 过程)，得到一张线性的彩色高分辨率图像 Irestore。

图2 整体流程图

由于上述步骤是针对线性图像的重建，并不包含ISP 中的非线性操作，与经过ISP 处理后的图片相比，两者在色彩与亮度上存在偏差，因此对 Irestore进行色调校正和图像增强(即图2 中的 no-linear 过程)：

其中，fb表示亮度校正，fg表示伽马校正，fe表示对比度增强。 特别地，高分辨率图像 Ihsr的色彩能根据拍摄环境直接在Irestore上进行非线性的色彩的调整，大大减少了色彩调整的时间。

1.2 网络

本文网络在文献[8]网络的基础上进行了改进，图3 所示为 CNN1 的网络结构。 首先，将低分辨率Bayer 图像的 RGGB 四个通道送入网络， 并使用多个卷积层与密集块[10](Dense Block，DB)来提取高维图像的底层特征。 与文献[8]不同的是，本文增加一个重叠池化层(Overlapping Pooling)来减少网络中的冗余信息，使特征提取过程更加紧凑与高效。然后，对提取的底层特征enconder 进行高分辨率图像重构，多个长短跳接能提高网络的性能[7]，也弥补了随着网络加深带来的梯度消失问题。 经过CNN1 网络，获得了高分辨率图像的纹理特征；然后，经过如图4 所示的CNN2 网络，来获取高分辨率图像的色彩特征。

图3 CNN1 网络结构(conv1～6 为步长为 1 的卷积层，deconv 为步长为 2 的反卷积层，C 表示 Concat，DB 表示增长率为 16 的的密集块)

图4 CNN2 网络结构(conv1～6 为步长为 1 的卷积层，avg_pool1～2 为平均池化层，deconv1～3 为步长为 2 的反卷积层，C 表示 Concat，CA 结构如图5)

图5 CA 层

CNN2 网络在 U-Net[11]网络的基础上，采用 2×2平均池化层代替原网络中的最大池化层。 在经过两次卷积和池化后，将CNN1 提取的底层纹理特征enconder 与分支2 提取的底层色彩特征进行相加。由于两者具有不同的通道尺度，本文引入如图5 所示的通道注意力(Channel Attention，CA)机制来学习每个通道的权重，并自适应地更新缩放因子，使得经过CNN2 得到的色彩特征更加贴合 CNN1 获得的纹理特征。 然后，经过 3 次反卷积重构高维的色彩特征。 最后，将 CNN1 得到的纹理特征与 CNN2 得到的色彩特征进行特征融合，融合方法采用文献[8]中的空间色彩融合，最终获得线性的高分辨率彩色图像 Irestore。

2 基于岩心图像的数据集生成

大多数超分辨率重建方法对经过ISP 处理后的图像使用固定的下采样获得低分辨率图像，但该方法与真实低分辨率图像复杂的退化过程差距很大。为了模拟真实的退化过程并充分利用Raw 格式图像中的高位信息，本文基于Raw 格式岩心图像模拟相机ISP 过程中的线性化操作；将获得的低分辨率图像 Ilsr作为CNN1 的输入，并通过相应色彩转换来生成 CNN2 的输入 Iref。

2.1 标签图像

如式(2)所示，首先使用 Dcraw 对 Raw 格式岩心图像 Iraw进行预处理，在归一化后得到 Bayer 格式图像Ibayer：

其中，Lw表示相机的饱和度，Lb表示相机的暗电平值；而 Dcraw 为一种广泛使用的 Raw 格式图像处理算法，它将Iraw中的文本信息去掉，并转换为线性的16 位数据。

进一步地，对 Ibayer做白平衡调整，对每个 Bayer阵列[4，8]的 R 通道与 G 通道分别乘上对应增益系数，以补偿因三种滤波片具有不同光谱灵敏度带来的影响。 经过 DDFAPD 色彩插值[12]后，得到中间结果 Ilinear。 然后，对其进行色彩空间转换，将 Ilinear转换到一个与设备无关的色彩空间，相机空间到sRGB空间的变换关系如式(3)所示：

其中 MXYZ2Camera转换矩阵可通过相机得到，MsRGB2XYZ由统一标准制定；J(·)表示行归一化，以确保图像中白色在任何空间都呈白色，取逆后，获得标签图像IGT∈RH×W×3。

2.2 低分辨率图像

为了获得低分辨图像 Ilsr∈RH/2×W/2×1，对上节得到的中间结果Ilinear使用式(4)所示的退化函数进行计算：

其中，Kd为离焦模糊，Km为运动模糊，fdown为采样因子为 2 的下采样，而 fbayer表示 Bayer 采样，其将三通道图像经过RGGB 顺序采样恢复成单通道的Bayer格式图像。 与添加简单的高斯噪声不同，本文采用更复杂的异方差高斯噪声，其更有利于重建出真实的高分辨率图像[8，13]：

其中，δs、δc表示随机标准差，x表示Raw格式图像每个像素位置的亮度强度。 为了获得低分辨率图像Iref∈RH/2×W/2×3，先对 Ilsr进行色彩插值，然后对得到的图像进行色彩空间转换，需要保证与处理标签图像时的参数一样。

3 实验

3.1 模型训练

本文使用 Cannon 5Ds R 相机拍摄了 51 张 8 688×5 792 的原始 Raw 格式图像，包括砾岩、页岩柱状和剖面岩心。 首先，将 Ilinear裁剪为 1 024×1 024 大小，经过筛选后，只保留图像中的岩心部分，并进行数据增强。 然后根据第2 节中的操作，生成所需数据 集 。 其中，异方差高斯噪声标准差δs、δc分 别 从[0，0.01]和[0，0.001]中均匀采样，离焦半径从[1，5]中随机采样，运动模糊内核大小从[3，11]中随机采样，在剔除一些有问题的数据后，最终得到9 750张训练样本和90 张测试样本。

网络选用L1作为损失函数，初始学习率为2×10-4。每次迭代都从数据集中选择6 张图，并从每张图中随机挑选一个256×256 的局部图像进行训练；相应地，标签图像也在相同位置进行裁剪。 在训练6.5×104次迭代后得到模型；其中前 4×104次迭代，学习率进行衰减率为 0.96 的指数衰减，剩余以 10-5学习率训练完。

3.2 实验对比

首先基于本文构建的岩心数据集，以相同设置分别训练出参考网络[8]和本文网络各自的模型；然后选择90 张合成数据进行重建。 对重建结果进行峰值信噪比(PSNR)与结构相似性(SSIM)指标评估，以验证本文对网络的改进。 表1 结果表明本文对网络的改进，对岩心图像的重建效果有一定的提升。

表1 重建图像质量评估

此外，为了评估本文提出的重建算法，本文还基于文献[1]构建的RGB 岩心数据集，以相同设置训练文献[1]网络和文献[4]网络。 然后使用Cannon 5Ds R 采集岩心图像，并保存为 Raw 格式与RGB 格式；再将其裁剪为 1 024×1 024 的大小，最后从中选择 30 张作为验证集。 其中，本文模型和文献[8]模型基于 Raw 格式图像验证；文献[1]模型和文献[4]模型基于 RGB 格式图像验证。 由于没有高分辨率标签图像，本文通过无参考质量评估以及视觉观察来对比分析岩心图像的重建效果。

在无参考质量评估中，图像的清晰度是衡量图像质量优劣的重要指标，它能够较好地与人的主观感受相对应。 因此， 本文选用了具有不同算子的Laplace 与 Brenner 梯度函数来计算图像相邻范围内的像素变化；并选用二阶信息熵(Entropy)和SDM2[14]来反映图像的聚焦程度。 四个指标都能较好地反映出图像的清晰度，值越大，图像越清晰。表2 结果表明， 基于 Raw 格式数据集的重建效果要好于基于RGB 格式数据集的重建，验证了Raw 格式图像中的高位信息有利于图像的重建。 本文与其他方法的对比，验证了本文提出的重建算法能有效地提升岩心图像的重建效果。

表2 无参考图像质量评估

图6 是岩心图像的重建效果对比。 其中，图(b)、(c)与(d)、(e)对比，基于 RGB 格式的图像重建出的图像细节不清晰且平滑；而基于Raw 格式图像的重建方法，重建效果有明显的提升，进一步验证了Raw格式图像中的高位信息有利于图像的重建。 图(d)与(e)对比，本文算法重建的图像在边缘上更清晰，色彩也更饱满，验证了本文提出的重建算法能有效地提升岩心图像的重建效果。 另外，由于模型重建的只是线性图像，重建图像在色彩与亮度上有偏差（图6(f)），需要经过 ISP 的非线性处理，才可得到真实的色彩(图6(e))。

图6 重建效果对比图

4 结论

本文提出了一种基于深度卷积神经网络的Raw格式岩心图像超分辨率重建算法，充分利用Raw 格式中多出的高位信息重建出清晰的纹理结构，并引入通道注意力机制和重叠池化层提高两条分支的特征融合能力和使网络更加紧凑。 另外，基于线性图像重建出的图像，能根据拍摄环境的不同，快速调整ISP 非线性操作的参数，从而得到满意的高分辨率图像。 本文与基于RGB 数据的超分辨率算法对比，在评估指标与视觉效果上都更优。 本文还与参考网络进行对比，表明了本文对网络的改进提升了重建效果。 综上结果表明，本文提出的重建算法能能较好地对岩心图像进行重建。