基于自适应超分辨率重建的图像压缩编码框架

李 然

(山西传媒学院 山西 晋中 030619)

0 引言

图像重建作为恢复高质量图像样式的核心步骤,一直在音视频领域占据重要研究地位。近几年深度学习作为当下热门,被广泛应用到图像压缩重建方向。1987年最早出现基于神经网络的图像编码[1],基于神经网络的视频、图像压缩编码的研究工作也在不断进行,且相较BPG(better portable graphics)等传统算法已经具有优势[2]。

从图像压缩编码整体框架看,许多研究将超分辨率重建等技术与图像压缩相结合,设计思想为由编码端完成特征提取,由解码端完成特征恢复。

一些研究利用深度学习来解决因为压缩带来的信息缺损问题,使用超分辨率重建最大可能地恢复压缩后的图像质量,许多相关网络都可以应用到图像压缩编码框架中。然而,大多数研究都将不同放大比例因子的图像超分辨率作为独立任务进行,即对每个比例因子训练单独模型。元学习的引入使得任意比例因子超分辨率有了突破性进展,在简化模型的同时灵活地把不同超分辨率放大倍数和图像码率结合起来以获取更高的图像重建质量[3]。

本文以提高编码效率、改善低码率情况下图像质量为出发点,设计基于自适应超分辨率重建的图像压缩编码框架。在传统框架的基础上,引入残差补偿、基于元学习的图像超分辨率重建等技术,构造出完整图像压缩编码框架。实现对图像的压缩、传输与重建,有效提升图像重建质量,并尝试在低码率的前提下,通过灵活调整图像的超分辨率放大比例因子以及低分辨率与残差图像的码率分配来获得较好的图像重建性能。

1 系统概述

本文提出一种基于自适应超分辨率重建的图像压缩编码框架,实现对单幅图像的压缩、传输与重建。在压缩方面选择JPEG压缩标准;在超分辨率重建方面使用基于元学习的超分辨率重建模块,对单一低分辨率图像进行不同比例因子放大,更自由地对图像进行任意分辨率重建,并且能够有效探究图像的放大因子对重建质量的影响。

系统分为编码端与解码端两部分,具体流程如下。

1.1 编码端

图1为本文所提出框架编码端流程图,主要工作步骤如下:

图1 编码端流程图

(1)JPEG编解码:框架输入为原始的高分辨率图像HR以及与其对应的低分辨率LR图像。对LR图像进行压缩得到对应的二进制码流,然后进行解压缩得到解码后的低分辨率图像LR′。

(2)预解码:对LR′进行预解码,即使用基于元学习的超分辨率重建模块得到SR图像,借助该模块对不同重建比例进行实验。

(3)残差获取:令HR与SR图像作差得到残差图像。对残差图像进行压缩得到二进制码流。

(4)码流输出:向解码端输出的码流分为两部分:LR图像压缩的二进制码流和残差图像压缩的二进制码流。

1.2 解码端

图2为本文所提出框架解码端流程图,主要工作步骤如下:

图2 解码端流程图

(1)码流输入:获取LR图像压缩码流和残差图像压缩码流。

(2)图像重建:对LR图像压缩码流进行解压缩得到解码后的LR′图像,将LR′送入超分辨率重建网络进行重建得到SR图像。

(3)残差补偿:对残差图像压缩码流进行解压缩得到解码后的残差图像,令残差图像与SR图像相加得到解码端的最终解码图像。

本文框架实现编码与解码的分步进行,以模拟实际生活中往往需要将图像从输入端先进行压缩处理然后通过数据传输到应用端进行解码恢复,其中预解码的使用可以为编码端提供更多的对比数据并且可以获得残差图像。由于JPEG属于有损压缩,残差图像的加入可以为重建图像补充更多的细节信息与损失数据,因此在解码端采取基于残差补偿的重建方式可以大幅度提升图像重建质量,同时残差图像的稀疏特性也利于提高压缩编码效率。

2 基于元学习的超分辨率重建模块

本文设计基于元学习的超分辨率重建模块,其思想源于HU X C等[4]提出的Meta-SR网络和LI H F等[5]提出的图像融合深度框架,该模块利用元学习中的权重预测功能,实现利用同一模型解决多种比例因子的超分辨率重建,图3为本模块的主要结构。

图3 基于元学习的超分辨率重建模块

模块主要分为两部分,分别为特征提取和元学习上采样,其中特征提取部分与一般的超分网络无异,负责提取低分辨率图像的特征,而元学习上采样部分则代替传统网络中的upscale操作并依据任意比例因子将特征图放大到对应大小。

特征提取选择残差密集网络RDN[6],同时也可以使用EDSR、MDSR[7]网络进行特征提取,其实现如式(1)所示:

ISR(i,j)=∮(FLR(i′,j′),W(i,j))

(1)

FLR表示提取的LR′图像特征,假设比例因子为r,则SR图像上的每一个像素ISR(i,j)的重建结果都取决于对应的FLR(i′,j′)和对应滤波器的权重W(i,j)。对于不同的比例因子r,LR′和对应的SR图像像素特征都不同,即W(i,j)不同。

元学习上采样部分主要包括三个重要功能,分别是位置投影、权重预测和特征映射。其中位置投影是LR′图像与SR图像对应像素的“连线”,对于SR图像上每个像素(i,j),必会在LR′图像上找到一点(i′,j′)与之对应,且(i,j)的值会由(i′,j′)的特征来决定生成。位置投影即使用投影运算来映射跨分辨率图像空间相同位置的两个对应像素,其公式(2)如下:

(2)

T为转换函数,r为放大比例因子,⎣」为下取整操作。权重预测作用是获得不同比例因子对应的滤波器权重W(i,j),其公式(3)如下:

W(i,j)=φ(Vij;θ)

(3)

φ(.)为权重预测网络,θ为相关参数,Vij是SR图像上与像素(i,j)有关的向量,Vij的获得表现为公式(4):

(4)

1/r为比例因子相关系数,以实现对不同比例因子进行明确区分。在利用位置投影得到FLR,权重预测得到W(i,j)之后,特征映射将完成图像重建工作,其公式(5)如下:

φ(FLR(i′,j′),W(i,j))=FLR(i′,j′)W(i,j)

(5)

φ(.)为特征映射网络,映射函数为矩阵乘。特征映射使得SR图像上每一个像素点的值由与之对应的LR′特征图上像素点的值和放大比例因子所对应的一组卷积滤波器权重值所共同决定。

3 实验结果及分析

3.1 实验环境及数据集

实验环境配置如表1所示。采用Set5作为高分辨率图像数据集,并进行bicubic下采样得到低分辨率图像。使用Meta-SR网络所提供的预训练模型作为基于元学习的超分辨率重建模块的测试参数。

表1 实验环境配置

3.2 残差补偿

在对LR图像进行预解码后,将原始HR图像与SR图像进行相减操作得到残差图像,对其压缩后将二进制码流传输到解码端,解码后与SR图像相加,即起到残差补偿作用。如图4为残差补偿结果对比。其中超分辨率重建模块比例因子为1.5,LR图像与残差图像的量化因子都为1.0。图4(a)为原始HR图像,图4(b)为重建SR图像,图4(c)为残差补偿后的HR′图像。

图4 残差图像对比

残差补偿后的HR′图像与HR图像非常接近,并且HR′图像相比只进行预解码后的SR图像质量有大幅提升,说明加入残差补偿可以很好地弥补JPEG编解码与超分辨率重建所带来的图像数据损失。

在固定重建比例因子的情况下,改变LR图像的压缩程度及码率进行重建。表2为比例因子为1.5时重建质量对比,其中残差图像的压缩量化因子始终为1.0。对于不同码率的LR图像,残差的引入总能提升重建效果,其中PSNR最多提升1.73 dB。

表2 LR码率对残差补偿影响

3.3 低码率结果对比

降低传输总码率,利用本文框架特性,通过动态调整LR与残差图像的码率以及重建比例因子来获得最佳重建质量,并与已有压缩编码算法进行比较。如图5所示为本文框架与Zhang等[6]提出的基于超分辨率重建编码框架在传输总码率为0.4～1.2 bpp时的重建结果对比。

图5 低码率重建质量对比

可以看出,本文框架与Zhang等[6]的算法在低码率时均保持较好的图像重建效果,且由于基于元学习的超分辨率重建模块可以使用单一模型进行任意比例放大,因此在调节LR与残差图像码率分配的同时,能够更灵活地为LR图像选择较小的放大比例,在保证效率的同时提升重建性能[7]。

4 结语

本文提出基于自适应超分辨率重建的图像压缩编码框架,借助元学习实现图像任意比例放大,采用残差补偿方式提升重建图像质量,实验表明,本文方法可以获得较好的重建质量。在后续工作中希望通过添加RNN循环网络等方法将框架整理成端到端结构,将重建比例因子、LR及残差图像压缩系数共同添加到网络损失中进行整体训练。