基于多尺度残差的数字图像超分辨率重建算法

于 玉,赵 月

(西北大学 现代学院,西安 710000)

0 引 言

在信息传递过程中,图像属于一种重要的信息载体,由于设备硬件条件、传输环境等因素影响,在数字化图像采集过程中会出现低像素的图像[1]。由于低分辨率图像的像素密度一般很低,而且图像中的细节信息和结构信息很少,因此可以用图像超分辨重建技术将低清晰度图像转化成高清晰度图像[2]。目前图像的超分辨重建技术在视频监控、高清晰数字电视和图像压缩等领域中已取得了一些研究成果,并且相关领域的研究学者也对数字图像超分辨率重建算法进行了研究。

张帅勇等[3]将图像输入深层网络中,获取图像特征,在金字塔结构的基础上分层处理结构特征,获取图像边缘信息,通过残差学习实现图像重构,但该算法重建后的图像相似度较低。李静等[4]在Boxfilter滤波器中引入非局部均值算法,对图像进行去噪处理,将去噪后的图像输入深度残差卷积网络中,实现图像重建,但这种方法重构后的图像峰值信噪比(PSNR:Peak Signal-to-Noise Ratio)值较低,重构效果较差。

针对以上问题,笔者引入一种多尺度残差方法,实现数字图像超分辨重建。

1 数字图像预处理

1.1 数字图像去雾处理

气溶胶散射作用[5-6]以及大气中存在的微小水滴会对图像采集产生影响,降低图像质量,为提高图像重建质量,需要对图像进行去雾处理。

通过

(1)

对灰度腐蚀操作处理数字图像中存在最小颜色分量。其中y表示像素邻域; Ξ(x)表示图像中中心为像素x的邻域;c∈{R,G,B}表示数字图像R、G、B颜色通道。

基于多尺度残差的数字图像超分辨率重建算法针对数字图像中存在的灰度分量,通过Canny算子对其进行边缘检测[7-8],分割数字图像,并统计边缘像素在数字图像块中所占的比例Me(x),设置亮度阈值Tv和平坦阈值Tp,当像素符合Imin(x)>Tv、Me(x)

标记候选区域的联通分量,获取其先验信息,在数字图像中,天空亮度S可通过最大像素值估算得到。设置e-βd(x)=t(x)表示指数衰减项,e-βd(x)和介质传播函数t(x)之间的关系满足e-βd(x)=t(x),此时大气耗散函数B(x)如下:

B(x)=1-t(x)。

(2)

根据天空亮度S,建立大气散射模型:

I(x)/S=σ(x)t(x)+B(x),

(3)

其中σ(x)表示场景反照率。可将大气散射模型转化为

I′(x)=σ(x)t(x)+B(x)。

(4)

最小颜色分量函数:

(5)

(6)

其中Hζs、Hζr表示滤波高斯函数,ζs、ζr分别表示空域S、值域R中高斯模板的尺寸;Eb表示归一化系数,且有

(7)

根据式(6)估计结果获得介质传播函数:

t(x)=1-B(x)。

(8)

基于多尺度残差的数字图像超分辨率重建算法计算场景反照率σ(x)时引入因子λ:

(9)

数字图像在成像过程中会产生伪轮廓,为提高图像去雾效果,基于多尺度残差的数字图像超分辨率重建算法将因子λ的值设置为0.95。

1.2 数字图像去噪处理

数字图像在去雾处理过程中极易引入噪声,通过下述过程对去雾后的数字图像进行去噪处理:

1) 色度饱和度亮度(HSI:Hue,Saturation,and Intensity)变换处理数字图像[9-10],获得分量矩阵H、S、I。

2) 分块处理数字图像的分量矩阵H、S,在极坐标系中重新定义图像块中的原色量,并利用

(10)

设置阈值d如下:

(11)

3) 采用非平稳信号时频分析(NSST:Nonstationary S-Transform)方法[11-12]处理数字图像的分量矩阵I,针对分解获得的高频分量Ik,s,用gIk,s表示其梯度系数矩阵如下:

(12)

设置去噪规则

(13)

消除图像分量矩阵I中存在的噪声。

2 数字图像超分辨率重建

基于多尺度残差的数字图像超分辨率重建算法在超分辨率卷积神经网络(SRCNN:Super-Resolution Convolutional Neural Network)的基础上,通过图像重建模块、反向投影模块和特征提取模型,实现数字图像超分辨率重建。

2.1 特征提取

笔者算法使用卷积核尺寸不同的两个卷积层提取图像的特征[13-14],获得特征图G1、G2如下:

(14)

其中JSFE,3×3、JSFE,1×1分别表示在图像卷积处理过程中使用3×3、1×1像素的卷积核;I表示预处理后的数字图像。

2.2 反向投影

结合无限贝叶斯聚类(IBP:Infinite Bayesian Partitioning)算法思想,笔者算法在下述升采样和降采样过程的基础上完成反向投影。

1) 升采样。

降采样层数与升采样层数在反向投影层中的比为(T-1)∶T,级联处理反向投影获得的特征图,获得卷积层融合的特征G=J([G1,G2,…,Gn])。

2.3 图像重建

通过多尺度的方式提取数字图像特征,获得尺度不同的3个特征图,融合特征图Rr,引入1×1卷积核,通过卷积操作改变数字图像特征图的特征维度,设置3×3的卷积核,对上述特征图进行卷积处理[15],实现数字图像超分辨率重建:

(15)

其中Gn-2、Gn-1、Gn表示网络中存在的后3层; ∑JUD,3×3、∑JUD,5×5、∑JUD,7×7表示不同尺度卷积核提取的特征图总和;JRe,1×1、JRe,3×3表示采用1×1卷积核、3×3卷积核对图像进行卷积操作。

3 实验与分析

为验证基于多尺度残差的数字图像超分辨率重建算法的整体有效性,笔者对其进行了相关测试。

将结构相似度(SSIM:Structural Similarity Index)和峰值信噪比PSNR作为指标,以文献[3-4]算法为对比方法,对比分析不同方法的图像重建效果。

结构相似度SSIM通常在区间[0,1]内取值,设y表示算法重建后获得的图像;ζxy表示理想图像和重建图像的协方差,结构相似度SSIM可通过

(16)

计算得到。其中x表示理想图像;νx、νy表示理想图像和重建图像的平均灰度值;c1、c2表示常数;ζx、ζy表示理想图像和重建图像的标准差。

结构相似度SSIM测试结果如图1所示。

图1 SSIM测试结果

由图1可知,笔者算法重建后的图像相似度均保持在0.9以上,表明笔者算法重建后图像中存在的细节信息基本与原始图像相符,文献[3-4]算法重建后的结构相似度较低,表明重建后的图像中丢失了一部分结构信息。

利用PSNR评价图像重建误差:

(17)

表1 不同方法的PSNR测试结果

由表1可知,笔者方法对图像重建后的PSNR均高于其他两种算法,表明笔者算法的重建误差小。采用笔者算法、文献[3-4]算法重建一幅模糊数字图像,重建结果如图2所示。

图2 不同算法的图像重建效果

从图2可知,笔者算法效果最佳,其他两种算法的重建图像分别存在噪声和模糊现象,笔者算法的重建效果不存在上述问题,因为笔者算法在图像超分辨率重建前对数字图像进行了去雾和去噪处理,可以获得良好的图像重建效果。

4 结 语

针对目前图像超分辨率重建算法存在结构相似度低、重建效果差的问题,笔者利用多尺度残差方法实现数字图像超分辨率重建。该算法首先对数字图像展开了相关预处理,在此基础上基于多尺度残差方法对图像展开超分辨率重建。实验结果表明该方法得到的重建图像清晰度较好,图像重建的结构相似度和精度较高。